Ressources bloquées par un fichier robots.txt

Théo

Juillet 2015

Je viens de faire un test de compatibilité mobile pour mon site sur ce lien : https://www.google.com/webmasters/tools/mobile-friendly/

Résultat :

Parfait. Cette page est adaptée aux mobiles.
Page vue par Googlebot
Cette page utilise 22 ressources bloquées par un fichier robots.txt.

Comment expliquer ces ressources bloquées et comment les débloquer ?

Par note Par date Par date chronologique

Indiquez l’intérêt que vous portez à cette réponse

0

Theo

Juillet 2015

Sur le ficher "robots.txt", j’ai retiré quelques lignes "Disallow" et tout va bien. Compatible !
Mais pourquoi Spip préconise ces "Disallow" que tout internaute peut lire…

http://www.spip.net/local/
Indiquez l’intérêt que vous portez à cette réponse

0

Théo

Juillet 2015

Sur le ficher "robots.txt", j’ai retiré quelques lignes "Disallow" et tout va bien. Compatible !
Mais pourquoi Spip préconise ces "Disallow" que tout internaute peut lire…

http://www.spip.net/local/
Indiquez l’intérêt que vous portez à cette réponse

0

Jaseur BOREAL

Août 2018

Bonjour,
J’ai un problême avec le fichier "robots.txt" qui semble bloqué.
Il est normalement fabriqué par SPIP 3.2, mais :
– Où se trouve-t-il dans l’arborescence d’un site SPIP 3.2 ?
– Où trouver des infos précises concernant le fichier robots.txt de Spip 3.2,
.
On trouve bien cette page https://contrib.spip.net/Le-fichier-robots-txt-par-defaut rédigée pour Spip 2.0 , mais cela n’est pas exact pour spip 3.2.

Le problème est détecté par "Google Search Console" :

"Nouveau problème Couverture de l’index détecté pour le site https://monbeausite.fr/

La Search Console a déterminé que votre site est affecté par 1 nouvelle erreur en lien avec Couverture de l’index. Cela signifie que Couverture de l’index peut subir des conséquences négatives dans les résultats de recherche Google. Nous vous encourageons à examiner et à corriger ce problème.

Nouveau problème trouvé : Indexée malgré le blocage par le fichier robots.txt

Merci de toutes vos solutions et propositions pour améliorer ;
@+

#robots.txt, #référencement, #google_Search_Console,
Indiquez l’intérêt que vous portez à cette réponse

0

Philivert

Août 2018

Bonjour,
comme précisé dans la page que tu cites, le fichier robot.txt se trouve dans le répertoire \squelettes-dist et je ne vois pas de différence avec celui de spip 3.2
Indiquez l’intérêt que vous portez à cette réponse

0
Jaseur BOREAL

Août 2018
Merci de la précision,

Je m’étonnais de ne pas le trouver à la racine du site,
C’est donc seulement le fichier ".htaccess" qui oriente la lecture des robots vers le répertoire \squelettes-dist .

Mais là je ne comprends pas l’écriture incorporée dans le fichier ".htaccess" qui ne précise pas ce répertoire \squelettes-dist . :
```
###
# Fichiers "standards" (si absents de la racine)
#
RewriteRule ^robots[.]txt$      spip.php?page=robots.txt [QSA,L]
RewriteRule ^favicon[.]ico$      spip.php?page=favicon.ico [QSA,L]
RewriteRule ^sitemap[.]xml$      spip.php?page=sitemap.xml [QSA,L]
##
```
Y aurait-il une erreur dans mon ".htaccess" déposé à la base www. du site ?
Merci
Indiquez l’intérêt que vous portez à cette réponse

0
Jaseur BOREAL

Août 2018
Merci de la précision,

Je m’étonnais de ne pas le trouver à la racine du site,
C’est donc seulement le fichier ".htaccess" qui oriente la lecture des robots vers le répertoire \squelettes-dist .

Mais là je ne comprends pas l’écriture incorporée dans le fichier ".htaccess" qui ne précise pas ce répertoire \squelettes-dist . :
```
###
# Fichiers "standards" (si absents de la racine)
#
RewriteRule ^robots[.]txt$      spip.php?page=robots.txt [QSA,L]
RewriteRule ^favicon[.]ico$      spip.php?page=favicon.ico [QSA,L]
RewriteRule ^sitemap[.]xml$      spip.php?page=sitemap.xml [QSA,L]
##
```
Y aurait-il une erreur dans mon ".htaccess" déposé à la base www. du site ?
Merci pour les précisions.
Indiquez l’intérêt que vous portez à cette réponse

0

Philivert

Août 2018

non pas d’erreur, c’est spip.php qui cherche dans les différents répertoire le fichier robots.txt, comme pour les fichiers du squelette.

L’ordre de recherche est décrit sur cette page dans le paragraphe Priorité des dossiers de squelettes