Erreur sur fichier robots.txt et indexation Google

Web-Map

Avril 2012

Bonjour à tous,

J’ai quelques soucis d’indexation de pages avec Google (avec un site sur SPIP 2.1.12). Pour les résoudre j’ai regardé les outils pour webmasters de Google afin de voir s’il détecte et traite correctement le fichier sitemap.xml.

Je découvre en consultant le résultat d’analyse du fichier robots.txt que Google détecte l’erreur suivante :

Ligne 1 : ?# robots.txt Syntaxe non comprise

Le contenu du fichier affiché par Google commence effectivement par cette ligne : ?# robots.txt

Or, en ouvrant le fichier robots.txt sur le site, la première ligne est # robots.txt

D’où peut venir ce “ ?” à l’origine de l’erreur ?

Autre question.
Comment Google procède-t-il pour indexer des pages ? Utilise-t-il autre chose que le fichier sitemap.xml et les contenus même du site ?

Il se trouve que j’ai des pages indexées par Google alors que celles-ci ne sont normalement pas accessibles en parcourant le site public et n’apparaissent pas dans mon sitemap...

merci par avance

Par note Par date Par date chronologique

Indiquez l’intérêt que vous portez à cette réponse

0
.Gilles

Avril 2012
- Pour ton premier point, vérifie que tu as bien encodé ton fichier en ASCII et pas en "UTF8 avec BOM" <— ce mode rajoute un caractère invisible pour les éditeurs mais pas forcément Google
- Sinon concernant l’indexation des page, c’est un vaste sujet ;) Google ne s’appuie bien sûr pas que sur le fichier sitemap.xml, mais aussi sur tous les liens qui pointent vers les pages de ton site. Il suffit souvent d’aller sur un site en cours de développement avec Google Chrome pour que ce site de développement se trouve indexé.. Google voit tout ;) — si tu veux masquer des éléments, utilise par exemple le plugin accès restreint qui verrouille par mot de passe
Indiquez l’intérêt que vous portez à cette réponse

0
Web-Map

Avril 2012
Merci de ta réponse.
- Premier point : Le fichier robots.txt est généré par SPIP... je n’ai pas la main sur l’encodage. Je n’ai fait que éditer le fichier robots.txt.html qui lui est en UTF-8.
- Deuxième point : Fichtre ! J’ignorais cette histoire d’indexation via google chrome, le fourbe ! Mais alors, impossible de tester sur ce navigateur sans prendre le risque de voir des pages indexées à l’insu de mon plein gré ??
  Le plugin accès restreint ne résoudra pas mon problème. En fait, aucun lien sur le site ne permet d’accéder aux pages qui ont été indexées (c’est pour ça que je ne comprends pas pourquoi elles ont été indexées). Ce sont des articles dont les contenus s’affichent uniquement au niveau de la rubrique mère. Le plugin accès restreint empêchera cet affichage.
  Google utilise-t-il le bakend (RSS) pour indexer les pages ?
Indiquez l’intérêt que vous portez à cette réponse

0

Web-Map

Avril 2012

J’ajoute un p’tit message pour m’inscrire afin de recevoir les alertes...
Indiquez l’intérêt que vous portez à cette réponse

0

.Gilles

Avril 2012

Tu rencontre le même problème ?
Indiquez l’intérêt que vous portez à cette réponse

0

Web-Map

Avril 2012

Oui... tout simplement parce que je suis la même personne qui a ouvert le sujet ! ;o)
(Je n’étais pas inscrit auparavant...)
Indiquez l’intérêt que vous portez à cette réponse

0

Web-Map

Mai 2012

Un petit up avant que ma question ne tombe aux oubliettes...
Indiquez l’intérêt que vous portez à cette réponse

0

aleks

Mai 2012

salut,

Je n’ai fait que éditer le fichier robots.txt.html

avec un éditeur genre notepad++ tu pourras enregistrer ton fichier avec le bon encodage. Spip ne fait qu’écrire dedans.

google chrome, le fourbe

Fichtre ! a bas le SEO vive google chrome ! :p
Indiquez l’intérêt que vous portez à cette réponse

0

Web-Map

Mai 2012

J’utilise Notepad++ et mon fichier robots.txt.html est encodé en UTF-8 sans BOM...