[RESOLU] [9.2.05] Fichier "robots.txt"

[APOA 1]

Bonjour,

J'ai remarqué ce problème avec la search console de Google : le fichier "robots.txt" bloque l'accès aux robots du répertoire /core dans lequel se trouve les fichiers CSS, or GoogleBot a besoin d'accéder à ces fichiers et n'y parvient pas, ce qui fait descendre le site dans les résultats de recherche...

En supprimant la ligne dans le robots.txt, cela fonctionne parfaitement.

Y a-t-il moyen de "protéger" le fichier core.php mais de laisser l'accès au répertoire des styles pour les prochaines versions de Zwii et éviter ce problème ?

Merci et bonne journée à tous !

Modifié par APOA

[roger 182]

Il y a 15 heures, APOA a dit :

En supprimant la ligne dans le robots.txt, cela fonctionne parfaitement.

Y a-t-il moyen de "protéger" le fichier core.php mais de laisser l'accès au répertoire des styles

Ce pourrait être jouable le je pense en faisant cet essai là

le fichier texte qui interdit au bots l’accès à un répertoire (donc aux fichiers qu'il contient) du zwii est écrit ainsi (la couleur aide à voir plus facilement les lignes concernées) :

 

Dissalow ==> Interdire un accés

Allow ==> Autoriser un accès

 

# ZWII CONFIG ---------
User-agent: *
Disallow: /core/
Disallow: /module/
Disallow: /site/data
Disallow: /site/tmp
Disallow: /site/backup
Allow : /site/file/
Sitemap: http://lechti64.fr/ZwiiCMS-9015/sitemap.xml
Sitemap: http://lechti64.fr/ZwiiCMS-9015/sitemap.xml.gz
# ZWII CONFIG  ---------

 

La propriété "Allow " écrite dans un tel fichier txt permet alors aux robots des moteurs de recherche de parcourir un fichier défini par son chemin même si son dossier est protégé par la directive "Disallow".

 

Tu peux faire tes essais de cette façon là en réécrivant le fichier robots.txt du zwii:

(pour ce qui est de fichiers de style du zwii en .css)

 

# ZWII CONFIG ---------
User-agent: *
Disallow: /core/

Allow : /core/layout/blank.css

Allow : /core/layout/common.css

Allow : /core/layout/light.css

Disallow: /site/data/

Allow: /site/data/custom.css

Allow: /site/data/theme.css

 

* Il existe aussi la propriété "Index:" et "Noindex:" qui peuvent aussi faire le même genre de boulot dans un fichier robots.txt si ma mémoire est bonne.

* Ensuite tu peux aussi adapter pour n'importe quel fichier la propriété "Allow:" si besoin était...

 

Tiens nous au courant si cette astuce fonctionne chez toi ou le cas contraire dis nous si elle n'a pas marché.

Modifié 6 septembre par roger

[Fred 805]

Bonjour @APOA

En commentant les lignes /core et /module le problème devrait être résolu.

Sachant le robots.txt doit accéder au site comme un visiteur classique, il conviendrait de masquer seulement /site qui ne doit être lisible que par le CMS.

 

# ZWII CONFIG ---------
User-agent: *
Disallow: /site/data
Disallow: /site/tmp
Disallow: /site/backup
Sitemap: https://datacargo.fr/sitemap.xml
Sitemap: https://datacargo.fr/sitemap.xml.gz
# ZWII CONFIG  ---------

 

Tu nous fais un retour ?

[APOA 1]

Bonjour @Fred et @roger, excusez-moi pour ma réponse tardive, merci pour vos messages.

En effet après essai, la solution de supprimer (ou commenter) les lignes qui concernent le dossier "/core" fonctionne parfaitement et corrige le problème, remontant le site dans les résultats de recherche.

En ce qui concerne une modification plus précise comme @roger le suggérait, je n'ai pas eu l'occasion de tester (il faudrait attendre que Google repasse sur le site, puis encore attendre une fois la correction effectuée...) mais cela devrait fonctionner à priori.

Si j'ai l'occasion de re-tester, je vous tiendrai au courant !

[roger 182]

Il y a 15 heures, APOA a dit :

En ce qui concerne une modification plus précise....

Merci pour ta remontée Apoa, en effet la solution que je t'ai proposé devrait garder (normalement) la remontée de recherche des données interdite aux moteurs de recherche web mais autoriser celle ci dans certains dossiers protégés par un "Disallow".

Cela donne des droits plus finement répartis (en lecture ou interdiction de lecture) suivant ceux attribués à l'origine par le fichier robot.txt d'origine pour des dossiers ou fichiers où qu'ils se trouvent dans ton site.

[Fred 805]

Merci de ton retour, il y aura une prochaine mise à jour avec un correctif. 

[Fred 805]

@APOA Le correctif en test est ici

[augras 166]

Bonjour APOA,

tu peux mettre [RESOLU] devant l'objet de ton message s'il te plaît ?

Merci,

Philippe

[APOA 1]

il y a 7 minutes, augras a dit :

Bonjour APOA,

tu peux mettre [RESOLU] devant l'objet de ton message s'il te plaît ?

Merci,

Philippe

 

Voilà  @augras !

[augras 166]

Merci, je ferme le sujet.