Bienvenus à tous dans le forum SEO de la famille de liens internes, la convivialité est le maître mot de ce forum, partage, bons plans, aides et conseils sur tout ce qui touche le référencement, l'édition et le développement sont de mises sur ce forum.
Le forum liens internes est axé sur le référencement naturel SEO et dans l’aide apporté à la création de sites et des métiers du web
Chacun à sa place dans la famille, du débutant au professionnel averti, alors venez partager et discuter avec les membres de la grande famille des professionnels du web




Présentation des annuaires et de leur auteur

Vous avez des annuaires à faire connaitre aux autres membres, vous souhaitez parler de vous de votre job en tant qu'annuairiste, vous souhaitez poser des questions sur le fonctionnement d'un annuaire, les contraintes, les obligations, le pourquoi de sa création, ce que cela peut apporter pour vous un annuaire, pourquoi vois ton sur la toile des annuaires gratuits ou payants, c'est par ici que cela se passe, la parole est à vous.
7 messages • Page 1 sur 1

Wayback Machine - Page cannot be displayed due to robots.txt

Messagepar mbouchaud » Mar 10 Mai 2016 06:18

Bonjour,

Suite à l'astuce de Charles pour consulter les archives du web, j'ai fait un test avec l'exemple fourni et cela fonctionnel nickel.

Par contre avec mon domaine web.archive.org/web/*/http://accrochcoeur.fr/ j'obtiens le message d'erreur :
Page cannot be displayed due to robots.txt.

J'ai certainement bloqué l'accès via .htaccess ou robots.txt mais je ne sais pas quelle ligne modifier.
Pourriez-vous m'aiguiller SVP ?
Avatar de l’utilisateur
mbouchaud
 
Messages: 295
Inscription: Ven 14 Juin 2013 10:43
Localisation: Pornichet




Re: Wayback Machine - Page cannot be displayed due to robots

Messagepar gorchfock » Mar 10 Mai 2016 13:56

Pour pouvoir t'aiguiller tu peux peut-être me montrer en MP ton robots.txt :?: Je le comparerai avec l'un des miens car c'est pas bloqué ;)
Univers Rumba Congolaise : la référence de la musique congolaise
Avatar de l’utilisateur
gorchfock
Modérateur
 
Messages: 959
Inscription: Mer 19 Juin 2013 21:12

Re: Wayback Machine - Page cannot be displayed due to robots

Messagepar mbouchaud » Mar 10 Mai 2016 14:09

Fichier transmis. Je te remercie d'avance pour ton diagnostic ;-)
Avatar de l’utilisateur
mbouchaud
 
Messages: 295
Inscription: Ven 14 Juin 2013 10:43
Localisation: Pornichet

Re: Wayback Machine - Page cannot be displayed due to robots

Messagepar gorchfock » Mar 10 Mai 2016 14:44

Vu. Je remets ma réponse ici, ça pourra être utile à d'autre.

Dans ton fichier robots.txt tu as bloqué le User-Agent ia_archiver qui est donc le nom du bot utilisé pour les archives du web. Si on le mets, on interdit a web.archive.org d'archiver notre site et d'en conserver les données.

J'ai pas vérifié dans le .htaccess, mais il ne devrait pas si figurer (même en utilisant des plugin tout fait pour lutter contre les spam's, robots indésirable, etc...
;)

EDIT : Verification fait dans le HTACCESS, tu l'as aussi mais il semble qu'il n'a pas d'effet (je l'ai aussi dans le htaccess de wit-creations et pourtant mon site est archivé : dans mon robots.txt ia_archiver n'est pas bloqué donc mystère :?:
Univers Rumba Congolaise : la référence de la musique congolaise
Avatar de l’utilisateur
gorchfock
Modérateur
 
Messages: 959
Inscription: Mer 19 Juin 2013 21:12

Re: Wayback Machine - Page cannot be displayed due to robots

Messagepar mbouchaud » Mar 10 Mai 2016 14:57

Merci c'est opérationnel applaudis
Avatar de l’utilisateur
mbouchaud
 
Messages: 295
Inscription: Ven 14 Juin 2013 10:43
Localisation: Pornichet

Re: Wayback Machine - Page cannot be displayed due to robots

Messagepar gorchfock » Mar 10 Mai 2016 15:03

Il n'y a pas de quoi ;)

Masquer: Activé

Vous devez vous connecter pour voir le message. Cette partie n'est visible que par les membres.
Désolé.
Univers Rumba Congolaise : la référence de la musique congolaise
Avatar de l’utilisateur
gorchfock
Modérateur
 
Messages: 959
Inscription: Mer 19 Juin 2013 21:12

Re: Wayback Machine - Page cannot be displayed due to robots

Messagepar ref19 » Mar 10 Mai 2016 15:20

Tres bonne réponse de Jean-Mi applaudis

J'ai aussi eu le même résultat, il semblerait qu'on ne puisse vraiment tout bloquer avec le .htaccess

j'avais sur un de mes sites pour un concours bloqué Majestic dans le .htaccess, mais pleins de bl passaient quand même.
Pour une belle liste d'annuaires automatiques, la liste des meilleurs annuaires du web est a votre disposition!
Avatar de l’utilisateur
ref19
 
Messages: 1598
Inscription: Ven 14 Juin 2013 10:56


7 messages • Page 1 sur 1

Retourner vers Les annuairistes

Qui est en ligne

Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 1 invité

annuaire et annonce santé

cron