Vous n'êtes pas identifié(e).

  • Contributions :
  • Vos boîtes de messages privés sont vides.

Annonce

Participez au Concours Seo 2016 Officiel ! | Faites un bond en avant avec la formation SEO Ranking Skills le 15 Février 2017

#1 2016-11-12 09:45:36

Mention douma
Recruit
Inscription : 2016-11-12
Messages : 2

scraper une page produit xml d'un site spécifique ?

Salut à tous ,

bon je suis nouveau dans ce domaine (le scrapping)
j'ai une question concernant le scrapping sur des adresses spécifique en récupérant le sitemap.xml
donc on est d'accord que quand j'ajoute la page produit sitemap.xml d'un site internet qui par exemple vends
certain produits et que je l’implémente dans mon programme qui scrappe, que je recevrai bien la mise à jour à chaque ajout
de nouveau produit fait par le websmaster ?

donc je voulais savoir si dans ce cas les proxy sont nécessaire? car pour l'instant je fonctionne comme cela sur une quarantaine de
site depuis 2 ou 3 jour et jusqu'à maintenant çà fonctionne parfaitement sauf pour un ou deux sitemap.xml (mon programme scrape toute les une minute)
A votre avis sur le long terme je risque de me faire ban ou aucun soucis lorsque l'on scrappe un sitemap ?

puis un autre soucis j'ai encore une centaine de site mais je n'arrive pas à récuperer le sitemap.xml car apparemement caché par l'admin dans ce cas y a t-il un moyen de retrouver cette adresse avec un logiciel spécifique ou c'est tout simplement impossible ?

Merci d'avance pour vos réponse ^^

Hors ligne

Pied de page des forums