Scraping Code HTML

SEOlipsism · #1 2019-10-31 13:18:01 · scraper

Bonjour à tous,

Est-ce que vous connaissez une méthode ou un tuto pour scraper des lignes de code HTML précise.
Pouvoir scraper dans le code source en gros.

Mon but est de récupérer les codes EAN des fiches produits sur des sites-ecommerce, et ils sont trouvables uniquement dans le code source et non en front.

Habituellement j'utilise webscraper.io avec lequel j'ai pu avoir les produits/prix/description... mais je n'arrive pas à chopper une ligne dans le code source.

Merci à tous

Mcurly · #2 2019-10-31 13:21:41

Hello,
Tu cherches avec une librairie pour du dév, ou avec une interface prête à l'emploi ?
Pour du dév php, perso j'ai déjà utilisé ca https://simplehtmldom.sourceforge.io/ c'est assez simple mais plutôt pratique, ca permet de cibler ce qu'on veut.

SEOlipsism · #3 2019-10-31 13:34:02 · scripts

Merci beaucoup pour ta réponse

Effectivement je n'ai pas précisé !
Je suis pas très bon en dev donc je préfère un truc clé en main.
Après si c'est des scripts Python ou Php pas très compliqué ça peut aller, je suis capable de lire du code c'est écrire qui me pose problème.

Je me demandais si c'était possible avec iMacros ect

Par exemple avec ce que tu m'as envoyé, c'est un script qui me permet d'aller chercher dans une liste d'url dans un excel et après pour chaque URL aller chercher une ligne particulière ?

Trashbaby · #4 2019-10-31 14:11:54 · zennoposter

Pour les tootls de scrap tu as ;
Zennoposter
ScrapBox
RddzScraper (open source ou version payante)

Ensuite pour sélectionner ta ligne, Regex ou Xpath en fonction de ce que tu recherches.

SEOlipsism · #5 2019-10-31 15:06:06

J'ai également trouvé Scrapy, qui est gratuit et qui nécessite juste un environnement Python, ça vaut le coup ?

DevForEver · #6 2019-10-31 15:07:57

@SEOlipsism,
peux-tu nous donner un exemple de page contenant l'EAN 13 ?

SEOlipsism · #7 2019-10-31 15:39:45

Alors j'ai pris un exemple sur un autre site :

On ce casque Marshall sur la FNAC : https://www.fnac.com/Casque-audio-Marshall-MID-Bluetooth-Noir/a10129158/w-4#int=S:Ventes%20flash%20Son|Toutes%20nos%20offres%20Son|436652|10129158|BL3|L1

Et dans le code source on a ça : "gtin13":"7340055332965",

Comment l'extraire et le faire sur des centaines d'url qui seraient dans un fichier excel ?

DevForEver · #8 2019-10-31 16:45:28

un exemple en PHP en mode brute,
décoder le json des micro-data est plus safe

$URL = 'https://www.fnac.com/Casque-audio-Marshall-MID-Bluetooth-Noir/a10129158/w-4#int=S:Ventes flash Son|Toutes nos offres Son|436652|10129158|BL3|L1';

$PATTERN = '/"gtin13":"([0-9]{13})"/';

$html = load($URL);

if (preg_match($PATTERN, $html, $matches)) {

    echo 'EAN: '.trim($matches[1],'"');

}

else {

    echo 'non trouvé';;

}

function load(string $url) {

    $UA='Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:57.0) Gecko/20100101 Firefox/57.0';

    $ch = curl_init();

    curl_setopt($ch, CURLOPT_URL, $url);

    curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 0);    

    curl_setopt($ch, CURLOPT_HEADER, 0);

    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);

    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);

    curl_setopt($ch, CURLOPT_USERAGENT, $UA);    

    $buf = curl_exec($ch);    

    curl_close($ch);

    return $buf;

}

SEOlipsism · #9 2019-10-31 17:00:01

Ok j'ai testé et ça marche nikel pour l'exemple de Fnac.

Si pour un site j'ai l'EAN dans un itemp prop, par exemple :

Comment tu configures ton preg_match ?

DevForEver · #10 2019-10-31 17:23:41

$PATTERN = '/"gtin13"\scontent="([0-9]{13})"/';

Rimkaz · #11 2019-11-01 23:51:21

Merci pour l'exemple

SEOlipsism · #12 2019-11-04 09:09:55

Merci beaucoup @devforever, j'arrive bien à extraire le code EAN d'une donnée structurée.

Maintenant j'aimerais pouvoir faire des boucles, en gros pouvoir l'automatiser sur plusieurs Url.

L'idée serait que le $URL soit une variable prise dans une ligne d'un fichier excel et qu'une fois le code EAN extrait, il prend la ligne en dessous.

Tu as une idée ?

DevForEver · #13 2019-11-04 12:28:51

contacte moi en message privé

Scraping Code HTML

#1 2019-10-31 13:18:01 · scraper

Scraping Code HTML

#2 2019-10-31 13:21:41

Re : Scraping Code HTML

#3 2019-10-31 13:34:02 · scripts

Re : Scraping Code HTML

#4 2019-10-31 14:11:54 · zennoposter

Re : Scraping Code HTML

#5 2019-10-31 15:06:06

Re : Scraping Code HTML

#6 2019-10-31 15:07:57

Re : Scraping Code HTML

#7 2019-10-31 15:39:45

Re : Scraping Code HTML

#8 2019-10-31 16:45:28

Re : Scraping Code HTML

#9 2019-10-31 17:00:01

Re : Scraping Code HTML

#10 2019-10-31 17:23:41

Re : Scraping Code HTML

#11 2019-11-01 23:51:21

Re : Scraping Code HTML

#12 2019-11-04 09:09:55

Re : Scraping Code HTML

#13 2019-11-04 12:28:51

Re : Scraping Code HTML

Pied de page des forums