Vous n'êtes pas identifié(e).

  • Contributions :
  • Vos boîtes de messages privés sont vides.

Annonce

Progressez rapidement avec notre gamme de formations SEO Skills en ligne | Automatisez facilement votre production de contenu de qualité avec le SEO QUARTZ !

#1 2019-02-26 13:36:10

Mention Stone
Scout
Lieu : Montpellier
Inscription : 2016-01-18
Messages : 65

Scraping liste profils LInkedin

Hello,

ça fait un bail que je n'ai pas posté, c'est l'occasion qui fait le larron, donc acte cool

J'ai une liste de +800 profils Linkedin au format Excel (Colonne A = urls vers les profils Linkedin).
Je souhaite pour chacun de ces profils scraper : le Prénom, le Nom, la fonction ("développeur fullstack" par exemple), le poste actuel, l'employeur (la boite chez qui la personne travaille), la localisation.

J'ai tenté avec Seotoolsforexcel avec Xpath, impossible, Linkedin bloque mes appels.
Idem avec Screaming Frog.

Je ne suis qu'un bidouilleur et ne sais pas coder mais en revanche je suis curieux, et je "bidouille" : auriez-vous une solution qui permette de scraper donc tout en levant les blocages de Linkedin ?

Merci !

Hors ligne

#2 2019-02-26 14:17:28

Mention chn16000
Soldier
Inscription : 2017-04-07
Messages : 1 362

Marketing
Audit et Analyse
Automatisation Web

Re : Scraping liste profils LInkedin

Zennoposter


Soyez vous-même, les autres sont déjà pris

Hors ligne

#3 2019-02-26 15:44:39

Mention DevForEver
Scout
Lieu : Alsace
Inscription : 2016-02-16
Messages : 113

PHP
JAVA
DB Admin
Sécurité

Re : Scraping liste profils LInkedin

Stone a écrit :

Hello,
J'ai tenté avec Seotoolsforexcel avec Xpath, impossible, Linkedin bloque mes appels.
Idem avec Screaming Frog.

Des fois, il suffit de temporiser les requêtes, de varier les IP/les UserAgent pour contourner le blocage.
As-tu une idée de la manière dont Linkedin détecte tes appels ?

Hors ligne

#4 2019-02-27 13:09:19

Mention Stone
Scout
Lieu : Montpellier
Inscription : 2016-01-18
Messages : 65

Re : Scraping liste profils LInkedin

Hello,

nope, mais en allant sur https://www.growthhacking.fr/t/le-scraping-sur-linkedin-est-il-mort/13496 , tu te rends compte que Linkedin mène depuis 2 ans une politique dure contre le scrape de ses données...

Je ne suis pas un techos, mais apparemment il y a une notion de navigateur headless, plus d'autre prérequis qui me dépasse.

Je suis en train de tester d'autre solutions payantes, il y a entre autre :
- https://linkedhelper.com/
- https://phantombuster.com/api-store/3112/linkedin-profile-scraper
- etc

Il reste également la solution que je n'ai pas testée, car je ne m'en suis jamais servi, il faudrait que j'y songe à l'utiliser mais aussi à me former...

Hors ligne

#5 2019-02-27 14:58:01

Mention DevForEver
Scout
Lieu : Alsace
Inscription : 2016-02-16
Messages : 113

PHP
JAVA
DB Admin
Sécurité

Re : Scraping liste profils LInkedin

un autre membre en parlait il y qques jours, il est quasiment impossible de bloquer le scrapping sur un site.
C'est comme un cambrioleur, tu peux pas l’empêcher d'entrer dans ton appart, par contre, tu peux lui rendre la vie difficile pour qu'il aille chez le voisin tongue

Pour en revenir à Linkedin, des tests que j'ai pu faire, il y a surtout un filtre sur IP (3 requêtes possibles/IP). Avec un pool de proxy, y a moyen de récupérer une 50ème de profil par jour.
T'as pas un dev sous la main ?

Hors ligne

#6 2019-02-27 19:03:58

Mention Stone
Scout
Lieu : Montpellier
Inscription : 2016-01-18
Messages : 65

Re : Scraping liste profils LInkedin

Oui je pense que le problème vient clairement du fait que je n'utilise pas de proxies, au bout de la 2ème tentative l'ensemble de mes appels est bloqué, alors qu'à la 1ère tentative j'obtenais qq résultats.

Sinon, j'ai pas trouvé le thread dont tu parles sur le forum.

Hors ligne

#7 2019-02-28 07:36:59

Mention DevForEver
Scout
Lieu : Alsace
Inscription : 2016-02-16
Messages : 113

PHP
JAVA
DB Admin
Sécurité

Re : Scraping liste profils LInkedin

Stone a écrit :

Oui je pense que le problème vient clairement du fait que je n'utilise pas de proxies, au bout de la 2ème tentative l'ensemble de mes appels est bloqué, alors qu'à la 1ère tentative j'obtenais qq résultats.

Le filtrage par IP est le premier rempart que l'on met en place pour filtrer les bots. En général, la localisation de l'IP doit être la même que la langue demandée par le navigateur. Du coup, il est préférable de prendre des proxies localisés dans une région francophone (France, Suisse, Canada).
J'ai vu qu'ils ont supprimé le cache de Google, il doit y avoir d'autres filtres. Si t'es pas trop pressé, une 50ème de profil / jour est jouable.

Stone a écrit :

Sinon, j'ai pas trouvé le thread dont tu parles sur le forum.

http://scripts-seo.com/topic-10797-courrier-avocat-droit-image-page-3.html#p104004

Hors ligne

#8 2019-02-28 13:37:44

Mention Stone
Scout
Lieu : Montpellier
Inscription : 2016-01-18
Messages : 65

Re : Scraping liste profils LInkedin

@DevForEver Merci pour le Thread

Hors ligne

#9 2019-03-01 08:12:16

Mention tim
Recruit
Lieu : Paris
Inscription : 2014-09-27
Messages : 56

Re : Scraping liste profils LInkedin

iMacros peut faire le job mais ça sera un peu long (même si 100% automatisé)

Sinon Zenno +1

Si c'est juste une liste que tu as c'est jouable. Si tu veux scraper du random ça devient plus chiant oui. A une époque on pouvait aller scraper le cache de google pour les profils, mais ça c'était avant big_smile

Dernière modification par tim (2019-03-01 08:13:50)

Hors ligne

Pied de page des forums