espionnage conccurence

puples · #1 2013-09-03 22:05:59

Bonjour,

Est ce que quelqu'un connait un script pour espionner la concurrence ? ou est ce que quelqu'un a une idée de comment faire autrement que d'aspirer les sites ?

merci d'avance

Soul · #2 2013-09-04 07:32:32

majesticseo.com semrush.com

puples · #3 2013-09-04 08:32:24

Désolé j'ai mal expliqué (je connais bien semrush et majestic seo) je parle plutot d'espionner les tarifs des concurrents... en gros je fais un gestionnaire de flux (pour les comparateurs de prix) et vu que j'ai toutes les références j'aimerais espionner les concurents voir si mes produits ont les même prix etc

cyex · #4 2013-09-04 08:56:05

Le plus simple serait de scraper le flux rss ou les sites. Tu dois avoir accès me page : http://www.scripts-seo.fr/topic-1410-cy … age-1.html
1/ Tu prends le "Visual Web Scraping Software" (j'ai posté la version 100% fonctionnelle et gratuite). Dans ce cas il faudra lancer le soft pour chaque vérifications. Tu peux aussi utiliser n'importe logiciel autre de scraping avec aide visuel.
2/ Tu parts sur du code php pour faire ca en auto (quand tu veux et autant de fois que tu veux par jour). Dans ce cas là je je te conseille de prendre la librairie php multithread toujours sur ma page (mais n'importe laquelle dans le style ou tout codé de zéro fait l'affaire aussi) et de l'utiliser avec DOMDocument et DOMXPath pour utiliser les chemins xpath.

Le choix 1 est peut-être le plus rapide dans un premier temps et ne nécessite pas de compétance, mais si tu as beaucoup de concurrents à regarder et souvent, ca va être chiant. Je te le déconseille donc dans ce cas là, c'est plutot à réserver pour des one-shot ou des craps de données espacées.

Le choix 2 demande un peu de temps si tu n'as jamais fait cela et d'être à l'aise avec php. Mais une fois que tu l'as fait, tu seras capable de scrapper facilement et rapidement n'importe quelles données. Si c'est que des flux rss c'est encore plus simple.

J'espère que ca répond à la question, car je vois pas de truc tout fait pour ca

Dernière modification par cyex (2013-09-04 08:58:45)

puples · #5 2013-09-04 09:02:14

Dans ce cas je partirais plutôt sur la solution 2 car je voulais lier ça a l'appli que je me fait en symfony... il faut que je regarde si zebra curl marche avec symfony, et surtout le problème c'est que pour chaque conccurent je vais devoir donner les balises ou se trouve les prix etc... il faut que je trouve de quoi lié ça a mon mapping automatique alors...

cyex · #6 2013-09-04 09:26:14

Je ne pense pas que se soit nécessaire d'intégrer zebra et symphomy. Et puis ca risque d'alourdir les temps de traitements.
Tu peux très bien lancer un petit service php avec zebra (à la main depuis un lien, depuis une tache cron, depuis un exec, depuis symphony ...). Tu fais les traitements et t'écris cela dans une table sql temporaire (ou la table finale), ou par un fichier json, xml ...

Tu peux donc soit tout traiter avec le webservice, soit te faire une (petite) API en traitant les donnés au fur et a mesure du scrap (à chaque pages, à chaque sites etc..). Bref tu as le choix

Pour les chemins en xpath, la solution la plus rapide c'est avec chrome. Pas avec firebug (trop lent à charger), ni avec un plugin externes (soit pas pratique, soit un peu long, soit pas précis, soit faux). Tu cliques droit sur l'élément ->inspect Element (ca ouvre la console chrome) -> clique droit sur l'élément HTML dont tu veux le chemin -> copy Xpath. En général faut 2 min max par nouvelle page et si tu as beaucoup de données à recupérrer

Dernière modification par cyex (2013-09-04 09:27:52)