PHPCrawl webcrawler

Wallas · #1 2012-10-08 19:36:23

Je découvre un framework Php pas mal du tout.

Elle permet de créer un Crawler de sites.

J'ai testé en local, ça fonctionne très bien.
Il y a une interface de configurations (vs test)

http://phpcrawl.cuab.de

Enfin, ça peut être une base pour faire pas mal de choses dérivées.
Comme ce site: http://www.zinbao.com

Egres · #2 2012-10-09 07:53:48

Tiens, je ne connaissais pas.

PHP n'est pas forcément (d'un point de vue performances) le langage idéal pour un crawler, mais ça peut être utile, merci !

Wallas · #3 2012-10-09 08:22:46

Bonjour Egres,

c'est vrai que pour le Crawl de masse, ça rame...
Et que ce n'est pas avec que l'on pourra faire un moteur de recherche.

Je pense que ça peut être utile, pour extraire les principales pages d'un site,
mais ponctuellement. ( lors d'une inscription par exemple )

Je pense l'utiliser pour un projet,
pour extraire les principales pages d'un site, mais ça serai lors de l'inscription.
Et au passage récupérer les mots clés, pour linker les pages récupérer.

Une autre utilisation, ça peut être utile pour créer un sitemap automatique. ;-)
Ou bien, récupérer l'ensemble des URL pour les Pinguer.

🟣 PHPCrawl webcrawler

#1 2012-10-08 19:36:23

PHPCrawl webcrawler

#2 2012-10-09 07:53:48

Re : PHPCrawl webcrawler

#3 2012-10-09 08:22:46

Re : PHPCrawl webcrawler

Pied de page des forums