Au cœur de notre scraper se trouve la classe ScrapUrlsJob, un outil simple mais efficace qui permet de récupérer des données à partir de plusieurs URLs en utilisant la fonctionnalité multi-handle de cURL. Cette technique permet d'envoyer plusieurs requêtes simultanément, ce qui accélère considérablement le processus.

Comment cela fonctionne :

• cURL Multi-Handle : En créant plusieurs sessions cURL et en les gérant ensemble, on peut exécuter plusieurs requêtes HTTP simultanément.

• Suspension des Fibers : Cette méthode utilise les fibers de PHP pour une gestion asynchrone, suspendant l'exécution en attendant les réponses des URLs.

Voici l’implémentation de ScrapUrlsJob :

Dans ce job :

• Le scraper envoie plusieurs requêtes en parallèle et suspend l'exécution (Fiber::suspend()) en attendant les réponses.

• Une fois les réponses reçues, le contenu est collecté et traité.

Ce job est idéal pour scraper des données à partir d’une liste statique d'URLs, là où la limitation de débit ou le blocage des IPs ne pose pas de problème.

Lorsqu’il s’agit de sites web sensibles ou limitant le débit des requêtes, la rotation des adresses IP devient essentielle. À cette étape, nous introduisons la classe ScrapUrlJob combinée à la stratégie de gestion d'IP FlattenIpStrategy, qui permet de répartir les requêtes sur plusieurs IPs pour éviter le blocage ou le ralentissement.

ScrapUrlJob est responsable du scraping d’une URL unique et de la gestion des sessions cURL. Lorsqu’elle est combinée avec FlattenIpStrategy, elle permet de distribuer les requêtes sur différentes adresses IP afin d’éviter les blocages par le serveur cible.

Voici l'implémentation de ScrapUrlJob :

Et la stratégie FlattenIpStrategy :

Cette stratégie garantit que plusieurs adresses IP sont utilisées lors du scraping, réduisant ainsi les risques de blocage par le serveur cible. En combinant ScrapUrlJob avec FlattenIpStrategy, nous assurons que le scraper est résilient face aux limitations basées sur les IPs.

Le pattern Y-combinator est une technique de récursion avancée utilisée pour effectuer des opérations complexes. Dans notre cas, nous l’utilisons pour collecter des données utilisateurs à travers plusieurs pages et les agréger de manière asynchrone.

L’exemple suivant montre l’utilisation du pattern Y-combinator avec YJob pour gérer des tâches de scraping récursives, comme la récupération d'une liste d’utilisateurs, de leurs publications et de leurs tâches.

Dans ce pattern :

• Traitement Récursif : La fonction continue à traiter les utilisateurs jusqu’à ce que toutes les données (comme les tâches et publications) aient été récupérées.

• Gestion de la Suspension : La nature asynchrone du processus est gérée via le DeferAsyncHandler, permettant de suspendre le processus (Fiber::suspend()) et de le reprendre lorsque les données sont disponibles.

Cette approche est extrêmement flexible et utile lorsqu’on travaille avec des APIs qui renvoient des données paginées ou imbriquées, permettant de chaîner les requêtes et de construire des structures de données complexes en temps réel.

Si vous souhaitez approfondir vos connaissances sur le framework Flow et découvrir d'autres moyens d'améliorer votre productivité en tant que développeur, je propose une formation complète sur Flow disponible sur

https://www.bonzai.pro/matyo91/shop

Le scraping web peut varier d’une tâche simple, comme la récupération de pages statiques, à des opérations plus complexes impliquant des contenus dynamiques et de grands volumes de données. En progressant du scraper basique d’URL (ScrapUrlsJob) aux techniques avancées de gestion des IPs (ScrapUrlJob avec FlattenIpStrategy) et à l'utilisation de la récursivité asynchrone (Y-Combinator avec YJob), vous pouvez construire un scraper en PHP à la fois performant et évolutif.

Ces méthodes utilisent la puissance des opérations asynchrones, des fibers et de la gestion multi-handle de cURL pour optimiser le processus de scraping et réduire la consommation des ressources. Que vous grattiez de petits ou de grands ensembles de données, ces patterns vous aideront à collecter les informations de manière efficace tout en respectant les serveurs cibles.