Je cherche a faire du web scrapping pour récupérer une donnée sur une page web.
mais entre des api qui fournissent un url, l'utilisation de xpath directement d'un fichier xml, je suis perdu.
Quelle est la démarche pour récupérer une donnée ciblé dans une page web?
effectuer un GET sur la page pour obtenir son contenu
écrire un bout de code qui analyse le flux entrant pour trouver la partie à extraire
Suivant le type de page web ce n’est pas forcément trivial, l’affichage pouvant résulter de l’exécution d’un code JavaScript que votre arduino ne pourra pas faire
Si vous faites un curl sur l’URL dans un terminal, voyez vous la donnée qui vous intéresse??
Avez vous cherché s’il existe une API REST qui vous donnerait plus directement la valeur ?
Attention aussi à la clause de propriété des données extraites et ce que vous pouvez en faire légalement
Première chose je ne sais pas utiliser une commande curl.
Ensuite j'ai bien essayé avec des API, j'en ai une qui me renvoie un résultat en plaçant l'url dans le navigateur et me télécharge un fichier csv, donc je ne vois pas comment exploiter ça.
J'ai récupérer le xpath est il possible de l'utiliser pour récupérer l'information?
Voici le fichier csv que je récupère avec cette url, seulement le problème est que je ne vois pas non plus comment pouvoir passer le login et le mot de passe dans mon code pour utiliser cette url.
Oui lesept,
je pense que ça correspond a l'url que j'ai posté plus haut, mais je n'ai pas réussi à l'exploiter, a cause du login et du mot de passe, mais également la gestion du csv.
Un grand merci pour tout ce que tu as fait, je n'ai pas pu tester pour l'instant, j'ai un soucis avec la librairies "HTTPClient.h".
Je continue de regarder demain.