Python : extraire des informations d'une page web (BeautifulSoup)

Exemple

import requests, time
from bs4 import BeautifulSoup

r = requests.get(url, headers={"User-Agent": "MonScript/1.0 (contact@exemple.fr)"}, timeout=10)
soup = BeautifulSoup(r.text, "html.parser")
for carte in soup.select("article.post"):
    print(carte.select_one("h2").get_text(strip=True), carte.select_one("a")["href"])
time.sleep(2)   # entre deux pages

Trouver le sélecteur : clic droit › Inspecter dans le navigateur.

Règles

• Lire les conditions d'utilisation et /robots.txt.
• Une requête toutes les quelques secondes, pas de parallélisme agressif.
• Ne pas collecter de données personnelles (RGPD).
• Préférer une API ou un flux RSS quand ils existent (API avec requests).

Pages générées en JavaScript : Playwright.