Proxy cho web scraping

Vì sao scraper bị chặn

Hầu hết website đếm request theo IP. Một IP gửi quá nhanh sẽ bị trả 429 (Too Many Requests), bị chặn 403 hoặc bị đưa sang trang captcha.

Proxy giúp chia request ra nhiều IP, nhưng không thay được việc thu thập có chừng mực: chỉ lấy dữ liệu công khai, tôn trọng robots.txt, giữ tốc độ hợp lý và dừng lại khi website yêu cầu.

Cấu hình khuyến nghị

• Trang cần đăng nhập hoặc giỏ hàng

  Dùng session giữ IP để cookie và IP khớp nhau suốt phiên.

• Thu thập danh sách nhiều trang

  Dùng xoay IP theo chu kỳ, hoặc chia việc cho nhiều session chạy song song.

• Nhiều request độc lập, khối lượng lớn

  Dùng xoay IP mỗi request (gói Business).

• Cần kết quả theo quốc gia

  Chọn quốc gia cho session ở gói Pro hoặc Business.

Retry có backoff và xoay IP khi bị chặn

Khi nhận 403 hoặc 429, đoạn code xin IP mới cho session qua API rồi chờ tăng dần trước khi thử lại. Gói Free và Standard có thời gian chờ giữa hai lần xoay; gọi sớm hơn API sẽ trả 429, nên lỗi của lệnh xoay được bỏ qua.

import time
import requests

PROXY = "http://USERNAME:PASSWORD@GATEWAY_HOST:HTTP_PORT"
PROXIES = {"http": PROXY, "https": PROXY}
API = "https://backend-api.ro-proxy.com"
HEADERS = {"Authorization": "Bearer API_KEY"}

def fetch(url: str, retries: int = 4) -> requests.Response:
    for attempt in range(retries):
        r = requests.get(url, proxies=PROXIES, timeout=30)
        if r.status_code not in (403, 429):
            return r
        # Bị chặn: xin IP mới cho session, rồi chờ tăng dần
        requests.post(f"{API}/api/session/SESSION_ID/rotate", headers=HEADERS, timeout=30)
        time.sleep(2 ** attempt)
    r.raise_for_status()
    return r

Lỗi thường gặp

• 403 hoặc 429

  Website đang chặn IP hiện tại: giảm tốc độ, chờ rồi thử lại, xoay IP nếu cần.

• 407

  Sai username/password hoặc session đã hết hạn. Sao chép lại thông tin kết nối từ dashboard.

• Timeout

  Tăng timeout, thử lại có backoff; lỗi lặp lại liên tục thì xoay IP.

• 503 khi gọi API

  Kho IP của quốc gia đã chọn tạm hết. Chờ khoảng 30 giây rồi thử lại, hoặc chọn khu vực thay vì quốc gia.