Quay lại danh sách
Đồng bộ xoay IP giữa nhiều worker Python

Đồng bộ xoay IP giữa nhiều worker Python

14 tháng 11, 2026

Khi job scraping chạy 6-8 worker, mỗi worker tự gọi xoay IP sau mỗi 50 request, kết quả thường không phải tăng tốc mà là 429 xuất hiện sớm hơn. Lý do không nằm ở số proxy, mà ở chỗ một proxy bị nhiều worker dùng chung và lệnh xoay rơi vào giữa lô đang chạy. Bài này tập trung vào một việc: cấp quyền sử dụng proxy theo lease, xoay ở ranh giới lô và kiểm tra IP ra trước khi nhận việc tiếp theo.

Vì sao xoay IP tự do làm hỏng job song song

Một proxy có hai kiểu xoay: sticky giữ IP cho đến khi bị xoay hoặc IP lỗi, timed đổi IP sau một khoảng thời gian. Cả hai đều không tự biết worker nào đang làm gì. Khi nhiều worker cùng dùng một proxy:

  • Worker A đang giữ chuỗi thao tác đăng nhập thì worker B gọi xoay. IP đổi giữa chừng, cookie hoặc trạng thái phiên có thể bị vô hiệu.
  • Với chế độ timed, worker nhận lô ở giây thứ 55 của interval 60 giây. Lô chưa xong thì IP đã đổi.
  • Hai worker gọi xoay cùng lúc. IP đổi hai lần, lần thứ hai không mang lại lợi ích gì mà còn làm mất tính ổn định.
  • Không có lease, ba worker có thể cùng trỏ vào một proxy trong khi proxy khác ngồi không.

Hệ quả thường gặp là 429, 403, hoặc nội dung trả về không nhất quán. Tăng số worker lúc này chỉ làm lỗi đến nhanh hơn.

Chọn chế độ xoay theo kiểu job

Trước khi viết code, hãy phân loại job:

  • Job cần chuỗi thao tác liên tục như đăng nhập, thêm giỏ hàng, kiểm tra trạng thái đơn: dùng sticky, chia lô nhỏ, chỉ xoay sau khi chuỗi thao tác kết thúc.
  • Job đọc dữ liệu công khai như danh sách sản phẩm, trang tìm kiếm: dùng timed, đặt độ dài lô ngắn hơn interval ít nhất 10-15%, không gọi xoay thủ công.
  • Proxy free đổi IP theo lịch cố định và không xoay tay được. Với loại này, thiết kế job ngắn, lưu checkpoint, và không giả định IP sẽ giữ nguyên đến cuối job dài.

Điểm chung: đừng để việc xoay IP do từng worker tự quyết. Hãy để một lớp điều phối cấp proxy cho worker.

Thiết kế lease cho proxy

Lease là quyền sử dụng proxy trong một khoảng thời gian. Có bốn thành phần:

  1. Khóa theo proxy ID. Mỗi proxy có một ID; trong API xoay, ID nằm ở vị trí SESSION_ID. Khóa nên có prefix riêng, ví dụ lease:proxy:{proxy_id}.
  2. TTL lớn hơn thời gian lô tối đa. Nếu lô thường 90 giây, đặt TTL 120 giây. TTL quá ngắn làm khóa hết hạn khi worker vẫn chạy; TTL quá dài giữ proxy nhàn rỗi.
  3. Token ngẫu nhiên. Khi release, chỉ xóa khóa nếu token còn khớp. Điều này tránh worker chậm xóa nhầm khóa của worker khác.
  4. Xoay trong lúc vẫn giữ khóa. Worker xoay trước khi release, để không worker nào dùng proxy đúng lúc IP đang đổi.

Với RoProxy, mỗi proxy có username và password riêng, kết nối qua GATEWAY_HOST và HTTP_PORT cho cả HTTP lẫn HTTPS; gói Pro và Business có thêm SOCKS5_PORT. Trên gói Pro và Business, endpoint POST https://backend-api.ro-proxy.com/api/session/SESSION_ID/rotate đổi IP ngay, với header Authorization: Bearer API_KEY.

Code: lease, xoay và kiểm tra IP ra

Ví dụ dùng Redis làm nơi giữ lease. Redis phù hợp khi worker chạy trên nhiều máy; nếu chỉ chạy một máy, vẫn có thể dùng cùng mô hình với một tiến trình điều phối.

import json
import os
import time
import urllib.request
from contextlib import contextmanager

import redis

r = redis.Redis(
    host=os.getenv("REDIS_HOST", "127.0.0.1"),
    port=int(os.getenv("REDIS_PORT", "6379")),
    decode_responses=True,
)

PROXY_URL = (
    f"http://{os.environ['USERNAME']}:{os.environ['PASSWORD']}"
    f"@{os.environ['GATEWAY_HOST']}:{os.environ['HTTP_PORT']}"
)
ROTATE_URL = "https://backend-api.ro-proxy.com/api/session/{proxy_id}/rotate"


@contextmanager
def lease(proxy_id: str, ttl_ms: int = 120_000):
    key = f"lease:proxy:{proxy_id}"
    token = os.urandom(8).hex()
    ok = r.set(key, token, nx=True, px=ttl_ms)
    if not ok:
        raise RuntimeError("proxy đang được worker khác giữ")
    try:
        yield token
    finally:
        r.eval(
            "if redis.call('get', KEYS[1]) == ARGV[1] then "
            "return redis.call('del', KEYS[1]) else return 0 end",
            1,
            key,
            token,
        )


def rotate(proxy_id: str) -> int:
    req = urllib.request.Request(
        ROTATE_URL.format(proxy_id=proxy_id),
        method="POST",
        headers={"Authorization": f"Bearer {os.environ['API_KEY']}"},
    )
    with urllib.request.urlopen(req, timeout=15) as resp:
        return resp.status


def exit_ip() -> str:
    opener = urllib.request.build_opener(
        urllib.request.ProxyHandler({"http": PROXY_URL, "https": PROXY_URL})
    )
    with opener.open("https://api.ipify.org?format=json", timeout=10) as resp:
        return json.load(resp)["ip"]

Worker chỉ nhận lô khi lease thành công:

def run_batch(proxy_id: str, urls: list[str]):
    with lease(proxy_id, ttl_ms=150_000):
        ip_truoc = exit_ip()
        for url in urls:
            opener = urllib.request.build_opener(
                urllib.request.ProxyHandler({"http": PROXY_URL, "https": PROXY_URL})
            )
            req = urllib.request.Request(url, headers={"User-Agent": "Mozilla/5.0"})
            with opener.open(req, timeout=20) as resp:
                resp.read(1024)

        rotate(proxy_id)
        time.sleep(2)
        ip_sau = exit_ip()
        print(proxy_id, ip_truoc, "->", ip_sau)

Nếu proxy ở chế độ timed, bỏ lệnh rotate và chỉ dùng lô ngắn hơn interval. Nếu username hoặc password có ký tự đặc biệt, percent-encode trước khi ghép URL; nếu không, lỗi 407 có thể xuất hiện dù thông tin đúng.

Kiểm tra và ghi log

Đừng chỉ log status code. Mỗi lô nên ghi:

  • proxy_id, ip_truoc, ip_sau, thời điểm bắt đầu và kết thúc.
  • Số request, số lần gặp 429/403, thời gian chờ trung bình.
  • Kết quả của lần xoay: thành công, lỗi xác thực, hay IP không đổi.

Nếu sau khi xoay 2-3 giây mà IP ra vẫn giữ nguyên, hãy trả proxy về hàng đợi và thử lại sau. Nếu lỗi 401 khi gọi API xoay, kiểm tra API_KEY và header Bearer. Nếu lỗi 429 tăng, giảm kích thước lô hoặc tăng khoảng nghỉ; đừng thêm worker ngay.

Kết luận

Xoay IP không khó; khó là xoay đúng lúc. Với job chạy song song, hãy coi proxy như tài nguyên có quyền sử dụng tạm thời: cấp lease, xoay ở ranh giới lô, kiểm tra IP ra rồi mới release. Ba bước này giúp giữ sticky ổn định, giảm 429 và tránh việc nhiều worker giành cùng một proxy. Nếu bạn dùng RoProxy, hãy bắt đầu với một proxy sticky, đo thời gian lô thực tế, rồi đặt TTL lease lớn hơn thời gian đó 20-30 giây.