[{"data":1,"prerenderedAt":35},["ShallowReactive",2],{"blog:post:vi:dong-bo-xoay-ip-nhieu-worker-python":3,"blog:related:vi:dong-bo-xoay-ip-nhieu-worker-python":22},{"slug":4,"lang":5,"title":6,"summary":7,"date":8,"tags":9,"tag_slugs":14,"thumbnail_url":15,"translations":16,"body":17,"asset_base":18,"checksum":19,"published_at":20,"content_updated_at":21},"dong-bo-xoay-ip-nhieu-worker-python","vi","Đồng bộ xoay IP giữa nhiều worker Python","Nhiều worker dùng chung proxy mà tự xoay IP sẽ phá sticky và tăng 429. Cách cấp lease, xoay theo lô và kiểm tra IP ra bằng Python.","2026-11-14",[10,11,12,13],"proxy","rotation","python","automation",[10,11,12,13],"https://blog-api.ro-proxy.com/api/blog/posts/dong-bo-xoay-ip-nhieu-worker-python/thumbnail.svg?lang=vi",[5],"Khi job scraping chạy 6-8 worker, mỗi worker tự gọi xoay IP sau mỗi 50 request, kết quả thường không phải tăng tốc mà là 429 xuất hiện sớm hơn. Lý do không nằm ở số proxy, mà ở chỗ một proxy bị nhiều worker dùng chung và lệnh xoay rơi vào giữa lô đang chạy. Bài này tập trung vào một việc: cấp quyền sử dụng proxy theo lease, xoay ở ranh giới lô và kiểm tra IP ra trước khi nhận việc tiếp theo.\n\n## Vì sao xoay IP tự do làm hỏng job song song\n\nMột proxy có hai kiểu xoay: sticky giữ IP cho đến khi bị xoay hoặc IP lỗi, timed đổi IP sau một khoảng thời gian. Cả hai đều không tự biết worker nào đang làm gì. Khi nhiều worker cùng dùng một proxy:\n\n- Worker A đang giữ chuỗi thao tác đăng nhập thì worker B gọi xoay. IP đổi giữa chừng, cookie hoặc trạng thái phiên có thể bị vô hiệu.\n- Với chế độ timed, worker nhận lô ở giây thứ 55 của interval 60 giây. Lô chưa xong thì IP đã đổi.\n- Hai worker gọi xoay cùng lúc. IP đổi hai lần, lần thứ hai không mang lại lợi ích gì mà còn làm mất tính ổn định.\n- Không có lease, ba worker có thể cùng trỏ vào một proxy trong khi proxy khác ngồi không.\n\nHệ quả thường gặp là 429, 403, hoặc nội dung trả về không nhất quán. Tăng số worker lúc này chỉ làm lỗi đến nhanh hơn.\n\n## Chọn chế độ xoay theo kiểu job\n\nTrước khi viết code, hãy phân loại job:\n\n- **Job cần chuỗi thao tác liên tục** như đăng nhập, thêm giỏ hàng, kiểm tra trạng thái đơn: dùng sticky, chia lô nhỏ, chỉ xoay sau khi chuỗi thao tác kết thúc.\n- **Job đọc dữ liệu công khai** như danh sách sản phẩm, trang tìm kiếm: dùng timed, đặt độ dài lô ngắn hơn interval ít nhất 10-15%, không gọi xoay thủ công.\n- **Proxy free** đổi IP theo lịch cố định và không xoay tay được. Với loại này, thiết kế job ngắn, lưu checkpoint, và không giả định IP sẽ giữ nguyên đến cuối job dài.\n\nĐiểm chung: đừng để việc xoay IP do từng worker tự quyết. Hãy để một lớp điều phối cấp proxy cho worker.\n\n## Thiết kế lease cho proxy\n\nLease là quyền sử dụng proxy trong một khoảng thời gian. Có bốn thành phần:\n\n1. **Khóa theo proxy ID.** Mỗi proxy có một ID; trong API xoay, ID nằm ở vị trí SESSION_ID. Khóa nên có prefix riêng, ví dụ `lease:proxy:{proxy_id}`.\n2. **TTL lớn hơn thời gian lô tối đa.** Nếu lô thường 90 giây, đặt TTL 120 giây. TTL quá ngắn làm khóa hết hạn khi worker vẫn chạy; TTL quá dài giữ proxy nhàn rỗi.\n3. **Token ngẫu nhiên.** Khi release, chỉ xóa khóa nếu token còn khớp. Điều này tránh worker chậm xóa nhầm khóa của worker khác.\n4. **Xoay trong lúc vẫn giữ khóa.** Worker xoay trước khi release, để không worker nào dùng proxy đúng lúc IP đang đổi.\n\nVới RoProxy, mỗi proxy có username và password riêng, kết nối qua GATEWAY_HOST và HTTP_PORT cho cả HTTP lẫn HTTPS; gói Pro và Business có thêm SOCKS5_PORT. Trên gói Pro và Business, endpoint `POST https://backend-api.ro-proxy.com/api/session/SESSION_ID/rotate` đổi IP ngay, với header `Authorization: Bearer API_KEY`.\n\n## Code: lease, xoay và kiểm tra IP ra\n\nVí dụ dùng Redis làm nơi giữ lease. Redis phù hợp khi worker chạy trên nhiều máy; nếu chỉ chạy một máy, vẫn có thể dùng cùng mô hình với một tiến trình điều phối.\n\n```python\nimport json\nimport os\nimport time\nimport urllib.request\nfrom contextlib import contextmanager\n\nimport redis\n\nr = redis.Redis(\n    host=os.getenv(\"REDIS_HOST\", \"127.0.0.1\"),\n    port=int(os.getenv(\"REDIS_PORT\", \"6379\")),\n    decode_responses=True,\n)\n\nPROXY_URL = (\n    f\"http://{os.environ['USERNAME']}:{os.environ['PASSWORD']}\"\n    f\"@{os.environ['GATEWAY_HOST']}:{os.environ['HTTP_PORT']}\"\n)\nROTATE_URL = \"https://backend-api.ro-proxy.com/api/session/{proxy_id}/rotate\"\n\n\n@contextmanager\ndef lease(proxy_id: str, ttl_ms: int = 120_000):\n    key = f\"lease:proxy:{proxy_id}\"\n    token = os.urandom(8).hex()\n    ok = r.set(key, token, nx=True, px=ttl_ms)\n    if not ok:\n        raise RuntimeError(\"proxy đang được worker khác giữ\")\n    try:\n        yield token\n    finally:\n        r.eval(\n            \"if redis.call('get', KEYS[1]) == ARGV[1] then \"\n            \"return redis.call('del', KEYS[1]) else return 0 end\",\n            1,\n            key,\n            token,\n        )\n\n\ndef rotate(proxy_id: str) -> int:\n    req = urllib.request.Request(\n        ROTATE_URL.format(proxy_id=proxy_id),\n        method=\"POST\",\n        headers={\"Authorization\": f\"Bearer {os.environ['API_KEY']}\"},\n    )\n    with urllib.request.urlopen(req, timeout=15) as resp:\n        return resp.status\n\n\ndef exit_ip() -> str:\n    opener = urllib.request.build_opener(\n        urllib.request.ProxyHandler({\"http\": PROXY_URL, \"https\": PROXY_URL})\n    )\n    with opener.open(\"https://api.ipify.org?format=json\", timeout=10) as resp:\n        return json.load(resp)[\"ip\"]\n```\n\nWorker chỉ nhận lô khi lease thành công:\n\n```python\ndef run_batch(proxy_id: str, urls: list[str]):\n    with lease(proxy_id, ttl_ms=150_000):\n        ip_truoc = exit_ip()\n        for url in urls:\n            opener = urllib.request.build_opener(\n                urllib.request.ProxyHandler({\"http\": PROXY_URL, \"https\": PROXY_URL})\n            )\n            req = urllib.request.Request(url, headers={\"User-Agent\": \"Mozilla/5.0\"})\n            with opener.open(req, timeout=20) as resp:\n                resp.read(1024)\n\n        rotate(proxy_id)\n        time.sleep(2)\n        ip_sau = exit_ip()\n        print(proxy_id, ip_truoc, \"->\", ip_sau)\n```\n\nNếu proxy ở chế độ timed, bỏ lệnh `rotate` và chỉ dùng lô ngắn hơn interval. Nếu username hoặc password có ký tự đặc biệt, percent-encode trước khi ghép URL; nếu không, lỗi 407 có thể xuất hiện dù thông tin đúng.\n\n## Kiểm tra và ghi log\n\nĐừng chỉ log status code. Mỗi lô nên ghi:\n\n- `proxy_id`, `ip_truoc`, `ip_sau`, thời điểm bắt đầu và kết thúc.\n- Số request, số lần gặp 429/403, thời gian chờ trung bình.\n- Kết quả của lần xoay: thành công, lỗi xác thực, hay IP không đổi.\n\nNếu sau khi xoay 2-3 giây mà IP ra vẫn giữ nguyên, hãy trả proxy về hàng đợi và thử lại sau. Nếu lỗi 401 khi gọi API xoay, kiểm tra API_KEY và header Bearer. Nếu lỗi 429 tăng, giảm kích thước lô hoặc tăng khoảng nghỉ; đừng thêm worker ngay.\n\n## Kết luận\n\nXoay IP không khó; khó là xoay đúng lúc. Với job chạy song song, hãy coi proxy như tài nguyên có quyền sử dụng tạm thời: cấp lease, xoay ở ranh giới lô, kiểm tra IP ra rồi mới release. Ba bước này giúp giữ sticky ổn định, giảm 429 và tránh việc nhiều worker giành cùng một proxy. Nếu bạn dùng RoProxy, hãy bắt đầu với một proxy sticky, đo thời gian lô thực tế, rồi đặt TTL lease lớn hơn thời gian đó 20-30 giây.\n","https://blog-api.ro-proxy.com/api/blog/posts/dong-bo-xoay-ip-nhieu-worker-python/assets","268f6283b62eb2522faeb2affdc7f355023d60738f16f1469484ef058ae1b406","2026-11-14T01:04:17.385573Z","2026-11-14T01:04:17.387432Z",[23,27,31],{"slug":24,"title":25,"summary":26},"xay-dung-he-thong-proxy-pool-tu-dong-cho-quan-ly-tai-khoan","Xây dựng hệ thống proxy pool tự động cho quản lý tài khoản","Phương pháp xây dựng hệ thống proxy pool động để quản lý nhiều tài khoản, giảm thời gian triển khai và tăng tính sẵn sàn cho multi-account.",{"slug":28,"title":29,"summary":30},"dong-bo-xoay-ip-timed-voi-dong-ho-he-thong-khi-scraping","Đồng bộ xoay IP timed với đồng hồ hệ thống khi scraping","Proxy timed đổi IP theo khoảng thời gian bạn đặt. Đồng bộ đồng hồ và lịch chạy giúp request không rơi đúng lúc đổi IP, giảm lỗi 502/504 khi scraping.",{"slug":32,"title":33,"summary":34},"tinh-so-proxy-can-cho-job-scraping","Tính số proxy cần cho job scraping: công thức và kiểm chứng","Công thức tính số proxy cần thiết từ tốc độ request, ngưỡng mỗi IP và tỉ lệ lỗi, kèm script Python đo và kiểm chứng trước khi chạy thật.",1794816131924]