[{"data":1,"prerenderedAt":35},["ShallowReactive",2],{"blog:post:vi:dong-bo-xoay-ip-timed-voi-dong-ho-he-thong-khi-scraping":3,"blog:related:vi:dong-bo-xoay-ip-timed-voi-dong-ho-he-thong-khi-scraping":22},{"slug":4,"lang":5,"title":6,"summary":7,"date":8,"tags":9,"tag_slugs":14,"thumbnail_url":15,"translations":16,"body":17,"asset_base":18,"checksum":19,"published_at":20,"content_updated_at":21},"dong-bo-xoay-ip-timed-voi-dong-ho-he-thong-khi-scraping","vi","Đồng bộ xoay IP timed với đồng hồ hệ thống khi scraping","Proxy timed đổi IP theo khoảng thời gian bạn đặt. Đồng bộ đồng hồ và lịch chạy giúp request không rơi đúng lúc đổi IP, giảm lỗi 502/504 khi scraping.","2026-11-16",[10,11,12,13],"proxy","rotation","python","troubleshooting",[10,11,12,13],"https://blog-api.ro-proxy.com/api/blog/posts/dong-bo-xoay-ip-timed-voi-dong-ho-he-thong-khi-scraping/thumbnail.svg?lang=vi",[5],"## Vì sao cần đồng bộ thời điểm xoay IP\n\nKhi dùng proxy ở chế độ timed, IP được đổi sau một khoảng thời gian bạn đặt. Vấn đề không nằm ở việc đổi IP, mà ở chỗ request của bạn có thể bắt đầu trước mốc đổi và kết thúc sau mốc đó. Lúc ấy kết nối TCP cũ có thể bị đóng giữa chừng, hoặc tầng proxy trả về 502/504. Với scraping, một request hỏng không chỉ mất dữ liệu mà còn kéo theo retry, làm hàng đợi lệch thêm.\n\nCó ba nguồn lệch thường gặp:\n\n- Đồng hồ máy chạy script lệch so với thời gian thực.\n- Khoảng xoay bạn đặt không khớp với thời điểm bắt đầu của lần xoay trước.\n- Request p95 dài hơn khoảng đệm bạn dành cho việc đổi IP.\n\nMục tiêu của bài này là làm cho lịch chạy job biết trước “cửa sổ xoay” và tránh khởi động request mới trong cửa sổ đó. Với RoProxy, proxy timed đổi IP sau khoảng thời gian bạn đặt; hãy đặt khoảng đó lớn hơn p95 của job thay vì sát với thời gian xử lý thực tế.\n\n## Đo cửa sổ xoay thực tế\n\nĐừng giả định rằng IP đổi đúng ở giây thứ T kể từ lúc bạn bắt đầu chạy. Hãy đo. Cách đơn giản là gọi một endpoint trả về IP công khai qua proxy, ghi lại thời điểm IP thay đổi, rồi lặp lại vài lần. Dùng `time.monotonic()` để tránh ảnh hưởng của việc chỉnh đồng hồ hệ thống.\n\n```python\nimport time\nimport requests\n\nPROXY = \"http://USERNAME:PASSWORD@GATEWAY_HOST:HTTP_PORT\"\nPROXIES = {\"http\": PROXY, \"https\": PROXY}\n\ndef exit_ip():\n    r = requests.get(\n        \"https://api.ipify.org?format=json\",\n        proxies=PROXIES,\n        timeout=10,\n    )\n    r.raise_for_status()\n    return r.json()[\"ip\"]\n\nlast_ip = None\nlast_seen = None\nwhile True:\n    ip = exit_ip()\n    now = time.monotonic()\n    if last_ip and ip != last_ip:\n        print(f\"Đổi IP sau {now - last_seen:.1f}s: {last_ip} -> {ip}\")\n    last_ip, last_seen = ip, now\n    time.sleep(2)\n```\n\nChạy script này ít nhất 3-5 chu kỳ. Ghi lại các khoảng `now - last_seen`. Nếu các khoảng xấp xỉ nhau, bạn có một mốc tương đối ổn định. Nếu chúng dao động, hãy lấy khoảng ngắn nhất làm chu kỳ lập kế hoạch và tăng khoảng đệm.\n\nLưu ý: đừng gọi endpoint kiểm tra IP quá dày. Hai giây một lần là đủ để thấy mốc đổi; dày hơn chỉ tạo thêm tải vô ích.\n\n### Tính khoảng đệm từ thời gian request\n\nGiả sử p95 thời gian request của bạn là 8 giây. Nếu cửa sổ xoay là 300 giây, đừng bắt đầu request mới ở giây 295. Hãy chừa một khoảng đệm:\n\n```text\nbuffer = p95_request + 5s\nsafe_deadline = rotation_epoch + interval - buffer\n```\n\nTrong code, bạn có thể kiểm tra pha của đồng hồ:\n\n```python\ndef in_rotation_window(now, epoch, interval, buffer=13):\n    phase = (now - epoch) % interval\n    return phase \u003C buffer or phase > interval - buffer\n```\n\nNếu `in_rotation_window` trả về `True`, job nên ngủ đến mốc an toàn tiếp theo thay vì cố gửi request. Điều này đặc biệt quan trọng với các job chạy song song: một worker đang chờ retry có thể vô tình bắn request đúng lúc IP đổi.\n\n## Đặt lịch job theo pha, không theo giờ tuyệt đối\n\nNhiều pipeline dùng cron mỗi 5 phút. Cron chạy theo giờ tuyệt đối, còn proxy timed xoay theo khoảng thời gian kể từ lần đổi trước. Hai đồng hồ này không tự khớp nhau. Cách bền hơn là lưu mốc xoay gần nhất và tính pha:\n\n```python\nimport time\n\nROTATION_EPOCH = 1710000000.0  # thay bằng mốc đo được, tính bằng giây\nINTERVAL = 300\nBUFFER = 13\n\ndef sleep_until_safe():\n    now = time.monotonic()\n    phase = (now - ROTATION_EPOCH) % INTERVAL\n    if phase \u003C BUFFER:\n        time.sleep(BUFFER - phase)\n    elif phase > INTERVAL - BUFFER:\n        time.sleep(INTERVAL - phase + BUFFER)\n```\n\nSau khi ngủ xong, job mới bắt đầu request. Nếu job có thể chạy lâu hơn khoảng an toàn còn lại, hãy chia nhỏ công việc hoặc dừng trước mốc xoay. Đừng để một request sống qua hai lần đổi IP.\n\n## Xử lý kết nối cũ sau khi IP đổi\n\nKhi IP đổi, connection pool cũ có thể vẫn giữ socket đã chết. Với thư viện `requests`, cách đơn giản là không dùng một đối tượng client tồn tại quá lâu; tạo lời gọi mới sau mỗi cửa sổ xoay. Nếu bạn dùng `httpx.Client`, hãy đóng client cũ và mở client mới sau mốc xoay.\n\n```python\nimport time\nimport requests\n\nPROXY = \"http://USERNAME:PASSWORD@GATEWAY_HOST:HTTP_PORT\"\nPROXIES = {\"http\": PROXY, \"https\": PROXY}\n\ndef fetch(url, attempts=3):\n    for i in range(attempts):\n        try:\n            r = requests.get(url, proxies=PROXIES, timeout=15)\n            if r.status_code in (502, 504):\n                raise requests.HTTPError(f\"proxy trả về {r.status_code}\")\n            r.raise_for_status()\n            return r\n        except requests.RequestException:\n            if i == attempts - 1:\n                raise\n            time.sleep(2 ** i)\n```\n\nVới các job dài, hãy ghi log theo UTC và kèm theo `phase` tại thời điểm gửi request. Khi có lỗi, bạn sẽ biết request rơi vào pha nào thay vì chỉ thấy “502”.\n\n## Kiểm tra đồng hồ trước khi đổ lỗi cho proxy\n\nTrước khi kết luận proxy xoay sai, hãy kiểm tra đồng hồ máy chủ:\n\n```bash\ntimedatectl status\nchronyc tracking\n```\n\nNếu máy chủ bị trôi vài giây, mọi tính toán pha đều lệch. Trong container, đồng hồ thường lấy từ host, nhưng không phải lúc nào cũng được đồng bộ. Hãy dùng NTP hoặc chrony, và ghi log bằng UTC. Múi giờ địa phương không ảnh hưởng đến `time.monotonic()`, nhưng lại ảnh hưởng nếu bạn lưu mốc xoay bằng giờ treo tường.\n\n### Checklist trước khi chạy tải lớn\n\n1. Đo ít nhất 3 chu kỳ xoay và ghi lại khoảng thời gian.\n2. Tính p95 thời gian request cho đúng loại endpoint bạn sẽ scraping.\n3. Đặt buffer = p95 + 5 giây, tối thiểu 10 giây.\n4. Chặn không cho job bắt đầu request trong cửa sổ xoay.\n5. Đóng client cũ sau mỗi mốc xoay.\n6. Ghi log UTC kèm pha và mã lỗi.\n7. Kiểm tra NTP/chrony trên máy chạy job.\n\n## Kết luận\n\nĐồng bộ thời điểm xoay IP không phải là việc khó, nhưng nó đòi hỏi bạn đo thay vì đoán. Khi biết cửa sổ xoay thực tế và thời gian request p95, bạn có thể đặt lịch job tránh đúng biên đổi IP, giảm 502/504 và giảm retry. Với RoProxy, hãy chọn khoảng xoay timed đủ lớn so với p95 của job, và kiểm tra lại pha sau mỗi lần thay đổi cấu hình. Một chút kỷ luật về đồng hồ và kết nối sẽ giúp scraper chạy ổn định hơn nhiều so với việc liên tục đổi proxy khi gặp lỗi.\n","https://blog-api.ro-proxy.com/api/blog/posts/dong-bo-xoay-ip-timed-voi-dong-ho-he-thong-khi-scraping/assets","980eaab5a91b007245ca0bcc99c448c5dffbc8d32f29f7b9c25044a4c135baec","2026-11-16T01:07:43.20721Z","2026-11-16T01:07:43.210881Z",[23,27,31],{"slug":24,"title":25,"summary":26},"dong-bo-xoay-ip-nhieu-worker-python","Đồng bộ xoay IP giữa nhiều worker Python","Nhiều worker dùng chung proxy mà tự xoay IP sẽ phá sticky và tăng 429. Cách cấp lease, xoay theo lô và kiểm tra IP ra bằng Python.",{"slug":28,"title":29,"summary":30},"tinh-so-proxy-can-cho-job-scraping","Tính số proxy cần cho job scraping: công thức và kiểm chứng","Công thức tính số proxy cần thiết từ tốc độ request, ngưỡng mỗi IP và tỉ lệ lỗi, kèm script Python đo và kiểm chứng trước khi chạy thật.",{"slug":32,"title":33,"summary":34},"cau-lay-proxy-cho-cron-tu-dong","Cấu hình proxy cho cron tự động","Cấu hình proxy cho tác vụ chạy theo lịch để giữ nhịp độ ổn định, tránh đổi IP bất ngờ và xử lý lỗi trong ứng dụng tự động.",1794816131877]