Đồng bộ xoay IP timed với đồng hồ hệ thống khi scraping
16 tháng 11, 2026
Vì sao cần đồng bộ thời điểm xoay IP
Khi dùng proxy ở chế độ timed, IP được đổi sau một khoảng thời gian bạn đặt. Vấn đề không nằm ở việc đổi IP, mà ở chỗ request của bạn có thể bắt đầu trước mốc đổi và kết thúc sau mốc đó. Lúc ấy kết nối TCP cũ có thể bị đóng giữa chừng, hoặc tầng proxy trả về 502/504. Với scraping, một request hỏng không chỉ mất dữ liệu mà còn kéo theo retry, làm hàng đợi lệch thêm.
Có ba nguồn lệch thường gặp:
- Đồng hồ máy chạy script lệch so với thời gian thực.
- Khoảng xoay bạn đặt không khớp với thời điểm bắt đầu của lần xoay trước.
- Request p95 dài hơn khoảng đệm bạn dành cho việc đổi IP.
Mục tiêu của bài này là làm cho lịch chạy job biết trước “cửa sổ xoay” và tránh khởi động request mới trong cửa sổ đó. Với RoProxy, proxy timed đổi IP sau khoảng thời gian bạn đặt; hãy đặt khoảng đó lớn hơn p95 của job thay vì sát với thời gian xử lý thực tế.
Đo cửa sổ xoay thực tế
Đừng giả định rằng IP đổi đúng ở giây thứ T kể từ lúc bạn bắt đầu chạy. Hãy đo. Cách đơn giản là gọi một endpoint trả về IP công khai qua proxy, ghi lại thời điểm IP thay đổi, rồi lặp lại vài lần. Dùng time.monotonic() để tránh ảnh hưởng của việc chỉnh đồng hồ hệ thống.
import time
import requests
PROXY = "http://USERNAME:PASSWORD@GATEWAY_HOST:HTTP_PORT"
PROXIES = {"http": PROXY, "https": PROXY}
def exit_ip():
r = requests.get(
"https://api.ipify.org?format=json",
proxies=PROXIES,
timeout=10,
)
r.raise_for_status()
return r.json()["ip"]
last_ip = None
last_seen = None
while True:
ip = exit_ip()
now = time.monotonic()
if last_ip and ip != last_ip:
print(f"Đổi IP sau {now - last_seen:.1f}s: {last_ip} -> {ip}")
last_ip, last_seen = ip, now
time.sleep(2)
Chạy script này ít nhất 3-5 chu kỳ. Ghi lại các khoảng now - last_seen. Nếu các khoảng xấp xỉ nhau, bạn có một mốc tương đối ổn định. Nếu chúng dao động, hãy lấy khoảng ngắn nhất làm chu kỳ lập kế hoạch và tăng khoảng đệm.
Lưu ý: đừng gọi endpoint kiểm tra IP quá dày. Hai giây một lần là đủ để thấy mốc đổi; dày hơn chỉ tạo thêm tải vô ích.
Tính khoảng đệm từ thời gian request
Giả sử p95 thời gian request của bạn là 8 giây. Nếu cửa sổ xoay là 300 giây, đừng bắt đầu request mới ở giây 295. Hãy chừa một khoảng đệm:
buffer = p95_request + 5s
safe_deadline = rotation_epoch + interval - buffer
Trong code, bạn có thể kiểm tra pha của đồng hồ:
def in_rotation_window(now, epoch, interval, buffer=13):
phase = (now - epoch) % interval
return phase < buffer or phase > interval - buffer
Nếu in_rotation_window trả về True, job nên ngủ đến mốc an toàn tiếp theo thay vì cố gửi request. Điều này đặc biệt quan trọng với các job chạy song song: một worker đang chờ retry có thể vô tình bắn request đúng lúc IP đổi.
Đặt lịch job theo pha, không theo giờ tuyệt đối
Nhiều pipeline dùng cron mỗi 5 phút. Cron chạy theo giờ tuyệt đối, còn proxy timed xoay theo khoảng thời gian kể từ lần đổi trước. Hai đồng hồ này không tự khớp nhau. Cách bền hơn là lưu mốc xoay gần nhất và tính pha:
import time
ROTATION_EPOCH = 1710000000.0 # thay bằng mốc đo được, tính bằng giây
INTERVAL = 300
BUFFER = 13
def sleep_until_safe():
now = time.monotonic()
phase = (now - ROTATION_EPOCH) % INTERVAL
if phase < BUFFER:
time.sleep(BUFFER - phase)
elif phase > INTERVAL - BUFFER:
time.sleep(INTERVAL - phase + BUFFER)
Sau khi ngủ xong, job mới bắt đầu request. Nếu job có thể chạy lâu hơn khoảng an toàn còn lại, hãy chia nhỏ công việc hoặc dừng trước mốc xoay. Đừng để một request sống qua hai lần đổi IP.
Xử lý kết nối cũ sau khi IP đổi
Khi IP đổi, connection pool cũ có thể vẫn giữ socket đã chết. Với thư viện requests, cách đơn giản là không dùng một đối tượng client tồn tại quá lâu; tạo lời gọi mới sau mỗi cửa sổ xoay. Nếu bạn dùng httpx.Client, hãy đóng client cũ và mở client mới sau mốc xoay.
import time
import requests
PROXY = "http://USERNAME:PASSWORD@GATEWAY_HOST:HTTP_PORT"
PROXIES = {"http": PROXY, "https": PROXY}
def fetch(url, attempts=3):
for i in range(attempts):
try:
r = requests.get(url, proxies=PROXIES, timeout=15)
if r.status_code in (502, 504):
raise requests.HTTPError(f"proxy trả về {r.status_code}")
r.raise_for_status()
return r
except requests.RequestException:
if i == attempts - 1:
raise
time.sleep(2 ** i)
Với các job dài, hãy ghi log theo UTC và kèm theo phase tại thời điểm gửi request. Khi có lỗi, bạn sẽ biết request rơi vào pha nào thay vì chỉ thấy “502”.
Kiểm tra đồng hồ trước khi đổ lỗi cho proxy
Trước khi kết luận proxy xoay sai, hãy kiểm tra đồng hồ máy chủ:
timedatectl status
chronyc tracking
Nếu máy chủ bị trôi vài giây, mọi tính toán pha đều lệch. Trong container, đồng hồ thường lấy từ host, nhưng không phải lúc nào cũng được đồng bộ. Hãy dùng NTP hoặc chrony, và ghi log bằng UTC. Múi giờ địa phương không ảnh hưởng đến time.monotonic(), nhưng lại ảnh hưởng nếu bạn lưu mốc xoay bằng giờ treo tường.
Checklist trước khi chạy tải lớn
- Đo ít nhất 3 chu kỳ xoay và ghi lại khoảng thời gian.
- Tính p95 thời gian request cho đúng loại endpoint bạn sẽ scraping.
- Đặt buffer = p95 + 5 giây, tối thiểu 10 giây.
- Chặn không cho job bắt đầu request trong cửa sổ xoay.
- Đóng client cũ sau mỗi mốc xoay.
- Ghi log UTC kèm pha và mã lỗi.
- Kiểm tra NTP/chrony trên máy chạy job.
Kết luận
Đồng bộ thời điểm xoay IP không phải là việc khó, nhưng nó đòi hỏi bạn đo thay vì đoán. Khi biết cửa sổ xoay thực tế và thời gian request p95, bạn có thể đặt lịch job tránh đúng biên đổi IP, giảm 502/504 và giảm retry. Với RoProxy, hãy chọn khoảng xoay timed đủ lớn so với p95 của job, và kiểm tra lại pha sau mỗi lần thay đổi cấu hình. Một chút kỷ luật về đồng hồ và kết nối sẽ giúp scraper chạy ổn định hơn nhiều so với việc liên tục đổi proxy khi gặp lỗi.