[{"data":1,"prerenderedAt":36},["ShallowReactive",2],{"blog:post:vi:tinh-so-proxy-can-cho-job-scraping":3,"blog:related:vi:tinh-so-proxy-can-cho-job-scraping":23},{"slug":4,"lang":5,"title":6,"summary":7,"date":8,"tags":9,"tag_slugs":15,"thumbnail_url":16,"translations":17,"body":18,"asset_base":19,"checksum":20,"published_at":21,"content_updated_at":22},"tinh-so-proxy-can-cho-job-scraping","vi","Tính số proxy cần cho job scraping: công thức và kiểm chứng","Công thức tính số proxy cần thiết từ tốc độ request, ngưỡng mỗi IP và tỉ lệ lỗi, kèm script Python đo và kiểm chứng trước khi chạy thật.","2026-11-12",[10,11,12,13,14],"proxy","rotation","python","scraping","rate-limit",[10,11,12,13,14],"https://blog-api.ro-proxy.com/api/blog/posts/tinh-so-proxy-can-cho-job-scraping/thumbnail.svg?lang=vi",[5],"## Vì sao phải tính số proxy trước khi chạy\n\nPhần lớn sự cố khi scraping không đến từ code mà đến từ bài toán chia tải. Nếu bạn mở 20 worker trên 3 proxy, mỗi IP nhận khoảng 7 request đồng thời, và một ngưỡng 40 request mỗi phút sẽ bị đốt trong vài giây. Kết quả là một chuỗi 429, rồi retry, rồi retry của retry. Cuối cùng bạn kết luận proxy không dùng được, trong khi vấn đề nằm ở phép chia.\n\nTính theo hướng ngược lại cũng tốn: thuê nhiều proxy hơn mức cần không làm job nhanh hơn, vì nút thắt là độ trễ của trang đích chứ không phải số IP. Tính trước cho bạn ba thứ cụ thể: một con số để đặt hàng, một ngưỡng để giới hạn worker, và một tiêu chí để biết khi nào nên giảm tốc thay vì thêm IP.\n\n## Năm biến số cần biết\n\n- **R**: tổng tốc độ request bạn cần hoàn thành, tính bằng request mỗi giây.\n- **L**: độ trễ p95 của một request qua proxy, tính bằng giây. Dùng p95, không dùng giá trị trung bình.\n- **e**: tỉ lệ request phải gửi lại. e = 0.08 nghĩa là cứ 100 request thì 8 request cần thử lần hai.\n- **B**: số request an toàn mà một IP chịu được trong cửa sổ 60 giây.\n- **k**: số request đồng thời tối đa bạn cho phép trên một IP. Với scraping thông thường, k bằng 1 hoặc 2.\n\ne quan trọng vì retry làm phình tải: nếu e = 0.1 thì tải thực tế bạn đẩy vào proxy là R / 0.9, hơn 11% so với dự tính. B không phải thông số của nhà cung cấp, nó là thuộc tính của trang đích, nên phải đo.\n\n## Công thức và thứ tự tính\n\n### Bước 1: quy đổi tốc độ mục tiêu\n\nTải thực tế cần đẩy qua proxy: R_thực = R / (1 - e).\n\n### Bước 2: sức chứa của một IP\n\nMột IP chịu B request mỗi 60 giây, tức B / 60 request mỗi giây. Số proxy cần theo rate limit:\n\n```text\nN_rate = ceil(60 × R_thực / B)\n```\n\n### Bước 3: ràng buộc concurrency\n\nTheo định luật Little, số request đang bay cùng lúc là R_thực × L. Chia cho k:\n\n```text\nN_conc = ceil(R_thực × L / k)\n```\n\nĐây là ràng buộc hay bị bỏ sót. Khi request chậm, N_conc thường vượt N_rate, và lúc đó việc thêm IP theo rate limit là vô nghĩa: bạn vẫn nghẽn ở số kết nối đồng thời.\n\n### Bước 4: cộng biên an toàn\n\n```text\nN = ceil(max(N_rate, N_conc) × (1 + m)),  m từ 0.15 đến 0.25\n```\n\nBiên m bù cho IP bị cháy giữa job và cho sai số của L, e đo được trong điều kiện lý tưởng.\n\n## Ví dụ tính tay\n\nGiả sử R = 5 request mỗi giây, L = 2.5 giây, e = 0.08, B = 40, k = 1, m = 0.2.\n\n- R_thực = 5 / 0.92 = 5.43 request mỗi giây\n- N_rate = ceil(60 × 5.43 / 40) = ceil(8.15) = 9\n- N_conc = ceil(5.43 × 2.5 / 1) = ceil(13.6) = 14\n- N = ceil(14 × 1.2) = 17 proxy\n\nConcurrency quyết định, không phải rate limit. Nếu chỉ thuê 9 proxy theo N_rate, 14 worker sẽ xếp hàng chờ và throughput thực tế rơi xuống khoảng 9 / 2.5 = 3.6 request mỗi giây, thấp hơn 28% so với mục tiêu.\n\nBảng tra nhanh N_rate khi e = 0:\n\n| R (request mỗi giây) | B = 30 | B = 60 | B = 120 |\n|---|---|---|---|\n| 2 | 4 | 2 | 1 |\n| 5 | 10 | 5 | 3 |\n| 10 | 20 | 10 | 5 |\n\n## Đo biến số thay vì đoán\n\nMỗi proxy bạn mua từ RoProxy có username và password riêng, kết nối qua một gateway host trên cổng HTTP dùng cho cả HTTP và HTTPS; plan Pro và Business còn có cổng SOCKS5. Vì vậy phần cấu hình chỉ gói lại trong một URL proxy duy nhất theo mẫu `http://USERNAME:PASSWORD@GATEWAY_HOST:HTTP_PORT`, và mọi phép đo bên dưới đều dùng chung URL đó.\n\n### Đo độ trễ và tỉ lệ lỗi\n\nChạy một lượt hiệu chuẩn ngắn qua một proxy duy nhất, ở mức tải thấp để không tự gây chặn, rồi lấy p95 và e.\n\n```python\nimport statistics\nimport time\nimport requests\nfrom concurrent.futures import ThreadPoolExecutor\n\nPROXY = 'http://USERNAME:PASSWORD@GATEWAY_HOST:HTTP_PORT'\nPROXIES = {'http': PROXY, 'https': PROXY}\nURL = 'https://example.com/api/items?page=1'\n\ndef one_call(_: int) -> tuple[int, float]:\n    started = time.perf_counter()\n    try:\n        code = requests.get(URL, proxies=PROXIES, timeout=20).status_code\n    except requests.RequestException:\n        code = 0\n    return code, time.perf_counter() - started\n\ndef calibrate(total: int = 120, workers: int = 4) -> dict:\n    with ThreadPoolExecutor(max_workers=workers) as pool:\n        results = list(pool.map(one_call, range(total)))\n\n    ok = sorted(lat for code, lat in results if code == 200)\n    if not ok:\n        return {'tổng': total, 'thành công': 0, 'không có mẫu độ trễ'}\n\n    return {\n        'tổng': total,\n        'thành công': len(ok),\n        'bị giới hạn': sum(1 for c, _ in results if c in (403, 429)),\n        'lỗi kết nối': sum(1 for c, _ in results if c == 0),\n        'e': round(1 - len(ok) / total, 3),\n        'p50': round(statistics.median(ok), 2),\n        'p95': round(ok[int(len(ok) * 0.95) - 1], 2),\n    }\n\nprint(calibrate())\n```\n\nĐọc kết quả theo thứ tự: nếu tỉ lệ lỗi kết nối cao, vấn đề nằm ở mạng hoặc ở proxy chứ không phải ở rate limit, và việc thêm IP không giúp gì. Chỉ khi lỗi chủ yếu là 429 thì B mới là biến số cần dò.\n\n### Tìm ngưỡng an toàn của một IP\n\nDò nhị phân: gửi đúng một lượng request trong 60 giây và đếm số phản hồi 403/429.\n\n```python\ndef count_limited(rpm: int, duration: int = 60) -> int:\n    codes = []\n    for _ in range(rpm):\n        codes.append(one_call(0)[0])\n        time.sleep(duration / rpm)\n    return sum(1 for c in codes if c in (403, 429))\n\ndef find_safe_budget(low: int = 10, high: int = 300) -> int:\n    while high - low > 5:\n        mid = (low + high) // 2\n        if count_limited(mid) == 0:\n            low = mid\n        else:\n            high = mid\n    return int(low * 0.7)   # B an toàn, không phải ngưỡng chặn\n\nprint('B =', find_safe_budget())\n```\n\nLượt dò này đốt một IP, nên hãy dùng một proxy riêng cho việc hiệu chuẩn và không dùng proxy đang phục vụ job thật.\n\n## Đối chiếu với số proxy đang có\n\nSau khi có N, hãy lấy số proxy thực tế của tài khoản và so sánh:\n\n```python\nr = requests.get(\n    'https://backend-api.ro-proxy.com/api/session',\n    headers={'Authorization': 'Bearer API_KEY'},\n    timeout=15,\n)\nr.raise_for_status()\nprint(r.json())   # xem cấu trúc thực tế rồi mới đếm\n```\n\nNếu số proxy ít hơn N, hãy xử lý theo thứ tự ưu tiên này: giảm R về mức N đáp ứng được, giảm k xuống 1 và chấp nhận job chạy lâu hơn, hoặc giảm khối lượng công việc bằng cách gộp nhiều trang vào một request (phân trang lớn hơn, dùng API thay vì HTML, lọc phía server).\n\n## Khi không thể tăng số proxy\n\n- **Lệch pha cửa sổ.** Nếu mọi IP cùng bắt đầu cửa sổ 60 giây, chúng sẽ cùng đập vào trần vào cùng một thời điểm. Khởi động worker so le nhau vài giây để các cửa sổ không trùng đỉnh.\n- **Đặt chu kỳ xoay dài hơn cửa sổ.** Với B đo trên cửa sổ 60 giây, khoảng thời gian timed rotation nên là 90 đến 120 giây. Xoay sớm hơn sẽ cắt đôi cửa sổ và làm bạn mất phần dung lượng vừa đo.\n- **Xoay khi gặp 429 thay vì chờ hết chu kỳ.** Trên plan cho phép, gọi ngay `POST https://backend-api.ro-proxy.com/api/session/SESSION_ID/rotate` khi tỉ lệ 429 vượt ngưỡng, rồi mới tính lại nhịp gửi.\n- **Dùng cache có điều kiện.** ETag và Last-Modified giúp request lần hai gần như miễn phí về phía trang đích, và thường không bị tính vào hạn mức.\n- **Kiểm tra exit IP sau khi xoay.** Một lần gọi tới `https://api.ipify.org?format=json` xác nhận IP đã đổi thật; nếu không, mọi phép chia tải phía trên đều sai vì nhiều worker vẫn dùng chung một IP.\n\n## Những sai lầm làm phép tính sai lệch\n\n- **Lấy độ trễ trung bình thay vì p95.** Đuôi phân phối quyết định số worker phải chờ, không phải giá trị trung bình.\n- **Bỏ qua retry amplification.** Vòng lặp retry không giới hạn có thể biến 5 request mỗi giây thành 15.\n- **Coi mọi 403 là rate limit.** 403 do thiếu header, do TLS fingerprint hoặc do chặn theo khu vực không được giải quyết bằng thêm IP.\n- **Ngoại suy tuyến tính.** Đo trên một IP rồi nhân lên là cách nhanh nhất để sai; hành vi chặn thường phi tuyến quanh ngưỡng.\n- **Khởi động hết công suất.** Hãy ramp dần trong 2 đến 3 phút đầu để hệ thống phòng thủ của trang đích kịp phân loại lưu lượng.\n- **Không đo lại.** Trang đích đổi cấu hình chống bot là chuyện thường, nên B và L cần đo lại định kỳ.\n\n## Kết luận\n\nSố proxy cần thiết là max của hai ràng buộc: rate limit trên mỗi IP và số kết nối đồng thời. Đo L ở mức p95, đo e từ một lượt hiệu chuẩn thật, dò B bằng nhị phân, rồi cộng biên 15 đến 25%. Cách này biến một quyết định cảm tính thành một con số có thể bảo vệ được khi ai đó hỏi vì sao job chậm.\n\nKhi triển khai với RoProxy, hãy lấy số proxy thực tế từ API trước khi chốt tốc độ, đặt khoảng thời gian timed dài hơn cửa sổ đã đo, và lưu ý rằng gói Free đổi IP theo lịch cố định, không xoay bằng tay được, nên đừng hiệu chuẩn dựa trên rotate thủ công ở gói đó.\n\n---\n\nBạn thường gặp nút thắt nào trước: rate limit trên mỗi IP hay số kết nối đồng thời? Nếu đã có số đo của mình, hãy thử điền vào công thức trên và so với N bạn đang dùng.\n","https://blog-api.ro-proxy.com/api/blog/posts/tinh-so-proxy-can-cho-job-scraping/assets","6517dc8bc7bbdc474d8d606e8426f8a82cbc5c6fce807f43957d261175a4197f","2026-11-12T01:04:14.500146Z","2026-11-12T01:04:14.501855Z",[24,28,32],{"slug":25,"title":26,"summary":27},"quy-trinh-lam-nong-ip-proxy-truoc-khi-scraping","Quy Trình Làm Nóng IP Proxy Trước Khi Scraping Để Tránh Bị Chặn","Tìm hiểu lý do IP mới bị giới hạn tốc độ và cách xây dựng quy trình làm nóng IP có kiểm soát để giảm tỷ lệ chặn khi bắt đầu scraping.",{"slug":29,"title":30,"summary":31},"dong-bo-xoay-ip-timed-voi-dong-ho-he-thong-khi-scraping","Đồng bộ xoay IP timed với đồng hồ hệ thống khi scraping","Proxy timed đổi IP theo khoảng thời gian bạn đặt. Đồng bộ đồng hồ và lịch chạy giúp request không rơi đúng lúc đổi IP, giảm lỗi 502/504 khi scraping.",{"slug":33,"title":34,"summary":35},"dong-bo-xoay-ip-nhieu-worker-python","Đồng bộ xoay IP giữa nhiều worker Python","Nhiều worker dùng chung proxy mà tự xoay IP sẽ phá sticky và tăng 429. Cách cấp lease, xoay theo lô và kiểm tra IP ra bằng Python.",1794816131989]