Kiểm tra phản hồi API khác nhau giữa IP datacenter và residential

Giới thiệu

Một API cùng endpoint, cùng header, nhưng lại trả về kết quả khác nhau tùy vào địa chỉ IP gửi yêu cầu là chuyện thường gặp với hệ thống chống bot, tự động, định giá động và kiểm soát nội dung theo khu vực. Nếu bạn chỉ kiểm tra qua một loại proxy, dễ bỏ qua những dấu hiệu này cho đến khi sản xuất bị ảnh hưởng.

Mục tiêu là xác định sớm khi nào hệ thống đang đối xử khác nhau với lưu lượng tự động và lưu lượng người dùng thật, từ đó điều chỉnh chiến lược scraping hoặc cấu hình hệ thống của mình.

1. Tại sao IP datacenter và residential lại khác nhau?

Proxy datacenter thường được cung cấp từ trung tâm dữ liệu. Các hệ thống bảo mật dễ nhận diện dải IP này và coi là lưu lượng bot. Ngược lại, proxy residential sử dụng địa chỉ IP của gia đình hoặc mạng di động thực tế, nên trông giống người dùng thông thường hơn.

Khi đó, cùng một yêu cầu có thể nhận các phản hồi khác nhau:

• Mã trạng thái 200 với residential nhưng 429 hoặc 403 với datacenter.
• Nội dung giá sản phẩm cao hơn khi truy cập từ datacenter.
• Trang CAPTCHA xuất hiện chỉ với IP trung tâm dữ liệu.
• Một số endpoint địa lý bị chặn hoàn toàn với datacenter nhưng mở với residential.

Việc không phát hiện sớm có thể dẫn đến sai số dữ liệu, chi phí proxy bị lãng phí hoặc tài khoản bị cấm.

2. Chuẩn bị môi trường kiểm tra

Trước khi viết code, bạn cần:

2. Python 3 cùng thư viện requests.
3. Một URL mục tiêu. Nên dùng môi trường staging của riêng bạn hoặc trang công khai bạn có quyền kiểm tra.
4. Giữ nguyên mọi yếu tố ngoại trừ proxy: User-Agent, Accept-Language, cookie, phiên bản TLS và thứ tự header.

Lưu ý quan trọng: chỉ thay đổi proxy. Nếu đồng thời thay đổi User-Agent hoặc múi giờ, bạn sẽ không biết sai số đến từ IP hay từ vân tay trình duyệt.

3. Script so sánh phản hồi bằng Python

Dưới đây là script thu gọn gửi cùng yêu cầu qua hai loại proxy và báo cáo sự khác biệt:

import requests
from difflib import unified_diff

DATACENTER_PROXY = 'http://user:pass@GATEWAY_HOST:HTTP_PORT'
RESIDENTIAL_PROXY = 'http://user:pass@GATEWAY_HOST:HTTP_PORT'

TARGET_URLS = [
    'https://example.com/api/product/123',
    'https://example.com/api/price',
]

HEADERS = {
    'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 Chrome/120 Safari/537.36',
    'Accept-Language': 'vi-VN,vi;q=0.9',
}

def fetch(url, proxy):
    proxies = {'http': proxy, 'https': proxy}
    try:
        resp = requests.get(url, proxies=proxies, timeout=15, headers=HEADERS)
        return resp.status_code, resp.text, dict(resp.headers)
    except Exception as exc:
        return None, str(exc), {}

for url in TARGET_URLS:
    print()
    print('=== ' + url + ' ===')
    dc_status, dc_body, dc_headers = fetch(url, DATACENTER_PROXY)
    res_status, res_body, res_headers = fetch(url, RESIDENTIAL_PROXY)

    print('Datacenter: ' + str(dc_status) + ' | Residential: ' + str(res_status))
    dc_len = len(dc_body) if dc_body else 0
    res_len = len(res_body) if res_body else 0
    print('Do dai body: DC=' + str(dc_len) + ' | RES=' + str(res_len))

    if dc_body and res_body and dc_body != res_body:
        diff = list(unified_diff(
            dc_body.splitlines(),
            res_body.splitlines(),
            fromfile='datacenter',
            tofile='residential',
            lineterm='',
        ))
        print('Co khac biet noi dung. Cac dong dau tien:')
        for line in diff[:20]:
            print(line)

Ket qua in ra se cho ban thay ngay ma trang thai, kich thuoc va phan noi dung bi thay doi. Neu chi khach khoang trang hoac thoi gian phan hoi, co the bo qua; nhung neu khac ma trang thai hay doan gia, can dieu chinh.

4. Thuc nghiem thuc te

Giua ban theo doi gia ve may bay trên trang doi tac. Khi chay script o tren:

• Qua proxy datacenter: API tra ve 429 Too Many Requests sau ba lan goi.
• Qua proxy residential: API tra ve 200 va gia ve 5.200.000 VND.

Luc nay ban co ket luan: he thong dang gioi han toc do cho luu luong trung tam du lieu. Giai lua la chuyen phan lon luu luong sang proxy residential, dung sticky session cho moi phep dat ve, va them khoang nghinh ngau nhien giua cac yeu cau.

Mot vi du khac la trang thuong mai dien tu hien thi gia cao hon 10-15% cho IP datacenter vi he thong cho day la cong cu so sanh gia tu dong. Voi residential, gia lai binh thuong. Neu khong kiem tra, du lieu gia ban thu thuat se sai lech va gay thiet hai cho quyet doanh kinh doanh.

5. Cac yeu to can giu nguyen de kiem tra chinh xac

Proxy chi thay doi dia chi IP xuat ra. De ket qua so sanh dan tin cậy, ban phai kiem soat:

• User-Agent: dung cung trinh duyet va phien ban cho ca hai luong.
• Accept-Language: giu ngon nva khu vuc giong nhau.
• Cookie va session: neu can dang nhap, dung cung cookie hoac tao session moi theo cach giong het.
• TLS phien ban HTTP: tranh mot ben dung HTTP/1.1, ben kia dung HTTP/2 neu he thong phan biet.
• Sticky session: voi residential, giu IP co dinh trong toan luong kiem tra de khong bi hieu la thay doi nguoi dung.
• Múi gio va dia diem: dat dung múi gio cua khu vuc muc tieu neu frontend kiem tra qua JavaScript.

Neu bo qua cac yeu to nay, sai so co the den tu van tay trinh duyet chu khong phai tu loai IP.

6. Xu ly ket qua khac biet

Khi phat hien phan hoi khac nhau, hay xu ly theo tung truong hop:

• Chan hoac 429: chuyen luu luong chinh sang proxy residential, giam tan suat yeu cau, va xoay IP cham hon.
• Gia hoac noi dung khac: ghi lai muc do sai lech de dieu chinh mo hinh du lieu, khong gia ma IP de lay gia thap hon neu dieu khoan cam.
• Can xac thuc danh tinh: dung sticky session va cookie hop le thay vi xoay IP lien tuc, tranh khoi bao dong gian luan.

7. Luu n ve dao duc va quy dinh

Chi chay kiem tra tren he thong ban thuoc hoac co quyen ro rang. Tuân thu robots.txt va dieu khoan dich vu cua trang muc tieu. Khong dung ky thuat nay de lua dao, tra van thanh toan hoac thu thap du lieu ca nhan khong dong ý. Viec su dung proxy phai trong khuon khap phap luat va chinh sach cua RoProxy.

Ket luan

So sanh phan hoi API giua IP datacenter va residential la cach nhanh de phat hien chan bot, dinh gia sai va noi dung bi gioi han truoc khi anh huong den san xuat. Voi script Python don gian va he thong proxy RoProxy, ban co the tu dong hoa quy trinh nay, dua vao pipeline CI/CD va canh bao khi hanh vi he thong thay doi theo dia chi IP.