Proxy cho nghiên cứu thị trường

Quy trình gợi ý

• Bắt đầu từ câu hỏi

  Xác định cần trả lời điều gì (khoảng giá, độ phủ danh mục, tần suất khuyến mãi) để chỉ thu đúng dữ liệu cần.

• Chọn nguồn và kiểm tra điều khoản

  Liệt kê website nguồn, đọc điều khoản và robots.txt, ưu tiên API hoặc dữ liệu mở khi có.

• Thu thập theo lịch, có giãn cách

  Chạy vào giờ thấp điểm, dùng session xoay theo chu kỳ và chia nguồn cho nhiều session.

• Làm sạch rồi mới phân tích

  Chuẩn hoá đơn vị, loại bản ghi trùng và lưu kèm thời điểm thu thập để so sánh theo thời gian.

Luân phiên nhiều session

Mỗi session là một proxy riêng với IP riêng. Luân phiên giữa vài session để chia tải thay vì tăng tốc độ trên một IP.

import itertools
import time
import requests

# Mỗi dòng là một session RoProxy, sao chép từ dashboard.
SESSIONS = [
    "http://USERNAME_1:PASSWORD_1@GATEWAY_HOST:HTTP_PORT",
    "http://USERNAME_2:PASSWORD_2@GATEWAY_HOST:HTTP_PORT",
]
URLS = [f"https://example.com/danh-muc?page={n}" for n in range(1, 21)]

for url, proxy in zip(URLS, itertools.cycle(SESSIONS)):
    r = requests.get(url, proxies={"http": proxy, "https": proxy}, timeout=30)
    if r.status_code == 200:
        pass  # tách dữ liệu rồi lưu vào CSV hoặc cơ sở dữ liệu
    time.sleep(2)

Giới hạn cần tôn trọng

Chỉ thu thập dữ liệu công khai. Thông tin định danh cá nhân như tên, số điện thoại, email thuộc phạm vi Nghị định 13/2023/NĐ-CP về bảo vệ dữ liệu cá nhân và không nên nằm trong bộ dữ liệu nghiên cứu.

Tôn trọng điều khoản sử dụng và robots.txt của từng website. Nội dung có bản quyền như mô tả sản phẩm hay hình ảnh chỉ dùng để phân tích, không đăng lại.