Chắc hẳn nhiều bạn lấy dữ liệu đều gặp phải trường hợp phổ biến này. Không API, không thể truy cập cơ sở dữ liệu, và một trang web với “bức tường” bảo vệ như là: reCAPTCHA khó nhằn, ngăn chặn địa lý, giới hạn yêu cầu theo thời gian, và cấu trúc HTML được thiết kế để chống lại bạn. Trong bài viết này, Tenten.vn sẽ chia sẻ với bạn cách vượt qua những trở ngại tưởng chừng không thể ấy. Bạn không cần phải là một người biết nhiều ngôn ngữ lập trình nhưng vẫn xử lý được. Hãy cùng khám phá nhé!
Vượt qua reCAPTCHA và phát hiện bot
Nhiều trang web hiện đại sử dụng reCAPTCHA để ngăn chặn các bot tự động. Công cụ này không chỉ để kiểm tra bot, mà còn phân tích rất kỹ các hành vi của bạn:
- Chuyển động chuột: Nếu chuột di chuyển theo đường thẳng hoặc quá đều đặn, hệ thống sẽ nghi ngờ bot.
- User Agent giả mạo: Các trình duyệt giả lập thường sử dụng User Agent không hợp lệ, dễ bị phát hiện.
- Tốc độ tương tác: Nếu bạn gửi yêu cầu quá nhanh hoặc quá nhiều trong thời gian ngắn, hệ thống sẽ coi đó là dấu hiệu của bot.
Và để vượt qua các công cụ ngăn chặn bot, chúng ta có Puppeteer. Nór cho phép bạn mô phỏng hành vi của một người dùng thực sự, từ việc di chuyển chuột ngẫu nhiên, thiết lập User Agent hợp lệ, đến việc giải quyết reCAPTCHA thủ công.
Dưới đây là một đoạn mã nguồn (JavaScript) đơn giản sử dụng Puppeteer để vượt qua reCAPTCHA và truy cập dữ liệu:
const puppeteer = require('puppeteer');
async function bypassCaptcha() {
// Khởi tạo trình duyệt (chạy ở chế độ hiển thị để dễ quan sát)
const browser = await puppeteer.launch({ headless: false });
const page = await browser.newPage();
// Thiết lập User Agent hợp lệ để giả lập trình duyệt thật
await page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36');
// Tạo chuyển động chuột ngẫu nhiên để qua mặt reCAPTCHA
await page.mouse.move(100 + Math.random() * 500, 200 + Math.random() * 300);
// Truy cập trang web mục tiêu
await page.goto('https://example.com');
// Đóng trình duyệt sau khi hoàn thành
await browser.close();
}
Cách sử dụng đoạn mã: Mở bất kỳ trình soạn thảo văn bản nào (như Visual Studio Code, Sublime Text, hoặc Notepad++), dán đoạn mã nguồn và lưu tên thành tên bất kỳ ví dụ là inedex.js. Sau khi đã lưu file index.js, quay lại Terminal hoặc Command Prompt, chạy lệnh sau:
node index.js
Nếu mọi thứ được thiết lập đúng, Puppeteer sẽ khởi chạy một cửa sổ trình duyệt, thực hiện các hành động như di chuyển chuột ngẫu nhiên và truy cập trang web mà bạn đã chỉ định.
Khắc phục chặn địa lý và giới hạn tốc độ
Có đôi lúc, bạn không thể truy cập 1 trang web hoặc bị chặn sau vài lần tải trang. Đó là họ chặn IP từ các khu vực cụ thể hoặc giới hạn số lượng yêu cầu (ví dụ: chỉ cho phép 5 lần truy cập trong 10 phút).
Để vượt qua chặn IP địa lý và giới hạn tốc độ, bạn có thể sử dụng rotating residential proxies. Đây là những proxy mô phỏng lưu lượng truy cập từ các địa chỉ IP thực của người dùng tại các khu vực cụ thể. Bằng cách thay đổi IP sau mỗi vài yêu cầu, bạn có thể tránh bị phát hiện và ngăn chặn.
Dưới đây là một đoạn mã nguồn Python đơn giản sử dụng rotating residential proxies. để khắc phục vấn đề này:
import requests
from time import sleep
# rotating residential proxies (thay thế bằng proxy thực tế của bạn)
proxy_list = [
"http://user:pass@br.proxy.example.com:8080",
"http://user:pass@us.proxy.example.com:8080",
# Thêm các proxy khác vào đây...
]
def scrape_safe(url):
for proxy in proxy_list:
try:
# Gửi yêu cầu với proxy hiện tại
response = requests.get(url, proxies={"http": proxy, "https": proxy})
if response.status_code == 200:
return response.text # Trả về nội dung trang web nếu thành công
sleep(10) # Thêm độ trễ 10 giây giữa các yêu cầu
except Exception as e:
print(f"Lỗi với proxy {proxy}: {e}")
continue # Chuyển sang proxy tiếp theo nếu lỗi xảy ra
return None # Trả về None nếu tất cả proxy đều thất bại
Cách sử dụng đoạn mã: Mở bất kỳ trình soạn thảo văn bản nào (như Visual Studio Code, Sublime Text, hoặc Notepad++), dán đoạn mã nguồn và lưu tên thành tên bất kỳ ví dụ Scraping.py. Quay lại Terminal hoặc Command Prompt, đảm bảo bạn đang ở trong thư mục chứa file scrape.py, và chạy lệnh sau:
python scrape.py
Xử lý HTML phi cấu trúc
Nhiều trang web hiện đại sử dụng các framework như React, Angular, hoặc Vue.js, khiến cấu trúc HTML có thể thay đổi linh hoạt và làm khó bạn lấy dữ liệu. Ví dụ, một danh sách sản phẩm hôm nay nằm trong thẻ <div class="product-list">, nhưng ngày mai lại chuyển sang <section id="products">.
Để vượt qua, chúng ta có thể sử dụng Crawl4AI – một công cụ mạnh mẽ kết hợp giữa thu thập dữ liệu và trí tuệ nhân tạo cùng với mô hình ngôn ngữ DeepSeek. Thay vì phụ thuộc vào cấu trúc HTML cố định, giải pháp này tập trung vào ý nghĩa của dữ liệu, giúp bạn trích xuất thông tin linh hoạt.
Dưới đây là một đoạn mã Python đơn giản sử dụng Crawl4AI và DeepSeek để xử lý HTML phi cấu trúc:
from crawl4ai import WebCrawler
from llama_cpp import Llama
# Khởi tạo mô hình ngôn ngữ DeepSeek
llm = Llama(model_path="deepseek-1.3b.gguf")
# Khởi tạo WebCrawler
crawler = WebCrawler()
# Chạy quá trình cào dữ liệu với chiến lược sử dụng LLM
content = crawler.run(
url="https://example.com",
strategy="llm", # Sử dụng chiến lược dựa trên LLM
llm=llm,
prompt="Extract product names, prices into JSON"
)
# In ra dữ liệu đã trích xuất
print(content.extracted_data)
Cách sử dụng đoạn mã: Mở bất kỳ trình soạn thảo văn bản nào (như Visual Studio Code, Sublime Text, hoặc Notepad++), dán đoạn mã nguồn và lưu tên thành tên bất kỳ ví dụ crawler.py. Quay lại Terminal hoặc Command Prompt, đảm bảo bạn đang ở trong thư mục chứa file scrape.py, và chạy lệnh sau:
python crawler.py
Kết Luận
Qua bài, chúng ta đã khám phá cách vượt qua những rào cản phổ biến khi lấy dữ liệu từ các trang web. Hãy nhớ rằng, việc lấy dữ liệu cần tuân thủ các quy định và chính sách của trang web. Hãy luôn đảm bảo rằng bạn sử dụng dữ liệu một cách hợp pháp và đạo đức, tránh gây ảnh hưởng tiêu cực đến hệ thống hoặc trải nghiệm của người dùng khác.
Nếu bạn có bất kỳ khó khăn trong quá trình thực hiện, hãy để lại lời nhắn để chúng tôi giúp bạn!
