Tự động hóa việc quét web với FireCrawl và lưu nội dung vào Google Docs
Template n8n này tự động hóa việc cào web (web scraping) bằng FireCrawl, xử lý nội dung bằng mô hình AI, và sắp xếp dữ liệu trong Google Sheets và Google Docs.
Dành cho ai?
Template này dành cho bất kỳ ai cần tự động hóa quy trình trích xuất thông tin từ các trang web. Nó đặc biệt hữu ích cho:
- Người sáng tạo nội dung thu thập nghiên cứu và nguồn cảm hứng.
- Nhà phân tích dữ liệu thu thập dữ liệu để phân tích.
- Nhà tiếp thị theo dõi các trang web của đối thủ cạnh tranh hoặc thu thập tin tức ngành.
- Nhà nghiên cứu tổng hợp thông tin từ nhiều nguồn trực tuyến khác nhau.
Các tính năng chính
- Nhiều chế độ quét: Quét một URL duy nhất, một danh sách các URL theo lô (batch), hoặc các URL trực tiếp từ một Google Sheet.
- Quét mạnh mẽ với FireCrawl: Sử dụng FireCrawl để quét nội dung web một cách đáng tin cậy ở định dạng markdown hoặc HTML.
- Xử lý nội dung bằng AI: Tích hợp với OpenRouter để sử dụng các mô hình ngôn ngữ lớn (LLM) (như Deepseek) để làm sạch và trích xuất nội dung cụ thể từ dữ liệu thô đã quét.
- Tổ chức dữ liệu tự động: Lưu dữ liệu đã quét và xử lý một cách gọn gàng vào Google Sheets và tạo các file Google Docs riêng lẻ cho mỗi trang được quét.
- Quản lý nội dung: Bao gồm các workflow để cập nhật các tài liệu hiện có với nội dung mới (quét lại) và để xóa tài liệu cũng như cập nhật trạng thái của chúng trong Google Sheets.
Cách hoạt động
Template được chia thành nhiều workflow độc lập mà bạn có thể kích hoạt thủ công:
- Quét nhiều URL và lưu vào Google Sheets:
- Đọc danh sách các URL từ một Google Sheet được chỉ định.
- Quét từng URL bằng FireCrawl.
- Cập nhật các hàng tương ứng trong Google Sheet với tiêu đề và nội dung đã quét. Luồng này có hai biến thể: một cho việc quét theo lô và một cho việc quét lặp lại.
- Quét nâng cao với AI và Google Docs:
- Truy xuất các URL từ một Google Sheet được đánh dấu để quét.
- Đối với mỗi URL, nó sẽ quét nội dung bằng FireCrawl.
- Một chuỗi LLM xử lý markdown đã quét để trích xuất nội dung cốt lõi.
- Sau đó, nó kiểm tra xem đã có Google Doc cho URL này chưa.
- Nếu có, nó sẽ cập nhật Google Doc hiện có với nội dung mới.
- Nếu không, nó sẽ tạo một Google Doc mới với nội dung đã trích xuất.
- Cuối cùng, nó cập nhật Google Sheet với ID và URL của Google Doc.
- Xóa Google Docs:
- Đọc danh sách các URL từ Google Sheet được đánh dấu để xóa.
- Xóa Google Doc tương ứng khỏi Google Drive của bạn.
- Cập nhật trạng thái trong Google Sheet để cho biết tệp đã được xóa.
Yêu cầu
- n8n: Một phiên bản n8n đang hoạt động.
- Tài khoản FireCrawl: Một API key của FireCrawl để quét web.
- Tài khoản OpenRouter: Một API key của OpenRouter để xử lý nội dung bằng AI.
- Tài khoản Google: Thông tin xác thực cho Google Sheets, Google Docs và Google Drive.
- Google Sheet: Một Google Sheet có hai tab:
- Một trang tính để quét cơ bản với các cột cho URL, Title (Tiêu đề), và Content (Nội dung).
- Một trang tính cho workflow nâng cao với các cột như URL, Document ID, Document Url, Is Scraped (Đã quét), và Is Deleted (Đã xóa).
Hướng dẫn cài đặt từng bước
- Cấu hình thông tin xác thực (Credentials):
- FireCrawl: Thêm API key FireCrawl của bạn vào mục xác thực httpHeaderAuth trong các node “Scrape an URL with FireCrawl”.
- Google Suite: Xác thực tài khoản Google của bạn cho các node Google Sheets, Google Docs và Google Drive.
- OpenRouter: Thêm API key OpenRouter của bạn vào mục xác thực của node “OpenRouter Chat Model”.
- Thiết lập Google Sheet của bạn:
- Tạo một Google Sheet mới.
- Trong tab đầu tiên (ví dụ: products), tạo các cột: URL, Title, Content. Điền vào cột URL các trang web bạn muốn quét.
- Trong tab thứ hai (ví dụ: products_doc), tạo các cột: URL, Document ID, Document Url, Is Scraped, Is Deleted. Cũng điền vào cột URL ở đây.
- Cấu hình các Node:
- Node Google Sheets: Trong tất cả các node Google Sheets, chọn bảng tính của bạn và trang tính chính xác (products hoặc products_doc) từ danh sách thả xuống.
- Node Google Docs & Drive: Trong các node “Create Google Docs” và “Delete file in Google Drive”, chọn thư mục Google Drive nơi bạn muốn lưu trữ hoặc xóa tài liệu của mình.
- Chạy Workflow:
- Chọn một trong các workflow được phác thảo bởi các ghi chú dán (sticky notes).
- Nhấp vào nút ‘Execute workflow’ trên trình kích hoạt thủ công tương ứng để bắt đầu quy trình. Ví dụ, để chạy quy trình quét nâng cao, hãy sử dụng trình kích hoạt được kết nối với node “Get URLs to scrape4”.
Cách tùy chỉnh workflow
- Thay đổi mô hình AI: Trong node “OpenRouter Chat Model”, bạn có thể chọn một LLM khác phù hợp hơn với nhu cầu và ngân sách của mình.
- Tùy chỉnh câu lệnh AI (Prompt): Sửa đổi câu lệnh trong node “Basic LLM Chain” để thay đổi cách AI xử lý nội dung được quét. Ví dụ: bạn có thể yêu cầu nó tóm tắt văn bản, trích xuất các điểm dữ liệu cụ thể hoặc dịch nó.
- Điều chỉnh kích thước lô (Batch Size): Trong các node “Loop Over Items”, bạn có thể thay đổi kích thước lô để xử lý nhiều hoặc ít mục hơn trong mỗi lần chạy, điều này có thể giúp quản lý giới hạn tỷ lệ API và thời gian thực thi.
Tự động hóa với Triggers: Thay thế các node “Manual Trigger” bằng một node “Cron” để chạy quy trình quét theo lịch trình (ví dụ: hàng ngày hoặc hàng tuần).
