Tech
[分享创造] AnyCrawl: 基于 TS 的高性能爬虫，用于将任意 Web 转为干净的数据喂给 Agent
求 Star： https://github.com/any4ai/AnyCrawl
主打这些功能：
搜索引擎抓取：支持多个搜索引擎，批量操作友好
网页内容提取：精准抓取单页内容
整站爬取：完整遍历采集网站内容
性能强劲：支持多线程/多进程
批量任务：稳定高效处理海量任务
AI 智能解析：用大语言模型（ LLM ）从网页提取结构化数据（ JSON 格式）
完美适配 LLM：集成简单，开箱即用
Read the full discussion on V2EX
This article was aggregated from V2EX. Click to join the conversation.
View on V2EX