Crawl4AI 抓取网页供 Bedrock 知识库摄取

AWS 的 Daxeshkumar Patel 发布教程，介绍如何用开源 Python 爬虫 Crawl4AI 为 Amazon Bedrock Knowledge Bases 准备网页内容：爬虫把每个页面写成 Markdown 和元数据 sidecar 并上传到 Amazon S3，再由知识库的 S3 数据源完成摄取。AWS 称，当网页内容需要额外处理时，这是自定义摄取路径的一种做法。 该示例工作流只处理公开页面，不实现需要登录的会话。默认配置下，任务在公有子网的 AWS Fargate 上运行，经互联网网关访问目标网站；首次抓取受 maxDepth 和 maxPages 限制，只抓一层链接、最多 25 页。每次运行按所配置的任务规格产生 Fargate 费用，默认规格为 2 vCPU、4 GB。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。