从 Cloudflare Pages 到 AI 爬虫白名单:一套低成本搭建"人类需授权、AI 可检索"私有专栏站的完整实践指南
本站本身就是这个方案的最佳案例。整套架构只有三个部分。
架构组成
1. Markdown 写作:每篇文章一个 .md 文件,头部声明标题、日期、标签、摘要
2. 静态构建:Node 脚本生成语义化 HTML、JSON-LD、sitemap 和 RSS
3. 边缘门禁:Cloudflare Pages Functions 按请求特征分流——AI 爬虫放行,人类要密码
为什么这个组合是对的
- 零服务器成本,全球 CDN 分发
- 爬虫识别规则可以随时按 AI 厂商更新
- 内容所有权完全在自己手里,随时可迁移
文章 .md -> build.js -> dist/ -> Cloudflare Pages -> AI 爬虫 / 密码访客