什么是 llms.txt？
llms.txt 是由 Answer.AI 联合创始人 Jeremy Howard 于 2024 年提出的一种新型文本文件标准，旨在帮助大型语言模型（LLMs）更高效地抓取和理解网站内容。它通过简洁的 Markdown 格式，向 AI 模型提供网站的关键结构和重要页面，从而提升内容在 AI 生成回答中的引用率。
与传统的 robots.txt 不同，llms.txt 并非用于限制搜索引擎的抓取行为，而是主动向 AI 模型展示网站的核心内容，属于“生成式引擎优化”（GEO）和“人工智能优化”（AIO）的实践工具之一。
什么是 llms-full.txt？
llms-full.txt 是 llms.txt 的扩展版本，提供网站内容的完整视图，适用于需要深度理解和引用的场景。该文件通常包含数十万 Token，超过大多数 LLM 的上下文窗口限制，因此需要通过 IDE（如 Cursor、Windsurf）等工具进行分块和索引，或结合 RAG（检索增强生成）技术使用。
llms-full.txt 的主要特点包括：
- 完整内容：包含网站的所有文档和页面内容，适用于需要全面了解网站的 AI 模型。
- 结构化格式：采用 Markdown 格式，便于 AI 模型解析和处理。
- 手动或自动生成：可以通过工具自动生成，也可以手动编写，确保内容的准确性和完整性。
llms.txt 与 llms-full.txt 的区别
| 特性 | llms.txt | llms-full.txt |
| 内容范围 | 网站的关键结构和重要页面 | 网站的完整内容视图 |
| 文件大小 | 较小，适合快速解析 | 较大，需分块处理 |
| 使用场景 | 提供网站概览，供 AI 快速理解 | 提供详细内容，供 AI 深度引用 |
| 生成方式 | 手动编写或自动生成 | 通常通过工具自动生成 |
| 适用模型 | 所有 LLMs | 支持大上下文窗口的 LLMs 或结合 RAG 技术 |
如何生成和部署 llms.txt 与 llms-full.txt？
可以手动编写这些文件，或使用以下工具自动生成：
WordLift llms.txt 生成器：自动抓取网站内容，生成标准化的 llms.txt 和 llms-full.txt 文件。
GitHub 开源项目：如 llms.txt-and-llms-full.txt-Generator-For-SEO，提供基于 Streamlit 的生成工具。
WordPress 插件：如 LLMs.txt and LLMs-Full.txt Generator，可自动生成并管理这两个文件，支持自定义内容和结构。
生成后，将这两个文件分别保存为 llms.txt 和 llms-full.txt，并上传至网站根目录，确保 AI 模型可以访问。例如：
- https://yourdomain.com/llms.txt
- https://yourdomain.com/llms-full.txt
为了防止传统搜索引擎索引这些文件，建议在 robots.txt 中添加以下指令：
User-agent: *
Disallow: /llms.txt
Disallow: /llms-full.txt
最佳实践与注意事项
定期更新：随着网站内容的变化，及时更新 llms.txt 和 llms-full.txt 文件，保持信息的准确性。
简洁明了：在 llms.txt 中突出重点内容，避免冗余信息；在 llms-full.txt 中确保内容的完整性和结构清晰。
开放访问：确保 AI 抓取工具可以访问这两个文件，不被防火墙或权限设置阻挡。
结合其他优化手段：如结构化数据、语义标签等，共同提升网站在 AI 搜索中的表现。
随着 AI 技术的快速发展，传统的 SEO 策略已无法满足新的搜索需求。llms.txt 和 llms-full.txt 文件作为连接网站与 AI 模型的桥梁，正在成为提升网站可见性和权威性的关键工具。通过合理编写和部署这两个文件，你可以让 AI 更容易地收录和理解你的网站内容，在 AI 驱动的搜索时代中占据有利位置。