llms.txt 是放在网站根目录的一个纯文字文件,用 Markdown 写成,向 AI 模型交代这个网站是什么、哪几页最重要。它不是给人看的,也不是给 Google 传统搜索看的,对象是 ChatGPT、Claude、Perplexity 一类工具背后的模型与 AI 代理程序。
看一个真实的香港例子最快:开启 https://www.ud.hk/llms.txt,见到的就是一份 llms.txt。第一行是 H1 写网站名称,接着一段引言讲清楚公司做什么、有哪几种语言版本,再往下是分节的链接清单。
格式细节与逐步写法,工具页的《llms.txt 完整教学:让 AI 读懂你的网站》已经讲得很完整。这一篇只回答三件事:它现在的地位是什么、香港网站应否加、加了怎样验。
与 robots.txt、sitemap.xml 有什么分别
三个文件各管一件事。robots.txt 管谁可以来,sitemap.xml 管网站有什么页,llms.txt 管「重点是哪几页」。前两个搜索引擎读了几十年,第三个是 2024 年才出现的新建议。
要先讲清楚:llms.txt 不能代替 robots.txt。AI 爬虫进入网站之前会先读 robots.txt,如果那里已经把它们阻挡在外,llms.txt 写得再好也没有人读。哪些爬虫属于训练、哪些属于搜索,见工具页的《AI 爬虫完整指南》;OpenAI 三支爬虫的分工,见本系列的《封 GPTBot 会怎样?》。
现况要讲实话:它是建议规范,不是标准
llms.txt 由 Answer.AI 的 Jeremy Howard 在 2024 年 9 月 3 日提出,规范页自己的用字是「a proposal to standardise」,即是一份建议规范,至今仍开放社群修改。规范只要求一个元素:一个 H1 写网站名称;引言、分节与链接清单都是可选。
没有任何一间主要模型商公开承诺会读这个文件。Google 的立场最明确:搜索中心 2026 年 7 月更新的 AI 功能优化指南写明,网站不需要为了出现在 Google 搜索而建立新的机器可读文件、AI 文字文件或 Markdown,Google 搜索本身不使用它们,加了既不会帮助亦不会损害排名。更早在 2025 年 4 月,Google 的 John Mueller 在 Reddit 回应时把 llms.txt 比作 keywords meta 标签,并指当时没有任何 AI 服务表示在使用它。OpenAI、Anthropic、Perplexity 关于爬虫的官方说明,提供给网站的管理方法都只有 robots.txt,没有一间表示其爬虫会读取网站的 llms.txt。
另一面是,Google 自家的 Chrome 团队在 2026 年 5 月把 llms.txt 收进 Lighthouse 新增的「Agentic browsing」稽核类别(文件标明属实验性质,需 Chrome 150 或以上):Lighthouse 会尝试读取网站根目录的 llms.txt,找不到(404)只标示「不适用」,读取时遇到服务器错误才会标记问题,文件并建议按 llmstxt.org 规范在根目录放一份。而几间模型商与基建公司的开发者文件站本身就有 llms.txt。本文 2026 年 10 月 17 日实测,以下网址全部传回 200:
| 网站 | 网址 | Content-Type |
|---|---|---|
| OpenAI 开发者文件 | developers.openai.com/llms.txt | text/plain |
| Anthropic 文件 | docs.anthropic.com/llms.txt | text/plain |
| Cloudflare 开发者文件 | developers.cloudflare.com/llms.txt | text/plain |
| Chrome DevTools 文件 | developer.chrome.com/docs/devtools/llms.txt | text/markdown |
把两面放在一起,结论是:llms.txt 对 Google 搜索排名没有作用,对 ChatGPT 一类答案引擎的引用亦没有任何官方承诺;它的价值在于让 AI 代理程序与读取工具更快掌握网站结构,而且 Chrome 的稽核工具已经开始检查它。
香港网站应否加
应该加:有多个服务页或产品线的公司网站、有文件区或知识库的 SaaS 网站、中英双语的网站。这三种网站页面多、重点分散,AI 代理程序要花较多时间才掌握结构,一份 llms.txt 可以用三十行把重点列出来;双语网站更可以把两个语言版本的对应网址一次列明。
可以暂缓:单页网站、只有几页的餐厅或小店网站、内容几乎不更新的网站。
先做别的:robots.txt 封了 AI 爬虫、网站前面的 CDN 或防火墙把 AI 爬虫当恶意流量阻挡、页面没有结构化数据。这几项的影响远大于 llms.txt,应该先修。顺序可以参考本站较早的《GEO 指南》。
判断标准其实只有一条:它的制作成本是半小时,维护成本是每次新增重要页面时补一行。成本这么低,只要网站不属于「可以暂缓」那一类,加了只有好处。
最小可行写法
不用把整个网站搬进去。一个 H1、一段引言、三至五个 H2 分节,每节两三条链接,已经足够。中小企可以先用服务、收费与联络三节:
# 公司名称
> 一段两三句的简介:公司在香港做什么、服务哪一类客户、有中英文版本。
## 服务
- [服务页标题](https://www.example.com.hk/zh-hant/services):一句说明
## 收费
- [收费页标题](https://www.example.com.hk/zh-hant/pricing):一句说明
## 联络
- [联络页标题](https://www.example.com.hk/zh-hant/contact):营业时间与查询方法
每条链接后面那一句说明要写实际内容,例如「商用雪柜的型号与保养计划」,不要写「了解更多」。
三个常见错处
放错位置。一般网站应放在域名根目录,即 你的域名/llms.txt。规范在 2026 年 8 月的第二版容许放在子路径,例如 /docs/llms.txt,涵盖该路径以下的页面;不过 Chrome Lighthouse 的稽核建议放在根目录,只放在子路径而根目录没有的话,稽核可能当作没有。另外每个子域名各自独立:主站与网志若在不同子域名,要各放一份。
写成 HTML。有些内容管理系统会把新页面包成 HTML 输出。llms.txt 必须是纯文字,服务器传回的 Content-Type 应该是 text/plain(部分网站用 text/markdown,同样可读)。若传回的是 text/html,模型读到的会是一堆标签。
列了一堆对客户无意义的内页。隐私政策、登录页、活动报名的成功页、分页列表,放进去只会稀释重点。只列客户会问的页:服务、收费、常见问题、联络。
加完怎样验:llms.txt 检测四步
每步一分钟。
- 用浏览器直接开
https://你的域名/llms.txt。要见到纯文字内容,中文没有乱码,不是 404,也不是被转去首页。 - 查传回的标头。在命令行执行
curl -sI https://你的域名/llms.txt,看第一行是否200,Content-Type是否text/plain或text/markdown。 - 逐条链接点开。文件里每一条链接都要能开启。
- 用工具跑一次。Chrome 的 Lighthouse 有实验性的 Agentic browsing 类别(需 Chrome 150 或以上),会读取 llms.txt,跑一次就知道能否正常读取;再用免费的 AEO Auditor 扫一次,一并看 robots.txt、结构化数据与 AI 爬虫访问是否正常。
加了不代表明天就被引用
llms.txt 是一份导读,不是一张入场券。AI 会否引用你的网站,取决于爬虫能否进来、内容有否可以独立成句的事实、结构化数据是否齐全,llms.txt 只是这条链的最后一环。加了之后数字不会立刻改变,这是正常的。
要知道网站在哪一环出问题,可以用免费工具检查一次:
这里的 AEO 指答案引擎优化(Answer Engine Optimization),与海关的认可经济营运商计划无关。
常见问题
香港网站应否加 llms.txt?
有多个服务页、有知识库或中英双语的网站应该加;只有几页的小店网站可以暂缓。Google 搜索本身不使用它,加了既不会帮助亦不会损害排名。
llms.txt 应放在哪里?
放在域名根目录,即 你的域名/llms.txt。规范第二版容许放在子路径,但 Chrome Lighthouse 的稽核建议放在根目录。每个子域名各自独立,要各放一份。
加了 llms.txt 之后怎样验证?
用浏览器直接开启,确认是纯文字、中文没有乱码;用 curl 查看是否传回 200 及 Content-Type;逐条链接点开;再用 Chrome Lighthouse 的 Agentic browsing 类别跑一次。
更多问题见工具页的常见问题页。
资料来源
查阅日期:2026-10-17
- llms.txt 规范页(Jeremy Howard,Answer.AI,2024-09-03 发布):https://llmstxt.org/
- Google 搜索中心《AI features and your website》(2026-07-10 更新):https://developers.google.com/search/docs/fundamentals/ai-optimization-guide
- Search Engine Journal 报道 John Mueller 2025-04 于 Reddit 的回应(2025-04-17):https://www.searchenginejournal.com/google-says-llms-txt-comparable-to-keywords-meta-tag/544804/
- Chrome for Developers,Lighthouse「llms.txt」稽核说明(2026-05-05 更新):https://developer.chrome.com/docs/lighthouse/agentic-browsing/llms-txt
- OpenAI《Overview of OpenAI Crawlers》:https://developers.openai.com/api/docs/bots
- Anthropic 支援中心《Does Anthropic crawl data from the web, and how can site owners block the crawler?》:https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler
- Perplexity《Perplexity Crawlers》:https://docs.perplexity.ai/docs/resources/perplexity-crawlers
- 各站 llms.txt 的 HTTP 状态与 Content-Type:本文作者于 2026-10-17 以 curl 实测 developers.openai.com、docs.anthropic.com、developers.cloudflare.com、developer.chrome.com/docs/devtools 与 www.ud.hk