大约每十个网站就有一个放上了名为 llms.txt 的文件,宣传说法是它能让 AI 助手正确读懂你的网站。但服务器日志呈现的是另一幅画面:这个文件原本要服务的 AI 爬虫,大部分时候根本没有打开它。
这个文件承诺了什么、现阶段实际交付了什么,两者之间的落差,值得你在付钱请人加上它之前先弄清楚。以下说明 llms.txt 是什么、谁真的支持它,以及有什么做法才真正见效。
什么是 llms.txt?
llms.txt 是一个以 Markdown 格式写成的纯文本文件,放在网站根目录,即 yoursite.com/llms.txt。它向 AI 系统提供一份简短、经人工挑选的网站摘要,并链接到最重要的页面。可以把它理解为一张为机器手写的地图,而不是任由它们自己摸索。
这个构想针对的是真实问题。现代网页大部分内容是导航栏、Cookie 提示、脚本与版式。客户问题的真正答案,可能只是夹在中间的四句话。llms.txt 的提议,就是把那四句话直接递出去。
规范发布于 llmstxt.org。它是社区提出的建议,而不是任何搜索或 AI 公司制定的标准,而这个区别解释了下文大部分内容。
llms.txt 与 robots.txt 有什么区别?
robots.txt 管的是权限,llms.txt 提供的是引导。一个告诉爬虫哪里不准去,另一个建议什么值得读。两者处理同一问题的相反一半,任何一方都无法取代另一方。
实际区别
--- robots.txt 是沿用已久的惯例,每个正经的爬虫都会查看。它是一份关于访问权限的规则清单。
--- llms.txt 是比较新的提议,部分 AI 系统会查看。它是一份关于含义的人工摘要。
对香港老板而言,优先次序毫无疑问。如果你的 robots.txt 意外屏蔽了 AI 爬虫,世上任何 llms.txt 都帮不了你,因为机器根本走不到能读到它的那一步。先检查权限文件。爬虫被屏蔽是相当常见、也相当致命的问题,而且从网站前台完全看不出来。
AI 助手真的会读 llms.txt 吗?
支持情况是部分的,而且各厂商自己说得相当坦白。Anthropic 已公开确认支持。Perplexity 表示它会读取 llms.txt,用来决定优先选取哪些页面。OpenAI 并未正式采用这项标准。Google 则已公开表明不会采用。
各大系统的立场
--- Anthropic 的 Claude:已公开确认支持。
--- Perplexity:会读取文件,并用来决定页面选取的优先次序。
--- OpenAI 的 ChatGPT:没有正式采用。部分团队表示观察到引用模式出现相关变化,但这与获得确认并不相同。
--- Google:已公开拒绝。2025 年 7 月,Gary Illyes 确认 Google 不支持 llms.txt 也没有此打算,而 John Mueller 更把这个构想比作早已失效的 keywords meta 标签。
接着是日志证据,也就是热情碰上现实的地方。对真实爬虫流量的分析发现,GPTBot、ClaudeBot、PerplexityBot、OAI-SearchBot 与 Google-Extended 绝大多数都跳过 /llms.txt,直接抓取 HTML。多项研究的结论是:现阶段发布这个文件,并不会可量化地提升你被 ChatGPT、Claude、Gemini 或 Perplexity 引用的机会。
采用数字也显示同一种言论与实效的落差。SE Ranking 对 30 万个域名的研究发现采用率为 10.13%。而 2026 年 5 月对 Tranco 前一万名网站的抓取显示,只有约 5.86% 拥有有效的 llms.txt,而且采用集中在开发者工具与技术文档类网站,并不是一般企业。
llms.txt 文件里面要写什么?
格式刻意保持简单:Markdown、人类可读、不涉及代码。规范要求一个 H1 标题写上你的网站或项目名称,接着一段引用块,放一段摘要。之后的内容全部是选填,可用自由格式的 Markdown 加链接。
必要的结构
--- 一行 H1,写上你的公司或网站名称。这是唯一严格必须的部分。
--- 一段引用块摘要,一个段落,包含理解其余内容所需的关键事实。
--- 选填章节,用普通 Markdown 链接到你最重要的页面,每项附一句简短说明。
对香港中小企业来说,一份有用的版本会回答:你卖什么、在哪里经营、服务哪些客户、营业时间,以及答案放在哪一页。一家餐饮集团的文件会写明门店所在区域、菜式类别、订座页面与营业时间;一家贸易公司则会写明产品类别、服务市场与最低订购条件。
整件事对一个懂得编辑文本文件并上传的人来说,是三十分钟的工作。这个成本对下文的结论很重要。
对香港中小企业而言,一份好的 llms.txt 是什么样子?
一份好的版本,读起来像给一位只有三十秒时间的新同事看的简报。写明公司名称、做什么、在哪里,然后指向那五、六个承载商业答案的页面。含糊的宣传语,是最常见的错误。
以一家香港空调维修公司作为示范。摘要的弱版本会这样写:「我们是领先的创新暖通空调方案供应商,致力追求卓越。」这一句话,没有告诉机器任何客户用得上的信息。
有用的版本会这样写:「为香港商业场所提供空调安装与维修,服务范围覆盖九龙及港岛。分体式与 VRV 系统。紧急上门四小时内到达。合约从十二个月起。2004 年成立。」
第二个版本里每一个分句,都是当有人问「九龙有紧急服务的空调承包商」时,AI 助手可以直接复述的事实。这正是整件事的全部目的。
四个步骤写出你的版本
--- 列出你的五个商业页面。服务、价格或报价、服务范围、联系方式,以及回答你最常被问的问题那一页。
--- 摘要段落用事实写,不要用形容词。你卖什么、在哪里、卖给谁、条件如何、从何时开始。
--- 每条链接加一句说明,用日常语言讲清楚读者在那里会找到什么。
--- 保存为 llms.txt 并上传到网站根目录,然后在浏览器打开 yoursite.com/llms.txt,确认它以纯文本显示,而不是被当作文件下载。
有两个错误值得避免。不要把整个网站贴进去,因为价值在于挑选。也不要放任何你不愿意被逐字引用、并呈现给陌生人的内容,因为这个文件要的正是这种引用。
香港小企业值得做吗?
值得,但必须按这个先后次序。它花三十分钟、没有坏处,一个主要助手确认支持,另一个确实在用。它绝不应该做的,是占用本应属于「AI 系统确实会读的东西」的预算与注意力。
符合以下情况就写一份
--- 你能自己完成,或它已包含在你本来就在付费的工作之内。
--- 你的网站只有少数页面承载了大部分商业价值。
--- 你的结构基本功已经稳固。
以下情况不要为它付高价
--- 有人把它说成「AI 不提及你的公司」的原因。
--- 你的网站仍在屏蔽 AI 爬虫、缺少结构化数据,或把价格与联系方式藏在图片里。
--- 报价把它当成一个项目,而不是一项任务。
说得直接一点:在一个 AI 本来就读不到的网站上,放一份写得再漂亮的 llms.txt,等于在一道锁上的门上贴一张客气的便条。
那什么才真正让 AI 引用你的公司?
AI 系统大多读取与搜索引擎相同的 HTML,因此真正有效的杠杆并不花哨,而且早已为人熟知。以下四项,解释了「AI 能引用的公司」与「AI 引用不到的公司」之间大部分差距。
爬虫访问权限
确认你的 robots.txt 没有屏蔽 GPTBot、ClaudeBot、PerplexityBot 或其他具名的 AI 代理。仅这一项检查,决定过的 AI 可见度结果,就比任何你能加上的文件都多。
结构化数据
用 JSON-LD 标记描述你的机构、地点、产品与常见问题,让机器得到明确事实,而不是需要自行解读的段落。结构化数据不完整,是 AI 可读性审查中最常见的发现之一。
可直接提取的答案
把答案放在问题正下方,用四十至六十字、纯文本写出。一个把结论埋在第八段的页面很难被引用,而能否被引用,正是整场游戏的核心。
外部佐证
AI 系统会衡量是否有其他人佐证你的说法。目录网站、行业网站、论坛与可信的本地媒体上的提及,能做到你自己网站做不到的事。
以上没有一项算得上冷门。这也正是为什么一次结构审查,通常比新增一个文件能找出更大的收益。
常见问题
llms.txt 会影响我的 Google 排名吗?
不会。Google 已表明不使用这个文件,而一个不被使用的文件不构成惩罚。它对搜索是中性的,而中性与有用是两件事。
文件具体要放在哪里?
放在域名根目录,可通过 yoursite.com/llms.txt 访问。规范允许放在子路径,但工具寻找的是根目录位置。
需要找开发人员才能加上吗?
通常不需要。只要你能把文件上传到主机,或通过内容管理系统新增,就可以发布。比较难的一半是内容怎么写。
应该多久更新一次?
每当事实改变就更新:新服务、新地点、营业时间调整、新增重要页面。一份过时的摘要比没有更差,因为它会让 AI 带着自信说出关于你的过时信息。
llms.txt 就是 AI 版的网站地图吗?
不完全是。网站地图为求完整而列出所有网址;llms.txt 刻意只挑几个,并解释它们为什么重要。挑选本身就是重点。
既然爬虫会忽略它,为什么采用率有一成?
一部分因为它便宜又无害,一部分因为文档量大的网站确实受益,一部分因为代理商可以为它收费。三个原因可以同时成立。
总结
llms.txt 是一个合理的构想,但采用率薄弱、支持也只是部分。Claude 确认支持,Perplexity 在用,OpenAI 未作承诺,Google 已说不。真实爬虫日志显示这个文件大多被跳过。
所以,写一份,花半小时,然后把这一周剩下的时间投入爬虫访问权限、结构化数据,以及能让机器干净地从页面上提取的答案。这个次序,才决定 AI 会不会提及你的公司。
比起抢先跟上一项标准,今天就能被读懂重要得多。走过二十八年香港科技周期,我们清楚知道哪一项是哪一项。懂AI,更懂你 UD相伴,AI不冷。
本文由 UD AI 团队(香港)审阅,2026 年 7 月 30 日发布。
想知道 AI 在你的网站上读得到什么、读不到什么?
一次免费的 30 秒扫描,会用 170 多项 AEO 结构检查审查你的网站,涵盖爬虫访问权限、JSON-LD 覆盖率,以及你的页面有多容易被引用,然后给出一份按优先次序排列的行动计划。无须注册,不需要信用卡。UD 团队手把手教你看每一项发现,并告诉你应该先修哪一项。