llms.txt 有用吗?我向 AI 开放网站时学到的事
有人问 AI“伊斯坦布尔有谁在做品牌和动态设计”的时候,我希望答案里有我的名字。这篇写我为此做了什么,以及我对 llms.txt 的发现。
找设计师的方式正在变。过去,人们在 Google 上搜一下,再去看搜出来的网站。现在有一部分人会把同样的问题拿去问 AI,然后读一段回答。如果那段话里没有我的名字,我的网站再好看也没人看见。
搭 designedbyburak.com 的时候,我把这一点也考虑了进去。下面说说我做了什么,以及其中哪一件是白做的。
我在 robots.txt 里给 AI 爬虫开了门
网站的 robots.txt 文件(就是告诉各种爬虫能不能进站的那个文件)点名邀请了 AI 爬虫:ChatGPT、Claude、Perplexity、Google 的 AI 爬虫,都在里面。
这里有个区别得弄清楚。OpenAI 有两个不同的爬虫。一个负责让你出现在 ChatGPT 的搜索里,另一个抓取网站是为了训练模型。屏蔽训练用的爬虫,并不影响你在搜索里的可见度。1 两个我都放行了。如果我的文章被拿去训练模型对我有好处,那把这扇门关上就没什么意义。
我也向机器介绍了自己
在网站代码里一个访客看不到、但搜索引擎会读的地方,写着我是谁:名字、做什么工作、在哪座城市,还有我的 Behance、LinkedIn、Instagram 和 X 账号。这个博客也用同一份记录。这样一来,搜索引擎就不会把两个网站当成两个人,而是知道它们背后是同一个 Burak Reis。
这部分有没有用?老实说,很难衡量。不过这是 Google 在自己的文档里说明过的做法,而且做一次之后就会自己运转下去。
后来发现 llms.txt 没用
搭网站的时候,我还加了一个 llms.txt 文件。按照提议,它是写给 AI 看的一份网站简介,过去一年里讨论得挺多。
后来查了一下,我发现:没有证据表明各大搜索引擎在用这个文件。Google 明确写过,AI 功能不需要单独的文件,也不需要特别的标记。2 Google 的 John Mueller 也在2025年6月说过,目前没有任何 AI 系统在用这个文件。3
那个文件还留在网站上,反正也没坏处。但这个博客里没有放,明知道没用还加上去,我看不出有什么意义。
真正的功夫在网站之外
上面这些都只是把门打开。让人走进来的,是另外的东西。有研究显示,AI 搜索更相信别人写的关于一个人或一个品牌的内容,而不是他们自己网站上的内容。这一点我在关于第二个网站效应的那篇文章里讲过。
总之,网站我已经做成了机器读得懂的样子。至于我的名字会不会出现在那一段回答里,取决于我做的东西有没有在别处被人谈起。这个博客的存在,多少也是为了这个。