Markdown 是一种轻量级纯文本语言，人和机器都能轻松阅读。最新的搜索可见性策略之一是向生成式 AI 机器人提供网页的 Markdown 版本。目的是通过减少爬取资源来帮助机器人获取内容，从而鼓励它们访问页面。
我看到搜索优化人员进行了一些单独测试，显示使用 Markdown 后 AI 机器人访问量增加，但没有转化为更好的可见性。一些现成工具，如 Cloudflare，使 Markdown 的实现更加容易。
为用户和机器人提供不同版本的页面并非新鲜事。这种被称为"伪装"的策略长期以来在 Google 搜索中心指南中被视为垃圾邮件。
然而，AI 的情况有所不同，因为这并不是试图操纵算法，而是让机器人更容易访问和阅读页面。
有效吗？
然而，这并不能使该策略有效。在实施之前请仔细考虑以下原因。
-
功能性。 页面的 Markdown 版本可能无法正常运行。特别是按钮可能会失效。
-
架构。 Markdown 页面可能会丢失必要的元素，如页脚、页眉、内部链接（"相关产品"）以及通过第三方提供商提供的用户生成评论。其效果是移除了关键上下文，而这些上下文是大型语言模型的信任信号。
-
滥用。 如果 Markdown 策略成为主流，网站将不可避免地为 AI 机器人专门注入独特的产品数据、说明或其他元素。
为机器人创建独特页面通常会稀释必要的信号，如链接权威性和品牌。一个更好的方法始终是创建对人类和机器人同样友好的网站。
此外，LLM 代理的目标是像人类一样与网络互动。提供不同版本毫无意义。
Google 和 Bing 的代表表达了这一观点几周前。John Mueller 是 Google 的高级搜索分析师：
自一开始，LLM 就已经训练过——读取和解析——普通网页，它们处理 HTML 应该没有问题。为什么它们想看到一个用户看不到的页面？
Fabrice Canel 是 Bing 的首席产品经理：
……真的想增加爬取负载吗？我们无论如何都会爬取来检查相似性。非用户版本（可爬取的 AJAX 等）经常被忽视、损坏。人工帮助修复用户和机器人查看的内容。
