在语言模型原因在网页之前,许多检索管道将其缩小到标记,将风格和布局分为标题,段落和列表。一页用视觉驱动但语义平的HTML构建,为标题站着的装饰潜水,内容为设计师的眼睛排序,而不是一个逻辑层次,转换成文本的混乱墙壁,它失去了模型所依赖的结构来识别什么。一页用适当的标题层次构建,一个清晰的H1,嵌入的H2和H3反映了实际的主题树,并且内容排序以便最重要的事实首先出现,清晰地转换,而清洁的转换模型是实际阅读的。这就是为什么一页 llms.txt的简报与真正结构齐全的HTML源
投资你的AI Halo问题
Markdown 转换是顺序的,所以一个模型从顶部读到底部,在短文背景检索中重量更大;将核心报价埋在与无关的导航或填充内容之下,会降低它被准确捕获的机会。
是的,通过标记转换工具运行您的实时URL(许多可读性和扫描库暴露了这一点)显示出搜索管道会提取什么,揭示崩溃的标题或丢失的结构,然后影响模型如何描述您。
只有当内容在扫描时存在于渲染的DOM时;标记转换通常在渲染或服务器交付的HTML上运行,因此在事实发生后注入的客户端内容经常被完全剥夺。