你不知道的 GEO：原理、实践与取舍 - Tw93

📌 一句话摘要

本文系统介绍了 AI 可见性（GEO）的核心理念与实践方法，通过 robots.txt 精细配置、llms.txt 结构化内容、Markdown 路由和知识端点建设，让 AI 搜索更准确地发现和理解个人项目与博客内容。

📝 详细摘要

本文由独立开发者 Tw93 撰写，基于自身项目被 AI 搜索主动推荐的经历，系统阐述了 AI 可见性（GEO）的实践方法。文章首先对比了 AI 搜索与传统 SEO 的本质差异，指出 AI 更看重内容的结构清晰度和来源可靠性而非 PageRank。核心实践包括：精细配置 robots.txt 区分训练爬虫、搜索爬虫和用户触发爬虫；部署 llms.txt 和 llms-full.txt 标准，为 AI 提供结构化内容概览；通过 Markdown 路由减少 80% 的 token 消耗；建设独立的知识端点 Yobi，提供 JSON API 和项目知识页面；通过 GitHub Action 将子域名数据镜像到主域名。文章还分享了试错经验，如 JSON-LD 对 AI 搜索效果有限、FAQ 格式反而有害等。最后引用 Princeton 等机构的 GEO 研究数据，强调权威引用和具体数据对提升 AI 可见性的显著效果。

💡 主要观点

- AI 搜索与传统 SEO 逻辑完全不同，内容结构清晰度比排名更重要。 83% 的 AI Overview 引用来自传统排名前 10 之外的页面，AI 看重的是内容的结构化程度和来源可靠性，而非 PageRank 权重。

精细配置 robots.txt 是 AI 可见性的基础，需区分不同爬虫类型。 训练爬虫、搜索检索爬虫、用户触发爬虫各有不同用途，应允许搜索和用户触发爬虫，屏蔽训练爬虫和未声明爬虫，以平衡内容可见性与数据安全。

llms.txt 和 Markdown 路由是降低 AI 理解成本的关键技术。 llms.txt 提供站点概览，llms-full.txt 提供完整内容，Markdown 路由将 15000 token 的 HTML 页面压缩至 3000 token，减少 80% 的噪音，让 AI 更高效地提取核心信息。

建设独立知识端点并提供 JSON API，为 AI 提供集中化、结构化的数据入口。 通过 Yobi 项目提供 llms.txt、llms-full.txt、项目知识页面和 JSON API，将个人信息、项目列表、博客文章等结构化数据集中管理，并通过主域名镜像提升权重。

权威引用和具体数据比机械 SEO 指标更有效，FAQ 格式反而有害。 GEO 研究显示权威引用提升 AI 可见性 115%，具体数据提升 33%。机械 SEO 指标（H 标签层级、关键词密度）预测力弱，纯 FAQ 格式反而降低引用率。

💬 文章金句

- AI 搜索跟传统搜索的逻辑完全不一样。传统 SEO 拼的是进 Google 前 10，但 83% 的 AI Overview 引用来自传统排名前 10 之外的页面。

• 不是在为 AI 创造内容，是把已有的内容重新组织，让 AI 读的时候不用在噪音里翻找。
• 一个典型的 HTML 页面算上导航、脚本、广告、页脚，大概要消耗 15000 个 token，真正的内容可能只有 3000 个，80% 浪费在噪音上。
• 我更相信把本来就有的内容结构化，让 AI 可以更好理解，而不是制造垃圾内容刷引用。
• 你加的每一段内容，是否提供了页面上还没有的信息？不是就别加。

📊 文章信息

AI 初评：91

来源：Tw93 Blog

作者：Tw93

分类：软件编程

语言：中文

阅读时间：19 分钟

字数：4745

标签： GEO, AI 可见性, llms.txt, robots.txt, AI 搜索

阅读完整文章