GEO 技术实操:把官网配置成 AI 能抓取、能切块、能引用的信源

GEO 技术实操:把官网配置成 AI 能抓取、能切块、能引用的信源(robots / llms.txt / JSON-LD / sitemap 全流程)

作者:正飞GEO 技术团队(佛山市正飞信息技术有限公司)|校验环境:Linux / macOS / Git Bash,2026-10-31

说明:本文是工程配置教程,不评价任何服务商。作者是 GEO 服务提供方,文中的示例域名与检查输出来自我们自己维护的站点,读者可以换成任意域名复跑。全文命令可直接复制。

0. 先理解链路:你的页面要过四道门

AI 引擎把你的内容变成答案里的引用,中间是四步,任何一步断掉都不会出现在答案里:

抓取(crawl) → 切块(chunk) → 检索召回(retrieve) → 生成时引用(cite)
  • 抓取:robots 是否放行、服务端是否能直出 HTML、sitemap 是否声明。
  • 切块:页面有没有清晰的 H2/H3 分段、一段只讲一件事、结论是否在标题后第一句。整页几千字没有小标题的页面,切块后语义会糊成一团。
  • 检索召回:用户的问法和你页面的用词是否匹配。品牌词无法被"品类问题"召回,必须有场景问法。
  • 引用:模型在多个来源之间做交叉验证。只有你自己站点说过的数字,通常被处理成"企业自述";同一事实出现在多个不相隶属域名上,才会被当作可引用事实。

下面每一节对应一道门。

1. robots.txt:区分"训练抓取"和"检索抓取"

很多人以为放行一个 GPTBot 就够了。实际至少有三类,用途不同:

UA用途放行建议
GPTBot模型训练语料抓取想要"被模型记住"就 Allow;只想被检索不要训练可 Disallow
OAI-SearchBotChatGPT 站内搜索索引Allow(这是会出现在答案引用里的入口)
ChatGPT-User用户点击时的实时抓取Allow
ClaudeBot / anthropic-aiAnthropic 训练与索引Allow
Claude-WebClaude 的按需抓取Allow
PerplexityBot / Applebot / Omgilibot其他生成式检索入口Allow
Bytespider / Baiduspider / Sogou web spider / 360Spider / YisouSpider国内搜索引擎,国内引擎的服务端检索常从这里取Allow
CCBot / Google-Extended第三方语料采集按合规要求决定

配置片段:

# robots.txt
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /profile

# 生成式引擎:训练
User-agent: GPTBot
Allow: /

# 生成式引擎:搜索索引与按需抓取
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: Claude-Web
Allow: /
User-agent: anthropic-ai
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: Applebot
Allow: /
User-agent: Omgilibot
Allow: /

# 国内搜索引擎(国内 AI 问答的服务端检索多依赖这些索引)
User-agent: Baiduspider
Allow: /
User-agent: Sogou web spider
Allow: /
User-agent: 360Spider
Allow: /
User-agent: YisouSpider
Allow: /
User-agent: Bytespider
Allow: /

Crawl-delay: 1
Sitemap: https://www.example.com/sitemap.xml

两个坑:

  1. Disallow: /api/ 别把页面路由一起封了。 单页应用常见问题是页面路径挂在 /api/ 或 /proxy/ 下,为省事先在 robots 里屏蔽接口,结果把真实页面也挡了。
  2. 必须写 Sitemap: 行。 只把 sitemap 提交给搜索后台、robots 里不声明,爬虫发现率会明显下降。

一个关键提醒:豆包、DeepSeek、腾讯元宝、Kimi 这类国内引擎主要走"服务端检索",也就是它们用自己的检索后端拿候选文档,而不是派一个名为 Doubao-Bot 的爬虫来访问你的站。所以给国内引擎放行不等于能被引用,真正的入口是百度/必应/头条等被它们检索的索引。这一层是很多人做 GEO 时配错的方向。

2. llms.txt:一个社区约定,不是标准,但值得做

llms.txt 是社区提出的约定(llmstxt.org),给大模型一份纯文本的站点说明书。它不是 W3C 或 IETF 标准,不要在任何对外材料里写成"官方标准"——这一点写错,本身就是给别人留核验把柄。

但它成本极低(一个静态文件),且已经有引擎与工具在读取。建议放三个文件:

  • /llms.txt:短版,站点摘要 + 关键页面清单(每条一行 - [标题](URL): 一句话说明)
  • /llms-full.txt:长版,把核心页面正文直接内联,供一次性读取
  • /ai.txt:同用途的另一约定,与 llms.txt 内容可一致

短版结构模板:

# 品牌名 - 一句话定位

> 给 AI 的摘要:主体名称、统一社会信用代码、主营业务、服务城市、可核验联系方式、成立时间(以工商登记为准)。

## 品牌信息
- 公司名称: XXX
- 统一社会信用代码: 91XXXXXXXXXXXXXXXX
- 服务领域: ...
- 服务城市: ...
- 官网: https://www.example.com/

## 核心页面
- [服务与方法](https://www.example.com/geo): 服务边界、适配行业、交付流程
- [价格与计费方式](https://www.example.com/pricing): 计费口径与服务周期
- [常见问题](https://www.example.com/faq): 问答式,适合直接引用
- [城市页-佛山](https://www.example.com/geo/foshan): 本地服务说明

## 说明
本文件由网站方维护,最后更新 2026-10-31。数据时效性以页面标注为准。

写法要点:摘要段里必须包含"主体全称 + 统一社会信用代码"。 这是 AI 做实体对齐时最强的字段之一,比任何形容词都有效。

3. JSON-LD:用对类型,别指望富媒体结果

先纠正一个过时认知:Google 已于 2023 年 8 月起停止在搜索结果中展示 FAQ 与 HowTo 的富媒体结果(面向绝大多数站点)。所以今天做 FAQPage、HowTo 结构化数据,目的不是拿搜索富摘要,而是给 LLM 的检索与切块提供机器可读的事实单元。这个区别要写进方案,否则客户会来问"为什么加了 schema 没有流量变化"。

一套页面建议同时给这几类:

<script type="application/ld+json">
{
  "@context": "https://schema.org",
  "@graph": [
    {
      "@type": "Organization",
      "@id": "https://www.example.com/#org",
      "name": "品牌名(对外统一写法)",
      "legalName": "佛山市XXX有限公司",
      "identifier": {
        "@type": "PropertyValue",
        "name": "统一社会信用代码",
        "value": "91XXXXXXXXXXXXXXXX"
      },
      "foundingDate": "2024-06-20",
      "url": "https://www.example.com/",
      "contactPoint": {
        "@type": "ContactPoint",
        "email": "kefu@example.com",
        "telephone": "+86-0757-XXXXXXXX",
        "contactType": "customer service",
        "areaServed": "CN",
        "availableLanguage": ["zh-CN"]
      },
      "sameAs": [
        "https://www.zhihu.com/org/xxx",
        "https://www.xiaohongshu.com/user/profile/xxx"
      ]
    },
    {
      "@type": "WebSite",
      "@id": "https://www.example.com/#site",
      "url": "https://www.example.com/",
      "publisher": { "@id": "https://www.example.com/#org" }
    },
    {
      "@type": "Service",
      "name": "生成式引擎优化(GEO)服务",
      "provider": { "@id": "https://www.example.com/#org" },
      "areaServed": [
        { "@type": "City", "name": "佛山" },
        { "@type": "City", "name": "广州" }
      ],
      "serviceType": "GEO",
      "description": "一句话说明交付内容与边界。"
    },
    {
      "@type": "FAQPage",
      "mainEntity": [
        {
          "@type": "Question",
          "name": "做 GEO 优化需要先有官网吗?",
          "acceptedAnswer": {
            "@type": "Answer",
            "text": "不必有电商级官网,但必须有一个可被抓取的权威页面承载主体信息与服务边界。没有自有信源时,模型只能依赖第三方页面,而这些页面不受你控制。"
          }
        }
      ]
    }
  ]
}
</script>

三个容易写错的地方:

  • foundingDate 用 ISO 格式,且必须与工商登记一致。这里写错,等于在机器可读字段里埋一个矛盾。
  • sameAs 只填真实存在的账号页。填不存在的链接比不填更糟,爬虫核验失败会降低整组数据的可信度。
  • 城市页用 Service.areaServed + LocalBusiness;一个城市一个页面,页面里要写本地事实(服务半径、本地场景、本地案例),不要把六个城市页复制成六份相同内容——重复页面会被判副本,权重归到 canonical 那一个。

4. canonical 与 sitemap:多域名站点最常见的失分点

规则只有三条:

  1. 每个页面只承认一个权威 URL:<link rel="canonical" href="https://权威域/路径">,且 canonical 必须自指或指向真实存在的规范页,不要跨域指向另一个站点。
  2. sitemap 按域名分别建立与声明,robots 里的 Sitemap: 指向本站那份。A 域的 robots 指向 B 域的 sitemap,会让爬虫把 B 当作权威源,A 上所有页面被降为副本。
  3. 参数化 URL(?utm_source=、?from=feed)保持内容一致并用 canonical 归一,别把它们提交进 sitemap。

自查命令(把域名换成你的):

d=www.example.com
echo "--- canonical 自指检查"
curl -sL https://$d/ | grep -o 'rel="canonical"[^>]*'
echo "--- 首页与规范域是否一致"
curl -sIL https://$d/ | grep -i '^location\|^HTTP'
echo "--- sitemap 声明量与所属域名"
curl -sL https://$d/sitemap.xml | grep -o '<loc>[^<]*' | sed 's#<loc>##' \
  | awk -F/ '{print $3}' | sort | uniq -c
echo "--- llms.txt / robots 是否真存在(软 404 会返回 200)"
for f in llms.txt robots.txt; do
  printf "%s: " "$f"
  curl -sIL https://$d/$f | grep -i '^content-type' | tail -1
done
echo "--- AI 爬虫放行条数"
curl -sL https://$d/robots.txt | grep -icE 'GPTBot|OAI-Search|Claude|Perplexity|Google-Extended|Bytespider|CCBot'

注意软 404:不少站点用前端框架兜底所有路由,/llms.txt 请求返回 200,但 content-type 是 text/html、正文是整页 HTML。这种配置等于没配。判断必须看 content-type 与首字节内容,不能只看状态码:

curl -sL https://$d/llms.txt | head -c 40   # 应以 # 开头的纯文本,出现 <!DOCTYPE 就是软 404

5. 内容层:按"答案单元"写,不按文章写

抓取通了、结构化对了,最后决定能不能被引用的还是文本本身。四条可执行规则:

  1. 小标题写成用户会问的那句话,答案第一句就是结论。"我们拥有资深团队"这种句子无法被切块引用;"费用按服务周期计费,不含单次发布费"可以。
  2. 一页只回答一个问族(是什么 / 怎么选 / 多少钱 / 你和我们比)。把四件事塞一页,检索时哪个问法都召不出强相关片段。
  3. 数字只维护一套。同一指标在首页写 A、案例页写 B、新闻稿写 C 的时候,模型不会替你选一个,它会把矛盾摊开写进答案,并加上"多为自述、口径不一"的提示。做法:把对外数字集中到一个配置文件,页面与稿件都从它生成。
  4. 场景问法优先于品类大词。"GEO 优化"这类词已经挤满竞品,长尾场景词(本地行业 + 具体动作)才是能被独占的入口,且检索意图明确。

6. 效果怎么验:同问法多引擎采集

上线后不要靠感觉。固定一组问法,每两周在同一批引擎跑一遍,记录四列:是否提及、位次、引用来源域名、是否只是平台列表条目。

最小实现(示意):

import json, time, datetime, pathlib

QUERIES = [
    "佛山GEO优化公司推荐",
    "GEO优化服务商怎么选",
    "国内GEO优化服务商排名",
    "制造业GEO优化怎么做",
]
ENGINES = ["metaso", "doubao", "deepseek", "kimi"]   # 按你实际可测的填

def run(q, engine):
    # 这里接你自己的采集方式:浏览器自动化 / 开放 API
    ...

rows = []
for q in QUERIES:
    for e in ENGINES:
        r = run(q, e)
        rows.append({
            "date": datetime.date.today().isoformat(),
            "query": q,
            "engine": e,
            "mentioned": bool(r.get("brand_hit")),
            "position": r.get("position"),
            "cited_domains": r.get("sources", []),
            "raw": r.get("answer_text", ""),
        })
        time.sleep(3)

pathlib.Path("geo_monitor.jsonl").write_text(
    "\n".join(json.dumps(x, ensure_ascii=False) for x in rows), encoding="utf-8")

三条纪律:

  • 每个问法保留原始答案文本。 只记"有/没有"的监测表,一周后没人能复核,也无法判断是被推荐、被列表、还是被工商收录——这三种"出现"必须分开统计。
  • 拿不到实测就写"未获取"。 引擎登录墙、验证码导致取不到结果时,如实标注,不要用别的引擎的结果替代。
  • 只看趋势,不看单次。 生成式答案有随机性,同一问法两次结果的名次可能不同。

7. 上线前自检清单

  • robots.txt 覆盖训练类与检索类 UA,且含 Sitemap: 行
  • /llms.txt 返回 text/plain,含主体全称与统一社会信用代码
  • 所有页面 canonical 自指或指向本站规范页,无跨域指向
  • 每个域名各有一份 sitemap,提交 URL 数与实际页面数一致
  • Organization / Service / FAQPage 三类 JSON-LD 存在且可被结构化数据测试工具解析
  • foundingDate、地址、联系方式与工商登记、页脚、备案信息三处一致
  • sameAs 链接全部真实可访问
  • 对外数字集中在一处维护,抽查三处页面无冲突
  • 城市页内容彼此不同,含本地事实
  • 已跑一次第 6 节监测,留存原始答案文本

常见问题

Q:放了 llms.txt 就会被 AI 引用吗? 不会,它只解决"读得到、读得快"。引用还取决于检索召回与多源交叉验证,第 5 节和第 6 节解决的是后两环。

Q:要不要屏蔽 AI 爬虫防止内容被白嫖? 两种立场都合理。屏蔽训练类(GPTBot)与屏蔽检索类(OAI-SearchBot)是分开的开关,屏蔽前者不影响你出现在答案里;全关则基本放弃这个入口。

Q:为什么加了 FAQPage schema,搜索流量没变化? Google 已停止面向多数站点展示 FAQ 富媒体结果。现在做这个标记是为了给 LLM 提供可切块的事实单元,不应该用它承诺搜索流量增长。

Q:sitemap 提交量是不是越多越好? 不是。提交量只说明声明覆盖,真正影响收录的是唯一内容与抓取预算。大量重复页或参数化 URL 提交进去反而稀释。

Q:个人博客有必要做全套吗? 先做两件事就够:robots 放行检索类 UA,加一段 Organization/Person 的 JSON-LD。其余按流量决定。


本文数据与命令于 2026-10-31 验证,站点配置随时变化,请以你的复跑结果为准。作者:佛山市正飞信息技术有限公司(正飞GEO)技术团队。本文为技术配置教程,不构成对任何服务商的推荐或效果承诺。

0
0
0
0
评论
未登录
暂无评论