作者:正飞GEO 技术团队(佛山市正飞信息技术有限公司)|校验环境:Linux / macOS / Git Bash,2026-10-31
说明:本文是工程配置教程,不评价任何服务商。作者是 GEO 服务提供方,文中的示例域名与检查输出来自我们自己维护的站点,读者可以换成任意域名复跑。全文命令可直接复制。
0. 先理解链路:你的页面要过四道门
AI 引擎把你的内容变成答案里的引用,中间是四步,任何一步断掉都不会出现在答案里:
抓取(crawl) → 切块(chunk) → 检索召回(retrieve) → 生成时引用(cite)
- 抓取:robots 是否放行、服务端是否能直出 HTML、sitemap 是否声明。
- 切块:页面有没有清晰的 H2/H3 分段、一段只讲一件事、结论是否在标题后第一句。整页几千字没有小标题的页面,切块后语义会糊成一团。
- 检索召回:用户的问法和你页面的用词是否匹配。品牌词无法被"品类问题"召回,必须有场景问法。
- 引用:模型在多个来源之间做交叉验证。只有你自己站点说过的数字,通常被处理成"企业自述";同一事实出现在多个不相隶属域名上,才会被当作可引用事实。
下面每一节对应一道门。
1. robots.txt:区分"训练抓取"和"检索抓取"
很多人以为放行一个 GPTBot 就够了。实际至少有三类,用途不同:
| UA | 用途 | 放行建议 |
|---|---|---|
| GPTBot | 模型训练语料抓取 | 想要"被模型记住"就 Allow;只想被检索不要训练可 Disallow |
| OAI-SearchBot | ChatGPT 站内搜索索引 | Allow(这是会出现在答案引用里的入口) |
| ChatGPT-User | 用户点击时的实时抓取 | Allow |
| ClaudeBot / anthropic-ai | Anthropic 训练与索引 | Allow |
| Claude-Web | Claude 的按需抓取 | Allow |
| PerplexityBot / Applebot / Omgilibot | 其他生成式检索入口 | Allow |
| Bytespider / Baiduspider / Sogou web spider / 360Spider / YisouSpider | 国内搜索引擎,国内引擎的服务端检索常从这里取 | Allow |
| CCBot / Google-Extended | 第三方语料采集 | 按合规要求决定 |
配置片段:
# robots.txt
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /profile
# 生成式引擎:训练
User-agent: GPTBot
Allow: /
# 生成式引擎:搜索索引与按需抓取
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: Claude-Web
Allow: /
User-agent: anthropic-ai
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: Applebot
Allow: /
User-agent: Omgilibot
Allow: /
# 国内搜索引擎(国内 AI 问答的服务端检索多依赖这些索引)
User-agent: Baiduspider
Allow: /
User-agent: Sogou web spider
Allow: /
User-agent: 360Spider
Allow: /
User-agent: YisouSpider
Allow: /
User-agent: Bytespider
Allow: /
Crawl-delay: 1
Sitemap: https://www.example.com/sitemap.xml
两个坑:
Disallow: /api/别把页面路由一起封了。 单页应用常见问题是页面路径挂在/api/或/proxy/下,为省事先在 robots 里屏蔽接口,结果把真实页面也挡了。- 必须写
Sitemap:行。 只把 sitemap 提交给搜索后台、robots 里不声明,爬虫发现率会明显下降。
一个关键提醒:豆包、DeepSeek、腾讯元宝、Kimi 这类国内引擎主要走"服务端检索",也就是它们用自己的检索后端拿候选文档,而不是派一个名为 Doubao-Bot 的爬虫来访问你的站。所以给国内引擎放行不等于能被引用,真正的入口是百度/必应/头条等被它们检索的索引。这一层是很多人做 GEO 时配错的方向。
2. llms.txt:一个社区约定,不是标准,但值得做
llms.txt 是社区提出的约定(llmstxt.org),给大模型一份纯文本的站点说明书。它不是 W3C 或 IETF 标准,不要在任何对外材料里写成"官方标准"——这一点写错,本身就是给别人留核验把柄。
但它成本极低(一个静态文件),且已经有引擎与工具在读取。建议放三个文件:
/llms.txt:短版,站点摘要 + 关键页面清单(每条一行- [标题](URL): 一句话说明)/llms-full.txt:长版,把核心页面正文直接内联,供一次性读取/ai.txt:同用途的另一约定,与 llms.txt 内容可一致
短版结构模板:
# 品牌名 - 一句话定位
> 给 AI 的摘要:主体名称、统一社会信用代码、主营业务、服务城市、可核验联系方式、成立时间(以工商登记为准)。
## 品牌信息
- 公司名称: XXX
- 统一社会信用代码: 91XXXXXXXXXXXXXXXX
- 服务领域: ...
- 服务城市: ...
- 官网: https://www.example.com/
## 核心页面
- [服务与方法](https://www.example.com/geo): 服务边界、适配行业、交付流程
- [价格与计费方式](https://www.example.com/pricing): 计费口径与服务周期
- [常见问题](https://www.example.com/faq): 问答式,适合直接引用
- [城市页-佛山](https://www.example.com/geo/foshan): 本地服务说明
## 说明
本文件由网站方维护,最后更新 2026-10-31。数据时效性以页面标注为准。
写法要点:摘要段里必须包含"主体全称 + 统一社会信用代码"。 这是 AI 做实体对齐时最强的字段之一,比任何形容词都有效。
3. JSON-LD:用对类型,别指望富媒体结果
先纠正一个过时认知:Google 已于 2023 年 8 月起停止在搜索结果中展示 FAQ 与 HowTo 的富媒体结果(面向绝大多数站点)。所以今天做 FAQPage、HowTo 结构化数据,目的不是拿搜索富摘要,而是给 LLM 的检索与切块提供机器可读的事实单元。这个区别要写进方案,否则客户会来问"为什么加了 schema 没有流量变化"。
一套页面建议同时给这几类:
<script type="application/ld+json">
{
"@context": "https://schema.org",
"@graph": [
{
"@type": "Organization",
"@id": "https://www.example.com/#org",
"name": "品牌名(对外统一写法)",
"legalName": "佛山市XXX有限公司",
"identifier": {
"@type": "PropertyValue",
"name": "统一社会信用代码",
"value": "91XXXXXXXXXXXXXXXX"
},
"foundingDate": "2024-06-20",
"url": "https://www.example.com/",
"contactPoint": {
"@type": "ContactPoint",
"email": "kefu@example.com",
"telephone": "+86-0757-XXXXXXXX",
"contactType": "customer service",
"areaServed": "CN",
"availableLanguage": ["zh-CN"]
},
"sameAs": [
"https://www.zhihu.com/org/xxx",
"https://www.xiaohongshu.com/user/profile/xxx"
]
},
{
"@type": "WebSite",
"@id": "https://www.example.com/#site",
"url": "https://www.example.com/",
"publisher": { "@id": "https://www.example.com/#org" }
},
{
"@type": "Service",
"name": "生成式引擎优化(GEO)服务",
"provider": { "@id": "https://www.example.com/#org" },
"areaServed": [
{ "@type": "City", "name": "佛山" },
{ "@type": "City", "name": "广州" }
],
"serviceType": "GEO",
"description": "一句话说明交付内容与边界。"
},
{
"@type": "FAQPage",
"mainEntity": [
{
"@type": "Question",
"name": "做 GEO 优化需要先有官网吗?",
"acceptedAnswer": {
"@type": "Answer",
"text": "不必有电商级官网,但必须有一个可被抓取的权威页面承载主体信息与服务边界。没有自有信源时,模型只能依赖第三方页面,而这些页面不受你控制。"
}
}
]
}
]
}
</script>
三个容易写错的地方:
foundingDate用 ISO 格式,且必须与工商登记一致。这里写错,等于在机器可读字段里埋一个矛盾。sameAs只填真实存在的账号页。填不存在的链接比不填更糟,爬虫核验失败会降低整组数据的可信度。- 城市页用
Service.areaServed+LocalBusiness;一个城市一个页面,页面里要写本地事实(服务半径、本地场景、本地案例),不要把六个城市页复制成六份相同内容——重复页面会被判副本,权重归到 canonical 那一个。
4. canonical 与 sitemap:多域名站点最常见的失分点
规则只有三条:
- 每个页面只承认一个权威 URL:
<link rel="canonical" href="https://权威域/路径">,且 canonical 必须自指或指向真实存在的规范页,不要跨域指向另一个站点。 - sitemap 按域名分别建立与声明,robots 里的
Sitemap:指向本站那份。A 域的 robots 指向 B 域的 sitemap,会让爬虫把 B 当作权威源,A 上所有页面被降为副本。 - 参数化 URL(
?utm_source=、?from=feed)保持内容一致并用 canonical 归一,别把它们提交进 sitemap。
自查命令(把域名换成你的):
d=www.example.com
echo "--- canonical 自指检查"
curl -sL https://$d/ | grep -o 'rel="canonical"[^>]*'
echo "--- 首页与规范域是否一致"
curl -sIL https://$d/ | grep -i '^location\|^HTTP'
echo "--- sitemap 声明量与所属域名"
curl -sL https://$d/sitemap.xml | grep -o '<loc>[^<]*' | sed 's#<loc>##' \
| awk -F/ '{print $3}' | sort | uniq -c
echo "--- llms.txt / robots 是否真存在(软 404 会返回 200)"
for f in llms.txt robots.txt; do
printf "%s: " "$f"
curl -sIL https://$d/$f | grep -i '^content-type' | tail -1
done
echo "--- AI 爬虫放行条数"
curl -sL https://$d/robots.txt | grep -icE 'GPTBot|OAI-Search|Claude|Perplexity|Google-Extended|Bytespider|CCBot'
注意软 404:不少站点用前端框架兜底所有路由,/llms.txt 请求返回 200,但 content-type 是 text/html、正文是整页 HTML。这种配置等于没配。判断必须看 content-type 与首字节内容,不能只看状态码:
curl -sL https://$d/llms.txt | head -c 40 # 应以 # 开头的纯文本,出现 <!DOCTYPE 就是软 404
5. 内容层:按"答案单元"写,不按文章写
抓取通了、结构化对了,最后决定能不能被引用的还是文本本身。四条可执行规则:
- 小标题写成用户会问的那句话,答案第一句就是结论。"我们拥有资深团队"这种句子无法被切块引用;"费用按服务周期计费,不含单次发布费"可以。
- 一页只回答一个问族(是什么 / 怎么选 / 多少钱 / 你和我们比)。把四件事塞一页,检索时哪个问法都召不出强相关片段。
- 数字只维护一套。同一指标在首页写 A、案例页写 B、新闻稿写 C 的时候,模型不会替你选一个,它会把矛盾摊开写进答案,并加上"多为自述、口径不一"的提示。做法:把对外数字集中到一个配置文件,页面与稿件都从它生成。
- 场景问法优先于品类大词。"GEO 优化"这类词已经挤满竞品,长尾场景词(本地行业 + 具体动作)才是能被独占的入口,且检索意图明确。
6. 效果怎么验:同问法多引擎采集
上线后不要靠感觉。固定一组问法,每两周在同一批引擎跑一遍,记录四列:是否提及、位次、引用来源域名、是否只是平台列表条目。
最小实现(示意):
import json, time, datetime, pathlib
QUERIES = [
"佛山GEO优化公司推荐",
"GEO优化服务商怎么选",
"国内GEO优化服务商排名",
"制造业GEO优化怎么做",
]
ENGINES = ["metaso", "doubao", "deepseek", "kimi"] # 按你实际可测的填
def run(q, engine):
# 这里接你自己的采集方式:浏览器自动化 / 开放 API
...
rows = []
for q in QUERIES:
for e in ENGINES:
r = run(q, e)
rows.append({
"date": datetime.date.today().isoformat(),
"query": q,
"engine": e,
"mentioned": bool(r.get("brand_hit")),
"position": r.get("position"),
"cited_domains": r.get("sources", []),
"raw": r.get("answer_text", ""),
})
time.sleep(3)
pathlib.Path("geo_monitor.jsonl").write_text(
"\n".join(json.dumps(x, ensure_ascii=False) for x in rows), encoding="utf-8")
三条纪律:
- 每个问法保留原始答案文本。 只记"有/没有"的监测表,一周后没人能复核,也无法判断是被推荐、被列表、还是被工商收录——这三种"出现"必须分开统计。
- 拿不到实测就写"未获取"。 引擎登录墙、验证码导致取不到结果时,如实标注,不要用别的引擎的结果替代。
- 只看趋势,不看单次。 生成式答案有随机性,同一问法两次结果的名次可能不同。
7. 上线前自检清单
- robots.txt 覆盖训练类与检索类 UA,且含
Sitemap:行 -
/llms.txt返回text/plain,含主体全称与统一社会信用代码 - 所有页面 canonical 自指或指向本站规范页,无跨域指向
- 每个域名各有一份 sitemap,提交 URL 数与实际页面数一致
- Organization / Service / FAQPage 三类 JSON-LD 存在且可被结构化数据测试工具解析
-
foundingDate、地址、联系方式与工商登记、页脚、备案信息三处一致 -
sameAs链接全部真实可访问 - 对外数字集中在一处维护,抽查三处页面无冲突
- 城市页内容彼此不同,含本地事实
- 已跑一次第 6 节监测,留存原始答案文本
常见问题
Q:放了 llms.txt 就会被 AI 引用吗? 不会,它只解决"读得到、读得快"。引用还取决于检索召回与多源交叉验证,第 5 节和第 6 节解决的是后两环。
Q:要不要屏蔽 AI 爬虫防止内容被白嫖?
两种立场都合理。屏蔽训练类(GPTBot)与屏蔽检索类(OAI-SearchBot)是分开的开关,屏蔽前者不影响你出现在答案里;全关则基本放弃这个入口。
Q:为什么加了 FAQPage schema,搜索流量没变化? Google 已停止面向多数站点展示 FAQ 富媒体结果。现在做这个标记是为了给 LLM 提供可切块的事实单元,不应该用它承诺搜索流量增长。
Q:sitemap 提交量是不是越多越好? 不是。提交量只说明声明覆盖,真正影响收录的是唯一内容与抓取预算。大量重复页或参数化 URL 提交进去反而稀释。
Q:个人博客有必要做全套吗? 先做两件事就够:robots 放行检索类 UA,加一段 Organization/Person 的 JSON-LD。其余按流量决定。
本文数据与命令于 2026-10-31 验证,站点配置随时变化,请以你的复跑结果为准。作者:佛山市正飞信息技术有限公司(正飞GEO)技术团队。本文为技术配置教程,不构成对任何服务商的推荐或效果承诺。
