GSC 告诉你 Google 对页面的结果判断，服务器日志告诉你 Googlebot 实际来过哪里。
日志分析的价值，不是看一堆访问记录，而是把抓取频率、状态码、模板类型和页面价值连起来。
Google Search Console 的 Crawl Stats 报告也能看到抓取请求、下载大小、平均响应时间和服务器响应等趋势；服务器日志则能把这些趋势进一步拆到具体 URL 和模板。
日志里先看哪些字段
常见字段包括：
| 字段 | 用途 |
|---|---|
| timestamp | 抓取发生时间 |
| ip | 请求来源 |
| user_agent | 是否声称为 Googlebot |
| url | 被抓取 URL |
| status_code | 200、301、404、500 等 |
| response_time | 响应耗时 |
| bytes | 下载大小 |
| referer | 通常对 bot 不一定有用 |
注意：不要只靠 user-agent 判断 Googlebot，必要时要按 Google 官方方法验证 IP，避免把伪装爬虫当成真实抓取。
按模板聚合，而不是逐条看
单条日志价值有限，聚合后才有意义。
建议按这些维度分组：
- 首页、栏目页、专题页、文章页、产品页；
- 参数页、筛选页、搜索页；
- 状态码：200、301、404、5xx；
- 是否在 sitemap；
- 是否可索引；
- 是否有自然搜索表现；
- 抓取频率变化。
如果 Googlebot 大量抓参数页，却很少抓新文章或重要专题页，问题通常不在“预算太小”，而在 URL 库存和内部链接。
日志分析能转成哪些动作
| 发现 | 可能动作 |
|---|---|
| 大量 404 被持续抓取 | 修站内链接、必要时 301、清理 sitemap |
| 大量参数 URL 被抓 | canonical、robots、链接规则、参数治理 |
| 重要页面长期不被抓 | 增加内链、检查 sitemap、提升页面质量 |
| 5xx 集中出现 | 优先修服务器稳定性 |
| 重定向链被反复抓 | 旧 URL 直接跳最终页 |
| 新内容抓取慢 | 检查发布入口、sitemap 和站内链接 |
日志分析要服务动作，而不是生成一份“Googlebot 来过多少次”的报告。
三类读者的盲点
SEO 新手常见盲点是不知道日志能看什么，只把它当开发排错文件。
有一定经验的人会看日志，但不转成优化动作。
更资深的人需要从抓取频率、状态码和模板价值建模：哪些抓取是有价值的，哪些是在浪费。
一份日志分析表
| 字段 | 示例 |
|---|---|
| url_group | article、category、facet、redirect、error |
| googlebot_verified | yes / no |
| requests | 抓取次数 |
| status_mix | 200 / 301 / 404 / 5xx 占比 |
| in_sitemap | yes / no |
| indexable | yes / no |
| action | 保留、清理、重定向、加强内链 |
先抽样分析，再全量跑。日志体量大时，先按模板和状态码找异常，不要陷入逐 URL 明细。