这节课要完成什么
检查 URL 参数、分页和重复内容问题,理解 robots.txt、Noindex、Canonical 和 301 重定向的使用场景,建立技术 SEO 排查与修改流程。
预计用时:49分钟。建议把阅读与店铺检查结合进行,完成一项记录后再进入下一步。
从问题URL样本建立技术清单
先按集合筛选、排序、分页、商品变体、旧地址和多语言等类型收集样本。记录访问状态、规范URL、索引许可、内部入口和站点地图情况。不要因为地址含问号就一律禁止;参数可能承担实际用户功能。
Search Console 的索引分类是排查线索,不是越多越差的错误清单。被规范化的重复页可能符合预期。先确定哪个URL需要被搜索展示,再判断当前处理是否一致。保留异常样本和期望结果,便于复查。
图 1 · 参数URL与规范版本关系
区分抓取控制与索引控制
robots.txt决定爬虫可以抓取哪些路径,noindex指示不要将可读取的页面纳入索引。页面如果被robots阻止,搜索引擎可能看不到其中的noindex。需要移除索引时应先考虑能否让相应指令被读取,不把两者叠加当作双重保险。
Shopify 可以通过受支持的主题模板调整robots,但默认规则通常已覆盖常见系统路径。任何修改都应先核对官方说明和现有规则,备份并测试具体URL。不要为了追求可抓取数量随意开放结账、账户或无价值参数空间。
用canonical表达规范版本
Canonical帮助表达重复或高度相似页面的首选版本,它是信号而非强制命令。规范目标应可访问、可索引,并且内容具有足够对应性。内部链接、站点地图和跳转应尽可能指向一致的规范URL。
检查主题与应用是否重复输出canonical,以及参数、变体或集合路径商品的实际结果。不能把所有不想维护的页面都canonical到首页,也不能把独特分页内容统一指向第一页来掩盖结构问题。需要看页面功能与内容。
图 2 · robots、noindex、canonical、301决策流程
把判断落实到检查表
robots.txt
控制抓取路径
当作可靠的移除索引工具
noindex / canonical
不索引 / 表达首选版本
被robots屏蔽后期待指令被读取
301 / 404
迁移 / 页面确实不存在
无关URL全部跳转首页
用301处理真正迁移的页面
永久迁移且新页面能承接原任务时可使用301。修改handle前,先记录旧URL、入链、现有内部入口和新目标,确保最终不是跳转链或循环。保留可追溯的映射表,不在没有相关替代内容时把所有旧页跳到一个集合。
暂时缺货通常保留商品页并说明状态,附替代商品或到货方式。永久下架时,根据是否有相关替代、用户需求和历史价值决定保留说明、迁移或返回404/410。正常删除状态并非必须消灭的SEO错误。
练习:筛选页仍出现在索引记录
假设一个参数筛选页已被robots禁止,索引记录仍出现该URL。先确认记录日期和目标处理方式。如果希望搜索引擎读取noindex,就不能同时禁止读取;如希望保留有需求的独立筛选页,应提供真实独特内容和一致入口。不要直接在所有参数URL上添加相同规则,先按样本分组验证。
单独处理分页与筛选扩张
分页需要让用户及爬虫发现后续商品,不能只有交互按钮却没有可跟随入口。检查每页的实际内容与规范策略,避免无限滚动后半段商品失去普通链接。分页URL是否索引需结合主题实现和官方建议评估。
筛选组合首先满足用户使用,其次治理无价值的可抓取空间。只有具备稳定需求、独特商品集合和可维护内容的组合,才考虑作为独立SEO落地页。不要为每一种颜色和排序方式批量创建标题几乎相同的页面。
图 3 · 技术SEO样本验证记录
按小批次修改并验证各层状态
依次验证服务器响应、robots许可、页面指令、规范URL、内链与站点地图,再在Search Console测试当前可访问情况。实时测试成功不意味着索引数据库已更新,也不承诺收录。记录实施和重新抓取的时间差。
技术改动先在可恢复环境检查商品、筛选、分页和结账功能;上线后检查错误日志及核心URL。保留修改前后证据、影响范围、负责人和回滚方式。遇到主题与应用冲突,先定位输出来源再调整,避免重复打补丁。
把方法用到自己的店铺
1. 列出10个参数、分页或旧URL样本,写下期望状态。
2. 核对响应、指令、canonical、内部入口和sitemap是否一致。
3. 选择风险最低的一组建立修改、验证、回滚记录。
完成前再核对
□ 未混淆抓取和索引
□ 规范目标可访问且相关
□ 迁移没有跳转链和循环
□ 上线后购物功能验证完成
常见问题
canonical能保证Google一定采用吗?
不能。它是规范化信号;内容、跳转、内部链接与站点地图一致有助于理解,但搜索引擎独立选择。
所有404都需要301吗?
不需要。确实删除且无相关替代的页面返回正确不存在状态可以合理;只有相关迁移才设置对应跳转。