索引是搜索引擎把网页信息登记到数据库中的过程。只有被索引的页面才会出现在搜索结果里,因此它是 SEO 的起点,是一个重要的概念。
索引的流程分 3 个阶段推进:抓取 (爬虫发现并获取页面) ,渲染 (包含 JavaScript 执行的页面解析) ,索引 (登记到数据库) 。Google 每天抓取数十亿个页面,但并非所有页面都会被索引。质量低下、内容重复、设置了 noindex 的页面会被排除在索引之外。
「页面已经发布却不出现在搜索结果里」这一问题的原因,大致可以分为 3 类。第一,没有被抓取 (未提交站点地图,内部链接不足) 。第二,被抓取了但没有被索引 (质量不足,重复内容) 。第三,被索引了但排名过低而找不到。通过 Google Search Console 的「页面索引编制」报告,可以确认各个页面的状态。
短链接通常要经过重定向,因此短链接本身被索引的情况很少见。对于 301 重定向,Google 会索引重定向目标的 URL。如果短链接被索引,就会与重定向目标产生重复内容问题,因此对短链接设置 noindex 或使用 301 重定向才是恰当的做法。