Google爬虫SEO优化实践：稳定性、体验优化与差异化承接

搜索引擎在对网页进行收录和排序的过程中，首先需要依靠搜索引擎爬虫来抓取网页内容。针对搜索引擎爬虫的优化是SEO的重要一环。

去年在AliExpress的SEO工作中，我们遇到了一些搜索引擎爬虫的问题，主要是Googlebot。例如，由于爬虫抓取量过大导致服务器崩溃、弹窗广告被搜索引擎判断为影响用户体验、如何更好地抓取JavaScript内容等。为了应对这些问题，我们启动了一个名为“蜘蛛侠项目”的爬虫优化专项，并取得了显著的效果：整体抓取量提升了数亿，流量增加了数十万，虚拟机也下线了上百台。

在整体内容方面，搜索引擎爬虫的SEO优化主要分为以下几个部分：

一、建立抓取稳定性机制，解决服务器被搜索引擎爬虫抓崩的问题。

这个问题的起源还要从一个P0级的bug说起。有一天，我们发现AliExpress的搜索服务器崩溃了，用户无法正常进行站内搜索。经过分析，我们发现罪魁祸首是Googlebot，其抓取量突然增加了一倍，导致搜索服务器负载过高。为了保证用户在站内的正常搜索，我们不得不暂时屏蔽了搜索引擎爬虫。

基于之前的经验，我们知道如果搜索引擎爬虫无法正常抓取，会认为频道/网站无法正常访问（当时网站返回的是验证码网页，仍然是200状态码），从而会降低网站的排名和流量。于是，我提出了一套爬虫稳定性方案：当爬虫QPS超过一定“水位”时，返回对爬虫友好的状态码（如429/500/503），告诉Googlebot当前是网站服务器压力过大，需要降低抓取频率；当爬虫访问在可接受范围内时，就正常返回网页（200状态码）。这个方案上线后，爬虫收到了信号，马上调低了抓取频率，服务器状态也迅速恢复正常。我们将这个机制沉淀下来，形成了一套长期可用的爬虫稳定性机制。值得一提的是，这个方案在双十一期间也成功应用，保障了用户的正常访问，同时确保了SEO流量的稳定。

二、搜索引擎爬虫的体验优化，解决弹窗广告对用户体验的伤害以及流量影响的问题。

在当前电商SEO领域，无线端的流量比例高于PC端，但这部分流量的转化远低于PC端。AliExpress为了提升无线端流量的利用效率，会展示全屏遮罩的弹窗广告来引导用户下载APP并转化。这类弹窗其实非常影响用户体验。Google和百度等搜索引擎在文档中都提到了弹窗广告对用户体验的伤害，并强调了其在排名上的影响。为了提升流量，我们需要优化弹窗策略。在第一期优化中，我们针对Googlebot和其他搜索引擎爬虫去掉了弹窗广告。也就是说，当搜索引擎爬虫访问时，页面不会展示这个弹窗广告；当用户访问时，弹窗广告正常显示。去掉弹窗广告后，SEO流量有了明显的提升。后续我们还与其他团队合作，改进了广告形式，使其更加友好和智能。

实话实说，对于爬虫而言，采用缓存策略是最有效的方法之一。缓存不仅可以大幅提升爬虫的抓取效率，同时还能显著降低服务器的成本。当爬虫访问一个页面时，每次都需要实时调用服务器获取数据（因为现代网页大多是动态的），这会产生与服务器握手的时间。由于爬虫每天需要抓取大量数据，对服务器来说是一个不小的压力（参考第一部分服务器负载过高的案例）。我们将网页进行静态缓存，并放置在服务器上。当爬虫进行抓取时，直接返回静态缓存页面，无需实时获取数据。这样不仅能提高抓取速度，还能减轻服务器的压力。中间还需要一些缓存策略，如主动缓存和被动缓存的选择、缓存频道的确定、缓存时间的设定等。

关于SSR+CSR的实现方式

在之前的《JavaScript SEO》一书中提到，Googlebot已经具备了JavaScript内容的解析能力，但同步化仍是更有效率的方式，因为JavaScript渲染还是有一定的成本。在人虫分离的架构下，我们可以考虑采用SSR+CSR的实现方式。

针对爬虫，使用SSR（服务器端渲染）的方式，使得爬虫可以直接获取到内容，而无需JavaScript引擎的渲染。这样能提高爬虫的抓取效率，使其更快速地获取到网页内容。

针对用户，使用CSR（客户端渲染）的方式则更有利于用户体验。例如，LCP、CLS等性能指标的优化都能通过CSR实现。这种方式可以为用户提供更加流畅、个性化的浏览体验。

参考网页

《减慢 Googlebot 的抓取速度》：[developers./search/docs/guides/reduce-crawl-rate?hl=zh_cn]

《实现动态呈现》：[developers./search/docs/guides/dynamic-rendering]

《JavaScript SEO 完全指南》：[www./post/javascript-seo-2021]

以上内容属作者个人观点，不代表任何组织立场。本文经原作者授权转载，转载需征得原作者同意。