读那个标题会让你有一种小小的恐慌吗？
正如标题所暗示的那样，我可以保证你的焦虑是完全有道理的。
如果你想和我一起重温我的噩梦——也许作为宣泄和谷歌搜索引擎优化研究的同等部分——我们将按时间顺序浏览这些事件。
你准备好了吗？
2019 年 8 月 4 日
那是一个星期天的早晨。我像往常一样喝着咖啡，在我们的谷歌搜索引擎优化工具中胡闹，没想到会发生什么该死的事情。然后……砰！
什么。这。地狱？
作为谷歌 SEO，我们都习惯于看到排名的自然波动。波动，而不是消失。
第 1 步：拒绝
我立刻想到一个地方：这是一个错误。因此，我使用了其他一些工具来确认 Ahrefs 是否正在失去理智。
谷歌分析也显示出相应的流量下降，证实肯定有一些事情发生了。所以作为一个谷歌搜索引擎优化，我自然而然地假设了最坏的情况……
第 2 步：有些恐慌
算法更新。请不要让它成为算法更新。
我跳进梭子鱼的 Panguin 工具，看看我们的问题是否与确认的更新一致。
没有更新。呸。
第 3 步：诊断
当爬行动物的大脑投入使用时，没有人会清楚地思考。你恐慌，你不理性地思考，你做出错误的决定。零寒意。
我终于有了一些定力，想清楚发生了什么：关键字排名完全消失是非常不寻常的。它必须是技术性的。
它必须是索引。
对失去关键词排名的页面进行快速谷歌搜索证实，这些页面实际上已经消失了。Search Console 报告了同样的情况：
注意底部的警告：
否：在“机器人”元标记中检测到“noindex”
现在我们已经到了某个地方。接下来，是时候在源代码中确认这一发现了。
我们的页面被标记为取消索引。但是到目前为止，实际上有多少页面被取消索引？
第 4 步：调查损坏情况
他们全部。在向我们的开发人员发送了几封疯狂的信息后，他确认在大约三天前的星期四晚上（2019 年 8 月 1 日）部署的 sprint 不小心将代码推送到了每个页面上。
但是整个网站都被取消索引了吗？
这是极不可能的，因为要做到这一点，谷歌必须在三天内抓取网站的每个页面才能找到“noindex”标记。Search Console 在这方面没有帮助，因为它的数据总是滞后的，并且可能永远不会在更改修复之前获取这些更改。
即使现在回过头来看，我们发现 Search Console 最多只提取了 249 个受影响的网页，超过 8,000 个被编入索引。这是不可能的，考虑到我们的搜索存在在事件修复后整整一周减少了三分之一。
注意：我永远无法确定在 Google 中有多少页面被完全取消索引，但我所知道的是每个页面都有“noindex”标记，我依稀记得谷歌搜索“site:brafton.com”并看到大约一个-我们八分之一的网页被编入索引。当然希望我有一个截图。对不起。
第 1 步：解决问题
一旦发现问题，我们的开发人员就会回滚更新并将网站推送到“noindex”标记之前的状态。接下来是重新索引我们的内容的问题。
第 2 步：尽快重新抓取网站
我删除了旧的站点地图，建立了一个新的站点地图并重新上传到了 Search Console。我还抓取了我们的大部分核心产品登陆页面并手动请求重新索引（自最近的 SC 更新以来，我不完全相信它会做任何事情）。
第 3 步：等待
在这一点上，我们无能为力，除了等待。有很多问题：
- 这些页面的排名是否与以前相同？
- 他们会在相同的位置上排名吗？
- 谷歌会以某种方式“惩罚”页面短暂消失吗？
只有时间会证明一切。
2019 年 8 月 8 日（一周）- 搜索量下降 33%
在评估损失时，我将使用错误代码完全部署并填充在实时页面上的日期（8 月 2 日）作为归零。因此，第一次测量将在 8 月 2 日至 8 月 8 日的 7 天内完成。
Search Console 可能会给我最好的指示，说明我们的搜索存在受到了多大影响。
我们损失了大约 33.2% 的搜索流量。哎哟。
幸运的是，这将标志着我们在整个磨难过程中所经历的最高损失水平。
2019 年 8 月 15 日（两周） – 流量下降 23%
在此期间，我一直关注两件事：搜索流量和索引页面。尽管重新提交了我的站点地图并在 Search Console 中手动获取页面，但许多页面仍未被编入索引——甚至是核心登录页面。这将成为贯穿整个时间线的主题。
由于我们剩余的未索引页面，我们的流量仍然受到影响。
事件发生两周后，我们仍然下降了 8%，我们的创收转化率随着流量的下降而下降（尽管转化率有所提高）。
2019 年 8 月 22 日（三周） – 流量下降 13%
我们的页面仍在缓慢索引。痛苦地慢慢地，当我看着我的商业目标从地板上掉下来的时候。
至少很明显，我们的搜索存在正在恢复。但它如何恢复是我特别感兴趣的。
是否所有页面都重新编入了索引，但搜索量减少了？
是否只有部分页面重新索引并完全恢复了搜索存在？
为了回答这个问题，我查看了单独取消索引和重新索引的页面。以下是其中一个页面的示例：
这是一个在更短的时间内被取消索引的页面示例：
在我能找到的每一个实例中，每个页面都完全恢复到原来的搜索状态。因此，这似乎不是页面是否会恢复的问题，而是何时重新索引页面的问题。
说到这一点，Search Console 有一个新功能，它可以“验证”错误页面。我在 8 月 26 日开始了这个过程。在此之后，SC 慢慢地重新抓取（我猜想）这些页面，每周大约 10 页。这甚至比正常安排的爬网还要快吗？SC中的这些工具甚至可以做任何事情吗？
我可以肯定的是，三周后仍有许多页面被取消索引，包括我指望增加流量的商业登陆页面。稍后再谈。
2019 年 8 月 29 日（四个星期） – 流量下降 9%
在这一点上，我感到非常沮丧，因为只剩下大约 150 个页面需要重新索引，而且无论我在 Search Console 中检查并请求新索引多少次，它都无法正常工作。
这些页面完全可以被编入索引（根据 SC URL 检查的报告），但它们不会被抓取。结果，在将近一个月之后，我们仍然比基线低 9%。
一个特定的页面只是拒绝重新索引。这是一个高商业价值的产品页面，我指望它进行转化。
在我尝试强制重新索引时，我尝试了：
- URL 检查和请求索引（一个月 15 次）。
- 更新发布日期，然后请求索引。
- 更新内容和发布日期，然后请求索引。
- 向 SC 重新提交站点地图。
没有任何效果。此页面不会重新索引。一百多个其他商业影响较小的 URL 也是如此。
注意：此页面要到 10 月 1 日才会重新索引，即在它被取消索引后的整整两个月。
顺便说一下，这是我们在四个星期后的整体恢复进展情况：
2019 年 9 月 5 日（五周） – 流量下降 10.4%
大高原。在这一点上，我们已经重新索引了我们所有的页面，除了大约 150 个应该被“验证”的页面。
他们不是。他们也没有被重新抓取。
看起来我们很可能会完全康复，但时间掌握在 Google 手中，我无能为力。
2019 年 9 月 12 日（六周） – 流量增长 5.3%
我们花了大约六周的时间才完全恢复了流量。
但事实上，我们仍然没有完全恢复我们的流量，因为一些内容表现不佳并且过度补偿了许多尚未编入索引的页面。值得注意的是，我们的产品页面在大约 2.5 周内不会被索引。
总的来说，我们的搜索在六周后恢复了。但直到解决问题八周后，我们的内容才完全重新编入索引。
结论
对于初学者，绝对不要出于意外、实验或任何其他原因对您的网站进行索引。它刺痛。我估计我们清除了大约 12% 的自然流量，这相当于商业转化率的下降。
我们学到了什么？？
一旦页面重新编入索引，它们在搜索可见性方面就完全恢复了。最大的问题是让它们重新编入索引。
我们通过这个偶然的实验回答了一些主要问题：
我们康复了吗？
是的，我们完全恢复了，所有 URL 似乎都具有相同的搜索可见性。
花了多长时间？
搜索可见性在六周后恢复到基线。大约八到九周后，所有页面都重新编入索引。
