Googlebot 欺骗简介
在本文中，我将描述如何以及为什么使用 Google Chrome（或 Chrome Canary）将网站作为 Googlebot 来查看。
我们将设置一个专门用于 Googlebot 浏览的网络浏览器。使用用户代理浏览器扩展通常足以进行 google SEO 审核，但需要额外的步骤才能尽可能接近模拟 Googlebot。
跳至“如何设置您的 Googlebot 浏览器”。
为什么我应该将网站视为 Googlebot？
多年来，我们的技术谷歌 SEO 在审核网站时很容易，HTML 和 CSS 是网页设计的基石语言。JavaScript 通常用于装饰（例如网页上的小动画）。
然而，越来越多的整个网站都使用 JavaScript 构建。
最初，Web 服务器将完整的网站（完全呈现的 HTML）发送到 Web 浏览器。如今，许多网站都是在客户端（在网络浏览器本身中）呈现的——无论是 Chrome、Safari 还是搜索机器人使用的任何浏览器——这意味着用户的浏览器和设备必须完成呈现网页的工作。
谷歌搜索引擎优化，一些搜索机器人不呈现 JavaScript，所以不会看到使用它构建的网页。尤其是与 HTML 和 CSS 相比，JavaScript 的渲染成本非常高。它使用了更多设备的处理能力——浪费了设备的电池寿命——以及更多的谷歌、必应或任何搜索引擎的服务器资源。
甚至 Googlebot 在渲染 JavaScript 时也遇到了困难，并且在最初的 URL 发现之后延迟了 JavaScript 的渲染——有时会持续数天或数周，具体取决于网站。当我在 Google Search Console 的覆盖范围（或页面）部分看到多个 URL 的“已发现 – 当前未编入索引”时，该网站通常是 JavaScript 渲染的。
为了解决潜在的 google SEO 问题，一些网站使用动态渲染，因此每个页面都有两个版本：
- 机器人（例如 Googlebot 和 bingbot）的服务器端渲染。
- 为使用该网站的人提供的客户端渲染。
一般来说，我发现这种设置使网站过于复杂，并且比服务器端渲染或传统的 HTML 网站产生更多的技术性谷歌 SEO 问题。这里有一个小小的咆哮：有例外，但一般来说，我认为客户端呈现的网站是一个坏主意。网站应设计为在设备的最低公分母上运行，使用可以处理额外内容的设备，使用渐进增强（通过 JavaScript）来改善人们的体验。这是我将进一步调查的事情，但我的轶事证据表明，对于依赖屏幕阅读器等可访问性设备的人来说，客户端呈现的网站通常更难使用。在某些情况下，技术谷歌搜索引擎优化和可用性交叉。
技术性 google SEO 旨在让搜索引擎尽可能轻松地抓取、呈现和索引网站（针对最相关的关键字和主题）。不管喜欢还是不喜欢，谷歌搜索引擎优化技术的未来，至少现在，包括大量的 JavaScript 和针对机器人和用户的不同网页渲染。
将网站视为 Googlebot 意味着我们可以看到一个人看到的内容与搜索机器人看到的内容之间的差异。Googlebot 看到的不需要与使用浏览器的人看到的相同，但主导航和您希望页面排名的内容应该相同。
这就是本文的用武之地。对于适当的技术谷歌搜索引擎优化审计，我们需要看看最常见的搜索引擎看到了什么。至少在大多数说英语的国家，那是谷歌。
我们能准确地看到 Googlebot 看到的内容吗？
不。
Googlebot 本身使用 Chrome 浏览器的（无头）版本来呈现网页。即使使用本文建议的设置，我们也无法完全确定 Googlebot 看到的内容。例如，没有设置允许 Googlebot 如何处理 JavaScript 网站。有时 JavaScript 会中断，因此 Googlebot 可能会看到与预期不同的内容。
其目的是尽可能模仿 Googlebot 的移动优先索引。
审核时，我使用我的 Googlebot 浏览器和 Screaming Frog google SEO Spider 的 Googlebot 欺骗和渲染，以及 Google 自己的工具，例如 Search Console 中的 URL 检查（可以使用 google SEO Spider 自动执行），以及来自移动端的渲染屏幕截图和代码友好测试。
即使是 Google 自己的公开可用工具也不能 100% 准确地显示 Googlebot 看到的内容。但与 Googlebot 浏览器和 google SEO Spider 一起，它们可以指出问题并帮助进行故障排除。
为什么要使用单独的浏览器将网站视为 Googlebot？
1. 方便
拥有专用浏览器可以节省时间。无需依赖或等待其他工具，我就能在几秒钟内了解 Googlebot 如何查看网站。
在审核向浏览器和 Googlebot 提供不同内容的网站时，如果问题包括服务器响应不一致，我需要比平时更频繁地在默认浏览器用户代理和 Googlebot 之间切换。但是使用 Chrome 浏览器扩展不断切换用户代理是低效的。
某些特定于 Googlebot 的 Chrome 设置不会在浏览器标签或会话之间保存或传输。某些设置会影响所有打开的浏览器选项卡。例如，禁用 JavaScript 可能会使依赖 JavaScript 的后台选项卡中的网站停止工作（例如任务管理、社交媒体或电子邮件应用程序）。
除了拥有可以编写无头 Chrome 解决方案的编码器之外，“Googlebot 浏览器”设置是一种欺骗 Googlebot 的简单方法。
2. 提高准确性
浏览器扩展会影响网站的外观和性能。这种方法将 Googlebot 浏览器中的扩展程序数量保持在最低限度。
3.健忘
很容易忘记在浏览会话之间关闭 Googlebot 欺骗，这可能导致网站无法按预期运行。我什至因欺骗 Googlebot 而被网站屏蔽，不得不用我的 IP 向他们发送电子邮件以删除屏蔽。
Googlebot 浏览器对哪些 google SEO 审核有用？
谷歌 SEO 审计最常见的用例可能是使用客户端渲染或动态渲染的网站。您可以轻松地将 Googlebot 看到的内容与一般网站访问者看到的内容进行比较。
即使是不使用动态呈现的网站，您也永远不知道通过欺骗 Googlebot 会发现什么。在对电子商务网站进行了八年多的审核之后，我仍然对以前从未遇到过的问题感到惊讶。
用于技术 google SEO 和内容审核的 Googlebot 比较示例：
- 主导航有区别吗？
- Googlebot 是否看到了您想要编入索引的内容？
- 如果一个网站依赖于 JavaScript 渲染，新内容是否会被及时编入索引，或者迟到会降低其影响（例如，对于即将发生的事件或新产品列表）？
- URL 是否返回不同的服务器响应？例如，对于 Googlebot，错误的 URL 可能会返回 200 OK，但对于一般网站访问者，可能会返回 404 Not Found。
- 页面布局与一般网站访问者看到的不同吗？例如，在欺骗 Googlebot 时，我经常将链接视为黑色背景上的蓝色文本。虽然机器可以读取此类文本，但我们希望呈现一些对 Googlebot 用户友好的内容。如果它不能渲染你的客户端网站，它怎么知道？（注意：网站可能会按预期显示在 Google 的缓存中，但这与 Googlebot 看到的不同。）
- 网站是否根据位置重定向？Googlebot 主要从美国的 IP 抓取。
这取决于您想深入到多深，但 Chrome 本身具有许多有用的功能，可用于技术 google SEO 审核。我有时会比较一般访问者与 Googlebot 访问的控制台和网络选项卡数据（例如，Googlebot 可能会被阻止访问对页面布局至关重要或需要显示某些内容的文件）。
如何设置您的 Googlebot 浏览器
设置完成后（大约需要半小时），Googlebot 浏览器解决方案可让您轻松快速地以 Googlebot 方式查看网页。
第 1 步：下载并安装 Chrome 或 Canary
如果 Chrome 不是您的默认浏览器，请将其用作您的 Googlebot 浏览器。
如果 Chrome 是您的默认浏览器，请下载并安装 Chrome Canary。Canary 是 Chrome 的开发版本，谷歌在其中测试新功能，它可以与 Chrome 的默认版本分开安装和运行。
以用于检测矿井中有毒气体的黄色金丝雀命名，带有黄色图标，金丝雀很容易在 Windows 任务栏中找到：
由于 Canary 是 Chrome 的开发版本，谷歌警告说 Canary “可能不稳定”。但我还没有将它用作我的 Googlebot 浏览器的问题。
第 2 步：安装浏览器扩展
我在我的 Googlebot 浏览器上安装了五个浏览器扩展程序和一个书签。我将列出扩展，然后就设置和我使用它们的原因提供建议。
用于模拟 Googlebot（无论您使用 Chrome 还是 Canary，链接都是相同的）：
- 用户代理切换器
- Web开发人员
- Windscribe（或您选择的 VPN 来模拟 Googlebot 的位置）
不需要模拟 Googlebot，但我对 JavaScript 网站的技术 google SEO 审计的其他最爱：
- 链接重定向跟踪
- 查看渲染源
- NoJS 并排小书签
用户代理切换器扩展
User-Agent Switcher 就像它在锡上所说的那样：切换浏览器的用户代理。Chrome 和 Canary 有一个用户代理设置，但它仅适用于您正在使用的选项卡，并在您关闭浏览器时重置。
我从 Chrome 的浏览器设置中获取 Googlebot 用户代理字符串，在撰写本文时它将是 Chrome 的最新版本（请注意，下面，我从 Chrome 而不是 Canary 获取用户代理）。
要获取用户代理，请访问 Chrome DevTools（按 F12 或使用浏览器窗口右上角的汉堡菜单，然后导航到更多工具 > 开发人员工具）。请参阅下面的屏幕截图或按照以下步骤操作：
- 转到网络选项卡
- 从右上角的网络汉堡菜单：更多工具 > 网络条件
- 单击窗口下方显示的网络条件选项卡
- 取消勾选“使用默认浏览器”
- 从列表中选择“Googlebot Smartphone”，然后将用户代理从列表下方的字段中复制并粘贴到用户代理切换器扩展列表中（下面的另一个屏幕截图）。如果它是您的主浏览器，请不要忘记将 Chrome 切换回其默认用户代理。
- 在这个阶段，如果您使用 Chrome（而不是 Canary）作为您的 Googlebot 浏览器，您不妨勾选“禁用缓存”（稍后会详细介绍）。
要访问 User-Agent Switcher 的列表，请右键单击浏览器工具栏中的图标，然后单击选项（参见下面的屏幕截图）。“Indicator Flag”是出现在浏览器工具栏中的文本，用于显示选择了哪个用户代理——我选择 GS 来表示“Googlebot Smartphone：”
我也将 Googlebot Desktop 和 bingbots 添加到我的列表中。
为什么要欺骗 Googlebot 的用户代理？
Web 服务器通过用户代理字符串检测正在浏览网站的内容。例如，在撰写本文时，使用 Chrome 浏览器的 Windows 10 设备的用户代理是：
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, 像 Gecko) Chrome/102.0.5005.115 Safari/537.36
如果您对为什么其他浏览器似乎在 Chrome 用户代理字符串中命名感兴趣，请阅读用户代理字符串的历史。
Web 开发者扩展
Web Developer 是技术性 google SEO 必备的浏览器扩展。在我的 Googlebot 浏览器中，我在禁用和启用 JavaScript 之间切换，以查看 Googlebot 在使用和不使用 JavaScript 时可能会看到的内容。
为什么禁用 JavaScript？
简短回答：Googlebot 在首次抓取 URL 时不会执行任何/所有 JavaScript。我们希望在执行任何 JavaScript 之前查看网页。
长答案：那将是另一篇文章。
Windscribe（或其他 VPN）
Windscribe（或您选择的 VPN）用于欺骗 Googlebot 在美国的位置。我使用专业的 Windscribe 帐户，但免费帐户允许每月最多 2GB 的数据传输，并且包括美国位置。
我认为美国的具体位置并不重要，但我假装哥谭是一个真实的地方（在蝙蝠侠和公司消灭所有恶棍的时候）：
确保禁用可能影响网页显示方式的设置 – Windscribe 的扩展程序默认阻止广告。右上角的两个图标应显示为零。
对于 Googlebot 浏览器场景，我更喜欢 VPN 浏览器扩展而不是应用程序，因为该扩展是特定于我的 Googlebot 浏览器的。
为什么要欺骗 Googlebot 的位置？
Googlebot 主要从美国 IP 抓取网站，欺骗 Googlebot 的主要位置的原因有很多。
一些网站会根据地理位置阻止或显示不同的内容。例如，如果某个网站阻止了美国 IP，Googlebot 可能永远看不到该网站，因此无法将其编入索引。
另一个例子：一些网站根据位置重定向到不同的网站或 URL。如果一家公司有一个面向亚洲客户的网站和一个面向美国客户的网站，并将所有美国 IP 重定向到美国网站，Googlebot 将永远不会看到该网站的亚洲版本。
其他可用于审核 JavaScript 网站的 Chrome 扩展
使用 Link Redirect Trace，我可以一目了然地看到 URL 返回的服务器响应。
View Rendered Source 扩展可以轻松比较原始 HTML（Web 服务器提供给浏览器的内容）和呈现的 HTML（呈现在客户端浏览器上的代码）。
我还在我的 Googlebot 浏览器中添加了 NoJS Side-by-Side 小书签。它在同一浏览器窗口中比较启用和未启用 JavaScript 的网页。
第 3 步：配置浏览器设置以模拟 Googlebot
接下来，我们将根据 Googlebot 在抓取网站时不支持的内容配置 Googlebot 浏览器设置。
Googlebot 不支持哪些抓取？
- 服务工作者（因为人们从搜索结果中点击到某个页面之前可能从未访问过，因此缓存数据以供以后访问是没有意义的）。
- 权限请求（例如推送通知、网络摄像头、地理位置）。如果内容依赖于其中任何一个，Googlebot 将不会看到该内容。
- Googlebot 是无状态的，因此不支持 cookie、会话存储、本地存储或 IndexedDB。数据可以存储在这些机制中，但会在 Googlebot 抓取网站上的下一个 URL 之前被清除。
这些要点摘自 Eric Enge 对 Google 的 Martin Splitt 的采访：
步骤 3a：DevTools 设置
要在 Chrome 或 Canary 中打开开发者工具，请按 F12，或使用右上角的汉堡菜单，导航至更多工具 > 开发者工具：
Developer Tools 窗口通常停靠在浏览器窗口中，但我有时更喜欢它在单独的窗口中。为此，在第二个汉堡菜单中更改“Dock side”：
禁用缓存
如果使用普通 Chrome 作为您的 Googlebot 浏览器，您可能已经这样做了。
否则，通过 DevTools 汉堡菜单，单击更多工具 > 网络条件并勾选“禁用缓存”选项：
阻止服务人员
要阻止服务工作人员，请转到应用程序选项卡 > 服务工作人员 > 勾选“绕过网络”：
步骤 3b：常规浏览器设置
在您的 Googlebot 浏览器中，导航至设置 > 隐私和安全 > Cookie（或直接访问 chrome://settings/cookies）并选择“阻止所有 cookie（不推荐）”选项（做一些“不推荐的？”）：
同样在“隐私和安全”部分，选择“站点设置”（或访问 chrome://settings/content）并单独阻止位置、相机、麦克风、通知和后台同步（以及未来版本中可能出现的任何内容）铬）：
第 4 步：模拟移动设备
最后，由于我们的目标是模拟 Googlebot 的移动优先抓取，因此在您的 Googlebot 浏览器中模拟移动设备。
在 DevTools 的左上角，单击设备工具栏切换开关，然后选择要在浏览器中模拟的设备（您也可以添加其他设备）：
无论您选择何种设备，Googlebot 都不会在网页上滚动，而是使用具有较长垂直高度的窗口进行呈现。
我也建议在桌面视图中测试网站，如果您可以访问它们，也可以在实际的移动设备上测试它们。
将网站视为 bingbot 怎么样？
要创建 bingbot 浏览器，请使用最新版本的 Microsoft Edge 和 bingbot 用户代理。
Bingbot 在支持和不支持的方面与 Googlebot 类似。
雅虎！搜索、DuckDuckGo、Ecosia 和其他搜索引擎要么由 Bing 搜索提供支持，要么基于 Bing 搜索，因此 Bing 的搜索比例比许多人意识到的要高。
总结和结语
因此，您就有了自己的 Googlebot 模拟器。
使用现有的浏览器来模拟 Googlebot 是作为 Googlebot 快速查看网页的最简单方法。它也是免费的，假设您已经使用可以安装 Chrome 和/或 Canary 的桌面设备。
存在其他工具来帮助“查看” Google 看到的内容。我喜欢测试 Google 的 Vision API（用于图像）和他们的 Natural Language API。
审核 JavaScript 网站（尤其是动态呈现时）可能很复杂，而 Googlebot 浏览器是简化流程的一种方法。如果您想了解有关审核 JavaScript 网站的更多信息以及标准 HTML 和 JavaScript 呈现网站之间的区别，我建议您查看 Jamie Indigo、Joe Hall 和 Jess Peck 的文章和演示文稿。其中两个在下面的视频中做出了贡献。这是对 JavaScript google SEO 的一个很好的介绍，并触及了我上面提到的几点：
问题？我错过了什么？给我发推文@AlexHarfordgoogle 搜索引擎优化。谢谢阅读！
