像你自己一样想象你的内容。你是否携带了一些你可以摆脱的包袱？携带您想保留但可能想重新利用或以不同方式看待的东西？
这在网站内容方面没有什么不同。我们都可能坐在一起思考我们想从我们的网站上删除的内容，但意识到仍然需要它，无论是针对特定的潜在客户、内部团队等。
虽然我们为了内容管理的目的寻找尽可能精简我们的网站的方法，但我们也希望这样做以安抚爬行搜索引擎机器人。
我们希望他们每天对我们网站的访问快速而简洁。
这有希望向他们展示我们是谁，我们是关于什么的，以及最终——如果我们必须拥有无法删除的内容——我们如何为他们贴上标签。
幸运的是，搜索引擎爬虫想要了解我们的内容，就像我们想要的一样。我们有机会规范化内容和无索引内容。
但是，请注意，如果不正确执行此操作，可能会导致重要的网站内容被搜索引擎爬虫误解或根本无法阅读。
规范化？
作者截图，2022年7月
规范标签提供了一种指导搜索引擎的好方法：“是的，我们知道这个内容不是那么独特或有价值，但我们必须拥有它。”
这也是一种将价值指向来自另一个域的内容的好方法，反之亦然。
尽管如此，现在是您向爬行机器人展示您如何看待网站内容的时候了。
要使用，您必须将此标记放在源代码的头部。
规范标签可能是处理您知道重复或相似的内容的好方法，但它必须存在以满足站点上的用户需求或缓慢的站点维护团队。
如果您认为此标记非常适合您的网站，请查看您的网站并解决看似具有单独 URL 但内容相似的网站部分（例如，副本、图像、标题、标题元素等）。
Screaming Frog 和 Semrush Site Audit 等网站审核工具是查看内容相似性的快速方法。
如果您认为可能存在其他类似内容的罪魁祸首，您可以使用类似页面检查器和 Siteliner 等工具进行更深入的研究，这些工具将检查您的网站是否有类似内容。
既然您对相似性的情况有了很好的感觉，您需要了解这种缺乏唯一性是否值得规范化。以下是一些示例和解决方案：
示例 1：您的网站同时存在于网站页面的 HTTP 和 HTTPS 版本，或者您的网站同时存在 www. 和非万维网。页面版本。
解决方案：在链接、内部链接等数量最多的页面版本上放置一个规范标签，直到您可以一对一地重定向所有重复页面。
示例 2：您销售高度相似的产品，这些页面上没有唯一副本，但名称、图像、价格等略有不同。您是否应该规范地将特定产品页面指向产品父页面？
解决方案：在这里，我的建议是什么都不做。这些页面足够独特，可以编入索引。它们具有区分它们的唯一名称，这可以帮助您获得长尾关键字实例。
示例 3：您销售 T 恤，但每个颜色和每件衬衫都有一个页面。
解决方案：Canonical 标记颜色页面以引用父衬衫页面。每个页面都不是一个特定的产品，只是一个非常相似的变体。
用例：足以成功的规范标记内容
与上面给出的示例类似，我想解释一下，有时，稍微相似的内容仍然适合索引。
如果是带有不同衬衫类型（如长袖、背心等）的子页面的衬衫怎么办？这现在变成了一个不同的产品，而不仅仅是一个变体。如前所述，这可以成功用于长尾网络搜索。
这是一个很好的例子：一个汽车销售网站，其中包含汽车制造商、相关车型以及这些车型的变体（2Dr、4Dr、V8、V6、豪华版等）的页面。该站点的最初想法是所有变体都只是模型页面的近乎重复。
您可能会想，当我们可以将这些页面规范化以指向模型页面作为代表页面时，为什么还要用这种近乎重复的内容来惹恼搜索引擎呢？
我们朝着这个方向前进，但仍然对这些页面能否成功的焦虑使我们转向规范地标记每个相应的模型页面。
假设您规范地标记到父模型页面。即使您向搜索引擎显示内容重要性/层次结构，如果搜索相对具体，它们仍可能对规范化页面进行排名。
那么，我们看到了什么？
我们发现子页面和父页面的自然流量都增加了。我认为，当您将功劳归还给子页面时，父页面看起来拥有更多权限，因为它有许多子页面现在被归还“功劳”。
所有这些页面的月访问量加在一起增长了五倍。
自今年 9 月我们修订规范标签以来，该网站区域的每月自然流量现在是 5 倍，其中 754 个页面推动了自然流量，而去年早些时候为 154 个页面。
作者与 Semrush 的屏幕截图，2022 年 7 月
不要犯这些规范化错误
- 在解析到最终页面之前设置能够承受重定向的规范标签可能会造成很大的损害。这将降低搜索引擎的速度，因为它迫使他们尝试理解内容的重要性，但现在正在跳转 URL。
- 同样，如果您将规范标签指向作为 404 错误页面的 URL 目标，那么您实际上会将它们指向一堵墙。
- 对错误页面版本的规范标记（即 www./non-www.、HTTP/HTTPS）。我们讨论了通过网站抓取工具发现您可能无意复制网站。不要将页面重要性错误地指向较弱的页面版本。
没有索引？
您还可以利用 meta robots noindex 标签来完全排除相似或重复的内容。
将 noindex 标签放在源代码的 head 部分将阻止搜索引擎对这些页面进行索引。
注意：虽然 meta robots noindex 标签是一种从排名考虑中删除重复内容的快速方法，但如果您未能正确使用它，它可能会对您的自然流量造成危险。
这个标签过去曾被用来清除大型网站，只显示搜索关键的网站页面，以便网站抓取支出尽可能高效。
但是，您希望搜索引擎查看所有相关网站内容，以了解网站分类和页面层次结构。
但是，如果这个标签不会吓到您太多，您可以使用它让搜索引擎只抓取您认为新鲜、独特的内容并将其编入索引。
以下是可以讨论 noindexing 作为解决方案的几种方法：
示例 1：为了帮助您的客户，您可以提供制造商的文档，即使他们已经在其网站上提供了此功能。
解决方案：继续提供文档以帮助您的现场客户，但不索引这些页面。
它们已经由制造商拥有并编入索引，制造商可能比您拥有更多的域权限。换句话说，您不太可能成为该内容的排名网站。
示例 2：您提供几种不同但相似的产品。唯一的区别是颜色、尺寸、计数等。我们不想浪费爬行费用。
解决方案：通过使用规范标签来解决。长尾搜索可以带来合格的流量，因为给定的页面仍然会被索引并能够排名。
示例 3：您有很多不再销售的旧产品，不再是主要焦点。
解决方案：这种完美的场景很可能出现在内容或销售审计中。如果产品对公司没有什么作用，考虑退休。
考虑将这些页面规范地指向相关的分类页面或将它们重定向到相关的分类页面。这些页面有年龄/信任，可能有链接，可能有排名。
用例：不要为了抓取支出考虑而牺牲排名/流量
关于我们的网站，我们知道我们希望为搜索引擎做出最好的贡献。
我们不想在抓取时浪费他们的时间，也不想让人觉得我们的大部分内容都缺乏独特性。
在下面的示例中，为了减少搜索引擎评论中有些相似的产品页面内容的膨胀，在域转换/重新启动期间将元机器人 noindex 标签放置在子产品变体页面上。
下图显示了从一个域转换到另一个域的总关键字数量。
移除 meta robots noindex 标签后，排名词的总量增长了 50%。
作者与 Semrush 的屏幕截图，2022 年 7 月
不要让这些元机器人 Noindex 错误
- 不要在具有入站链接值的页面上放置 meta robots noindex 标签。如果是这样，您应该将相关页面永久重定向到另一个相关的网站页面。放置标签将消除您拥有的宝贵链接资产。
- 如果您不对包含在主导航、页脚或支持导航中的页面建立索引，请确保指令不是“noindex，nofollow”而是“noindex，follow”，以便抓取该网站的搜索引擎仍然可以通过通过 noindexed 页面上的链接。
结论
有时很难与网站内容分道扬镳。
canonical 和 meta robots noindex 标签是为所有用户保留网站功能同时也指导搜索引擎的好方法。
最后，小心你如何标记！如果您不完全了解标记过程，很容易丢失搜索结果。
