霍文纳 |爬行的弱点
可索引性与索引编制：仅仅因为爬虫将您的网站分类为“可索引”并不意味着它最终会出现在 Google 索引中。一般来说，如果您在 Google Search Console 中看到“已抓取 - 当前未编入索引”消息，则意味着您的网站存在问题，您应该进行改进 注意标签：Google Bot 仅使用标签作为推荐。例如，这适用于规范标签、标题标签或元描述。如果 Google 认为这些标签不合适，他们会忽略这些标签。所以标签没有约束力。 重定向：根据爬虫所在的位置（例如在美国），它可能会将您和您的用户重定向到错误的国际网站。在 Google Search Console 中，您可以将抓取工具排除在 IP 重定向之外，以便获得尽可能多的指向最相关页面的链接能力。 Markus 提示：不要使用 IP 重定向，而是向用户指出他们可能位于错误的国家/地区域，然后根据他们的请求进行重定向。内容质量：爬虫非常擅长检测字数或重复内容。但是，他们无法评估内容的质量。还有一些额外的工 卡塔尔 手机号码 具可以用于此目的，例如 Natural Language API。您还可以遵循 20 Panda 问题或 Google 质量评估指南。 反向链接：爬虫从链接数据库（例如 Majestic、Moz 或 Ahrefs）中提取有关链接的信息。然而，这些不同，有时甚至非常过时。此外，没有关于在 Google 上设置为“拒绝”的链接的信息。这个问题根本就没有解决办法。 Robots.txt：大多数网站对 Googlebot 的规则不如对所有其他抓取工具的严格。为了从其他抓取工具获取有关网站在 Google 上的性能的正确信息，您还应该为所有其他机器人定义为 Googlebot 定义的规则。理论上，任何抓取工具都可以简单地冒充 Googlebot - 但您应该只在自己的网站上这样做。
https://zh-cn.usacfo.info/wp-content/uploads/2024/03/qatar.png
顺便说一句，您还可以告诉爬虫如何处理某些 URL 参数（例如 block）。 标记：不同的爬虫可能会以不同的方式感知标记。通过 Google 搜索库，您可以找出为了获得良好性能而缺少哪些标记。马库斯提示：标记也是一种内容。复杂的标记只有在排名良好的页面上才有意义。 生命周期：抓取始终只是一个快照。它无法向您提供有关该网站如何随时间变化的任何信息。 元数据：爬虫可以评估标题和描述的长度，但不能评估内容。这就是为什么您应该手动检查它们，就像您的 alt 属性一样。顺便说一句：即使是片段工具也并不总是反映现实。 Hreflang 标签：爬虫仅检查 hreflang 标签的语法，但不会检测内容中的任何错误（例如拼写错误）。请务必自行检查您的设置，以免将来自奥地利 (.at) 的网站访问者重定向到澳大利亚网站 (.au)。
頁:
[1]