可能会吸引比需要的更多的爬

mdsohanuzamann1

它还会向您显示爬行次数最多的位置。 您的抓取预算（Googlebot 每次访问您网站时的页面限额）可能会浪费在错误的页面上。 这可能会以多种方式对您的搜索引擎优化产生负面影响，包括如果您添加新内容并且可用的抓取预算很少。结果是较新的内容不太可能被索引。 简而言之，您希望尽可能消除对低价值和无效 URL 的过度抓取。 首先确定您是否有太多低价值网址，这些网址会影响您网站的抓取广告索引。

低价值 URL 的示例包括： 现场内容重复。 低质量的内容 URL。 垃圾邮件内容。 被黑 电话号码数据 的网页。 软错误网页。 电子商务网站上常见的独特的低价值 URL（例如分面导航）也行注意力。 资源被浪费在这些类型的页面上，从而耗尽了您可以从那些包含您想要查找和索引的有意义内容的页面上进行的爬行。 检查每个页面，确定它们是否值得抓取，并阻止任何不包含 robots.txt 文件的页面。




确保您最重要的页面被抓取并建立索引 在分析过程中，您可以过滤日志文件以显示网络爬虫当前访问最多的页面。 根据您的具体业务类型，您希望将某些页面包含在过滤列表的顶部，包括主页、主要产品或关键服务页面以及博客的内容。 您希望找到并抓取最重要的页面。 如果这种情况没有发生，您需要返回并检查每个页面，以使其对 SEO 更加友好。 识别关注度较低的页面 也许有些页面根本没有被抓取，或者只是很少被抓取。