百度蜘蛛抓取频次优化的完整指南

抓取频次更像是一个SEO概念，在大多数情况下站长并不关心百度蜘蛛的抓取频次，因为抓取频次对于中小企业网站来说几乎没有任何影响。4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网

虽然大多数网站管理员不用为抓取频次而担心，但是，如果运行的是大型网站，则抓取频次是我们可以（而且应该）优化的SEO因素。4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网

当然，随着SEO的发展，抓取频次和排名之间的关系并不简单，爬行本身并不是排名因素，但从某种角度来说，抓取频次对搜索引擎优化有着间接影响因素（这也是蜘蛛池流行的原因）。4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网

在本指南中，我将讲解相关的抓取概念，搜索引擎如何将抓取频次分配给网站的机制，以及如何充分利用抓取频次来最大限度地提高网站排名和有机流量的技巧。4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网

内容4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网

网络蜘蛛的好与坏4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网

网络蜘蛛，爬虫或机器人是持续“访问”并抓取网页以收集某些信息的计算机程序。4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网

根据抓取的目的，可以区分以下类型的蜘蛛：4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网

搜索引擎蜘蛛；4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网

Web服务的蜘蛛；4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网

黑客蜘蛛；4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网

搜索引擎蜘蛛由百度，Google或360等搜索引擎管理，这种蜘蛛可以对互联网上所有的页面进行爬行（前提是可发现），并将它们提供给搜索引擎的索引库。4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网

诸如SEO工具，购物，旅行和优惠券网站等许多网络服务都有自己的网络索引和蜘蛛，例如，WebMeUp有一个名为Blexbot的蜘蛛，Blexbot每天可以抓取上百亿个页面来收集反向链接数据，并将该数据提供给其链接索引（在SEO SpyGlass中使用的链接索引）。4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网

黑客也喜欢培育蜘蛛，他们使用蜘蛛来测试各种网站的漏洞，一旦发现漏洞，他们可能会尝试访问您的网站或服务器。4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网

你可能会听到人们谈论好蜘蛛与坏蜘蛛，我通过这种方式来区分它们：任何旨在以非法目的收集信息的蜘蛛都是不好的，其余的都很好。4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网

大多数蜘蛛通过用户代理字符串的帮助来标识自己，并提供可以更多地了解蜘蛛的URL：4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网

4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网

在本文中，我将重点讨论搜索引擎蜘蛛以及他们如何抓取网站。4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网

了解抓取频次4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网

抓取频次是搜索引擎蜘蛛在特定时间段内击中网站的次数，例如，百度通常每月会在我的网站上点击1000次，我可以说1K就是百度的每月抓取频次，请注意，这些爬虫的数量和频率没有普遍限制;。4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网

为什么抓取频次很重要？4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网

从逻辑上讲，您应该关注抓取频次，因为您希望百度尽可能多地发现网站的重要网页，您还希望它能够快速在您的网站上找到新内容，抓取频次越大，这种情况会越快发生。4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网

确定爬网频次4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网

您可以在百度网站管理员工具中了解您网站的抓取频次，比方说，您需要确定您的百度抓取频次，登录到您的百度站长帐户并转到数据监控 – >抓取频次，在这里，您会看到每天的抓取频次。4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网

4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网

从上面的报告中，我可以看到平均百度每天会抓取我网站30次左右，从中可以看出，我的每月爬行频次是 30* 30 = 900。4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网

当然，这个数字很容易发生变化和波动，但是，它会为您提供一个可靠的想法，即您可以在特定时间段内抓取您网站的多少页面。4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网

如果您需要更详细地查看各个页面的抓取统计信息，则必须分析服务器日志，日志文件的位置取决于服务器配置。4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网

如果您不确定如何访问服务器日志，请向系统管理员或托管服务提供商寻求帮助。4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网

原始日志文件很难阅读和分析，要理解这些，你需要绝对级别的正则表达式技巧或者专门的工具，我更喜欢使用光年日志分析工具来进行分析。4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网

如何分配抓取频次？4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网

随着搜索引擎优化，我们不完全知道搜索引擎如何形成网站的爬行频次，所有博主对网络的内容进行整理得到搜索引擎利用以下两个因素来确定爬网频次：4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网

受欢迎程度– 更受欢迎的网页会更频繁地抓取；4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网

陈旧–百度不会让有关的网页的信息过时，对于网站管理员，这意味着如果网页内容经常更新，百度会尝试更频繁地抓取网页。4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网

假设一个网站的抓取频次与反向链接的数量以及该网站在百度眼中的重要性成正比 – 百度希望确保最重要的网页仍然是最新的指数。4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网

内部链接呢？您是否可以通过指向更多内部链接来增加特定页面的抓取速度？4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网

为了回答这些问题，我决定检查内部链接和外部链接之间的关联以及抓取统计信息，我收集了11个网站的数据并进行了简单的分析，简而言之，这就是我所做的。4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网

我为将要分析的11个站点创建了项目，我计算了指向这些网站每个网页的内部链接的数量，接下来，我运行了SEO Spyglass并为相同的11个站点创建了项目，在每个项目中，我检查了统计信息并复制了带有指向每个页面的外部链接数的锚URL。4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网

然后，我分析了服务器日志中的抓取统计信息，以了解百度每次访问每个网页的频率。最后seo蜘蛛优化基础知识，我将所有这些数据放入电子表格中，并计算内部链接和抓取预算以及外部链接和抓取预算之间的关联。4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网

我发现了一件非常有趣的事以下是我分析的其中一个网站的示例电子表格：4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网

4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网

我的数据集证明蜘蛛访问次数和外部链接数量之间有很强的相关性（0,978），同时，蜘蛛命中和内部链接之间的相关性被证明是非常弱的（0,154），这表明反向链接比网站链接更重要。4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网

这是否意味着提高抓取频次的唯一方法是构建链接并发布新内容？如果我们正在讨论整个网站的朱雀频次，我会说是：增加链接并经常更新网站，并且网站的抓取频次将按比例增长。4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网

但是，当我们采取单独的页面，它将变得更有趣，正如你将会在下面的介绍中看到的那样，你甚至可能在没有意识到的情况下浪费大量的抓取频次。通过巧妙地管理频次，您通常可以将单个网页的抓取次数加倍 – 但它仍然会与每个网页的反向链接数成比例。4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网

4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网

如何充分利用抓取频次

现在，我们已经想通了，爬行很重要，是不是花费更多的时间来管理抓取频次？4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网

您应该（或不应该）做很多事情来让搜索蜘蛛更多地消耗更多的网站页面，以下是最大化抓取频次功能的操作列表：4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网

1.确保重要页面可被抓取，并且如果在搜索中找到的内容不提供价值，则会被阻止。4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网

.htaccess和robots.txt不应该阻止网站的重要页面，机器人应该能够访问CSS和Javascript文件，同时，您应该阻止不想在搜索中显示的内容，阻止网站的“正在建设中”的区域和动态生成的网址等。4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网

请记住，搜索引擎蜘蛛并不总是遵守robots.txt中包含的说明，你有没有在百度搜索结果中看过这样的片段？4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网

Robots.txt并不保证网页不会显示在搜索结果中：百度仍然可以根据外部信息（如传入链接）决定它是相关的，如果您希望显式阻止某个页面被编入索引，则应该使用noindex漫游器元标记或X-Robots-Tag HTTP标题，在这种情况下，您不应该在robots.txt中禁止该页面，因为必须抓取该页面才能看到并遵守该标记。4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网

相关阅读：robots.txt文件协议最佳设置技巧4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网

2.避免长时间重定向链4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网

如果网站上的连续301和302重定向数量不合理，则搜索蜘蛛将在某个时刻停止跟踪重定向，并且目标网页可能无法抓取，更重要的是，每个重定向的URL都会浪费您的抓取频次的“单元”seo蜘蛛优化基础知识，确保连续使用重定向不超过两次，并且只有在绝对必要时才使用重定向。4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网

3.管理网址参数4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网

有些内容管理系统会生成大量动态网址，实际上会导致同一页面，默认情况下，搜索引擎机器人会将这些URL视为单独的页面;因此可能会浪费爬网频次，又可能会滋生内容重复问题。4GI电脑_数码_手机应用问题解决的IT技术网站seo – 云狐网