如何不让蜘蛛抓取重复的页面
发布时间：2022-01-19 10:53:07 所属栏目：建站 来源：互联网
导读：问题：如何不让蜘蛛抓取重复的页面？ 回答：想要蜘蛛不抓取重复页面，有效的方法就是不给这些页面提供链接入口，这样会减少蜘蛛抓
|
问题：如何不让蜘蛛抓取重复的页面？ 回答：想要蜘蛛不抓取重复页面，有效的方法就是不给这些页面提供链接入口，这样会减少蜘蛛抓取。另外，如果减少这些页面的内容更新，那么也会降低抓取。 大家之所以问到如何不让蜘蛛抓取重复的页面，其目的是想把这些抓取份额转移到其他的页面上，促进其他的页面收录。但是，有两个问题大家首先要搞清楚： 一、为什么蜘蛛喜欢重复抓取这些重复的页面 1、页面内容质量高 对于质量高的页面，搜索引擎更喜欢去抓取！如果蜘蛛喜欢抓取这些页面，在某种程度上说，搜索引擎对页面的内容是比较认可的，我们可以重点去分析其中的原因。 2、页面内容更新频繁 页面内容的更新程度，也会影响到蜘蛛抓取。大家可以去看看那些被频繁抓取的页面，很多更新会比较频繁。 二、为什么其他的页面收录情况不佳 前面说到了为什么有些页面容易被重复抓取，那么为什么有些页面就得不到蜘蛛抓取，得不到收录呢？原因也有好几个： 1、页面缺乏链接入口，如果页面没有链接入口，就很难得到蜘蛛抓取，也就世界影响到收录了。 2、页面内容质量太差，这在蜘蛛抓取的阶段就被抛弃了，蜘蛛也不会多次来抓取。 3、页面内容缺少更新，这里的更新包括更新相关文章，更新评论等等，如果页面更新慢、更新少，搜索蜘蛛也不会反复抓取。 前面说到了有关页面抓取和收录的问题，我们再来看如何不让蜘蛛抓取重复的页面！很显然，这个问题问得就不对，蜘蛛重复抓取页面，表面页面的整体质量度高，这样百度快照更新快，也容易得到关键词排名。对于这样的页面，我们为什么要刻意减少蜘蛛抓取呢？反观那些不容易被抓取，或者抓取不多的页面，我们需要去分析其中的原因，而不是强行想着把其他页面抓取的份额分配过来。 关于如何不让蜘蛛抓取重复的页面，笔者就简单的说到这里。总之来说，想要减少蜘蛛抓取还是有方法的，比如说减少链接入口，比如说降低页面更新的频率和幅度等，这些都能有效降低蜘蛛抓取。但是，笔者认为我们没有必要这么做，而是应该去分析这些页面能够得到蜘蛛青睐的原因，然后把其中的方法技巧使用到其他的页面上，这样就能够促进其他页面的抓取和收录。 （编辑：广西网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐