新做的网站抓取频次低的原因及解决思路

News

价值共享，记录互联网发展脚步

新做的网站抓取频次低的原因及解决思路

西安凡高网络 2019-11-08 0次
一键分享

网站上线都一个多月了，收录挺快的，但为什么搜索引擎蜘蛛抓取频次仅有个位数呢？这么低的蜘蛛抓取频次能否完成全站内容的爬行及抓取呢？

1、站点内容不够充实

对于新站而言，当前内容体积较小，并没有太多的页面供蜘蛛抓取。再加上网站系统产生的低质量格式化页面，致使优质页面在全站页面数量中占比较少。

建议：保持网站内容持续更新，尤其是新做的网站上线初期，网站的更新质量以及更新频率都很重要。试想一下一个内容质量较高且更新频繁的站点，有什么理由得不到搜索引擎的青睐，及时提交新产出的资源给搜素引擎，是改善新站抓取频次过低的第一步。其次搜索引擎尽管对新站的考核力度较大（沙盒效应），但在收录上同样给新站开辟了绿色通道（网站完成备案信息，合理利用新站保护扶持）。

2、站点没有得到足够的认可

新站说白了就是白纸一张，要是内容没有内容，要收录没有收录。在这样的情况下，没有流量也就没有数据，搜索引擎无法对网站做出评价，因此很难得到搜索引擎的信赖。

建议：随着网站的持续经营，网站的内容不断扩充，蜘蛛抓取就会变得频繁。新站内容建设固然重要，但需要注意的是，网站大量复制采集而来的内容，很容易导致被判定为低质量站点，从而再次降低蜘蛛抓取频次，甚至是不再抓取。因此需要在保证质量的基础上提高数量，其次对新站留有足够的耐心。

优化蜘蛛抓取效率提升网站抓取频次

1、通过外链提升网站链接被蜘蛛爬行的机会

搜索引擎蜘蛛的工作原理与爬虫程序类似，是一个不断循环的过程，首先对URL资源列表逐条访问，其次提取当前页面中的新URL链接，接着对新URL链接资源进行筛选过滤，最后将过滤后剩余的URL资源推送至资源列表。一般情况下高质量站点蜘蛛抓取频繁，而通过外链将网站链接放置在蜘蛛经常访问的地方，无疑增加了该链接被蜘蛛爬行的机会，思维上与前几年较为流行的蜘蛛池类似。

2、合理的内链结构配合Nofollow属性引导蜘蛛抓取

假设通过外链引来了蜘蛛爬行，那么如何增加站内其他URL被抓取的机会呢？这就需要通过内链结构优化，帮助蜘蛛程序更好的识别抓取站内链接（面包屑导航、最新文章推送、相关阅读推送、标签集合等）。另外对于质量较低但却不能从网站结构中剔除的页面而言，就需要用到Nofollow引导蜘蛛爬行了，比如首页上关于我们，联系我们等搜索价值较低的页面，就可以通过Nofollow提高蜘蛛程序的抓取效率，将抓取机会留给供重要的页面。

无论是蜘蛛池还是外链都是为了提升蜘蛛爬行机会，但当下的站长工具可以通过多种方式进行URL提交，因此站长并不用将太多的精力放到蜘蛛引入上，更需要考虑的是网站内容建设的质量，以及站内链接优化是否合理。SEO是一个长期坚持的过程，只有坚持才会收获希望，而不是等坐等希望再去坚持。

返回列表