2020年,你需要一个全网通用的网站平台

福安网站推广谈网站优化之防止网站被采集

编辑:福安新城建站 关注: 时间:2019-12-16 11:05:51


温馨提示:专业网站建设、小程序制作、APP开发,尽在新城建站,详询 15544599750(手机、微信、QQ同号)

采集就是使用程序通过自动化操作复制数据。

首先说明,只要是能让浏览器访问的,就没有不能采集的。

但是可以通过一定的手段让采集变得非常麻烦,进而在大量数据的情况下延迟采集完成时间,加大采集难度。

一般的情况略过不说,几种情况比较特别的:

1、验证来路,cookie,session这些,比如PHP可以用fsockopen自定义HTTPHeader,基本上这些方法没什么效果。

2、限速,限制某段时间内打开页面数量。这个只是推迟了下,大部分时间效果一般。比如某站限制一分钟之内只能打开30个网页,页面大小平均30K,则用迅雷批量下载就OK了,设置限速为2K,一觉醒来什么都好了。这个方法效果也基本没有。

3、比较特别的方法,设置一个数量级的阀值,达到这样数量后,必须验证方能继续,比如打开10个页面需要输入验证码,这个时候只需要保证验证码不可识别,分配一个session,以后的浏览过程中用session保证用户合法性,这样不影响后续访问,同时可以有效防止采集。

4、第三条对蜘蛛是致命的,此时可通过手机蜘蛛IP段,放行,其它的按照严格规则来。

5、3+4真是无敌的吗?远非可以高枕无忧,比如此站有10万个页面,则设置100个代理,在阀值前循环使用代理,这样实际上绕过了3的限制。

6、还有别的办法吗?不能,因为你的网站能用浏览器打开。


拓展阅读:

福安网站推广分享中小企业建设进行网站制作的作用有哪些?

福安网络优化分享找准网站的推广方向

福安小程序谈如何建设网站使其更有价值

福安建站公司分享企业网站制作的建设方案

福安网站推广谈如何把网站建设得具有商业性质

福安网站推广分享影响建站报价的因素

福安建站谈网页设计中优化代码重要性

福安小程序开发分享怎样的网页视觉设计会使用户体验变差?

本文由新城建站整理发布,喜欢请收藏,转载请保留链接 福安网站推广谈网站优化之防止网站被采集https://www.nccpu.net/fujian/ningde/fuan/21841.html

服务支持

我们珍惜您每一次在线询盘,有问必答,用专业的态度,贴心的服务。

让您真正感受到我们的与众不同!