“放下你手里的代码”：爬虫技术的善与恶、罪与罚

鉴于输入式的图形验证码的缺点，容易被破解，而且有时候人类都识别不了。滑块验证码横空出世，这种验证码操作简便，破解难度大，很快就流行起来了。破解滑块验证码存在两大难点：一是必须知道图形缺口在哪里，也就是得知道滑块滑到哪;二是要模仿出人类滑动的手势。这样的验证码增加了一定的难度，也给爬虫界增加了很多乐趣，一时间大量破解滑块验证码的技术出现。

(3)点击式的图文验证和图标选择

图文验证，是通过文字提醒用户点击图中相同字的位置进行验证。

图标选择，是给出一组图片，按要求点击其中一张或者多张。

这两种原理相似，只不过是一个给出文字，点击图片中的文字;一个给出图片，点出符合内容的图片。这两种方法的共同点就是体验差，被广为诟病。

(4)手机验证码

对于一些重要的敏感信息访问，网站或APP端一般会提供填写手机验证码的要求，通过手机接受网站发送的验证码来进一步访问，这种方式对于数据隐私的保护比较好。

4、账号密码登陆

网站可以通过账号登陆来限制爬虫的访问权限，个人在使用很多网站服务的时候一般是需要进行账号注册的，使用的时候需要通过账号密码登陆才能继续使用服务。网站可以利用用户浏览器的Cookie来对用户的身份进行识别，通过保存在用户本地浏览器中加密的Cookie数据来进行用户访问会话的跟踪。这一般作为前面几种反爬方式的补充。

爬虫技术的发展方向

传统网络爬虫最大的应用场景是搜索引擎，普通的企业更多是做网站或应用。后来随着网络数据分析的需要，以及互联网上的舆情事件层出不穷，针对网络爬虫有了大量的需求，采集的对象主要是些新闻资讯。

近些年，由于大数据处理和数据挖掘技术的发展，数据资产价值的概念深入人心，爬虫技术得到更加广泛和深入的发展，采集对象也更丰富，高性能、并发式的技术指标也更高。

围绕网络爬虫合法性的讨论仍然存在，情况也比较复杂。目前的趋势下，许多法律问题还处于模糊地带，往往取决于具体的案例影响。然而，可以肯定的是，只要有互联网，就会有网络爬虫。只有网络爬虫让体量巨大的互联网变得可以搜索，使爆炸式增长的互联网变得更加容易访问和获取，在可预见的未来，互联网爬虫技术将继续得到发展。

互联网作为人类历史最大的知识仓库，是非结构化或非标准化的。互联网上聚集了大量的文本、图片、多媒体等数据，内容虽然非常有价值，但是知识提取的难度仍然非常巨大。语义互联网、知识共享等概念越来越普及，真正语义上的互联网将是网络爬虫的目标。此外，物联网技术的发展，将是互联网的升级形式，也将是爬虫技术未来发展的方向。

（编辑：西安站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!