程序员的福音，python应用范围你了解多少？云立方为你解答

点击添加图片描述（最多60个字）编辑

对于目前高速发展的互联网信息时代，大数据用户信息等等已经成为了企业竞争的核心资源，这种资源的竞争在一方面也是对市场的竞争，毕竟占据了用户基数就等于赢得了市场先机。

还记得去年的一则新闻吗？两女子在逛街交流着附近哪里有洗手间，突然手机某款APP提示消息已经查找到附近地点，这个提示让该女子认为这款APP非法录音，并告上了法院。

这种在对方没有授权的情况下盗取信息就是违法行为，那么有着异曲同工之处的“爬虫”技术。到底算不算违法呢？

首先“爬虫”技术是无罪的，关键是在于如何去利用，有人利用python获取权限内的数据加以分析提升能力。也有人将代码上传网络接口抓取数据唯利是图。这就是二者的区别。

今天就给大家科普一下“网络爬虫”的规范操作。

一．你可以在对大众信息公开的网站上面爬取信息，而且是不具备传播的特性。比如你想爬取某个车站哪个时间段的所有车辆发车时间，这个是ok的。

二.爬取非商业网站

如果爬取对象是对外提供公开查询服务的网站的公开信息，如公检法机关的官网、政府部门的官网、事业单位的官网等，不构成侵权或犯罪，可以抓取。

三.爬取商业网站

没有设置反爬声明或采取反爬技术措施的各类商业网站，一般不限制爬取数据，但也并不意味着可以随意抓取。

以上就是关于爬虫可以进行活动的一个范围区间，但是关于这项技术其实还有很多法律约束，那么它的哪些动作是违法的呢。

1.首先是爬取有反爬声明的网站数据

当某网站声明了robots协议——即网络爬虫排除标准时，数据爬取方应当对robots.txt中所记载的禁止爬取范围进行规避，若不遵守该协议，则可能面临法律风险。

2.爬取网站非公开信息数据

如果爬取的是某公司“内网”或后台内部数据，采集的是非公开的信息，则系违法行为。

3.爬取网站受法律保护的信息或数据

如对方网站合法收集的个人敏感信息、对方公司受法律保护的特定数据或信息等。

爬虫违规爬取数据容易造成侵犯商业秘密。另外要注意的是，如果爬虫在爬取数据的过程中对相关网站造成干扰，可能会构成不正当竞争。

云立方网提出以下建议：

1. 遵守 Robots 协议，但有没有 Robots 都不代表可以随便爬；

2. 限制你的爬虫行为，禁止近乎 DDOS 的请求频率，一旦造成服务器瘫痪，约等于网络攻击；

3. 对于明显反爬，或者正常情况不能到达的页面不能强行突破，否则是 Hacker 行为；

4. 最后，审视清楚自己爬的内容，遵守国家相关法律法规，以下是绝不能碰的红线（包括但不限于）：

4.爬取用户个人数据非法牟利，包括模拟登录他人账号。如有其它问题可以登录“云立方网”查看相关信息。以及最新代理IP的事宜。