本文目录一览：
- 1、如何应对网络爬虫带来的安全风险
- 2、Robots协议-"盗亦有道"
- 3、短视频去水印、网络爬虫与侵权认定
- 4、通过爬虫采集网站信息，算不算违法行为
- 5、通过爬虫爬取互联网公开新闻信息等，并做展现，打开会直接打开原网站，这种涉及侵权吗？
- 6、只因写了一段爬虫，公司200多人被抓，爬虫究竟是否违法？
如何应对网络爬虫带来的安全风险
我们的网站上或多或少存在一些页面涉及到网站的敏感信息不希望在搜索引擎上公开；还有一些页面是根本没必要被搜索引擎收录的：比如网站的管理后台入口。对于SEOER而言有一些页面如果被收录后反而会影响关键词着陆页的排名，或者降低了着陆页的转化率，比如电子商务网站的商品评论页。那么我们通过什么样的方法可以限制搜索引擎收录此类页面呢？
1994年6月30日，在经过搜索引擎人员以及被搜索引擎抓取的网站站长共同讨论后，正式发布了一份行业规范，即robots.txt协议。这个协议既非法律，也非命令，而是一个自律性的契约，需要各种搜索引擎自觉去遵守这个协议。这个协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。
当一个网络爬虫访问一个站点时它会首先检查该站点根目录下是否存在robots.txt；如果没有对网站的robots协议进行设置，则爬虫会尽可能的收录所有能够访问到的页面，而如果存在该robots协议文件，爬虫则会遵守该协议，忽略那些不希望被抓取的页面链接，下面我们以为例：
User-agent: Googlebot
Disallow: /baidu
Disallow: /s?
Disallow: /shifen/
Disallow: /homepage/
Disallow: /cpro
百度是不希望谷歌搜索引擎的Googlebot爬虫收录/baidu 、/shifen 、/homepage/ 、/cpro 目录下以及所有/s开头的搜索结果页面的。
User-agent:表示爬虫的名字
Allow:表示允许爬虫访问的页面
Disallow:是指禁止爬虫访问的页面
Visit-time:只有在visit-time指定的时间段里,robot才可以访问指定的URL
Request-rate: 用来限制URL的读取频率
除了上述robots.txt文件之外，我们还可以针对每一个页面，在网页的原信息中设置该页面是否允许被收录：
noindex: 不索引此网页
nofollow:不通过此网页的链接索引搜索其它的网页
none: 将忽略此网页，等价于“noindex，nofollow”
index: 索引此网页
follow:通过此网页的链接索引搜索其它的网页
all: 搜索引擎将索引此网页与继续通过此网页的链接索引，等价于index，follow。
举例 〈meta name= “ Baiduspider ” content= “ none" /〉 是不允许百度蜘蛛索引该页面，并且不允许爬行该页面中的所有链接。
还有一种方法，就是在超级链接的rel属性中填写“nofollow”,形如 〈a rel=”nofollow” href=”*”〉 超级链接 〈/a〉 ，表示搜索引擎不要跟踪链接。
但是所有上述方法都是基于Robot的自律性协议，并非强制执行的法律法规。如果遇到不遵守该协议的网络爬虫疯狂的抓取网站页面并对网站性能产生了严重影响，更为有效的方使用入侵检测系统（IDS）入侵防护系统（ IPS ）网络设备。
Robots协议-"盗亦有道"
根据协议，网站管理员可以在网站域名的根目录下放一个robots.txt 文本文件，里面可以指定不同的网络爬虫能访问的页面和禁止访问的页面，指定的页面由 正则表达式 表示。网络爬虫在采集这个网站之前，首先获取到这个文件，然后解析到其中的规则，然后根据规则来采集网站的数据。
注意，这个协议的存在更多的是需要网络爬虫去遵守，而起不到防止爬虫的功能。
互联网上的网页是通过超级链接互相关联起来的，从而形成了网页的网状结构。爬虫的工作方式就像蜘蛛在网上沿着链接爬来爬去，最基本的 流程 可以简化如下：
了解了上面的流程就能发现：对爬虫来说网站非常 被动 ，只有老老实实被抓取的份。
所以，对于网站的管理者来说，就存在这样的需求：
某些路径下是个人隐私或者网站管理使用，不想被搜索引擎抓取，比如说 日本爱情动作片 ；
不喜欢某个搜索引擎，不愿意被他抓取，最有名的就是之前 淘宝不希望被百度抓取 ；
小网站使用的是公用的虚拟主机，流量有限或者需要付费，希望搜索引擎抓的温柔点；
某些网页是动态生成的，没有直接的链接指向，但是希望内容被搜索引擎抓取和索引。
网站内容的所有者是网站管理员，搜索引擎应该尊重所有者的意愿，为了满足以上等等，就需要提供一种网站和爬虫进行沟通的途径，给网站管理员表达自己意愿的机会。有需求就有供应， robots 协议 就此诞生。
京东的Robots协议
百度的Robots协议
上面， *代表所有，/代表根目录
既然网络爬虫在爬取一个网站之前，要先获取到这个文件，然后解析到其中的规则，那么，Robots就必须要有一套通用的语法规则。
最简单的robots.txt只有两条规则：
User-agent：指定对哪些爬虫生效
Disallow：指定要屏蔽的网址
先说User-agent，爬虫抓取时会声明自己的身份，这就是User-agent，没错，就是http协议里的User-agent。robots.txt利用User-agent来区分各个引擎的爬虫，比如说google网页搜索爬虫的User-agent为Googlebot。
可能有读者要问了，我怎么知道爬虫的User-agent是什么?你还可以查 相关搜索引擎的资料 得到官方的数据，比如说百度的爬虫列表是这样的：
Disallow 行列出的是要拦截的网页，以正斜线 (/) 开头，可以列出特定的网址或模式。要屏蔽整个网站，使用正斜线即可;要屏蔽某一目录以及其中的所有内容，在目录名后添加正斜线;要屏蔽某个具体的网页，就指出这个网页。
下面介绍一些实例:
或者也可以建一个空文件 "/robots.txt" file。
我们再来结合两个真实的范例来学习一下。先看这个例子：
这个是淘宝网的Robots协议内容，相信你已经看出来了，淘宝网禁止百度的爬虫访问。
再来看一个例子：
这个稍微复杂点，京东有2个目录不希望所有的爬虫来抓。同时，京东完全屏蔽了一淘网的蜘蛛（EtaoSpider是一淘网的蜘蛛）。
sitemap
爬虫会通过网页内部的链接发现新的网页。但是如果没有链接指向的网页怎么办?或者用户输入条件生成的动态网页怎么办?能否让网站管理员通知搜索引擎他们网站上有哪些可供抓取的网页?这就是 sitemap ， 最简单的 Sitepmap 形式就是 XML 文件 ，在其中列出网站中的网址以及关于每个网址的其他数据(上次更新的时间、更改的频率以及相对于网站上其他网址的重要程度等等)，利用这些信息搜索引擎可以更加智能地抓取网站内容。
新的问题 来了，爬虫怎么知道这个网站有没有提供sitemap文件，或者说网站管理员生成了sitemap，(可能是多个文件)，爬虫怎么知道放在哪里呢?
由于robots.txt的位置是固定的，于是大家就想到了把sitemap的位置信息放在robots.txt里。这就成为robots.txt里的新成员了。
节选一段google robots.txt：
Sitemap: ...
Sitemap: ...
插一句，考虑到一个网站的网页众多，sitemap人工维护不太靠谱，google提供了工具可以自动生成sitemap。
meta tag
其实严格来说这部分内容不属于robots.txt。
robots.txt的初衷是为了让网站管理员管理可以出现在搜索引擎里的网站内容。但是，即使使用 robots.txt文件让爬虫无法抓取这些内容，搜索引擎也可以通过其他方式找到这些网页并将它添加到索引中。例如，其他网站仍可能链接到该网站。因此，网页网址及其他公开的信息(如指向相关网站的链接中的定位文字或开放式目录管理系统中的标题)有可能会出现在引擎的搜索结果中。如果想彻底对搜索引擎 隐身 那咋整呢?答案是：元标记，即meta tag。
比如要完全阻止一个网页的内容列在搜索引擎索引中(即使有其他网站链接到此网页)，可使用 noindex 元标记。只要搜索引擎查看该网页，便会看到 noindex 元标记并阻止该网页显示在索引中，这里注意 noindex 元标记提供的是一种逐页控制对网站的访问的方式。
要防止所有搜索引擎将网站中的网页编入索引，在网页的部分添加：
这里的 name取值 可以设置为某个搜索引擎的 User-agent 从而指定屏蔽某一个搜索引擎。
除了noindex外，还有其他元标记，比如说nofollow，禁止爬虫从此页面中跟踪链接。详细信息可以参考Google支持的元标记，这里提一句：noindex和nofollow在 HTML4.01规范 里有描述，但是其他tag的在不同引擎支持到什么程度各不相同，还请读者自行查阅各个引擎的说明文档。
Crawl-delay
除了控制哪些可以抓哪些不能抓之外，robots.txt还可以用来控制爬虫抓取的速率。如何做到的呢?通过设置爬虫在两次抓取之间等待的秒数。这种操作可以进行缓解服务器压力。
表示本次抓取后下一次抓取前需要等待5秒。
注意 ： google已经不支持这种方式了，在webmaster tools里提供了一个功能可以更直观的控制抓取速率。
这里插一句题外话，几年前曾经有一段时间robots.txt还支持复杂的参数:Visit-time，只有在visit-time指定的时间段里，爬虫才可以访问;Request-rate:用来限制URL的读取频率，用于控制不同的时间段采用不同的抓取速率。后来估计支持的人太少，就渐渐的废掉了，目前google和baidu都已经不支持这个规则了，其他小的引擎公司貌似 从来都 没有支持过。
网络爬虫：
自动或人工识别robots.txt，再进行内容爬取
约束性:
Robots协议是建议但非约束性，网络爬虫可以不遵守，但存在法律风险。
原则：类人行为可以不参考Robots协议。
Robots协议不是什么技术壁垒，而只是一种互相尊重的协议，好比私家花园的门口挂着“闲人免进”，尊重者绕道而行，不尊重者依然可以推门而入。目前，Robots协议在实际使用中，还存在一些问题。
缓存
robots.txt本身也是需要被抓取的，出于效率考虑，一般爬虫不会每次抓取网站网页前都抓一下robots.txt，加上robots.txt更新不频繁，内容需要解析。通常爬虫的做法是先抓取一次，解析后缓存下来，而且是相当长的时间。假设网站管理员更新了robots.txt，修改了某些规则，但是对爬虫来说并不会立刻生效，只有当爬虫下次抓取robots.txt之后才能看到最新的内容。尴尬的是，爬虫下次抓取robots.txt的时间并不是由网站管理员控制的。当然，有些搜索引擎提供了web工具可以让网站管理员通知搜索引擎那个url发生了变化，建议重新抓取。注意，此处是建议，即使你通知了搜索引擎，搜索引擎何时抓取仍然是不确定的，只是比完全不通知要好点。至于好多少，那就看搜索引擎的良心和技术能力了。
ignore
不知是无意还是有意，反正有些爬虫不太遵守或者完全忽略robots.txt，不排除开发人员能力的问题，比如说根本不知道robots.txt。另外，本身robots.txt不是一种强制措施，如果网站有数据需要保密，必需采取技术措施，比如说：用户验证，加密，ip拦截，访问频率控制等。
恶意爬虫
在互联网世界中，每天都有不计其数的爬虫在日夜不息地爬取数据，其中恶意爬虫的数量甚至高于非恶意爬虫。遵守Robots协议的爬虫才是好爬虫，但是并不是每个爬虫都会主动遵守Robots协议。
恶意爬虫可以带来很多潜在威胁，比如电商网站的商品信息被爬取可能会被竞争对手利用，过多的爬虫还会占用带宽资源、甚至导致网站宕机。
你学会了吗~~~？
点个赞吧！！！
短视频去水印、网络爬虫与侵权认定
背景
原告运营快手短视频APP，用户从平台下载的短视频会有原告添加的、由“快手标识”和“上传者的快手号”两部分组成的水印。
被告开发和运营的涉案APP，有短视频去除水印的功能，且为付费功能。
原告认为被告的行为侵害其注册商标权且构成不正当竞争，遂起诉被告并索赔经济损失50万元。
诉辩意见
第一，在线去水印功能的实现，是通过网络爬虫技术直接抓取原告存储无水印视频的地址，提供接口的链接转换，用户通过修改地址来下载不带水印的视频。在原告没有通过robots协议禁止他人抓取平台数据的情况下，原告上述行为不构成侵权。
第二，公司规模小，对原告的业务不构成威胁。
第一类证据，与快手知名度、影响力、下载量、禁止网络爬虫等相关的证据。
主要是获奖荣誉证书、广告宣传照片、媒体报道、下载情况、平台服务协议等，用于证明：
第二类证据，与被告侵权行为相关的证据，主要包括：
第三类证据，司法建议书。
原告提交了北京互联网法院互法建（2019）1号司法建议书，证实法院认定 水印的性质为表明身份属性，标注制作者和传播者信息，成为短视频行业的使用惯例，宜认定为权利管理信息 。
第四类证据，与经济损失计算相关的证据，主要包括：
被告除了对下载量达86亿次提出异议，认为该数据可能存在刷单情况，对涉案app的应用情况没有异议。
法院裁判
第一，添加水印落入原告自主经营权范畴。
第二，其他经营者如果没有合理理由，不应擅自消除和改变上述水印标注。
法院认为被告去除水印的行为妨碍了快手app的正常运行，侵害了原告的经营者利益并据此获得利益，构成不正当竞争。至于被告提出的关于原告未通过robots协议限制他人抓取数据的答辩意见，法院认为不足以证明原告行为的正当性，对此不予采纳。
第三，关于原告经济损失索赔诉求，法院认为原告提供的证据难以证明其实际损失和被告获利，因此综合考虑被告方涉案app的下载量、持续运营时间、收费标准，以及该app并非仅针对快手短视频等，酌定经济损失对应的赔偿金额为人民币8万元。
原告在同期对去水印类app发起批量维权，相关主张和举证情况与本案基本一致，但被告的行为模式、抗辩情况各有不同，法院酌定的判赔额相关比例也差异很大，明天可以找几个有意思的案例看看。
通过爬虫采集网站信息，算不算违法行为
爬虫所带来风险主要体现在以下3个方面：违反网站意愿，例如网站采取反爬措施后，强行突破其反爬措施；爬虫干扰了被访问网站的正常运营；爬虫抓取了受到法律保护的特定类型的数据或信息。那么作为爬虫开发者，如何在使用爬虫时避免进局子的厄运呢？严格遵守网站设置的robots协议；在规避反爬虫措施的同时，需要优化自己的代码，避免干扰被访问网站的正常运行；在设置抓取策略时，应注意编码抓取视频、音乐等可能构成作品的数据，或者针对某些特定网站批量抓取其中的用户生成内容；在使用、传播抓取到的信息时，应审查所抓取的内容，如发现属于用户的个人信息、隐私或者他人的商业秘密的，应及时停止并删除。
通过爬虫爬取互联网公开新闻信息等，并做展现，打开会直接打开原网站，这种涉及侵权吗？
可以的，首先要自己会写代码学习爬虫可以从下面一些知识点入手学习。 1、http相关知识。 2、浏览器拦截、抓包。 3、python2 中编码知识，python3 中bytes 和str类型转换。 4、抓取javascript 动态生成的内容。 4、模拟post、get，header等 5、cookie处理，登录。 6、代理访问。 7、多线程访问、python 3 asyncio 异步。 8、正则表达式、xpath等等等。。。。还有scrapy requests等第三方库的使用。
只因写了一段爬虫，公司200多人被抓，爬虫究竟是否违法？
01.技术纯真
许多朋友向我传达了一个信息：技术是无辜的，技术本身没有对与错，但是使用技术的人是对还是错。如果公司或程序员知道使用其技术是非法的，则公司或个人需要为此付出代价。
在今年颁布了《中华人民共和国网络安全法》之后，许多以前处于灰色地带的企业无法开展。
您看不到以前非常流行的各种社会工作者网站。现在大多数人都消失了吗？因为最新的安全法强调出售超过50条个人信息属于“严重情况”，需要履行其法律责任。
许多草根网站管理员主动关闭了该网站。目前有很多涉及版权信息的网站，如书籍，影视剧，课程等，在后期也将面临越来越严格的审查。
02.哪种爬虫是非法的？
爬虫不能是私人的！
如果爬虫程序收集了诸如公民的姓名，身份证号码，通讯联系信息，地址，密码，财产状态，轨道等个人信息，并以非法方式使用它，则绝对构成非法获取信息的行为。公民的个人信息。
就是说，您爬网信息没有问题，但是不会涉及个人隐私。如果涉及并通过非法手段获得收益，那么它必定是非法的。
此外，在以下三种情况下，爬行动物可能是非法的，严重的，甚至构成犯罪：
如果爬虫程序逃避了网站运营商设置的反爬虫措施或违反了服务器的反捕获措施以非法获取相关信息，情节严重，则可能构成非法获取计算机信息数据的犯罪行为。系统。
如果搜寻器程序干扰了所访问的网站或系统的正常运行并造成了严重后果，则将违反刑法，并构成“破坏计算机信息系统”的罪行。
如果爬虫收集的信息属于公民的个人信息，则可能构成非法获取公民的个人信息的非法行为。如果情况严重，可能构成侵犯公民个人信息的罪行。
现在，Internet上有许多付费课程，例如极客时间，知识星球等。如果这些付费内部信息被非法爬网出售并从中获利，则属于违法行为。
在遇见网民之前，我抢了各种知识之星的内容，并自行出售。我觉得我找到了一个巨大的商机。实际上，我不知道这种行为实际上是非常危险的，风险和收益显然是不平等的。
当我看到这两天时，他的一个公共电话号码被密封了，后来他转了个喇叭继续做下去。迟早他被封锁了。最可怜的是那些购买他的服务的人，因为当他做广告时，他承诺他永远也做不到。
03.哪种爬虫合法？
1.遵守机器人协议
机械手协议，也称为robots.txt（统一的小写字母），是存储在网站根目录中的ASCII文本文件。它通常告诉网络搜索引擎的漫游者（也称为网络蜘蛛），该网站上的哪些内容不应由搜索引擎的漫游者获取，而漫游者可以获取哪些内容。
漫游器协议旨在告诉抓取工具哪些信息可以被抓取，哪些信息不能被抓取。严格按照漫游器协议爬网与网站相关的信息通常不会造成太多问题。
2.不要使另一台服务器瘫痪
但这并不意味着只要爬虫遵守机器人协议，就不会有问题。还涉及两个因素。首先是大型爬网程序无法使另一端的服务器瘫痪，这相当于网络攻击。
在国家互联网信息办公室于2019年5月28日发布的数据安全管理措施（征求意见稿）中，建议以行政法规的形式限制爬行动物的使用：
网络运营商应采用自动方式访问和收集网站数据，不得妨碍网站的正常运行；此类行为严重影响网站的运行，例如自动访问收集流量超过网站每日平均流量的三分之一，并且在要求停止自动访问收集时网站应停止。
3.无非法利润
恶意使用爬虫技术来获取数据，抢占不正当竞争优势甚至谋取非法利益可能是违法的。实际上，由于非法使用爬虫技术来捕获数据而引起的纠纷数量并不大，其中大多数是基于不正当竞争而提起诉讼的。
例如，如果您获取了公众评论上的所有公共信息，则您复制了一个相似的网站并从该网站中获得了很多利润。这也是一个问题。
一般来说，爬虫是为企业造福的。因此，爬虫开发者的道德自力更生和企业管理者的良知对于避免触及法律底线至关重要。