防止内容被抓取 屏蔽谷歌k1体育3915娱乐必应等搜索引擎

　　k1体育3915娱乐快科技今日（8月22日）消息，据报道，近日开始屏蔽谷歌和必应等大多数搜索引擎，预计是为了阻止这些搜索引擎和其他爬虫，未经授权抓取的内容用于训练AI。

　　的robots.txt文件显示，目前仅有百度搜索、、中国搜索(Chinaso)、YYSpider和宜搜搜索(EasouSpider)等少数几个搜索引擎被允许抓取其内容。

　　谷歌搜索、必应搜索、微软MSN、UC浏览器的Yisouspider以及其他一切搜索引擎爬虫均被明确禁止抓取的内容。

　　虽然没有在封禁列表中单独列出，但的策略是禁止一切非白名单爬虫抓取，所以和其他搜索引擎也都是被屏蔽的。

　　不过这种做法其实也只是防君子不防小人，肯定还有很多爬虫通过各种方式继续抓取内容然后拿去训练AI。