k1体育过河拆桥？为防爬虫爬取数据训练AI屏蔽了谷歌等友商

　　k1体育近日有报道称，为了防止未经允许的“爬虫”爬取数据用于训练AI，已经屏蔽了谷歌、必应等大多数搜索引擎。百度啊百度，你也学会过河拆桥了？

　　有网友扒出了的robots.txt文件，发现允许放行的白名单中，只有百度搜索、、中国搜索（Chinaso）、YYSpider和宜搜搜索（EasouSpider）几个搜索引擎，而谷歌、必应、微软MSN、UC的Yisouspider以及其他搜索引擎的爬虫已被列入了禁止名单。

　　众所周知，搜索引擎的工作原理，就是依靠“爬虫”到不同的网站上爬取数据，然后展示在自己的搜索结果中。

　　百度曾经能搜到很多内容，但百度的“爬虫”过于高频地访问网站爬取数据，会对网站的服务器产生巨大压力，影响到了正常运转，会主动选择禁止百度爬取数据。此外，一些网站为了占据用户心智、避免影响广告收入等原因，也会主动选择屏蔽百度的爬虫，这就导致百度越来越难搜到想要东西了。

　　近几年，AI大模型的快速发展，需要不少用户真实数据进行支撑，而包含百度用户自发编辑的百科内容，绝对是一个不小的数据训练宝库，“人均硕博学历、频繁刚下飞机”的知乎也是同理。但据爆料，知乎已经先百度一步禁止了其他搜索引擎的爬虫，把白名单中的谷歌和必应踢掉，只留下了百度和搜狗。

　　曾经，百度起家靠的就是爬遍全网的“爬虫”们，把自己爬到了“国服第一”的位置。但现在，想在文心一言上发力的百度却反手禁了其他友商的爬虫，把车门给焊死了，谁都别想上来。

　　特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。

　　潘展乐奥运100米自由泳领先1.08秒夺冠，是自1928年以来最大差距

　　曝因长荣集团不回应拒挂国旗一事，已有企业长荣航运：拒绝使用下属航运公司航线

　　祭祖发现祖坟被挖下落不明，七兄妹起诉村委会和合作社，一审获赔6000元

　　与中坚力量共成长，2024建信信托艺术大奖评委会特别奖获奖艺术家凌海鹏