百度百科屏蔽谷歌/必应等搜索引擎防止内容被抓取训练AI_科技动态

创始人

2024-08-29 04:21:13

0次

近日百度百科开始屏蔽谷歌和必应等大多数搜索引擎，预计是为了阻止这些搜索引擎和其他爬虫，未经授权抓取百度百科的内容用于训练AI。

百度百科的robots.txt文件显示，目前仅有百度搜索、搜狗搜索、中国搜索(Chinaso)、YYSpider和宜搜搜索(EasouSpider)等少数几个搜索引擎被允许抓取其内容。

谷歌搜索、必应搜索、微软MSN、UC浏览器的Yisouspider以及其他一切搜索引擎爬虫均被明确禁止抓取百度百科的内容。

虽然360搜索没有在封禁列表中单独列出，但百度百科的策略是禁止一切非白名单爬虫抓取，所以360搜索和其他搜索引擎也都是被屏蔽的。

不过百度百科这种做法其实也只是防君子不防小人，肯定还有很多爬虫通过各种方式继续抓取内容然后拿去训练AI。

原创原... 原来钥匙应该这样穿，别再傻傻的用指甲扣了，这样穿最简单！每次串钥匙时，繁琐又伤指甲，在无指甲的情况...

香菇誉为“菇中皇后” 富含人体... 香菇是中国著名的食用菌，被人们誉为“菇中皇后”，在民间素有“山珍”之称，深受人们的喜爱，是不可多得的...

鱼跃医疗国家重点研发计划顺利验... 近日，由鱼跃医疗牵头，中科院微电子所、电子所、医工所、北京协和医院等十余家高校科研院所以及临床医院共...

涉“文件传输助手”，国安部紧急... 科技蓬勃发展的数字时代，网上办公以其时效性和便捷性成为当今社会一种流行的工作方式。诸多线上平台汇集了...

华为Mate XT刷屏，东莞走... 华为Mate XT刷屏，东莞走到台前。在Mate XT发布之际，东莞发布“骄傲”地宣布：火爆全网的...

全新一代锂电池安全管理信号采集... 9月11日，在以“数能先锋智创未来”为主题的深圳2024国际数字能源展重大成果发布会上，奕东电子科...

原创华... 去年8月底华为在毫无预兆的情况下，突然上架了Mate60系列，重新回归的麒麟芯片，5G网络，还有全球...

总是梦见被追赶，有啥特殊含义吗... 转自：中国科协人在睡觉的时候都会做梦，既会有突然中了千万大奖当场退休的美梦，也有令人汗流浃背、久久...

雷军亲自玩梗：大家觉得OK不O... 9月12日晚，雷军发布视频，透露已经给自己的车装上“Are you OK”的气门芯帽，亲自下场玩梗。...

中秋节遇强台风，太保服务与风赛... 今年第13号台风“贝碧嘉”正逐渐向我国东部沿海靠近，登陆时强度预计为台风级或强台风级，预计未来三天，...