百度百科屏蔽谷歌/必应等搜索引擎防止内容被抓取训练AI_科技动态

创始人

2024-08-29 04:21:13

0次

近日百度百科开始屏蔽谷歌和必应等大多数搜索引擎，预计是为了阻止这些搜索引擎和其他爬虫，未经授权抓取百度百科的内容用于训练AI。

百度百科的robots.txt文件显示，目前仅有百度搜索、搜狗搜索、中国搜索(Chinaso)、YYSpider和宜搜搜索(EasouSpider)等少数几个搜索引擎被允许抓取其内容。

谷歌搜索、必应搜索、微软MSN、UC浏览器的Yisouspider以及其他一切搜索引擎爬虫均被明确禁止抓取百度百科的内容。

虽然360搜索没有在封禁列表中单独列出，但百度百科的策略是禁止一切非白名单爬虫抓取，所以360搜索和其他搜索引擎也都是被屏蔽的。

不过百度百科这种做法其实也只是防君子不防小人，肯定还有很多爬虫通过各种方式继续抓取内容然后拿去训练AI。

vivo钱包遭用户投诉贷款利率... 文：WEMONEY研究室随着移动互联网时代到来，智能手机已经成为了生活的必需品。目前，很多手机如...

gta5加载慢怎么办 gta5... 许多玩家在GTA5游戏过程中都会遇到加载速度慢的问题，那么gta5加载慢怎么办？今天加游加速器就来告...

原创苹... 有不少朋友疑惑苹果iPhone 16 Pro和16 Pro Max有什么区别？该选择哪一款更好？各自...

iPhone 16系列手机网速... 在智能手机的世界里，网速往往是衡量一部手机性能的重要指标之一。尤其是随着5G时代的到来，用户对于高...

第五轮学科评估对比：西安交大突... 在之前的文章中，我们已经提及西安交通大学第五轮学科评估的表现可圈可点，新晋的3个A+学科：机械工程、...

舒福德智能床S300 Pro面... 8月13日，以“一键入眠世界领先”为主题的舒福德智能床新品发布会在浙江嘉兴举行。中国睡谷的首次对外...

小米怎么去除抖音水印保存？分享... 随着抖音的普及，越来越多的人喜欢在抖音上分享和观看短视频。当我们想要保存一些喜欢的视频时，往往会被视...

小米14T Pro海外定档9月... 【ITBEAR】9月23日消息，小米今日在X平台上宣布，旗下新款手机小米14T Pro定于9月26日...

邓宏魁、张涛、李亚栋、孙斌勇获... 出品 | 搜狐科技作者 | 周锦童 8月16日上午10时，2024未来科学大奖新闻发布会在北京、香...

如何规划小红书矩阵号内容并一键... 小红书矩阵号内容规划与抖音多账户同步攻略在当前社交媒体时代，内容营销已成为品牌推广和个人IP打造的...