百度百科屏蔽谷歌/必应等搜索引擎防止内容被抓取训练AI_科技动态

创始人

2024-08-29 04:21:13

0次

近日百度百科开始屏蔽谷歌和必应等大多数搜索引擎，预计是为了阻止这些搜索引擎和其他爬虫，未经授权抓取百度百科的内容用于训练AI。

百度百科的robots.txt文件显示，目前仅有百度搜索、搜狗搜索、中国搜索(Chinaso)、YYSpider和宜搜搜索(EasouSpider)等少数几个搜索引擎被允许抓取其内容。

谷歌搜索、必应搜索、微软MSN、UC浏览器的Yisouspider以及其他一切搜索引擎爬虫均被明确禁止抓取百度百科的内容。

虽然360搜索没有在封禁列表中单独列出，但百度百科的策略是禁止一切非白名单爬虫抓取，所以360搜索和其他搜索引擎也都是被屏蔽的。

不过百度百科这种做法其实也只是防君子不防小人，肯定还有很多爬虫通过各种方式继续抓取内容然后拿去训练AI。

原创苹... 有不少朋友疑惑苹果iPhone 16 Pro和16 Pro Max有什么区别？该选择哪一款更好？各自...

第五轮学科评估对比：西安交大突... 在之前的文章中，我们已经提及西安交通大学第五轮学科评估的表现可圈可点，新晋的3个A+学科：机械工程、...

2025年值得入手的2款智能手... 在科技飞速发展的今天，智能手表已成为我们生活中不可或缺的伙伴。无论是健康监测、信息提醒，还是时尚搭配...

原创 2... 从去年华为用上了麒麟芯片开始，华为的市场份额就蹭蹭的往上涨，当时抢购的人特别多，一时间还买不到现货，...

2024年OPPO手机全攻略：... 手机已不仅仅是通讯工具，它更是我们记录生活、享受娱乐、提升工作效率的重要伙伴。随着科技的飞速发展，O...

vivo手机5g开关在哪里打开 vivo手机5G开关的打开方式可能因手机型号、系统版本及运营商网络支持情况的不同而有所差异。但总体来...

steam官网无法访问？这个办... 对于广大游戏爱好者而言，Steam平台无疑是获取最新游戏资讯、购买游戏、与全球玩家互动的重要阵地。然...

2024信号“最可靠”的四款手... 大家好！今天我要和大家聊聊2024年信号“最可靠”的四款手机，它们分别是华为Pura 70 Pro+...

虚拟资料变现还值得做吗？闲鱼卖... 大家好，今天给大家带来的是咸鱼虚拟资料类项目分享，这个项目其实出来很久了，有些人觉得虚拟资料没水准，...

解决FaceTime无法使用的... FaceTime是苹果公司推出的一款视频通话应用，广泛应用于iPhone、iPad和Mac等设备上。...