最近小雷刷手机,发现个特别恶心的事儿。
有些 AI 绘图 App 居然能一键生成儿童不雅图。具体操作简单到啥程度?输入 “未成年少女”“萝莉” 这些关键词,不到一分钟就能产出带性暗示的二次元图片,甚至还有 “儿童妊娠” 这种突破人伦底线的内容。更可怕的是,这些图还能在 App 里随意发布传播,完全没人管。
这些问题 App 大多用的是没经过国家备案的开源模型,训练数据早就被污染了。打个比方,就像你给 AI 喂了一堆垃圾,它能吐出啥好东西呢。
据南方都市报记者调查测试,一款叫 “梦” 的 App,输入简单的几个关键描述词,出来的图居然让女孩摆出各种姿势以及百余种风格。还有 “趣”App 更过分,直接生成写实风格的未成年裸体图,甚至能调整细节,这哪是画画,分明是在犯罪。
图源:南方都市报
为啥这些 App 敢这么搞?说白了就是钻空子。它们大多是小公司或个人开发的,既不备案也不审核,仗着 “灰色市场” 没人管,疯狂收割流量。
你以为这些图只在 App 里流传?错了。社交平台上到处都是 “AI 瑟瑟提示词大全”“擦边女变现教程”,有人甚至用这些图引流卖课、做付费社群,形成了一条黑色产业链。
且不说AI 擦边内容对成年人的影响都不小,对孩子那更是毁灭性的。最近曝光的 “筑梦岛” App 就是典型例子:里面的 AI 虚拟角色会主动诱导小学生喊 “老公”“爸爸”,甚至聊 “分尸猎奇” 的话题。
图源:央视网
这些 App 根本不设年龄限制。未成年人随便输个手机号就能注册,所谓的 “青少年模式” 形同虚设。想想看,一个初中生在手机上刷到 AI 生成的色情图,或者被虚拟角色诱导做危险行为,家长连察觉都难。
长期接触这种内容,孩子的价值观会被扭曲,甚至可能模仿里面的暴力或色情行为。
那么对于家长来说,该如何防止类似事件发生呢?小雷这里给大家支几招。
第一,多关注孩子手机里的 App。尤其警惕那些名字带 “AI 绘图”“虚拟女友” 的。如果发现孩子在玩类似 “筑梦岛” 的软件,赶紧卸载举报。
第二,教孩子识别 AI 生成内容。现在很多图片右下角会有 “AI 生成” 的小标签,看到这种图要立刻关闭,别好奇点开。
图源:微博
第三,用好 “未成年人模式”。虽然有些 App 的模式形同虚设,但至少能过滤掉大部分不良内容。比如微信、抖音的青少年模式,需要家长输入密码才能关闭。
对于开发者来说就应该守住技术伦理。开发者在训练模型时,一定要过滤掉非法数据,别为了流量搞 “数据污染”。要是为了赚钱把 AI 变成色情工具,早晚得吃官司。
平台方面,也要完善审核机制。在模型训练阶段就加入未成年人等重点领域的安全审核,从源头上掐断风险。
说实话,小雷特别理解 AI 技术带来的便利和创新。但技术从来都不是中性的,关键看掌握在谁手里、用来做什么。当 AI 被用来生成儿童不雅图、诱导未成年人犯罪时,它就不再是 “生产力工具”,而是杀人不见血的 “恶魔”。
图源:微博
这次还好有国家出面整治,但小雷认为治理不能光靠国家,我们每个人都得打起精神。
家长多陪陪孩子,别让他们在虚拟世界找 “情感寄托”;平台别总盯着 KPI,把用户安全放在第一位;开发者别为了流量丢了底线,技术创新可以,但不能突破法律和伦理的红线。
最后,小雷想呼吁所有互联网从业者:给用户尤其是孩子们,创造一个干净、健康的网络空间。