智东西
作者 | 李水青
编辑 | 心缘
智东西6月26日杭州报道,今日,智能家居上市公司萤石网络推出萤石蓝海大模型2.0版本。2.0版本实现感知、理解、记忆等算法能力升级,并全新上线垂直场景混合大模型,覆盖长辈看护、入户安全、儿童保育等多个领域。
同时,萤石升级了其新一代AI核心架构EZVIZ HomePlay OS,涉及了场景化智能体、萤石设备开放和萤石App开放等多个层面,并完成端云协同与技能协调升级、系统安全与隐私保护升级。此外,萤石还分享了AI养老、无人自助等多垂直场景落地成果。
萤石公布了一组最新数据:过去一年,蓝海大模型L0-L3算法能力新增升级达48个,云端服务能力上线达101种,月均算法服务调用量达2.52亿次,并推进了混合算力推理中心、模型训练平台等基础建设。
一、萤石蓝海大模型2.0:算法能力增强+垂直场景混合大模型
萤石蓝海大模型2.0实现了架构全面升级:一方面是算法能力实现增强,包括多维融合、模态扩展和专项记忆;另一方面是垂直场景赋能,包括专项能力、定向优化和精准赋能。
首先在算力能力升级方面,蓝海大模型2.0实现了感知能力升级,实现高精感知一体化,推出了消费类万物模型、千鸟识别算法、危险动物识别等多种算法。
同时,蓝海大模型2.0实现了理解能力升级,支持多模态、多维度的理解,包括视频级的直接理解、声音理解能力全面升级,以及支持多维度混合理解模型。
此外,蓝海大模型2.0还实现了记忆能力升级,支持精准画像存储,构建了用户、设备和目标三个画像,从而实现精准画像存储,提供定制化服务。
除了上述算法能力的升级,蓝海大模型2.0还新推出垂直场景混合大模型。
比如在消费类智能家居领域,萤石推出了长辈看护混合大模型、入户安全混合大模型、会议记录混合大模型、儿童保育混合大模型、商铺零售混合大模型、餐饮监管混合大模型等多个混合大模型。
以长辈看护混合大模型为例,在以下演示视频中,该模型可以实现长时间未出现警告、久坐提醒、健康日报等功能。
▲长辈看护混合大模型演示
以入户安全混合大模型为例,在以下演示视频中,该模型可以实现走廊环境安全、可疑人员报警、物品看护等功能。
▲入户安全混合大模型演示
二、AI核心架构升级:场景化智能体、萤石设备开放和App开放
萤石于2024年推出了EZVIZ HomePlay OS,这是一个围绕人、家、商业,以提升用户的生活及工作体验为目的,通过提供智能代理及以视觉为主的AI能力,让开发者可以快速、灵活、低成本地搭建开发自己智能场景或应用的平台。
EZVIZ HomePlay OS主要包括五个组成部分:AI核心、端云协同、智能体封装、全栈开放和隐私保护。今年,该平台主要针对碎片化AI场景进行了升级,涉及挑战包括需求分散、解决问题分散、理解和决策分散,以及感知、执行、交互、端算法分散等多个方面,对应推出了场景化智能体、萤石设备开放和萤石App开放。
1、场景化智能体:消费和行业两手抓
萤石研发的场景化智能体包括消费类智能体和行业类智能体。
在消费类智能体方面,萤石主要推出了星蓝-基础智能体、长辈看护智能体和智能入户智能体。
以长辈看护智能体为例,萤石通过人体特征代替人脸来保证长辈是别的准确性,通过端-云融合大小模型融合的方式精准识别跌倒,结合长辈垂直场景大模型进行行为、健康状况等识别。
在行业智能体方面,萤石一方面实现了物联感知和智能体融合,一方面实现了设备互动与智能体融合。
2、萤石设备开放:开发从5个月缩短到3周
当下,标准品已经无法满足场景化创新的需求,而设备定制周期长、成本高。硬件定制与碎片化场景的矛盾,通用性AI与场景化AI的割裂,算法模型与硬件芯片的冲突,成为拦路虎。
对此,萤石提出不做场景的定义者,而是为开发者提供更开放的设备。萤石设备开放的产品架构如下图所示,覆盖设备原子能力开放、算法训练开放开放。据悉,设备开放通过一体化+AI定义设备,能促进应用开发周期大大缩短。
以 4S 店话术分析场景为例,传统方案需经历设备定制、设备上云、平台对接、算法训练、业务串联 5 大环节,耗时至少 5 个月,而基于萤石设备开放能力,开发者工期可以缩短至3周。
相关负责人称,萤石设备开放平台具备效率高、品质硬、流量大和迭代快四大特点,底层由蓝海大模型和EZVIZ HomePlay OS提供支持,在商业方面有36万B端开发者、1.9亿C端用户和3亿设备(2.5亿视频设备)支持。
3、萤石App开放:流量、技术和商业三级引擎保障
小微企业的数字化转型面临需求错位、供给错位和连接错位三重困境,如何破局?答案或许藏在萤石App里。萤石宣布支持开发者以小程序开发方式,轻量级入驻萤石App进行开发。萤石App开放提供流量引擎、技术引擎和商业引擎三级引擎保障,助力开发者形成有活力的应用。
在产品架构方面,萤石App核心提供用户模块、设备模块、音视频模块、消息模块、AI模块五大模块,以此实现各种场景功能。
在端云协同与技能协调升级方面,萤石推出了超10项协同算法,每日数百万次使用,拦截超99%+端侧算法误报,相对于纯云端检测成本降低超90%;在技能协作方面,其支持数十项协同技能,内置智能控制、内容检索等技能,外部覆盖天气、股票等应用。
在全栈开放下的系统安全与隐私保护方面,EZVIZ HomePlay OS在APP开放安全、模型安全、设备开放安全和技能协调、端云协同安全都实现了升级。
结语:一手技术一手场景,打造物联网垂直大模型应用平台
在大模型快速迭代背景下,萤石蓝海大模型的策略是一方面夯实技术基础,丰富算法组件和增强算法能力,另一方面利用物联优势,深耕垂直领域,搭载专属大模型。
智能家居是大模型落地的最佳现场之一。萤石一手抓技术,一手抓场景,提前布局物联网垂直大模型应用平台,有望在新的全屋智能竞赛中抢占先机。