AMD 推出自家首款小语言模型“Llama-135m”
创始人
2024-09-29 20:00:45
0次
IT之家 9 月 29 日消息，AMD 在 Huggingface 平台公布了自家首款“小语言模型”AMD-Llama-135m，该模型具有推测解码功能，拥有 6700 亿个 token，采用 Apache 2.0 开源许可，IT之家附模型地址如下（点此访问）。
据介绍，这款模型主打“推测解码”能力，其基本原理是使用小型草稿模型生成一组候选 token，然后由更大的目标模型进行验证。这种方法允许每次前向传递生成多个 token，而不会影响性能，从而显著减少 RAM 占用，实现效率提升。
AMD 表示，这款模型在四个 AMD Instinct MI250 节点训练了六天，其“编程专用版本”变体 AMD-Llama-135m-code 则额外耗费了四天时间进行微调。
相关内容
热门资讯
vivo钱包遭用户投诉贷款利率...
文：WEMONEY研究室 随着移动互联网时代到来，智能手机已经成为了生活的必需品。目前，很多手机如...
邓宏魁、张涛、李亚栋、孙斌勇获...
出品 | 搜狐科技 作者 | 周锦童 8月16日上午10时，2024未来科学大奖新闻发布会在北京、香...
小米14T Pro海外定档9月...
【ITBEAR】9月23日消息，小米今日在X平台上宣布，旗下新款手机小米14T Pro定于9月26日...
华为发布ICT人才实训解决方案...
[中国，上海，2024年9月19日] 华为全联接大会2024期间，在以“助力ICT人才培养，共赢数智...
iPhone 16系列手机网速...
在智能手机的世界里，网速往往是衡量一部手机性能的重要指标之一。 尤其是随着5G时代的到来，用户对于高...
微波传输赋能空管保障联合创新实...
鲁网9月30日讯近日，济南联通与民航山东空管分局共同开展双路由光缆中断后的微波系统保护演练，系统...
湖南各地广泛开展“传承红色基因...
为庆祝中华人民共和国成立75周年，湖南各地积极组织开展“传承红色基因·向国旗敬礼”主题实践活动，引导...
我国成功发射首颗可重复使用返回...
记者从国家航天局获悉，9月27日18时30分，我国在酒泉卫星发射中心采用长征二号丁运载火箭，成功发射...
原创 首...
9月20日iPhone 16系列正式开售，当天预订的用户已经可以拿到新机。现在很多第一批购买的朋友都...
抖音老阳分享的Temu项目是真...
近年来，随着社交媒体的发展，抖音成为了许多人获取信息和进行消费的主要平台。其中，抖音博主老阳分享的T...