切换到宽版
开启辅助访问
登录
立即注册
搜索
搜索
搜索
首页
Portal
论坛
同城
人才网
工具
菲龙网工具
个人中心
关于我们
每日签到
本地新闻
时事评论
华人世界
中国新闻
新闻视频
国际新闻
娱乐新闻
科技新闻
菲龙广场
房产网
菲龙速聘
二手交易
便民电话
美食餐厅
旅游签证
物流速运
商品买卖
二手车市场
严选
话费充值
便民电话
贺词页面
瀑布流页
汇率查询
APP下载
每日签到
我的任务
道具商店
每日签到
我的任务
道具商店
更改用户名
关于菲龙网
About US
联系菲龙网
活动回顾
加入我们
本版
用户
菲龙网
»
论坛
›
新闻频道
›
科技新闻
›
谷歌揭秘大模型不会数r原因:嵌入维度是关键,不止分词 ...
菲龙网编辑部7
有 744 人收听 TA
147981
主题
147998
回复
174120
积分
收听TA
发消息
加好友
本文来自
科技新闻
订阅
|
收藏
(
2953
)
菲龙网编辑部7发布过的帖子
0/60
负债不够存单来凑,年内多家银行同业存单罕见“提额”
0/63
华泰财产保险有限公司江门中心支公司被罚35万,原因曝光!
0/51
国家金融监督管理总局:警惕不法贷款中介诱导消费者“债务重组”
0/53
金融引擎助力生态振兴,恒丰银行亿元资金助力废弃矿坑综合治理项目
0/52
虚列费用!惠州这家保险公司被罚22万元
0/53
金融机构科技投入超3500亿 数字化转型步入深水期
0/49
蛇年纪念币钞难抢?还能捡漏吗?多家银行回应
0/49
评评“理” ⑲:招行APP业绩榜NO.1近1个月年化收益率14%,性价比得分却很低丨银行热销理财产品测评系列
0/56
智库报告|科技金融落地之年,商业银行答题如何?
查看TA的全部帖子>>
谷歌揭秘大模型不会数r原因:嵌入维度是关键,不止分词器问题
时间:2024-9-5 09:29
0
111
|
复制链接
|
互动交流
显示全部楼层
阅读模式
直达楼层
马上注册,结交更多好友
您需要
登录
才可以下载或查看,没有账号?
立即注册
x
克雷西 发自 凹非寺
量子位 | 公众号 QbitAI
大模型做奥赛题游刃有余,简单的数数却屡屡翻车的原因找到了。
谷歌的一项新研究,发现大模型不会数数的原因,并不是简单的tokenizer所致,而是
没有足够的空间来存储用于计数的向量
。
数出一段话中某个单词出现的次数,这样简单的任务可以难倒许多大模型,GPT-4o、Claude 3.5也无法幸免。
如果再进一步,想要找到出现频率最高的一个词,更是难如登天,即便能蒙对给出的具体数量也是错的。
有人认为是词汇的token化导致了大模型看到的“词”和我们的看法不一致,但论文表明,实际情况并不是这么简单。
想数清单词,嵌入维度要够大
Transformer的计数能力与其嵌入维度d和词汇量m(指词汇表中词的数量,非序列长度)的关系密切相关。
详细的原因,就涉及到了Transformer统计词频时的机制。
Transformer通过一种特殊的嵌入方式,利用嵌入空间的线性结构,巧妙地
将计数问题转化为了向量加法
。
具体说是
将每个词映射到一个独特的正交向量上,在这种表示下,词频可以通过对这些正交向量求和来简单地计算
。
然而,这种机制的局限性在于,它要求词汇表中的
每个词都有一个独立的正交向量表示,因此嵌入维度必须大于词汇量
。
嵌入维度不足时,词向量就无法保持正交性,词频的线性叠加也就无法实现了。
此时Transformer要实现计数,可以通过注意力机制(CountAttend)来实现,但需要一个随序列长度n线性增长的大型“逆转MLP”层。
具体来说,模型首先通过注意力赋予被查询词较大的权重,再利用位置编码将注意力权重提取到值向量的最后一个元素,这个元素实际记录了被查询词的出现频率的倒数。
这意味着,模型需要一个大小为O(n)的MLP层来计算1/x函数(x为某个词出现的次数)。
但进一步分析表明,
任何常数层ReLU网络都无法在o(n)的神经元数量下逼近1/x函数
。
因此,对于固定规模的Transformer,这种方案无法推广到任意长度的序列。当序列长度超出训练集长度时,模型的计数能力会急剧恶化。
长度非主要因素,词汇表中数量是关键
为了验证这一结论,作者一共进行了两个实验。
第一个实验,是在一个从头开始训练的Transformer模型上进行的,具体有关参数如下:
使用一个由两个Transformer层、四个注意力头组成的标准模型;嵌入维度d的取值范围为8到128;对每个固定的d,词汇量m从5到150变化,分别测试20个不同的值;模型使用Adam优化器从零开始训练,批量大小为16,学习率为10^-4,训练10万步。
训练和评测数据通过随机采样生成。首先从大小为m的词汇表中均匀采样n个词,构成一个长度为n的序列。
序列长度n设置为n=10m,平均每个词出现的次数固定为10次,一共使用了1600个样本进行测试。
作者发现,随着词汇量的增加,模型的计数准确率呈阶梯状下降,
临界点恰好出现在词汇量超过嵌入维度的时刻
。
为了进一步量化模型的计数能力,作者定义了一个指标m_thr,表示模型的计数准确率下降到80%时的临界词汇量。
直观地说,m_thr反映了在给定嵌入维度下,模型可以“承受”的最大词汇量,m_thr越大说明模型的计数能力越强。
结果显示,对于计数(QC)和找出最高频词(MFC)的任务,
m_thr都随嵌入维度d的增大而近似线性增长
。
第二个实验则是在预训练的Gemini 1.5模型上开展,在这个实验中,作者更关注词汇量对计数能力的影响。
他们设计了一系列计数任务,每个任务使用不同大小的词汇表,并把每个词在序列中出现的平均次数固定。
这意味着,在实验组当中,词汇量越大,序列长度也就越长。
作为对照,作者还设置了一个“Binary Baseline”,词汇表中只有固定为两个词,但序列长度与主实验组相同。
这样一来,就可以判断出带来模型计数误差的究竟是词汇量还是序列长度。
实验结果显示,
随着词汇量的增加,Gemini 1.5在计数任务上的平均绝对误差显著上升
,而“Binary Baseline”的误差要低得多。
这表明,
词汇量的增加
,而非序列长度的增长,是导致大模型计数能力下降的主要原因。
不过作者也表示,虽然这项研究一定程度上划定了大模型计数能力的上下界,但这些界限还不够紧致,距离理想的结果还有一定差距。
同时,作者也没有探究增加Transformer的层数是否会改变这一结论,需要未来开发新的技术工具才能进一步验证。
论文地址:
https://arxiv.org/abs/2407.15160
回复
举报
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
点我进行验证
本版积分规则
发表回复
回帖后跳转到最后一页
关闭
站长推荐
/1
【点击免费下载】菲龙网移动APP客户端
【点击免费下载】菲龙网移动APP客户端,新闻/娱乐/生活资讯生活通,带你了解菲律宾多一点!
查看 »
扫码添加微信客服
快速回复
返回列表
返回顶部