大语言模型中的涌现现象是不是伪科学？
2023-06-08 13:44:02 来源：程序员客栈 小 中
Datawhale干货
作者：平凡@知乎，诺桑比亚大学，在读博士
(相关资料图)
今天晚上，花了一点儿时间看了两篇文章：
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior，即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时，由于增加了参数数量、训练数据或训练步骤等因素，出现了定性上的新能力和性质，这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子，每个图都可以理解为一个任务，横轴是神经网络的规模，而纵轴是准确率，可以理解为模型的性能。
我们拿图一来看，在10的22次方前，这些模型基本上的性能基本上都很稳定在0附近，而在10的22以后，突然在10的24次方上获得了很大的性能提升，在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的评论引用在这里：
作者发现，当我们训练用网络计算同余加法 a+b = ? (mod c) 时，网络在某个时间突然获得了 100% 准确率。分析发现，神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法！这个算法可以证明是正确的， 反人类直觉的。
从这俩例子里面我的感受是，只要数据量足够且真实，且模型没有硬错误的前提下，不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少，但是系统的少，零星的多，如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话，我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf关键词：
相关文章
- 大语言模型中的涌现现象是不是伪科学？
- 环球热文：解剖屎山，寻觅黄金之第二弹
- 资讯推荐:咸鱼炒肉怎么做好吃?
- 世界微头条丨国家医保局：2023年1至4月基本医保基金收入1.14万亿元，同比增长8.1%
- 东方通：在机器视觉领域拥有内容安全监测系统
- 太阳电缆：太阳海缆海底电缆试生产成功-环球观天下
- 当前快报:医疗器械板块震荡走低
- 【环球报资讯】精工科技：公司碳纤维装备业务处于快速发展的战略机遇期
- 世界快消息！电力板块拉升 皖能电力涨超4%
- 王传福：比亚迪有信心在未来3-5年获得更高市场份额
- 券商股异动拉升 首创证券涨超8%
- 醋化股份2015-2022年报扫描
- 谁将是国产“英伟达”？一文看懂国产AI芯片主要上市公司（附股） 世界讯息
- 我国首个自主开发深水油田群原油产量突破1000万吨 聚焦
- 头条焦点：充满算计！日美澳在南太铺光缆，日媒炒“抗衡中国影响力”
- 世界观焦点：潘功胜：美元走强较难持续，我国外汇市场将有条件保持平稳运行
- 潘功胜：不跟随美联储“大放大收” 不搞竞争性的零利率或量化宽松政策
- 青龙管业：从已签订单数量来看 今年远超去年
- A股午评：指数早盘集体收跌 养殖业板块反弹回暖-今日关注
- 每日热议!32+21+10！约基奇刷爆8大纪录 总决赛历史第一人 提前锁定FMVP？
- 看点：一日三谣言，塔瓦雷斯赴CBA？广东北控大交易？李京龙加盟广东？
- 视频 | 150秒带你认识海南这片蓝|环球观察
- 琼岛瀑布别有风情：灵山多秀色 空水共氤氲|热头条
- 网络欺骗：技术如何重塑网络安全的未来
- 焦点消息！【2023天津高考】城市建设者|脱下工地反光背心 换上志愿者红马甲
- 科力远：正研发新型泡沫镍金属材料以开拓不同市场领域 热门
- 环球即时：大基建、新型城镇化板块持续拉升
- 世界即时：易纲：上海未来可以在绿色金融领域发挥更大先导作用
- 易纲：截至一季度末我国本外币绿色贷款余额超25万亿元-每日热文
- 易纲：通过市场化的激励机制 降低绿色能源的成本
热文推荐
排行推荐
东方通：在机器视觉领域拥有内容安全监测系统
东方通6月8日在互动平台表示，公司在机器视觉领域拥有... 更多>
太阳电缆：太阳海缆海底电缆试生产成功-环球观天下
据太阳电缆(002300)消息，6月7日太阳海缆海底电缆第一... 更多>
当前快报:医疗器械板块震荡走低
医疗器械板块震荡走低，赛诺医疗(688108)跌超8%，戴维... 更多>
【环球报资讯】精工科技：公司碳纤维装备业务处于快速发展的战略机遇期
精工科技(002006)在机构调研时表示，根据公开信息显示... 更多>
传媒娱乐板块持续下挫 中国出版、中视传媒跌停
传媒娱乐板块持续下挫，截至发稿，中国出版(601949)、... 更多>
上海再保险“国际板”正式启动
6月8日，国家金融监督管理总局局长李云泽与上海市市长... 更多>
生物医药板块震荡走低
生物医药板块震荡走低，科创板益方生物(688382)跳水跌... 更多>
特斯拉动员中国供应商出海，去墨西哥复制“上海工厂”
特斯拉正在动员不少中国的供应链企业去墨西哥建厂。“... 更多>
双杰电气等设新公司 经营范围含物联网技术研发 环球今日报
企查查APP显示，近日，杰捷科技(北京)有限公司成立，... 更多>
王传福在股东会上说了啥
$比亚迪(SZ002594)$$比亚迪股份(01211)$股东大会打卡... 更多>
留意！时隔4年，300价值反超300成长，（61指数估值06.08） 环球观察
大伙早：又是新的一期指数估值表，本周继续磨练心性，... 更多>
出口数据是有点难看|全球今热点
大家好，我是很帅的狐狸今天我来聊两句刚刚公布的出口... 更多>
环球今日讯！新低近在咫尺（6月7日）
今天这市场又是看得我一脸懵赛道就算差，至于搞成这样... 更多>
易纲：上海可在绿色金融领域发挥更大先导作用
央行行长易纲今日在“第十四届陆家嘴论坛”开幕式上表... 更多>