焦点热讯:作为美国微软内部人士谈谈ChatGPT

2023-02-17 18:27:40 来源:雪球网


(资料图片仅供参考)

该文来自北大校友:

我去年在西雅图微软, 而且就在负责开发 Bing 后台一部分算法的 WebXT 组, 后来因为个人原因离职了. 作为了解 ChatGPT 和新 Bing 部分内幕的底层码农, 以及 GPT-3 和 Codex 的第一批公测用户,我来谈谈对 ChatGPT 的看法.

1. ChatGPT 的算法, 包括自回归语言模型 (OpenAI 从 2017 年的 GPT-1 搞到现在, 迭代了 3.5 代了), 还有强化学习的 PPO 算法 (还记得 2018 年在 TI 表演赛上击败 OG 的 Dota2 AI 吗? 就是用这个算法训练的), 全都是已经十分成熟的公开算法, 本身没有任何秘密可言. 但是这种超大规模训练, 并不止依靠算法本身, 硬件和数据才是王道. 纯自然语言数据, 网上公开的到处都是, 也没有什么门槛. 但是 ChatGPT 有一个巨大的先发优势,就是他通过抢先开始公测,收集了大量的用户的使用数据,这是更加宝贵的数据,而这部分数据只有他们家有。只要 ChatGPT 仍然是最好用的语言 AI ,这个雪球只会越滚越大,越来越难追上。另外,为了防止 ChatGPT 输出有害信息,OpenAI 还花了大价钱去找印度和肯尼亚的外包公司标记了大量的有害文本,用来训练模型不要输出有害信息,这部分数据也是 OpenAI 积淀了几年筑起的数据壁垒。总之,小公司根本做不了 ChatGPT 这样的工程,凡是声称投资区区几亿就要做 ChatGPT 这样的 AI 的,几乎可以认为全是诈骗;真正有可能做出类似产品的,在中国只有 BAT 这种拥有自主云计算平台 (市场价租机器做这个就等着破产吧)、且掌握大量用户的互联网公司,而且最好是和 ChatGPT 错位竞争,比如做中国可以正常联网使用的中文模型;并且,其中最困难的部分其实是敏感词屏蔽和有害信息过滤(ChatGPT 的屏蔽程度,在国内恐怕是不够的,因为它仍然可能在用户恶意诱导下说出不该说的东西)

2. 再来简单聊聊微软。很多华人,都觉得微软低效是因为印度人太多,尤其是因为印度人做了CEO。但是这种言论是错误的。从 ChatGPT 这件事中就能看出微软现任 CEO Satya Nadella 的眼界。首先,当时 OpenAI 缺钱、且做出来的东西都是 Dota2 AI 这种不能赚钱的东西,马斯克都甩手不干的时候,微软仍在默默地投钱、给机器。去年我还在 WebXT 组的时候就听说 CEO 有意向在 Bing 用 OpenAI 的新模型,把我们吓得不轻。后来就听说 WebXT 组停了好多项目,开了好多人,把几乎所有机器都借给 OpenAI 了。因为 CEO 想拨款买新机器给 OpenAI 用,遭到很多利益相关的反对,尤其是 CFO 不给批,于是只好绕过 CFO 抽调微软原本用于研发的机器;这样 WebXT 人多,机器少,很多研发人员干不了活,正好再裁了这些 “多余” 的研发人员。后来的事情,大家都知道了:这个 OpenAI 的 “新模型” ,它的名字叫做 ChatGPT,而且火速上了 Bing 。虽然我以前所在的 WebXT 组是这个事件中的最大受害者,但是如果作为旁观者,我的确十分佩服 Satya Nadella 的眼界。

3. 有人说,ChatGPT 会面临 Google 的竞争,Google 的搜索引擎仍然是最好用的,Google 的用户是全世界最多的,Google 的自然语言 AI 技术也是领先的,所以完全可以等 Google 出竞品,也能做得很好,所以不必唱衰 Google 。这里的论据都是对的,但是最后一步论证 “所以不必唱衰 Google” 这步,没那么简单。我看了最近一个 Satya Nadella 的访谈,他的大概意思是,ChatGPT 的技术,头部科技公司迟早都会掌握,包括 Google;但是 ChatGPT 的推断成本高昂,而且消耗的算力与用户体验高度正相关;而搜索引擎用户粘度小,用户永远会去用体验最好的那个;所以这会迫使所有科技公司搞军备竞赛,大幅推高搜索算法的成本,使得 Google 赖以生存的搜索广告业务再也无法躺着赚钱;但是微软的营收却更加多元化,因此受到的冲击会更小,却能享受到 Edge 浏览器、甚至 Windows 系统市场份额增加的好处。很多人还在想第一层第二层,人家 Satya 已经想到了第五层了。说的直白一点,现在微软就是开启了大模型军备竞赛,想要卷死 Google。当然这并不是 “内卷”,毕竟用户的使用体验提升了。

$谷歌A(GOOGL)$ $微软(MSFT)$ $浪潮信息(SZ000977)$

关键词: 军备竞赛 最好用的 搜索引擎

相关文章

热文推荐

环球速看:普京暂停美俄核协议,“给我点面子,否则下一步是退出”
环球速看:普京暂停美俄核协议,“给我点面子,否则下一步是退出”

二十国集团外长会议期间,出现了一个戏剧性的画面:俄......更多>

参加私人银行客户路演的大乡里经历
参加私人银行客户路演的大乡里经历

第一次接触“私人银行”这个词,是在2016年,去参加证......更多>

每日快播:汽车价格战背后的最大赢家
每日快播:汽车价格战背后的最大赢家

自从特斯拉降价汽车价格战已经开始,先是小鹏降价后是......更多>

排行推荐

俄罗斯贸易结算格局大改:美元欧元加速退场 人民币占比显著抬升
俄罗斯贸易结算格局大改:美元欧元加速退场 人民币占比显著抬升
俄罗斯央行周四公布的一份最新报告显示,人民币和卢布... 更多>
苏州一楼盘可“0首付”购房?置业顾问:通过申请装修贷抵首付-即时
苏州一楼盘可“0首付”购房?置业顾问:通过申请装修贷抵首付-即时
苏州楼市日前传出消息,位于阳澄湖镇的浅棠水岸项目打... 更多>
十四届全国人大一次会议选举产生第十四届全国人大常委会副委员长、秘书长|视点
十四届全国人大一次会议选举产生第十四届全国人大常委会副委员长、秘书长|视点
李鸿忠、王东明、肖捷、郑建邦、丁仲礼、郝明金、蔡达... 更多>
华安证券:数据安全建设将在近两年进入放量周期
华安证券:数据安全建设将在近两年进入放量周期
华安证券研报指出,数据资产价值提升以及流转环节增加... 更多>
中信证券:看好国内激光雷达市场和产业链各环节的发展|报道
中信证券研报指出,海外激光雷达龙头厂商Luminar早先... 更多>
寒潮蓝色预警:内蒙古、华北、黄淮、江淮东部等地气温下降12℃ 局部超过16℃|环球新要闻
中央气象台3月10日06时发布寒潮蓝色预警:受寒潮影响... 更多>
温州新能源电池材料产业园项目签约 总投资约80亿元
据“温州发布”微信公众号消息,3月9日,由青山实业旗... 更多>
年报披露机构动向:外资UBS AG押注大消费
目前已披露的上市公司年报显示,合格境外投资者(QFII... 更多>
比亚迪变相降价!两大主力车型最多减8800元 汽车“降价潮”来了?
比亚迪也开始降价了?3月9日,比亚迪官微信息显示,3... 更多>
舞台剧《西安千古情》改版复演:天天速看
近日,改版后的舞台剧《西安千古情》在西安浐灞生态区... 更多>
明天将会迎来变盘?来不及啰嗦,不然明天恐怕后悔都来不及
大家久等了,今天下午有几位行业老友来到了板哥的城市... 更多>
20CM掀起涨停潮,光刻胶继续走强。
指数方面,三大股指全线低开,此后大部分时间围绕昨日... 更多>
通讯!明天有没有机会?
最近两天A股不是翘尾就是盘中玩深V,到底发生什么事了... 更多>
天天热点!一剑封喉,明天大盘将长阳拉起
洗盘干的漂亮,明天将长阳拉起。实话说,今天洗盘干得... 更多>

环球微动态丨是不是弄错了

我不喜欢你了[重生]_重生之再开始

碳化硅和凯龙高科的爆炸超预期 全

每天涨跌和过去连续涨跌的有关系吗

再聊中字头

广誉远为何拿安宫开路?

天天热点评!本公司财务说明_财务说

招商蛇口:2月签约销售金额225.43亿

环球即时看!万科:本公司已于3月9

东阳、浙农签约携手开展元胡全产业