2023年12月12日

ChatGPT不存在黑科技机制创新值得借鉴

作者 admin

中国科学院计算技术研究所研究员鲍云刚:

 

ChatGPT没有“黑科技”,机制创新值得学习

中国科学院计算技术研究所副所长、研究员鲍云刚在与New Bing(集成大语言模型GPT-4能力的搜索引擎)“深聊”后,发现了一个“规律”。 ”:对于某些需要精确答案的场景,GPT-4 开始变得不可靠。

“我和New Bing讨论了一些社会人文话题,它的回答很雄辩; 我让New Bing勾勒出一份信息技术发展报告,看起来很有层次; 我请新兵作画、作诗,表现得还不错。 直到我们开始讨论一道数学题时,它似乎处于一种‘情绪’之中——它尝试了两次,但都无法得到正确的答案,最后它不想继续谈话。”鲍云刚说。

他并没有气馁,继续第三次尝试,但新兵仍然没有给出正确答案。

“但还是有惊喜——New Bing 的三个答案使用了三种不同的思路,这表明其背后 GPT-4 使用的基于人工反馈(RLHF)的强化学习确实在发挥作用。” 鲍云刚说道。

科学天才的黑科技系统_学霸的黑科技系统txt_黑科技位面交易系统/

照片由受访者包云刚提供?

AI模型面临的挑战:“污点知识”难以清理

鲍云刚观察到,虽然GPT-4具有良好的推导能力,但其知识体系中存在一定比例的“污染知识”(低级错误或谬误等知识)。 在这些“污点知识”的干扰下,GPT-4的每一次尝试都未能完成正确的推导过程。

比如,当他让新兵解一道数学题时,后者连续陷入了两个低级错误的“坑”,以致无法得到正确答案。

他关切地提到,也许这些“污点知识”在整个 GPT-4 模型中所占的比例并不高,甚至这些“污点知识”对于某些应用场景是有用的(比如生成团队建设活动计划或报告)大纲等)并不重要,但对于某些需要精确答案的场景来说,“实在是难以接受”。

而且,他提到,从基于人工反馈的强化学习机制来看,这种“污染知识”的引入很容易,甚至可以有意注入,但去除却非常耗时耗力。

“除非引入一种机制来筛选每一个人类的反馈,但这个机制将依赖于可信的基准数据(ground Truth),那么可信的基准数据从哪里来?是否需要人工修正?试用?” 鲍云刚表示,这会带来一系列问题。 因此,他认为如何清理ChatGPT系列大型模型中现有的“污染知识”将是未来面临的挑战之一。

ChatGPT是否有未公开的“黑科技”?

ChatGPT发布后,很多公司和机构都想快速复制一个ChatGPT,其中包括谷歌的Bard以及国内的几家大型机型,但效果还是存在明显差距。 因此,不少人认为,ChatGPT的“制作者”OpenAI一定掌握了某种尚未对外公布的“黑科技”。

鲍云刚却不这么认为。 他认为ChatGPT的震撼效果来自于大量“点技术”的积累,而不是某种“黑科技”。

“我在中科院大学给本科生讲授操作系统,课堂上我总是强调要用系统思维去审视世界。因此,在我眼里,ChatGPT是一个庞大的系统。” 包云刚表示,“系统=模块+流程”,ChatGPT系统必然由很多模块组成,而这些模块之间存在着复杂的连接关系和交互过程,从而形成一个网络。 根据“梅特卡夫定律”——网络中的节点越多,整个网络的价值就越大。 因此,通过不断的积累,将越来越多的点技术融入到一个系统中,系统的价值将会越来越大。

梅特卡夫定律以计算机网络先驱、最新 2022 年图灵奖获得者罗伯特·梅特卡夫 (Robert Metcalfe) 的名字命名。 它是关于网络价值和网络技术发展的规律。 该价值等于网络中节点数量的平方,而网络的价值与连接用户数量的平方成正比。” 简而言之,网络中的用户越多,整个网络的价值就越大。 一个复杂的系统还由数百个紧密耦合、相互关联的点技术组成,形成一个技术网络。 因此,根据梅特卡夫定律,系统价值或壁垒将随着集成点技术数量的增加而不断增加。

“当然,网络越复杂,整合起来就越困难。但是,一旦通过技术研究成功实现新算法或新功能的整合,形成更大的技术网络,门槛就会更高。” 包云刚因此,从系统角度来看,ChatGPT的壁垒是通过积累大量的点技术而形成的。

这一观点与OpenAI联合创始人Sam Altman的表达一致。 Sam Altman 在节目采访中提到:“GPT-4 依赖于找到很多小的胜利,并将它们相乘(finding a much Small wins and multiplied them Together)。从表面上看,我们似乎做了一件事情从GPT-3、GPT-3.5到GPT-4已经实现了,但实际上是数百个复杂的东西(乘以)。”

包云刚表示,基于这样的共识,或许大家可以对国产大模型抱有“更多的信心和期待”:“以百度文心一言为例,我们并不指望它能一下子赶上GPT-4 ……但只要百度能够扎扎实实地持续迭代优化,不断解决上百甚至上千个问题,那么我相信它的效果会越来越好。”

为什么中国没有开发出ChatGPT?

引申到“为什么ChatGPT没有诞生在中国”这个话题,鲍云刚认为,不必太纠结:“斯坦福大学、麻省理工学院等知名大学,谷歌等科技巨头还没有开发了 ChatGPT。” 背后的原因有很多——比如需要有远见的领导者、优秀的技术团队、雄厚的资金等等。 此外,OpenAI的机制创新也起到了关键作用。

“基于人工智能生成内容(AIGC)的通用人工智能是一个充满无限想象的目标,但也是一个不知道何时实现的目标。一个理性的大工厂或初创公司很难“能够实现这样的目标。目标是公司的使命,但它们非常适合非营利组织(NPO)。” 鲍云刚表示,OpenAI是以非营利组织的身份成立的,致力于人工智能技术的研究与协作,推动人工智能技术造福人类,因此,OpenAI能够创造ChatGPT并不是偶然的。

一般来说,非营利组织通过接受捐赠来获得资金来源。 例如,OpenAI 最初收到了埃隆·马斯克 (Elon Musk) 1 亿美元的捐赠。 但捐赠模式难以维持需要大量资金的研发运营,“自造血能力”始终是NPO模式不得不面对的问题。 鲍云刚表示,他们在建立和运行北京开源芯片研究院的过程中遇到了这个问题,他也在思考如何解决这个问题。

OpenAI是如何破局的? 在“烧掉”之前的捐款后,OpenAI提出了一种创新机制——在传统的NPO模式中加入有限盈利模式。 这种新模式与传统捐赠最大的区别在于,捐赠完全转让全部权益,并且通过有限盈利模式的投资可以转化为股权,具有保值增值的特点。 因此,“NPO模式+有限盈利模式”在一定程度上解决了上述矛盾,通过NPO模式维持其长期目标,并通过有限盈利模式保证长期运营资金。

“当然,也有人不认同这种模式,比如马斯克就认为这种模式破坏了NPO模式的初衷。但如果这个机制没有突破,OpenAI可能早就倒闭了,让仅 ChatGPT 的诞生就如此。” 鲍云刚说道。