近日，由中国智能计算产业联盟组织召开的“2023中国算力发展研讨会”在中科院计算所召开。此次研讨会以ChatGPT下算力的机遇与挑战为主题，汇集了业内多位权威专家学者，从技术、生态等多维度展开深度交流研讨，理清算力产业的发展风向，并就当下人工智能基础设施及算力服务建设等课题给出应对之策。
研讨会上，中国科学院院士陈润生表示，人工智能的发展不是人所能阻挡的，这是科学发展的本质。他同时指出，大语言模型中出现的“涌现(Breakthroughness)”和“顿悟(Grokking)”现象，值得大家思考。
何为“涌现”?一个复杂系统由很多微小个体构成，这些微小个体凑到一起，相互作用，当数量足够多时，在宏观层面上展现出微观个体无法解释的特殊现象，即为“涌现”。
陈润生形象地解释说，“我给它(大模型)很多学习数据，结果它的答案里面会出现学习数据里没有的事，这种现象叫涌现。”大模型的运算表明，当训练数据很大时(比如超过了1000亿)，就会出现涌现现象，规模小的时候不会出现这个现象。
何为“顿悟”?陈润生解释，“你训练一个神经网络的过程中，一遍它不懂，两遍也不懂，第四遍还不懂，第五遍一下学会了，就像小孩学东西一样，教一两遍不懂，教到N+1遍突然就学会了。”他认为，这是人脑学习的一种模式，“学到某一个时间开窍了”，“计算机不可能出现顿悟，但是大模型会出现顿悟的情况”。
不久前，ChatGPT的主要竞争对手之一Claude将语境窗口token数扩展到10万，相当于7.5万个单词，大大超越GPT-4语境窗口的8192 tokens。这意味着用户可以将高达500页的文档上传到Claude，它可以在不到1分钟之内就理解、消化这些信息，并基于上传的信息回答用户的问题。
对此，陈润生认为，目前大模型的学习速度比我们想象中快得多，“这两家公司(OpenAI与Anthropic)你追我赶，说不定再过一段时间，GPT-5出来之后又比Claude强了，它发展那么快，将来人们赶不上。”
陈润生坦言，人类的神经网络结构远比目前的大模型复杂得多，人工智能的发展还有很长的路要走，“现在的(人工智能)神经网络在空间结构模型上应该有革命性的变化，也许那个时候，(AI)真的能够超越人的智力。”
AI俱乐部，致力于打造最专业的AI交流社群。
星球将分享：
1、ChatGPT的使用方法，最新资讯，商业价。
2、邀请顶尖行业大佬，每周给大家发现一个商业落地案例。
3、组织星球小伙伴一起参与实战项目，亲身感受AI浪潮。
4、系列课程和训练营，手把手带着大家去实操ChatGPT。
5、一些副业思考、创业案例、落地案例分享。
6、最早期、专业的AI交流社群。探讨未来关于ChatGPT的机遇，帮助大家解决遇到的问题。
如果有小伙伴感兴趣的话，可以一起加入星球哦！
