出品 | 搜狐科技
作者 | 梁昌均
Kimi上线一周年,月之暗面发布新一代模型
在Kimi上线一周年之际,月之暗面召开了一场临时发布会。直到11月16日下午的这场发布会临近,这家公司的创始人&CEO杨植麟还在现场忙着确认PPT。这也是这位31岁的大模型顶流,自成立月之暗面以来为数不多面向媒体进行交流。
杨植麟透露,Kimi目前每月使用人数已超过3600万。但这对于一款想要成为超级应用的产品来说,还远远不够。月之暗面的做法是打造更强的模型,以及用更新的算法。
杨植麟在发布会上宣布推出新一代模型——数学推理模型k0-math。基准测试显示,该模型的数学能力可对标OpenAI的o1系列模型(o1-mini和o1-Preview)。
对AI来讲,不变的一个关键词是Scaling。它并不是简单的把模型做得更大就好,核心是找到有效的方法去Scale。
杨植麟表示,现在大模型的研究范式已经发生变化,从过去的Next-TokenPrediction(上下文预测)去拓展,转变为越来越多关注基于强化学习的方法去拓展。这其中的关键就是要让AI具备思考的能力。
杨植麟认为,强化学习一定程度上可以让AI学习到思考的能力,并判断思考过程到底是好还是不好,从而持续迭代。
什么样的场景最适合让AI锻炼思考的能力,我们认为是数学场景。这也是月之暗面推出数学模型的原因。解决数学问题就是一个不断思考的过程,它在这个过程中会断试错,并不需要跟外界进行交互,可以自成体系。
数学模型存在局限性,需要减少幻觉、提高泛化性
但这一模型还存在不少局限性,对简单的问题会过度思考,如对1+1这样的问题会多次求证计算,显得复杂化和非常谨慎;同时,对不同难度的题目答对的概率也有所不同。
杨植麟表示,这需要减少幻觉,并提高泛化性,将其应用到物理化学、生物医学等学科问题和前沿研究,这是接下来很重要的事情。
他还介绍了Kimi在AI搜索上的探索。把强化学习用在搜索场景,跟探索版相结合,可以提升模型搜索推理能力,能够拓展更多的意图,做链式推理,并能够比较不同的信源。
据了解,k0-math模型和更强大的Kimi探索版,未来几周内将会分批陆续上线Kimi。
AI发展范式变革,强化学习正成为重点
在与搜狐科技等媒体的交流中,杨植麟回应了包括AI发展范式的变化、ScalingLaw能否延续,以及Kimi的核心目标和未来规划。
他认为,ScalingLaw依然还有很高的上限,明年领先模型会做到一个比较极致的阶段。但接下来最重点的是强化学习,它还是Scaling,只是说通过不同的方式去Scale。
今天当Scale差不多的时候,会发现再加更多的算力,并不一定能直接解决瓶颈,核心是因为没有高质量的数据。这时通过算法的改变,让它不会成为瓶颈。
杨植麟表示,在国内大模型都面临技术瓶颈的情况下,会不会拉大差距?杨植麟认为,差距对国内来说有可能是一个好事,预训练不一定可持续,这种情况下创新能力更重要,对我们反而是一个优势。
产品层面聚焦Kimi,内测多模态功能
在产品层面,杨植麟透露,最初尝试过几个产品一块做,后来发现最重要的还是要聚焦,并做到极致,不能把公司
发表评论