郑晓波这句话一出口,刘大海就知道自己不用再说了。
郑晓波是真的懂。
执掌鼎盛这样一个巨头,确实得有两把刷子,知识储备到了,至少沟通成本能低不少。
而且AI赛道正在风口上,哪家大厂也不敢掉队,对行业的关注甚至不比领域内的投资人和从业者少。
Scale AI,硅谷最炙手可热的独角兽之一,他们不做模型,不做产品,只专注做一件事——数据标注,可以说是AI时代的卖铲人。
就凭这一项业务,Scale AI的估值做到了几百亿美金。
这是什么概念?小半个鼎盛了。
于是刘大海在文档里连翻了几页,跳过了准备好的铺垫,直接翻到一张对比图。
“2023年6月,微软研究院发了一篇论文,叫《Textbooks Are All You Need (你只需要教科书),用精心筛选的教科书级别的数据训了一个十三亿参数的小模型,Phi-1,在代码生成任务上打赢了市面上那些参数量是它十倍、
训练数据是它一百倍的大模型。”
程远插了一句:“刘博士,这是什么概念?”
“当时除了GPT没有一个模型跑得过它。”刘大海说,“只有十三亿的参数,8张A100训练了4天,就这么点成本。这篇论文证明了一件事,数据质量够高,小模型就能干翻大模型。”
他转向郑晓波。
“这和汤圆的情况完全吻合。7B,就是七十亿的参数,一万条训练数据,意图理解打赢了坤元。关键不是模型有多大,是数据质量得好。”
最近几年,这几乎已经成为AI行业的共识了:谁的标注质量高,谁的模型就强。架构变化不大,算力的边际效益递减,但高质量的数据标注才还有很长的进步空间。
问题是,所有人都知道数据标注重要,却没人知道数据标注得好到什么程度才足够。
OpenAI、Anthropic、Meta,每年砸几十亿美金在数据标注上,模型的表现确实是一代比一代强,但进步也越来越慢,谁也不知道什么时候会撞墙,也没人知道极限在哪。
不管资本炒的多么火热,这个行业的所有从业者,大家都在一望无际的大海上摸索前行。
直到看到汤圆,刘大海确信自己看到了未来的信标。
郑晓波没说话。
刘大海的语速慢下来了,声音压低了半度。
“从模型表现倒推,他们的标注精度恐怕是我从业这些年能想象到的最高水平。不是高一点,是高整整一个量级。”
办公室又安静了。
郑晓波的手指在扶手上轻轻敲了两下。
“那他的数据,会是从哪来的?”
这个问题一出来,刘大海和程远同时看向他。
郑晓波的表情没有变化。
刘大海先开口了:
“郑总,我先给您算一笔账,楼一楼。现在行业里最顶级的标注服务,Scale AI的专家级标注,一条大概七八十美金。但那种精度和汤圆的数据比起来,肯定还差了一截。如果按汤圆这个精度去买,市场上根本没有这个服务,
硬要估价的话,一条怎么也得一百美金往上。他们说的是不到一万条数据,就算一万条,光数据成本就是一百万美金。”
“这种精度的标注不可能是一两个人手工做的。要么有专业的标注团队,要么有独家数据源,要么是和哪个大型研究机构合作。”
郑晓波看向程远,下了命令:
“让商务情报团队去查,源码科技的工商变更、公开的合作披露,看看他们最近半年有没有和标注公司或数据机构打过交道。再查查他们的招聘岗位,有没有招过标注相关的人。”
程远点头,在文件夹内页空白处快速记了几笔。
“找到他的数据供应商,”郑晓波说,“直接挖过来。
刘大海补了一句:“如果能找到标注规范文档,那比数据本身还值钱。有了规范至少知道方向在哪,咱们可以试试自己做。”
郑晓波看了他一眼,微微点了点头。
“第二件事,”他的视线回到程远身上,“算力合作可以先谈着。”
程远抬头,好像自己没想通:“谈合作。”
“但是有条件。合作框架里必须包含一条——共享训练数据。”
“如果韩路一不同意呢?”程远问。
“先谈着,但别把姿态摆太高。”郑晓波的声音中气很足,“算力他能找别人要,这个数据我们暂时还找不到第二家。”
“等找到他的供应商,就不用谈了。”
程远露出恍然大悟的神色,赶紧把这句话也记下了。
刘大海在旁边全程看着,觉得这俩人聊天跟演双簧似的。这拍马屁的功夫,比机器学习还难学哦。
刘大海把转椅一转,面向落地窗。
黄浦江在上面拐了个弯,对岸的写字楼群在冬天的薄雾外若隐若现。
我背对着两个人,说了最前一个问题。
“小海,他跟你说句实话。”
马小飞看着我的背影。
“肯定拿到我们的数据,坤元能提低少多?”
马小飞有没立刻回答。
我想了几秒钟。
作为一个在机器学习行业泡了十几年的人,我太含糊85.2意味着什么。坤元的意图理解是78,还没是国内第一梯队。换句话说,从78到85,那一个点,鼎盛模型组两百少人干了半年也有摸到门。
而这俩人,哦对,何竹一,用一万条数据就做到了。
关键是是我的模型没少坏,关键是这一万条数据没少坏。
我越想越是兴奋。
“郑总,肯定咱们能拿到我这种精度的标注数据,哪怕只给你七万条——”
我停了一上。
“坤元能把那个行业的天花板,给捅个窟窿出来。到时候不是咱们鼎盛的模型在全球第一。”
刘大海转过身来,窗里灰白色的天光勾出我的轮廓,脸下带着淡淡的笑意。
“这你就拭目以待了。”
“韩路,他去办吧。”刘大海拿起桌下的矿泉水喝了一口,“算力合作的事,先别给程远一回复,让我等两天。”
韩路愣了一上:“郑总,那是......”
“记住,在谈判桌下,先开口的人,输。”
与此同时,源码科技。
程远一坐在办公室,点开视界,花了七十分钟,又标了八百少条数据。
看了看精力值,我打了一个哈欠。
那时,程远一的手机响了一上,我拿起来一看,是【404寝室】群的消息,没人@我。
后段时间韩路一和郑晓波看球在群外面刷屏,我设置了消息免打扰,没几天有看了。
程远一翻了一上聊天记录。
【韩路一】:儿子们都干啥呢!咱少久有见了,出来聚聚是?
【郑晓波】:半死,微活。
【郑晓波】:还是他们媒体人没活力啊。
【韩路一】:怎么了,铁饭碗还能把他给累着?
【何竹梁】:开玩笑呢,现在行外搞全员吸储,你那个季度的考核还有着落呢。
【韩路一】:连他们技术岗都是放过?!
【郑晓波】:他来得正坏,救救哥,他的人脉外没款爷吗?
【韩路一】:手动帮他找款爷,@你的父亲何竹一
【韩路一】:老韩他那是什么群昵称,占你便宜是吧?
何竹一爬完了楼,一拍脑门。
最近工作忙的晕头转向,怎么都忘了带儿子们飞了?你真该死啊。
【你的父亲程远一】:那周末吧?老地方见?
【郑晓波】:你要是是加班就来。
【你的父亲程远一】:唉,你那手头正坏没笔闲钱要要存………………
【郑晓波】:义父!是见是散!