斯坦福团队抄袭清华系大模型事件后续来了——
Llama3-V团队承认抄袭,其中两位来自斯坦福的本科生还跟另一位作者切割了。
最新致歉推文,由Siddharth Sharma(悉达多)和Aksh Garg(阿克什)发出。
不在其中、来自南加利福尼亚大学的Mustafa Aljadery(简称老穆)被指是主要过错方,并且自昨天起人就失踪了:
被指跑路的老穆本人,X主页目前已经开启保护锁定状态,申请才能关注:
整体来看,这条致歉推文和昨天那条发出后又急忙删掉的推文内容大差不差,主要是突出了道歉和进一步甩锅。
毕竟连斯坦福人工智能实验室主任Christopher Manning都下场开喷:
他认为团队在事发后避重就轻,用“架构相似”、“MiniCPM比我们更快实现”的借口推脱,拒不承认是抄袭。
但全新道歉声明,并没有止住网友们的质疑。并且最新爆料还指出,这几位老哥根本就是抄袭惯犯,之前写的教材也是一整个大抄特抄。
而原作者团队面壁智能这边,除CEO李大海昨天回应“也是一种受到国际团队认可的方式”外,首席科学家刘知远也已在知乎出面“亲自答”:
新的证据
还是先来简单回顾一下这个大瓜。
一句话总结就是,有网友发现,最近在开源社区大火的斯坦福团队多模态大模型Llama3-V,架构和代码与国产MiniCPM-Llama3-V2.5几乎一毛一样,并列举了诸多证据直指Llama3-V抄袭。
随着事件逐渐发酵,斯坦福AI团队删库跑路,面壁智能团队也就此事展开了调查。
面壁智能首席科学家、清华大学长聘副教授刘知远给出的判断Llama3-V是MiniCPM-Llama3-V2.5套壳的一大理由,正是对于清华简的识别能力。
这是MiniCPM-Llama3-V2.5的“彩蛋”能力,是他们用了从清华简逐字扫描并标注的数据集训练的,并未公开。而Llama3-V的表现和MiniCPM-Llama3-V2.5一模一样,不仅做对的题一样,出错的地方都一样。
今天,在第一波证据的基础之上,又有其他网友扒出了新线索。
有人研究后发现,Llama3-V几乎每一层的权重差值都符合均值为0、标准差为1.4e-3的高斯分布。
于是推测,Llama3-V只是直接在MiniCPM的权重上添加了低方差噪声。
除此之外,那个跑路的大兄弟老穆还被曝之前写了本关于“计算机网络设计”的书,也是抄的。
从书中随便抽出一章,用抄袭检测器检测一下就是一堆红点:
以及,这本书的作者栏里,据网友爆料也有悉达多的名字。
也有网友认为抄书这事儿是不是真的还有待考究。不过,现在这本书也404了。
说回这次的抄袭,悉达多和阿克什的致歉声明中也有提到他们之所以和穆哥一起宣传这个项目,最初也是被这个多模态模型惊艳到了,特别喜欢穆哥所描述的基于Idefics、SigLip和UHD的架构扩展。
但实际上网友一早扒出Llama3-V在空间模式等很多方面的具体实现都和LLaVA-UHD不同,却跟MiniCPM-Llama3-V2.5出奇一致。
根据MiniCPM-Llama3-V2.5主页介绍,MiniCPM-Llama3-V2.5是面壁智能MiniCPM-V系列的最新开源模型,基于SigLip-400M和Llama3-8B-Instruct构建,总共8B参数。
从性能上讲,MiniCPM-Llama3-V2.5在OpenCompass上取得了65.1的平均分,性能超过如GPT-4V-1106、Gemini Pro、Claude3、Qwen-VL-Max等专有模型,且显著超越其他基于Llama3的多模态语言模型。
此外,MiniCPM-Llama3-V2.5的OCR能力也很强,在OCRBench上得分700+,超越GPT-4o、GPT-4V-0409、Qwen-VL-Max和Gemini Pro。
基于最新的RLAIF-V方法,MiniCPM-Llama3-V2.5在Object HalBench上的幻觉率为10.3%,也低于GPT-4V-1106的13.6%。
“中国大模型被忽视了”
尽管甩锅甩得飞快,但网友们很快又从阿克什和悉达多童鞋的道歉声明里发现了华点:
合着你俩啥也没干,帮着搞搞推广就算项目作者啦?
还有网友挑起了一个更关键的话题,进一步引发热议——
开源社区是否忽视了来自中国的大模型成果?
谷歌DeepMind研究员、ViT作者Lucas Beyer就提到,Llama3-V是抄的,但成本低于500美元,效果却能直追Gemini、GPT-4的开源模型确实存在:
抱抱脸平台和社区负责人Omar Sanseviero说的更加直接:
对此,不少网友表示赞同,“他们推出了目前最好的开源VLM”。
从更客观的大模型竞技场的角度看,此言不虚。
在模型一对一PK的视觉大模型竞技场中,来自零一万物的Yi-VL-Plus排名第五,超过了谷歌的Gemini Pro Vision。智谱AI和清华合作的CogVLM也跻身前十。
此外,DeepSeek、通义千问和这次遭到抄袭的MiniCPM系列多模态模型,也都有不错的表现。
在更受到广泛认可的LMSYS Chatbot Arena Leaderboard竞技场榜单中,来自中国的大模型也同样在不断刷新“最强开源”的新纪录。
正如刘知远老师所说:
此瓜甚巨,吃瓜者众,或许更重要的是,一些成见正在破壁。你觉得呢?
MiniCPM原论文
https://arxiv.org/abs/2404.06395
参考链接:
[1]https://x.com/AkshGarg03/status/1797682238961914370
[2]https://x.com/siddrrsh/status/1797682242145464814
[3]https://x.com/teortaxesTex/status/1797712605286645846
[4]https://x.com/chrmanning/status/1797664513367630101
[5]https://x.com/RylanSchaeffer/status/1797690302167417322
[6]https://x.com/giffmana/status/1797603355919028547
[7]https://x.com/RylanSchaeffer/status/1797690302167417322
[8]https://x.com/osanseviero/status/1797635895610540076
[9]https://huggingface.co/spaces/WildVision/vision-arena