光速打脸!谷歌承认Gemini演示视频是剪辑版
西方感恩节和圣诞节期间通常并不是推出新技术的合理时间,但对Alphabet的旗舰子公司谷歌而言,今年的这段时间也是绝望的时刻。一年前,这家行动迟缓的搜索巨头被推出ChatGPT的OpenAI甩在身后,它急于描绘出自己飞速前进的画面。在媒体报道称谷歌将推迟发布Gemini之后,该公司周三突然发布Gemini。Gemini是一款全新的人工智能模型,可以识别魔术中的技巧,并在会计认证考试中取得好成绩。谷歌发布的演示视频震惊了社交媒体,但从技术角度来看,谷歌仍被OpenAI甩在身后,正在努力地追赶。
谷歌对Gemini模型进行了严格的测试,并评估了它们在各种任务中的表现。从自然图像、音频和视频理解,到数学推理等任务。从谷歌发布的数据上看,Gemini Ultra是首个在大规模多任务语言理解数据集(MMLU)任务表现上优于人类专家的大模型,得分率高达90.0%。作为对比,人类专家的成绩为89.8%,GPT4的成绩为86.4%。MMLU数据集包含数学、物理、历史、法律、医学和伦理等57个科目,用于测试大模型的知识储备和解决问题能力。
但在大多数基准测试中,Gemini Ultra仅领先OpenAI的GPT-4模型几个百分点。换句话说,谷歌最好的AI模型只是在OpenAI至少一年前完成的工作上做出了微小的改进。如果像谷歌所说的那样,Gemini Ultra在明年1月初发布,它可能不会在很长时间内保持顶级模型的地位。在谷歌拼命赶上OpenAI的这段时间里,后者已经花了将近一年的时间来开发它的下一代人工智能模型GPT-5。
承认演示视频为剪辑版本
在谷歌发布的时长为6分钟的演示视频中,一个男子做出后仰并躲避的慢动作,Gemini马上猜出这是表演《黑客帝国》中的场景;当人类拿起画笔在一张纸上勾勒出一只鸭子,并为它涂上了蓝色,Gemini说这可不是鸭子常见的颜色;当人类用手指比划剪刀石头布的动作时,Gemini马上猜出是在玩剪刀石头布;当三个空杯并排放在桌子上,一张蓝色纸团被塞进其中一个杯子里,在人类一番眼花缭乱的操作后,Gemini准确地猜出:“纸团在最左边的杯子里!”这段视频展示了谷歌DeepMind人工智能实验室在过去几年中训练的推理能力,也是其他人工智能模型所没有的。
在社交媒体X上发布的这段视频的跟帖中,技术专家称Gemini的表现“令人瞠目结舌。”不过沃顿商学院管理学教授伊桑·莫里克(Ethan Mollick)经过比对实验证明了,Gemini展示出的许多能力并不是独一无二的,GPT-V早已具备了这些能力。
彭博专栏作家帕米·奥尔森(Parmy Olson)对此撰文指出,Gemini在视频中似乎非常能干了。但谷歌自己也承认,视频是剪辑过的。该公司在YouTube的描述中表示:“为了演示的目的,为了简洁起见,延迟被减少了,Gemini的输出也被缩短了。”这引发出关于谷歌实际上给Gemini提前埋了多少提示的质疑。
这就是奥尔森发现的端倪。根据她的彭博文章,谷歌承认视频演示不是实时进行的,而是使用原始镜头中的静止图像帧,然后写出文本提示,让Gemini做出回应。奥尔森写道:“这与谷歌似乎暗示的完全不同:一个人可以在Gemini观察并实时回应周围世界的同时,与它进行流畅的语音对话。”奥尔森认为,谷歌的视频就是在“炫耀”,目的是误导人们,让他们不知道Gemini仍然落后于OpenAI的GPT。
谷歌不同意奥尔森的观点。当被问及演示的有效性时,谷歌发言人指出,DeepMind负责研究和深度学习的副总裁奥瑞奥·维纳尔斯(Oriol Vinyals)的一篇帖子,解释了该团队如何制作视频。维纳尔斯:“视频中所有的用户提示和输出都是真实的,为了简洁起见被缩短了。”该视频展示了使用Gemini构建的多模态用户体验。我们制作它是为了激励开发者。”