Gemini上线首日:用户褒贬不一,演示被质疑「造假」,谷歌承认了

2023年12月08日,17时47分15秒 OpenAI 阅读 25 views 次

「谷歌,这就有点尴尬了。」

Gemini上线首日:用户褒贬不一,演示被质疑「造假」,谷歌承认了

没有想到,Gemini 上线头一天,热门评论会是这个样子。

本周三,谷歌的 Gemini 让生成式 AI ,在没有明确透露实情的情况下展示视频是否会误导公众。甚至有人分享了一个模因,暗示鸭子视频经过了欺骗性编辑。「我猜视频创建者更看重『讲故事』的能力。」

除了 demo 视频遭到公众和内部员工质疑之外,Gemini 真如宣称的那样强大吗?我们知道,Gemini 此次有三个版本,能力最强的 Gemini Ultra、多任务的 Gemini Pro、以及特定任务和端侧的 Gemini Nano。

目前,谷歌类 ChatGPT 应用 Bard 可免费升级到 Gemini Pro 版本,Gemini Ultra 预计于明年初通过 Bard Advanced 与用户见面。

Gemini上线首日:用户褒贬不一,演示被质疑「造假」,谷歌承认了

在与 GPT-4 的比较中,谷歌给出的数据是 Gemini Ultra 全面超越 GPT-4,Pro 在大多数指标上超越 GPT-3.5。

Gemini上线首日:用户褒贬不一,演示被质疑「造假」,谷歌承认了

但实际效果究竟如何呢?推特用户 Brett Winton 首次对 Gemini Pro、Claude 和 GPT-3.5 进行了基准测试,对每个模型提了一道 8 年级的故事题。他得出的结论是:GPT-3.5 满分、Claude 约 67 分,Gemini Pro 完全没有那个味。

Gemini上线首日:用户褒贬不一,演示被质疑「造假」,谷歌承认了
Gemini上线首日:用户褒贬不一,演示被质疑「造假」,谷歌承认了

图源:https://twitter.com/wintonARK/status/1732527909376815419

三个模型给出的答案分别如下:

Gemini上线首日:用户褒贬不一,演示被质疑「造假」,谷歌承认了

从左到右依次为 Bard(Gemini Pro)、Claude 和 GPT-3.5。

看到这一结果,似乎只能用「升级了,但还没完全升级」来做解释。他表示在 Gemini Ultra 最终上线之前,还是不对它的能力做评价了。

Gemini 开创了新架构,引来了流量,也遭受了批评,那么现在看来,谷歌反攻微软的大计成了没成?

至少从投资者们来看是个好的开头。

本周四,谷歌的股价经历了暴涨,市值增加了 800 亿美元。需要记得的是,在 2 月份谷歌推出 Bard 时,谷歌的股价一天跌去了 1000 亿美元。

人们认为,Gemini 可以帮助谷歌缩小与微软、OpenAI 在大模型上的差距。

Gemini上线首日:用户褒贬不一,演示被质疑「造假」,谷歌承认了

也许 1.0 版的 Gemini 只是开了个头,我们还要保持耐心,等待大模型的进一步技术升级。

参考内容:

https://www.theverge.com/2023/12/7/23992737/google-gemini-misrepresentation-ai-accusation

https://techcrunch.com/2023/12/07/googles-best-gemini-demo-was-faked/

https://www.businessinsider.com/google-gemini-ai-performance-openai-chatgpt-gpt4-2023-12

-https://www.bloomberg.com/news/newsletters/2023-12-07/google-s-demo-for-chatgpt-rival-criticized-by-some-employees?srnd=technology-vp

(来源:机器之心)



用户登录