北京时间周二凌晨1点，点冷机自年初“文生视频模型”Sora后许久未给市场带来惊喜的OpenAI举行春季发布会。公司首席技术官米拉·穆拉蒂（Mira Murati）向外界展现了多项与ChatGPT有关的更新。
整体来看，活动主要分为两大部分：推出新旗舰模型“GPT-4o”，以及在ChatGPT中免费提供更多功能。
其中最重磅的是新的模型GPT-4o。根据OpenAI的官网解释，"o"代表“全知”，是朝着更自然的人类与计算机交互迈出的一步。
有情绪的AI来了
OpenAI在活动中发布了新旗舰模型“GPT-4o”，“可以实时对音频、视觉和文本进行推理。”据介绍，新模型使ChatGPT能够处理50种不同的语言，同时提高了速度和质量。
据了解，GPT-4o是迈向更自然人机交互的一步，它可以接受文本、音频和图像三者组合作为输入，并生成文本、音频和图像的任意组合输出，“与现有模型相比，GPT-4o在图像和音频理解方面尤其出色。”
在GPT-4o之前，用户使用语音模式与ChatGPT对话时，GPT-3.5的平均延迟为2.8秒，GPT-4为5.4秒，音频在输入时还会由于处理方式丢失大量信息，让GPT-4无法直接观察音调、说话的人和背景噪音，也无法输出笑声、歌唱声和表达情感。
与之相比，GPT-4o可以在232毫秒内对音频输入做出反应，与人类在对话中的反应时间相近。在录播视频中，两位高管做出了演示：机器人能够从急促的喘气声中理解“紧张”的含义，并且指导他进行深呼吸，还可以根据用户要求变换语调。
性能方面，根据传统基准测试，GPT-4o在文本、推理和编码等方面实现了与GPT-4 Turbo级别相当的性能，同时在多语言、音频和视觉功能方面的表现分数也创下了新高。
就从这次演示来看，这一交互层面的升级才证明了多模态确实是AI的Game Changer。
更强的是手机版的GPT-4o可以通过语音能力理解你的话语，状态（累不累，喘气粗不粗）。
还能通过视觉识别你所处的环境和你正在做的事情，并对它作出反应。帮你解数学题，没问题，解完还能陪你聊聊人生。
这就是OpenAI想做到的全知：一个陌生人看到你时所能感受到的几乎一切，它全部能接收到。因此它也有了真正能和你做与你私人相关的，符合场景的操作。
OpenAI称，“我们跨文本、视觉和音频端到端地训练了一个新模型，这意味着所有输入和输出都由同一神经网络处理。由于GPT-4o是我们第一个结合所有这些模式的模型，因此我们仍然只是浅尝辄止地探索该模型的功能及其局限性。”
除了在直播中重点强调的功能，在OpenAI的技术文档中，我们看到在GPT4-o的能力列表中，还包含3D能力、图像诗能力、转换卡通照片等能力。
OpenAI官方Blog中的能力探索列表比如：生成3D模型的魔法
像波德莱尔那帮现代主义诗人一样，用诗歌或logo填满规定的形象。
潜在的粘土人能力，只不过OpenAI选的是把现实头像转换卡通图像
这一切都说明， GPT-4o给我们可能带来的惊喜可能还远不止如此。
正如Sam Altamn所说，正是在这个背景下，属于每个人的云端情人HER到来了。
更多工具免费解锁
第二件事情就是宣布，ChatGPT的免费用户也能用上最新发布的GPT-4o模型（更新前只能使用GPT-3.5），来进行数据分析、图像分析、互联网搜索、访问应用商店等操作。这也意味着GPT应用商店的开发者，将面对海量的新增用户。
当然，付费用户将会获得更高的消息限额（OpenAI说至少是5倍）。当免费用户用完消息数量后，ChatGPT将自动切换到 GPT-3.5。另外，OpenAI将在未来1个月左右向Plus用户推出基于GPT-4o改进的语音体验，目前GPT-4o的API并不包含语音功能。
另外，OpenAI将在未来1个月左右向Plus用户推出基于GPT-4o改进的语音体验，目前GPT-4o的API并不包含语音功能。苹果电脑用户将迎来一款为macOS设计的ChatGPT桌面应用，用户可以通过快捷键“拍摄”桌面并向ChatGP提问，OpenAI表示，Windows版本将在今年晚些时候推出。
未能参加直播活动的OpenAI首席执行官山姆·奥特曼（Sam Altman）在社交平台X上发帖表示：“我们的新模型：GPT-4o是我们迄今为止最优秀的模型。它既智能又快速，并且是原生多模态模型。”
