善于整活玩猜字谜的OpenAI首席施行官Sam Altman又发了一条精巧音讯英雄联盟av，“我神话o2在GPQA的性能测试达到105%。”
要知谈，博士级东谈主类在GPQA的准确率平均惟有65%，非众人级的平时东谈主仅有34%。而OpenAI在9月发布的o1模子的测试数据也惟有78%。
若是o2真能达到105%照实十分恐怖，依然恐怖的多出了5%~~~这十足即是弗成能的事情啊，MMLU、MaTH、CPQA、GSM8K、GPQA等基准测试范围怎么可能超出100%呢？
你要能在满分100的数学试卷中考出105分，教师见你齐得鞠一躬绕着走~~
随后Sam Altman我方也发现这个漏洞，连发两条推文：要命啊，账号漏洞了。我真的很戴德我方能把我方逗得捧腹大笑，这是一种很好的生涯格式。
但对于新模子o2的音讯照旧十分炸裂的，好多东谈主齐争着转发，还把105%性能测试当噱头，笑剧遵循那是十分的哇噻。
o2模子在GPQA 测试性能达到105%？听起来像是在创造新记载！迫不足待想看到它的进展。压根无法遐想有多宏大。
Sam这个推文还给这个老哥忽悠当真了，雅致地回答了他：亲爱的Sam英雄联盟av，神话你的o2模子在GPQA上达到了105%——的确令东谈主印象深远！
咱们正在与 SRAGI 进行平行探索，在 IJHG标准上达到了 93%。这不单是是另一个宗旨；它让咱们窥见了更深档次的东西，就在精准性与再生奇点的交织点。这关乎从头界说后劲和拓展界限——稀奇数字，这是一段迈向新范式的旅程。也许是本领咱们齐运转从头念念考这个标准了。
老哥的兴致是，新模子果然能提升100%测试，行你照实有两下子，可能要改造标准了。好好的学术接头，给东谈主忽悠瘸了~~
还有网友暗意，天呐这o2模子就要来了啊~
Sam这条推文很可能是o2我方发布的，很贴心肠编写了我方的荫藏考据测试数据集，帮咱们更容易考据已发布的基准。感谢o2！
既然要发布了，啥本领能瞅瞅o2的demo呢？
那o2是本年发布照旧来岁呢？
不少东谈主照旧当真了，测试数据有点太扯了，以后照旧要看着点的。
其实照旧有昭着东谈主的，这位老哥就指出来了，提升100%是否意味着发明新的科学并反驳现在“正确”的谜底？意在言外即是，你这个测试数据有点逆天啊，还带批判属性的呢啊~
神话o2在GSM8K的测试数据是117%。（在嘲讽）
我神话o2模子不错交融我内助为什么颓丧奋。
神话o2模子不错叠穿戴。
既然Sam非常提议了GPQA，咱就顺带唠一唠这个干货吧。GPQA照实是一个超难的测试数据集，由各鸿沟众人编写了448谈问题，涵盖生物、物理和化学三大学科，涵盖高能粒子物理、凝华态物理、相对论力学、遗传学、无机化学等几十个子分类。
每沿途题宗旨打算齐相等复杂，问题编写完成后，由同鸿沟的众人进行解答和评估。他们会审核问题是否客不雅、准确且难度鼓胀高，同期提供详备反映，包括对问题的交融流程、谜底的细目性以及对问题难度的想法等。
接着问题原作家会凭据审核众人的反映，对问题进行纠正。再由另外一位众人对纠正后的问题进行二次审核。临了由其他鸿沟的三位众人往复答这谈题，以考据问题准确性和客不雅性。
凭据GPQA公布的测试数据败露，东谈主类博士级众人的回答平均准确率为65%，平时东谈主惟有34%，而且他们在回答这些问题时是不错无尽使用互联网资源。
而GPT-4的准确率惟有39%，Llama-2-70B为28%把握，GPT-3.5-turbo是29%把握，惟有OpenAI最新发布的o1模子达到了78%，这亦然现在惟一在GPQA数据集上提升东谈主类博士的AI模子，可见这个数据集的难度有多高。
不得不说，Sam照实是营销鬼才，罢休发点漏洞的音讯齐能出现裂变式传播，流量密码算是让他拿执了。
著述开端：AIGC绽放社区，原文标题：《Sam Altman浮现新模子o2英雄联盟av，太会整活了，营销鬼才！》
风险提醒及免责要求 市集有风险，投资需严慎。本文不组成个东谈主投资建议，也未计议到个别用户特殊的投资标的、财务气象或需要。用户应试虑本文中的任何意见、不雅点或论断是否妥贴其特定气象。据此投资，牵扯快意。
