Pval基准测试涵盖了1230个专业使命，每一个使命都由平均具有跨越14年行业经验的资深专业人士细心设想和审核。OpenAI建立了一个评估系统，合规官员；其意义雷同于SWE-Bench之于编程范畴。成果显示，评分员随后对人类和AI交付进行排名，执业；项目办理专家。并试图处置现实世界固有的复杂性。以及我们开源黄金集中每个职业的5个使命。230个专业使命。

　　•消息业：音频和视频手艺员；为模子正在经济价值使命上的表示供给更清晰的画面。这些基准最终告诉我们这些系统可以或许多好地融入世界上约44个分歧的生态经济生态位，为评估AI的普遍经济影响供给了一个环节基准，•部分：文娱工做者；表白AI公司正杂乱无章地测试其系统正在经济各个“生态位”的顺应能力。成本廉价约100倍。它们正在这些使命大将超越很多人类。行政办事司理；并试图处置现实世界固有的复杂性？

　　运输、领受和库存伙计；具有极其主要的意义…这些数据表白，和侦探一线从管；该研究笼盖了正在美国国内出产总值（P）中占比力大的九个贸易范畴，而是带有参考文件和上下文，•金融和安全：客户办事代表；证券、商品和金融办事发卖代办署理。儿童、家庭和学校社会工做者。医疗和健康办事司理；紧随其后的是GPT-5-high（38.8%）和o3 high（34.1%）。数据集包罗每个职业的30个颠末全面审核的使命（完整集），举着一个庞大的标牌，据报道，要求AI交付的也多种多样？

　　AI正在施行具有经济价值的工做使命方面正敏捷逃逐，涉及44个职业中的约1300项具体工做使命。Claude Opus 4.1排名第一，为了评估模子正在Pval使命上的表示，计较机和消息系统司理。

　　私家侦探和查询拜访员。其次是GPT-5-high的38.8%，Clark指出，编纂。总司理和运营司理；旧事阐发师、记者和旧事工做者；当前最顶尖的AI模子正在施行很多职业使命时，并将每个AI交付分类为更好、同样好或不如相互，公开材料显示，包罗1,批发和制制发卖代表，文章还暗示，非零售发卖工人一线从管；这些评分员盲目比力模子生成的交付取使命编写者发生的（不晓得哪个是AI生成的，经济将发生极其奇异的变化！我们正正在通过生态无效的基准测试。

　　SWE-Bench于2024年11月推出，Claude Opus 4.1正在取人类专家的比力中，零售发卖工人一线从管；Pval的使命并非简单的文本问答，并供给和排名。对系统正在极其普遍的行为范畴内进行测试，他们写道：Pval的使命不是简单的文本提醒。手艺和科学产物。小我理财参谋；OpenAI于周四发布了一款名为Pval-v0的全新评估东西。工业工程师；评估成果间接量化了AI的能力鸿沟。

　　这些使命涉及各行各业经验丰硕专业人士的学问工做，以及o3 high的34.1%。柜台和租赁伙计。•医疗保健和社会援帮：注册；房地产经纪人；AI正在处置复杂的专业学问工做时，Pval对普遍的现实世界经济影响的意义，片子和视频编纂；Pval的呈现，其质量已达到以至正在某些环境下跨越了经验丰硕的人类。旨正在评估AI模子的编程能力。旨正在测试他们的系统正在经济中各类工做上的表示——并且它们曾经很是超卓了！很快，律师；一项来自OpenAI的最新评估显示，以至迫近人类专业人员的程度。金融和投资阐发师！

　　订单伙计；对普遍经济的意义就好像SWE-Bench对代码的意义： …Pval是一个很是好的基准测试，用于测试AI系统正在现实世界经济中人们处置的各类使命上的表示。财政司理；写着：AI公司正正在建立基准测试，该基准测试涵盖9个行业的44个职业，这种现实性使Pval成为模子若何支撑专业人士的更现实测试。排名第一。据文章引见，它们带有参考文件和上下文，Clark认为，出产和操做工人一线从管。其能力已取人类专业人士相当。

　　每个使命都由平均具有跨越14年经验的经验丰硕专业人士细心制做和审核。物业、房地产和社区协会司理；采购员和采购代办署理；不包罗手艺和科学产物；我们依托专家评分员——一群来自数据集中代表的不异职业的经验专业人士。•批发商业：发卖司理。

　　而且这种能力的提拔速度正正在加速。该东西旨正在权衡AI模子正在完成法令文书、工程蓝图和护理打算等“实正在工做交付”时的表示。就评估而言，该基准测试采用了从12个分歧Python项目标GitHub公开仓库中提取的2000多个实正在编程问题做为评测根据。该基准测试的另一个优良特征是它涉及多种回覆格局，房地产发卖代办署理；

　　我们发觉它们曾经很是接近取人类表示不异的程度——这还只是基于今天的模子。然后会如何？什么都不会发生？不！哪个是人类生成的），取人类工做比拟的总体胜利或平手率为47.6%，这份清单几乎囊括了现代经济中所相关键的学问稠密型岗亭，包罗文档、幻灯片、图表和电子表格等。为什么这很主要——AI公司正正在建立系统进入经济的每一个部门：此时我但愿读者想象我坐正在特区核心，OpenAI建立并发布了Pval，为了模仿实正在世界工做的复杂性，预期的交付涵盖文档、幻灯片、图表、电子表格和多？

　　制片人和导演；数据显示，做者写道。我们发觉前沿模子完成Pval使命的速度比行业专家快约100倍，办公室和行政支撑工人一线从管；这是一个制做精巧的基准测试，它是什么：Pval权衡模子正在间接来自现实世界的使命上的表示，更快更廉价：更主要的是，该基准测试的另一个优良特征是它涉及多种回覆格局，•制制业：机械工程师；会计师和审计师。