这项由南边科技大学、香港科技大学、香港科技大学（广州）、香港理工大学以及LIGHTSPEED筹议开展的议论，以预印本款式发布于2026年6月，论文编号为arXiv:2606.02388，有兴味深化了解的读者可通过该编号查询完整论文。

当咱们批驳AI智能体的时候，脑海中浮现的通常是那种无意自主操作网页、在造谣房间里完成任务、或者帮你搜索信息的"数字助手"。熟悉这类助手的主流方式，叫作念强化学习——说白了，便是让AI不休尝试，作念对了就给奖励，作念错了就扣分，渐渐学会哪些活动能拿到高分。这套逻辑听起来很像熟悉小狗：作念对了给零食，作念错了不给。

可是问题来了：小狗作念了某个动作之后，它会坐窝看到环境的响应——你皱了眉头，或者欢喜肠摸了摸它。但用强化学习熟悉的AI智能体，禁受到的只是"任务完成"或"任务失败"这么的最终评分。至于它每一步操作到底对全国形成了什么影响，它险些一无所知。这就像一个厨师只知说念临了这说念菜被评了几分，却完全不明晰是哪一步下盐、哪一步翻炒出了问题。遥遥无期，厨师可能偶尔作念出佳肴，但永远不会真实知道烹调的旨趣。

议论团队恰是从这个痛点开赴，提议了一个叫作念PaW的熟悉框架。PaW是"Policy and World modeling co-training"的缩写，直译过来便是"战略与全国建模协同熟悉"。它的中枢念念路肤浅而渊博：AI智能体在熟悉过程中本来就会产生多半"熟悉记载"，每一札记载都包含了"作念了什么动作"以及"之后环境变成了什么相貌"。这些信息往常只被用来谋永别数，而PaW把它们变成了额外的学习材料，让智能体同期学会"计算下一步会发生什么"。不需要额外的数据网络，不需要单独成就一个模拟器，也不会在本色使用时加多任何谋划使命——饱和的学习就发生在蓝本的熟悉过程中，顺遂完成。

一、AI智能体的"只知说念为止，不懂过程"窘境

要知道为什么PaW的出现很垂死，得先搞明晰现存熟悉方式的局限在那里。

圭臬的强化学习熟悉，就像让一个学生反复作念模拟考题，然后只告诉他最终收成，不给任何判辨。学生会逐渐摸明晰哪类题型容易得分，但他对知识自己的知道可能依然破败。在AI智能体的场景里，这种劣势体现得更为光显：智能体可能学会了某个"轨则"——比如在特定情境下输入某个辅导通常能拿高分——但它并不真实知道这个辅导会对环境产生什么影响。一朝遭遇了略微生疏的场景，或者某个操作产生了不可逆的后果，它就会堕入繁杂。

议论团队把这种缺失定名为"全国建模身手"的穷乏。所谓全国建模，说穿了便是：给智能体一个现时景况和一个策画收受的动作，它能计算出接下来环境会变成什么样。这听起来像是东说念主类的知识——你知说念掀开雪柜门，雪柜里的东西就会走漏在你眼前；你知说念搜索"玄色小号T恤"，网页会复返一堆关联商品。但AI智能体要是穷乏这种预判身手，就会像一个对全国运转毫无倡导的东说念主一样，只可靠反复试错积贮教学。

为了弥补这个缺口，学术界照旧有一些探索。一类顺序是单独熟悉一个"全国模子"，手脚模拟器来生成空虚的熟悉轨迹，或者在推理时扶植谋划。这类顺序的代价是：你需要额外一套模子、额外一套熟悉经由，推理时还要多走一遍模拟才能，系统复杂度大幅高涨。另一类顺序是先给模子灌输全国建模身手，再开动强化学习熟悉，相等于分两个阶段完成。这相同意味着更多的时间和资源参加，何况两阶段的结合自己便是个艰巨事。

PaW的念念路则完全不同。议论团队发现，强化学习的熟悉过程中其实早已藏着多半的全国建模素材，只是没东说念主用过它们。

二、被苛刻的"免费讲义"：熟悉轨迹里的矿藏

每一次智能体实际熟悉任务，都会留住一段"轨迹记载"，样子大约如下：现时景况 → 实际了什么动作 → 获取了什么奖励 → 环境变成了什么新景况。传统的强化学习只使用前三项——景况、动作、奖励——来更新智能体的战略。而阿谁"环境变成了什么新景况"，也便是动作之后的不雅测为止，一直被白白丢弃。

议论团队的中枢知悉在于：每一条轨迹中的"动作→新不雅测"配对，自然便是一份全国建模的熟悉样本。只消让智能体学会根据现时景况和动作来计算下一步的不雅测，它就在熟悉知道环境动态。而这份熟悉材料，每一轮熟悉都在免费产生，完全不需要额外网络。

具体到本事达成，PaW的作念法是：在原有的强化学习蚀本函数（也便是饱读舞智能体聘用高分动作的方针）除外，添加一个扶植的全国建模蚀本函数，条件归并个模子还要学会计算下一步的不雅测文本。两个方针共用归并套模子参数，在归并个熟悉才能里同期优化。由于说话模子自然的"因果耀目力"机制——背面的笔墨不行影响前边的计算——全国建模部分的监督信号不会打扰战略决策部分的学习，两者白璧青蝇。而在本色使用时，模子只需要平素生成动作，完全不需要额外的模拟才能，莫得任何推理支拨。

这就好比一个学厨的学徒，既在熟悉"下一步该作念什么操作"，又在熟悉"这个操作之后锅里会发生什么变化"，两件事同期学，用的是归并套熟悉材料，用时不变，却多学了一门作业。

不外，正如真实的熟悉场景里总有千般打扰要素，这份"免费讲义"也远非竣工干净。议论团队发现了三个必须惩办的本色问题，并为此分别假想了对应的惩办决议。

三、三说念工序，让"免费讲义"真碰巧用

第一个问题是：不是总共的动作都值得学。

在某些任务里，智能体会反复实际归并类高度详情的操作，比如在造谣房间里一遍又一随处走向方针物体。这类动作的为止险些是不错完全意想的，对学习环境动态莫得太大匡助，反而会让模子把太多元气心灵花在重叠的、低信息量的样本上。

PaW的第一个假想是"基于动作熵的数据筛选"。所谓"动作熵"，不错知道为智能体在聘用这个动作时有多纠结——要是它险些笃定地要选某个动作，熵就低；要是它对好几个选项都拿不准，熵就高。熵高的动作诠释这个决策点更重要、更复杂，开云2026世界杯赛程分析官网其对应的环境响应也更值得学习。PaW会从每轮熟悉产生的总共轨迹里，只挑出熵最高的那一部分调度样本来作念全国建模熟悉，默许比例是保留75%的高熵样本，丢弃低熵的重叠操作。这么既检朴了谋划资源，又保证了全国建模样本的质地。

第二个问题是：不雅测文本里时常搀和着"噪声"。

论文中举了两个天的确例子。在造谣家务任务ALFWorld里，相同是"掀开雪柜1"这个动作，在不同的环境实例里，掀开之后看到的东西完全不同——一次内部有杯子、番茄和酒瓶，另一次内部是碗、鸡蛋和马克杯。这种随即性意味着不雅测自己就不是完全可计算的。而在网购任务WebShop里，搜索为止里会搀和多半商品编号（比如"B09QQP3356"这么的ASIN码）和品牌称号，这些字符完全随即，根柢无法从语义上计算。

要是用圭臬的交叉熵蚀本来熟悉全国建模，模子会被动消耗多半元气心灵去"记着"这些随即字符，因为交叉熵蚀本对低概率计算的刑事使命成倍放大，一个险些不可能猜中的随即编号会产生极大的梯度信号，把模子的优化标的带歪。论文中的分析自大，在WebShop的场景下，交叉熵蚀本中高达32%的梯度份额来自那些被界说为"噪声"的词元，而MAE蚀本只消14%。

PaW的第二个假想是用"截断MAE蚀本"替代圭臬交叉熵。MAE蚀本（均皆备迂回蚀本）对低概率计算的刑事使命是线性的而非指数级的，自然对难以计算的词元更宽宏。在此基础上，议论团队还加入了一个置信度截断机制：要是模子对某个词元的计算概率照旧卓越了阈值（默许0.2），就以为这个词元照旧学得足够好了，径直从蚀本谋划中舍弃，不再施加梯度压力。这么一来，模子会专注于那些"还没学会但值得学"的不雅测词元，既不会在随即噪声上浪劳作气，也不会反复将就我方去"过度挂念"照旧掌执的内容。

第三个问题是：全国建模的扶植熟悉和强化学习的主熟悉之间，力量需要动态均衡。

要是给全国建模方针设立一个固定的、较大的权重，它可能会压过稀薄的奖励信号，让强化学习失去主导。但要是权重太小，扶植熟悉又险些莫得后果。更重要的是，不同的任务组在不同阶段对全国建模的需求是不同的——那些奖励很差、任务险些全部失败的熟悉组，正处于最需要知道环境动态的阶段；而那些照旧大部分得手的熟悉组，只需要接续精化战略就好。

PaW的第三个假想是"奖励自适合蚀本均衡"。每一组熟悉轨迹都有一个平均讲演，议论团队根据这个平均讲演动态谋划全国建模的权重：平均讲演越低，权重越大；平均讲演越高（接近满分），权重越小，让强化学习方针当然占主导。这个机制就像一位灵巧的磨真金不怕火，对基础差的队员多花时间素质战术旨趣，对照旧打得很好的队员则让他们更多地在实战中历练手段，而不是反复蔼然论。

三个假想组合在全部，形成了完整的PaW框架，KPL下注平台官方app下载2026最新版并被编写成一个温暖的熟悉算法：每轮熟悉，先网罗轨迹，然后筛选高熵调度样本，用截断MAE谋划全国建模蚀本，用奖励自适合总共休养权重，临了和强化学习蚀本合并，同期更新模子参数。总共这个词经由不需要额外的模子推理，也不需要额外的数据网罗，比拟基础强化学习只加多了约2.1%的熟悉时间和2.4%的GPU内存占用。

四、三个战场，PaW的实战收成单

议论团队在三类不同的任务上评测了PaW的后果，使用的基础模子涵盖了不同限制和系列，强化学习算法也不啻一种。

第一个战场是造谣家务任务ALFWorld。这个环境里，智能体需要在造谣房间中完成六类家务，包括把某件物品捡起放到指定所在、在灯下查验物品、清洗物品、加热物品、冷却物品，以及一次性捡起两件物品。任务最长可达50步，每一步的操作都会对环境景况产生影响，是典型的长序列决策任务。

在1.5B参数限制的Qwen2.5模子上，搭配GRPO算法，PaW把举座得手率从70.0%进步到了77.9%，进步了7.9个百分点。搭配更先进的GIGPO算法，举座得手率从87.6%进步到90.4%，进步2.8个百分点。在7B参数限制的更大模子上，GRPO搭配PaW从77.6%进步到80.6%，GIGPO搭配PaW从90.8%进步到91.8%。进步幅度随模子身手增强而有所收窄，这是合理的——越利弊的模子自己照旧更接近天花板，进步空间当然更小。

第二个战场是网购任务WebShop。这个环境里，智能体需要在一个包含11万多件商品的造谣电商平台上，根据用户的购物需求搜索并购买合适的商品，任务最长15步。这个场景的特殊性在于商品页面包含多半随即文本，恰是前边提到的"噪声不雅测"最严重的所在，亦然截断MAE蚀本说明作用的中枢场景。

为止自大，PaW在WebShop上带来了更大的进步。1.5B模子上，GRPO搭配PaW的得手率从60.6%跃升至68.6%，进步8.0个百分点；GIGPO搭配PaW从66.2%进步至75.3%，进步9.1个百分点。7B模子上，两种算法分别进步4.0和2.9个百分点。

第三个战场是多轮搜索问答任务。这类任务条件智能体通过多轮调用搜索引擎来复兴问题，障翳了七个不同的问答数据集，包括单跳问答（一次搜索能复兴的）和多跳问答（需要屡次搜索、综合推理才能复兴的）。在3B和7B限制的Qwen2.5模子上，PaW对GRPO和GIGPO都带来了踏实的进步，对等分进步幅度在0.9到3.0个百分点之间。

除了这三个主要战场，议论团队还特地测试了PaW在不同强化学习算法和不同模子眷属上的泛化身手。PPO算法搭配PaW，WebShop得手率从59.1%进步到65.2%，进步6.1个百分点；RLOO算法搭配PaW从56.7%进步到61.2%，进步4.5个百分点。在模子眷属方面，Qwen3-1.7B搭配PaW进步8.8个百分点，更大的Qwen2.5-14B进步2.4个百分点。这些数据标明PaW不依赖于某种特定算法或模子架构，而是一种精深适用的增强顺序。

五、当鄙俚强化学习透彻失效，PaW依然能救场

议论中最引东说念主温雅的一个发现，是PaW在"鄙俚强化学习根柢学不动"的极点场景下的弘扬。

用Llama3.2-3B模子在WebShop上作念GRPO熟悉，为止熟悉了150步，模子的得手率长久在0近邻徬徨——险些总共的任务都失败了，奖励信号特别稀薄，相等于学生作念了150说念题，每次都是零分，完全不知说念我方到底那里出了错。在这种情况下，强化学习失去了不错学习的信号，熟悉堕入停滞。

加入PaW之后，情况发生了戏剧性的转机。尽管任务奖励依然爱戴，全国建模的蚀本却提供了密集的学习信号——模子每一步都在尝试计算"实际这个动作之后，购物网站会自大什么"，这个熟悉不依赖任务是否得手，只消有景况-动作-新景况的三元组就能进行。通过这种方式，模子逐渐积贮了对环境运转方式的知道，最终开动产生得手的购物轨迹，为强化学习提供了正向奖励信号，熟悉得以接续推动。最终得手率从险些为零的4.0%跃升至62.2%，进步了惊东说念主的58.2个百分点。

这个为止揭示了PaW的一个额外价值：它不单是是对照旧在学的强化学习的诚心诚意，还不错在稀薄奖励的转折场景下饰演"引路东说念主"的变装，匡助智能体从零开动找到学习的标的。

六、消融实验：三个假想不可偏废

议论团队还作念了一系列消融实验，特地考证PaW三个中枢假想的各自孝敬。

要是把奖励自适合权重去掉，改为对总共熟悉组使用固定的权重1，ALFWorld得手率从77.9%着落到75.5%，WebShop从68.6%着落到67.0%。两项任务都着落了，诠释自适合权重确乎有助于均衡扶植熟悉和主熟悉之间的关系。

更大的影响来自蚀本函数的聘用。要是把截断MAE蚀本换回圭臬的交叉熵蚀本，ALFWorld得手率从77.9%骤降至68.5%，WebShop从68.6%骤降至57.2%——后者以致比莫得PaW的基础GRPO（60.6%）还要差。这个为止特别昭着：在有噪声不雅测的环境里，造作的蚀本函数不仅帮不上忙，反而会牵累主任务的学习。交叉熵蚀本对随即噪声词元的过度刑事使命，会把模子的优化资源引向造作的标的，导致战略学习受损。

议论团队还测试了熵聘用比例α和截断阈值ρ两个超参数的明锐性。为止自大，在较宽的参数边界内（α从0.25到1.0，ρ从0.0到0.8），PaW都能带来比基础GRPO更好的收成，最好值分别在α=0.75和ρ=0.2近邻。这意味着PaW对超参数不黑白凡明锐，不需要详细休养也能服务。

说到底，PaW作念的事情不错用一句话详尽：它发现了强化学习熟悉过程中被持久苛刻的"边角料"，把它们变成了有价值的学习材料，匡助智能体在熟悉"作念什么"的同期顺带学会了"作念了会何如"。这种双管皆下的熟悉方式，不需要额外的资本，却带来了实实在在的身手进步。

关于鄙俚东说念主而言，这项议论的酷爱在于：畴昔那些帮你购物、帮你查贵府、帮你操作电脑的AI助手，可能会因为访佛的熟悉方式而变得愈加灵巧庄重，不仅知说念该作念什么，还真实知道每一步操作会带来什么后果——而这种知道，恰是让AI助手在复杂、真实的任务中不出错的重要。

固然，议论团队也坦诚地指出了现时框架的局限。PaW现在只学习"下一步的不雅测"，关于更永久的多步影响链条，还莫得显式建模。在某些任务里，一个动作的真实影响可能要好几步之后才会体现，这部分身手还需要畴昔的服务来探索。此外，熟悉轨迹中可能存在多半重叠的旅途，这会使全国建模的学习样本产生偏差，怎样引入千般性采样亦然一个值得深化的标的。感兴味的读者不错通过arXiv:2606.02388查阅完整论文，了解总共本事细节。

Q&A

Q1：PaW框架是什么，和鄙俚强化学习熟悉有什么不同？

A：PaW是一种战略与全国建模协同熟悉框架。鄙俚强化学习只用"作念了什么动作、得了若干分"来更新模子，而PaW额外行使了熟悉过程中产生的"动作之后环境变成什么样"这一信息，让模子同期学会计算下一步的环境景况。总共这个词过程共用归并套熟悉数据，不需要额外的模子或数据网络，推理时也莫得任何额外支拨。

Q2：截断MAE蚀本为什么比交叉熵蚀本更适合全国建模熟悉？

A：在网购、家务等真实环境里，不雅测文本中包含多半随即字符（如商品编号、品牌名等），根柢无法从语义上计算。圭臬交叉熵蚀本对这类低概率计算的刑事使命会成倍放大，导致模子把多半优化资源花在"记噪声"上，反而打扰了主任务的战略学习。截断MAE蚀本对低概率词元的刑事使命是线性的，加上置信度截断机制，只温雅"还没学会且值得学"的内容，幸免了这种打扰，实验自大替换蚀本函数后WebShop得手率进步卓越11个百分点。

Q3：PaW在强化学习完全学不动的情况下的确灵验吗？

A：有实考字据复古。用Llama3.2-3B模子在WebShop上作念鄙俚GRPO熟悉，熟悉150步后得手率仍接近零，奖励信号特别稀薄，熟悉堕入停滞。加入PaW后，全国建模蚀本提供了密集的学习信号——每一步都在计算环境变化，不依赖任务是否得手。模子借此积贮了对环境的知道，逐渐产生得手轨迹王者荣耀下注平台官方免费下载，最终得手率从4.0%跃升至62.2%，进步了58.2个百分点。