Reward ff: PPO总有了reward model 为何还要有critic model？ 如果是reward model

PPO总有了reward model 为何还要有critic model？ 如果是reward model 可以对response 做出评价？ 那这个评价如何对应到token level loss上？ 如果reward mod… 显示全部 关注者 76 被浏览 Fig 1. 大模型中的尺度扩展规律，测试集损失随着模型训练量、训练集数据量、模型参数量的增加而递减（即是模型性能递增）。 众所周知，奖励模型（Reward Model，RM）是LLM的训练管道 【一个典型的LLM训练管道包含有：预训练（Pretrain）、行为克隆（SFT）、人类偏好对齐（Preference Alignment）等几个过程，其中的人类偏好对齐部分，通常会采用奖励模型进行偏好打分，从LLM的 ... Reward（尤指因某一成就或善行获得的） 奖励，报酬，回报，如： 1. The police are offering a substantial reward for any information leading to the arrest of the murderer. 警方重金悬赏任何能使凶犯缉拿归案的线索。 2. He certainly merits such a reward. 他确实应得到这样的报酬. 在目前的RL算法中，需要对同一个prompt进行采样，如果采样而结果正确率（即reward全是正确）全是1，或者结果正确率（即reward）全是0， 则该组的 \hat {A} 仅为0，为0则不会产生梯度更新，降低样本的效率。