阿里控股

# 假设已存在： # model, old_model # optimizer # eps, beta # K: 每个 prompt 的 group size old_model.load_state_dict(model.state_dict()) old_model.eval() for step, batch in enumerate(dataloader): optimizer.zero_grad() total_loss = 0.0 for prompt in batch: # 1. 用 old policy 采样（不参与梯度） with torch.no_grad(): compl...