dpo训练出现重复和随机的英文乱码

[liuanping]

Reminder

• I have read the above rules and searched the existing issues.

System Info

利用模型生成的多次输出，并基于大模型完成优和差的筛选对比构建了dpo训练数据，训练后发现出现了重复（特别是训练数据出现的重复更多），看了看loss感觉不能保证模型安按照target进行输出。是否应该改进下目前的loss 例如 simpo orpo sigmoid 这些loss我感觉应该都加一个sft（ce loss）来保证输出不要偏离了

Reproduction

Put your message here.

Others

No response