关于mortal v3的强度和副露倾向

[Pragmatism0220]

主要有一些疑惑：

1. v3版本的mortal与之前版本相比，强度上是确实提升了、还是整体相当呢？
2. 像饼、呆呆这些麻将选手，他们整体的风格是“副露防守流”，特点是“较高的副露率（往往超过40%）、较低的放铳率（11~13%）、相对较低的打点→相对更高和牌率”。mortal是否有可能训练成这种“副露防守流”的风格呢？
3. 关于训练的疑惑：我目前的训练方式是离线+在线。设置了较大的batch size，在在线训练时则降低了lr，但是往往吃个饭或者睡个午觉之后模型就开始莫名其妙退步，pt变负、顺位变后，有没有什么训练的技巧？

如有打扰非常抱歉！

[Equim-chan]

1. 我这边所有有关具体模型间强度的论点均基于 1v3/3v1 test play 后的统计数据，见文档。不过准确地说这些只是 training session 间的强度差异，单纯问版本间的强度差异，我也不知道。
2. 我没有这么尝试过，你可以研究研究。
3. 较大是多大？降低是多低？offline 转 online 还改了哪些配置？描述得比较含糊。另外我想提一下，online 的确很难训练，很折磨，即便能练出来比 offline 更强的，在人类玩家看来很多细节反而像是退步了的。我觉得你可以多观察观察这些，或者说如果 online 在你那确实行不通，可以试着从别的方向去改进（欢迎 PR）。

[Nitasurin]

@Equim-chan 我以前取过几个深度强化学习常见的值和自己根据一些麻将数据计算出的值，代入gamma作offline转online train，但在长期看效果均不佳。您提到“ 虽然现在用的是1，我以前尝试过别的值”，是有什么考量嘛？

[Equim-chan]

@Niitsune 是实验的结果。以前尝试过别 $\gamma$ 值但效果不佳，反而 $\gamma$ = 1 虽然有点违背 MDP 的理论，但是效果不差。我的猜测是麻将里的 episode length 较难预测， $\gamma \in (0, 1)$ 的话会导致 discounted returns 的 variance 变大，反而不方便模型去估计。

[teble]

@Equim-chan 关于文档中mortal与akochan对抗时的配置，有修改pt分布等配置吗，我感觉ako的选择貌似与pt分布有很大关系，负和场选择更加谨慎，目前我测试使用的配置是mjai-reviewer中附带的tactics.json。

[Equim-chan]

@teble 有啊，文档里就分了 2 种不同 pt 分布的 akochan。

[teble]

@teble 有啊，文档里就分了 2 种不同 pt 分布的 akochan。

感谢解答，我以为那个只是最后计分pt分布，而不是代表akochan的配置pt。