[AssertionError] 训练很久之后突然报错怎么排查？

[Pragmatism0220]

报错信息

  File "/home/user/app/mortal-v3/mortal/train.py", line 413, in <module>
    main()
  File "/home/user/app/mortal-v3/mortal/train.py", line 391, in main
    train()
  File "/home/user/app/mortal-v3/mortal/train.py", line 372, in train
    train_epoch()
  File "/home/user/app/mortal-v3/mortal/train.py", line 208, in train_epoch
    assert masks[range(batch_size), actions].all()
AssertionError
TRAIN:  33%|#########3                  | 133/400 [01:02<02:05,  2.13batch/s]

大概是训练了一天多之后遇到这个问题，怀疑是某个脏数据引起的？但是看了下源代码，数据集的信息貌似已经特征化了，有没有什么办法定位到错误文件呢？
我目前的解决方案是直接skip掉：

try:
    assert masks[range(batch_size), actions].all()
except AssertionError as e:
    logging.error(str(e))
    with open('error.log', 'a') as f_err:
        f_err.write('error at %s.\n' % str(datetime.now().strftime('%Y-%m-%d %H:%M:%S')))
else:
    q_target_mc = gamma ** steps_to_done * kyoku_rewards
    # ... 省略，直到下面

steps += 1
idx += 1

[Equim-chan]

用 validate_logs ，它就是做这个的。

[Pragmatism0220]

感谢，我之前忽略了文档里打包可执行文件的步骤，没有注意到这个。

[HALF111]

@Equim-chan
您好，想咨询下validate_logs是否是https://mortal.ekyu.moe/user/build.html目录下的[Build executable utilities](https://mortal.ekyu.moe/user/build.html#build-executable-utilities)呢。
我按照其生成了名为validate_logs和stat的可执行文件，但是对其使用方法并不了解😢。我试着对datasets目录遍历了一下，并且放了几个不完整的logs，但是并没有输出任何信息。

另外，我也会遇到mortal模型似乎会刚训练没多久（大概一两分钟都没到）就会自己提前停掉了，和这里不一样的是连assertion error也没有。正好也想咨询一下可能是什么原因呢！下图是我的输出。

另外我还看了一下，里面出现过了loaded 0 players，这是因为在config.toml中设置为空列表，不知道是否会和这个有关系呢😢。

谢谢您的解答了～

[Equim-chan]

@HALF111 这是因为你的数据太少了，按照 glob 只匹配到了 4 个，所以没多久就停了。

[HALF111]

@Equim-chan 居然是这样，我还想着先用少量样本试一试能否运行😂，看来得把全部数据加上去了。非常感谢啦！