互信息上界交流

[junkangwu]

抱歉打扰您～
我是在CLUB模型的issue中看到您和我有类似的训练问题，请问能否添加一个联系方向交流一下最小化互信息上界实现disentangle的思想？我训练自己模型中也出现了无法收敛的问题，具体情况为：

1. 按照club论文及其中例子所示，第一步训练log likehood �q(y|x),此时应当将encoder模型参数固定，而开放CLUB互信息学习模型参数；而第二部计算分类生成损失以及互信息上界时，此时CLUB参数应当固定，更新encoder参数。我一开始并没有对训练过程中参数进行固定或者开放，出现的情况为，upbound_loss从正逐渐降低，并且变为负数一直无法收敛；而今天意识到参数学习次序，即有选择性释放或者固定相应模型参数时，lld_loss维持在很高的水平（50左右）而互信息上界则由正数变为负数到-4慢慢从负数方向靠近0值附近。
2. 请问您目前相关研究进展怎样，如果有相同类似的目的，希望能够一起交流学习学习！感谢！

如有打扰，请多包涵！