-
Notifications
You must be signed in to change notification settings - Fork 29
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
!!!!复现测评代码的几点询问 #20
Comments
您好~参考ganwriting的测评即可:https://github.com/omni-us/research-GANwriting |
@gudehhh666 请问您解决了吗,我使用ganwritting复现的oov-u的fid也比作者的高了20个点 |
我们还是没有解决,实际上我们每个指标都要高出大概10-20个点,并且对于VATr中的这几个指标,我们也不能完全复现。 |
我只是复现了oou-v的指标 |
您再复现一下其他指标试一试,看看咱们结果是否一致,我也很疑惑究竟哪方面出了问题。 |
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
作者您好!
您的工作让我受益匪浅,作为小白,冒昧向您询问一些测评代码的细节:
我们尝试使用pytorch-fid复现您文中的指标,但发现复现结果相较于文中结果差距还是比较大的(我们在您开源的权重上测试的结果较论文结果高了约30个点),请问这部分指标您具体是如何实现的,权重、transform等如何设置的,还请不吝赐教。
我们在测评的时候操作是,对于不同写作风格的作者生成的oov或iv样本(这里oov样本只有80个,iv样本114个)特征提取,同时对train以及test中所有样本进行特征提取,再进行FID计算
我们注意到这样运算非常耗时。
还请作者解答。(我们同时以相同手段复现VATr的结果,发现也高出很多,还请作者指教哪里有问题)
The text was updated successfully, but these errors were encountered: