Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

!!!!复现测评代码的几点询问 #20

Open
gudehhh666 opened this issue Oct 27, 2024 · 5 comments
Open

!!!!复现测评代码的几点询问 #20

gudehhh666 opened this issue Oct 27, 2024 · 5 comments

Comments

@gudehhh666
Copy link

作者您好!
您的工作让我受益匪浅,作为小白,冒昧向您询问一些测评代码的细节:
我们尝试使用pytorch-fid复现您文中的指标,但发现复现结果相较于文中结果差距还是比较大的(我们在您开源的权重上测试的结果较论文结果高了约30个点),请问这部分指标您具体是如何实现的,权重、transform等如何设置的,还请不吝赐教。
我们在测评的时候操作是,对于不同写作风格的作者生成的oov或iv样本(这里oov样本只有80个,iv样本114个)特征提取,同时对train以及test中所有样本进行特征提取,再进行FID计算
我们注意到这样运算非常耗时。
还请作者解答。(我们同时以相同手段复现VATr的结果,发现也高出很多,还请作者指教哪里有问题)

@dailenson
Copy link
Owner

您好~参考ganwriting的测评即可:https://github.com/omni-us/research-GANwriting

@dailenson dailenson pinned this issue Oct 28, 2024
@Js11252001
Copy link

@gudehhh666 请问您解决了吗,我使用ganwritting复现的oov-u的fid也比作者的高了20个点

@gudehhh666
Copy link
Author

@gudehhh666 请问您解决了吗,我使用ganwritting复现的oov-u的fid也比作者的高了20个点

我们还是没有解决,实际上我们每个指标都要高出大概10-20个点,并且对于VATr中的这几个指标,我们也不能完全复现。
不知道我们是否是在哪个环节出了问题,对于iv-s、iv-u、ood-v几个指标请问您可以正常复现吗?

@Js11252001
Copy link

我只是复现了oou-v的指标

@gudehhh666
Copy link
Author

我只是复现了oou-v的指标

您再复现一下其他指标试一试,看看咱们结果是否一致,我也很疑惑究竟哪方面出了问题。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

3 participants