t-sne

[Zhengzkang]

帅哥，你好看到你文章，我发现t-sne是一个很有用的可视化工具，能不能请教一下代码和具体实施细节？

[Bohao-Lee]

您好，文中使用的t-sne可视化是对roi feature进行的可视化，通过对提取到的特征后，我们输入对应的ground truth的框来获取对应的roi feature

[Zhengzkang]

帅哥，我已经实现了对10shot进行可视化，用的是box_head的输出(N，1024)，然后用的自定义的数据集，但是可视化效果不好，如图所示，这是什么原因造成的嘞?模型权重?

[Bohao-Lee]

您好，请问下您是直接将自己的数据集直接微调训练吗，如果是这样，根据我的判断可能有几种原因，仅供您进行参考：
1、基础训练与微调训练数据集相差较大
2、数据集变化可能需要超参数的调整
3、不同类之间类语义相差较少，数据集的影响

[Zhengzkang]

您好，请问下您是直接将自己的数据集直接微调训练吗，如果是这样，根据我的判断可能有几种原因，仅供您进行参考： 1、基础训练与微调训练数据集相差较大 2、数据集变化可能需要超参数的调整 3、不同类之间类语义相差较少，数据集的影响

你好，我是在VOC上预训练，然后在自定义数据集上面微调，只微调新类，最后可视化的是novel 10-shot，这个是基类和新类数据集差异太大导致的？但是实验结果mAP和demo可视化都还可以，

[Bohao-Lee]

如果只是novel class的tsne效果一般，可能你需要调一下对比学习部分，或者新颖类之间类间语义比较相似，导致模型对于不同类之间的差别学习不是特别好，你可以尝试使用COCO数据集进行预训练或者调整对比学习模块部分中的温度参数等其他超参数。

[hjfdsssdg]

@Bohao-Lee 作者您好，请问做的tsne可视化是在新类模型微调结束后测试时画的吗？可以提供下实施的代码吗