Q&A

[1140310118]

你好！我注意到您发布了SentiWSP-large，请问您能否发布SentiWSP-base?

非常感谢你们团队所提出的情感预训练方法。本人最近也在做预训练相关的工作。我需要在多个下游任务上对多个预训练模型进行比较，这包括你们提出的模型。尽管很多情感预训练工作都是在bert-large/roberta-large的基础上上开展的，但是也有许多工作是在bert-base上进行的。为了公平的比较，我们希望您可以发布base尺寸的模型。

希望得到您的帮助！

[Fans-xmu]

好的，会尽快发布

[BeiCunNan]

您好，想问问您使用该模型后，如何获取像Bert一样的CLS句子表示呢，我尝试使用模型输出的last_hidden_state来获取隐藏层最后一层状态，但是似乎没有该属性

[Fans-xmu]

可以参考huggingface文档使用AutoModelForSequenceClassification加载model时，使用的就是cls处的句子表示过一个linear层变成class数量长度的vector做句子分类，也可以用其余的加载方式获取每个token位置的embedding表示用于词性标注任务等等