您好，请问模型回复的末尾偶尔会出现形如： "✿ARGS✿: {"query": "西游记，孙悟空"}"的特殊token，是什么原因呢？

[GreatWildFire]

我看到在qwen_fncall_prompt.py中有remove_incomplete_special_tokens函数来处理这个问题，但是还是会偶尔出现特殊的token。

此时并没有调用工具，只会在末尾出现"✿ARGS✿"特殊标记。

期待您的指导，谢谢。

[JianxinMa]

请问有简单的复现脚本吗？我看看。。

[GreatWildFire]

请问有简单的复现脚本吗？我看看。。

感谢您的回复。
还没有复现脚本，我的assistant是基于fncall_agent.py做的，这个问题只出现过一次，后续再测试就没出现过了。我再多尝试尝试，有新的发现我再请教您。

[GreatWildFire]

请问有简单的复现脚本吗？我看看。。

大佬您好，目前找到的原因是no function call时，函数remove_incomplete_special_tokens移除了以special tokens结尾或者不完整的special tokens内容。但对于生成的形如：✿ARGS✿: {"query": "西游记，孙悟空"} 的内容则无法移除。

Qwen-Agent/qwen_agent/llm/fncall_prompts/qwen_fncall_prompt.py

Line 354 in d84444d

def remove_incomplete_special_tokens(text: str) -> str: