Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

如果要部署到移动端并实时推理,wenet提取音频特征的步骤也一起放在移动端运行吗 #81

Open
consistent1997 opened this issue Nov 19, 2024 · 11 comments

Comments

@consistent1997
Copy link

大佬,请问一下,如果要在移动端实时接收音频实现实时推理,wenet网络提取音频特征这一步也要一起放在移动端吧,只有模型训练是在GPU上进行的是吗?

@nnmaitian
Copy link

是的 我也想请教作者这个。主要是wenet网络提取音频特征这一步的kaldi.fbank,在移动端如何实现,有没有对应的C++库。

@consistent1997
Copy link
Author

我的理解是作者提供的wenet模型已经是onnx了,进一步转化成移动端模型的格式就可以在移动端实现吧

@anliyuan
Copy link
Owner

是的 我也想请教作者这个。主要是wenet网络提取音频特征这一步的kaldi.fbank,在移动端如何实现,有没有对应的C++库。

这个底层本身就是C++的 可以摘出来

@anliyuan
Copy link
Owner

大佬,请问一下,如果要在移动端实时接收音频实现实时推理,wenet网络提取音频特征这一步也要一起放在移动端吧,只有模型训练是在GPU上进行的是吗?

是的

@nnmaitian
Copy link

模型推理部分是这样onnx转板端模型来推理,就是想知道wenet网络提取音频特征的部分,作者Python代码用的库是kaldi.fbank,这个库作者有没有板端实现的库,或者其他代替方式

@nnmaitian
Copy link

是的 我也想请教作者这个。主要是wenet网络提取音频特征这一步的kaldi.fbank,在移动端如何实现,有没有对应的C++库。

这个底层本身就是C++的 可以摘出来

OK 感谢 我去看一下 那有相关的工程推荐 或者文档说明吗

@consistent1997
Copy link
Author

模型推理部分是这样onnx转板端模型来推理,就是想知道wenet网络提取音频特征的部分,作者Python代码用的库是kaldi.fbank,这个库作者有没有板端实现的库,或者其他代替方式

get,是我理解上有误

@consistent1997
Copy link
Author

大佬,请问一下,如果要在移动端实时接收音频实现实时推理,wenet网络提取音频特征这一步也要一起放在移动端吧,只有模型训练是在GPU上进行的是吗?

是的

好的,感谢!

@drq123456
Copy link

大佬,请问一下,如果要在移动端实时接收音频实现实时推理,wenet网络提取音频特征这一步也要一起放在移动端吧,只有模型训练是在GPU上进行的是吗?

大佬,你好,请问你的wenet成功实现实时推理了吗

@consistent1997
Copy link
Author

大佬,请问一下,如果要在移动端实时接收音频实现实时推理,wenet网络提取音频特征这一步也要一起放在移动端吧,只有模型训练是在GPU上进行的是吗?

大佬,你好,请问你的wenet成功实现实时推理了吗

还没有哈,但是我在PC端写了一个工作流,使用wenet的onnx加上口型驱动模型基本上实时可以的

@lordlxh
Copy link

lordlxh commented Dec 10, 2024

是的 我也想请教作者这个。主要是wenet网络提取音频特征这一步的kaldi.fbank,在移动端如何实现,有没有对应的C++库。

这个底层本身就是C++的 可以摘出来

OK 感谢 我去看一下 那有相关的工程推荐 或者文档说明吗

您好,我最近也在看这个,请问kaldi.fbank的c++实现有没有相关的资料

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

5 participants