Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

我想在jetson agx上运行您的 tensorrt 版本的depth anything?应该怎么做啊?tensorrt 不是8.6版本 #1

Open
deepuav opened this issue Mar 10, 2024 · 7 comments

Comments

@deepuav
Copy link

deepuav commented Mar 10, 2024

No description provided.

@thinvy
Copy link
Owner

thinvy commented Mar 13, 2024

不同的版本的tensorrt的engin模型文件支持好像不兼容,需要在jetson相同的tensorrt版本下重新从onnx导出plan文件,参考“模型转换”的第三步和trtexec官方的使用手册(另外稍微注意我的weight文件夹名字写错了可能会产生路径错误,之后会修复)

@deepuav
Copy link
Author

deepuav commented Mar 14, 2024

我看到您这边建议配置最新的tensorrt8.6版本,对transformer block的部署优化更好。我这边是tensorrt7.x不会收到影响吧?会降低速度?还是不能部署啊?

@thinvy
Copy link
Owner

thinvy commented Mar 14, 2024

tensorrt7是肯定能部署的,建议试一下用fp16精度直接推理,不要qat量化网络。tensorrt7和8对transformer的浮点推理性能上应该差距不会特别大

@deepuav
Copy link
Author

deepuav commented Mar 17, 2024

那太好了,我试试。fp16+int8混合用到qat量化网络吗?

@deepuav
Copy link
Author

deepuav commented Mar 17, 2024

您这边有没有打算做和ros节点。把深度图发布成ros话题?

@thinvy
Copy link
Owner

thinvy commented Mar 18, 2024

简单起见你先试一下直接导出fp16精度的模型试一下,这样不用qat

目前这个算法在不同光源下的尺度稳定性一般,暂时没想好如何让输出的深度稳定到真实世界的尺度(目前看很多人是用slam关键点配准),并且当前我暂时没有时间去进行开发,因此暂时没有打算做一个ros节点,你对这个问题有更好的想法欢迎交流

@deepuav
Copy link
Author

deepuav commented Mar 20, 2024

我们只用来做感知,不用来定位,所以只需要相对尺度就行。有时间我试试

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants