LinuxでのAMD Rocmサポート

[KiYugadgeter]

内容

LinuxでのRocmのサポートがほしいです。

Pros 良くなる点

Linux環境かつAMD GPUの環境でもGPU推論が可能になる

Cons 悪くなる点

とくに思いつきませんが、なにかあるかもしれない??

実現方法

VOICEVOXのバージョン

0.?.0

OSの種類/ディストリ/バージョン

• Windows
• macOS
• Linux

その他

すでにONNXに対応しているので不可能ではない気がいたします

[Hiroshiba]

サポートできるならしたいですね！！

一番の問題は、ボイボのonmxモデルがonnxruntimeのROCm executorで動くかどうかだと思います。
これは実際にROCmを使うようコードを変えてビルドして、リポジトリ内のmodel/simple.vvm（zipファイルとして展開するとonnxファイルがあります）を使った実行ができるか試す、という作業が必要そうです。
ソースコードを「cuda」で全体検索しつつ、ひたすらrocmを足していく感じになるのかなと想像しています。
もしかしたらonnxruntimeのRustラッパーのこちらも
ROCm対応が必要かもです。
https://github.com/VOICEVOX/onnxruntime-rs

大変かもしれませんが、対応できれば安価に高速なボイボサーバーを立てられるようになるかもしれないので、需要は小さくないと思います。
開発にはROCm対応デバイスが必要ですが、 @KiYugadgeter さんはお持ちだったりされますか…？👀

[Hiroshiba]

@KiYugadgeter やっぱり対応を望まれる方が実際に実装まで行うのが一番なのかなと思っています！
もしよかったら挑戦してみませんか？
不明な範囲があれば積極的にお答えしたいと思います！