AMD显卡部署修改成什么参数

[agottt0]

默认是model.cuda()用n卡部署
cpu是用.float()，a卡部署应该用什么？

[2768027860]

a卡不行 要n的cuda框架 或者你看看 torch支持有romc框架的版本 下下来 看看行不行 一般正常torch是cuda的 他代码有写自动识别为cuda然后以cuda运行

[purefire]

默认是model.cuda()用n卡部署 cpu是用.float()，a卡部署应该用什么？

你安装了amd所有的驱动、rocm版本的torch等一系列依赖之后，可以用openapi那个脚本跑跑看，跑得挺快的
脚本中用的是 model = AutoModel.from_pretrained(MODEL_PATH, trust_remote_code=True, device_map="auto").eval()