在华为 910B 上部署模型推理服务
前言之前接手了一个 8 卡 910B 的华为服务器集群,性能看上去还是可以的,但是平时几乎没啥人用(可能是华为卡真的很难用吧),闲来无事,拉了几台机器来玩玩(反正我使用 kubernetes 部署的,想要让出来直接 kubectl delete 就是了),主要是用于自己部署一些开源大模型。 ...
前言之前接手了一个 8 卡 910B 的华为服务器集群,性能看上去还是可以的,但是平时几乎没啥人用(可能是华为卡真的很难用吧),闲来无事,拉了几台机器来玩玩(反正我使用 kubernetes 部署的,想要让出来直接 kubectl delete 就是了),主要是用于自己部署一些开源大模型。 ...