在华为 910B 上部署模型推理服务
前言之前接手了一个 8 卡 910B 的华为服务器集群,性能看上去还是可以的,但是平时几乎没啥人用(可能是华为卡真的很难用吧),闲来无事,拉了几台机器来玩玩(反正我使用 kubernetes 部署的,想要让出来直接 kubectl delete 就是了),主要是用于自己部署一些开源大模型。 ...
前言之前接手了一个 8 卡 910B 的华为服务器集群,性能看上去还是可以的,但是平时几乎没啥人用(可能是华为卡真的很难用吧),闲来无事,拉了几台机器来玩玩(反正我使用 kubernetes 部署的,想要让出来直接 kubectl delete 就是了),主要是用于自己部署一些开源大模型。 ...
前言昨天早上起来,本想着使用 codex 给我分析一下 nginx 最新的 CVE 的原理,结果发现,我的中转站一直在超时,于是我检查了一下反代号,发现额度更新刷不出来了,心想,又一次,代理掉了,一般来说只是因为梯子不稳而已,并不少见。 ...
前言通常,代理通常有两种方式,一种是开放端口,让需要代理的应用主动通过暴露的端口被代理访问远程服务;一种是使用 tun mode,即虚拟网卡模式,所有流量都会被虚拟网卡设备拦截从而被动代理访问远程服务。 对我来说,我并不希望在我的服务器上采取被动方式,因为它会对服务器上的所有应用产生影响,而且一旦代理软件崩溃退出,我将无法访问互联网,而且会影响比如 ping 等工具的执行(拦截 ICMP 数据包),这是极其不好的,因此平时在我的服务器上,我更倾向于使用主动方式,只有应用需要被代理才会主动去访问代理端口。 ...