华为昇腾920b服务器部署DeepSeek翻车现场演示
<div id="navCategory"><h5 class="catalogue">目录</h5><ul class="first_class_ul"><li><a href="#_label0">硬件配置信息</a></li><ul class="second_class_ul"><li><a href="#_lab2_0_0">基本硬件信息</a></li><li><a href="#_lab2_0_1">NPU/GPU信息</a></li></ul><li><a href="#_label1">开始部署DeepSeek</a></li><ul class="second_class_ul"><li><a href="#_lab2_1_2">ollama方法</a></li><li><a href="#_lab2_1_3">使用 nohup ollama run</a></li></ul><li><a href="#_label2">容器部署方法</a></li><ul class="second_class_ul"></ul></ul></div><p>最近到祸一台HUAWEI Kunpeng 920 5250，先看看配置。之前是部署的讯飞大模型，发现资源利用率太低了。把5台减少到3台，就出了他</p><p class="maodian"><a name="_label0"></a></p><h2>硬件配置信息</h2>
<p class="maodian"><a name="_lab2_0_0"></a></p><h3>基本硬件信息</h3>
<p>按照惯例先来看看配置。一共3块盘，500G的系统盘，+ 2块3T固态，后面把固态硬盘也组合成了逻辑卷</p>
<p>内存是1.5T的，比我电脑硬盘都大</p>
<div class="jb51code"><pre class="brush:bash;"># lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTS
sda 8:0 0 446.6G0 disk
├─sda1 8:1 0 600M0 part /boot/efi
├─sda2 8:2 0 1G0 part /boot
└─sda3 8:3 0 445G0 part
├─openeuler-root 253:0 0 70G0 lvm/
├─openeuler-swap 253:1 0 4G0 lvm
└─openeuler-home 253:2 0 371G0 lvm/home
nvme1n1 259:0 0 2.9T0 disk
└─nvme1n1p1 259:4 0 2.9T0 part
└─vg_data01-lv_data01 253:3 0 5.8T0 lvm/data
nvme0n1 259:1 0 2.9T0 disk
└─nvme0n1p1 259:3 0 2.9T0 part
└─vg_data01-lv_data01 253:3 0 5.8T0 lvm/data
# df -Th | awk '$2 !~ /overlay/ && $2 !~ /tmpfs/'
文件系统 类型 容量已用可用 已用% 挂载点
/dev/mapper/openeuler-root ext4 69G 45G 21G 69% /
/dev/sda2 ext4 974M 72M835M 8% /boot
/dev/sda1 vfat 599M5.8M594M 1% /boot/efi
/dev/mapper/openeuler-home ext4 365G4.6G342G 2% /home
/dev/mapper/vg_data01-lv_data01 ext4 5.8T4.3T1.3T 78% /data</pre></div>
<div class="jb51code"><pre class="brush:bash;"># cat /etc/os-release
NAME="openEuler"
VERSION="22.03 LTS"
ID="openEuler"
VERSION_ID="22.03"
PRETTY_NAME="openEuler 22.03 LTS"
ANSI_COLOR="0;31"
# uname -a
Linux localhost.localdomain 5.10.0-60.18.0.50.oe2203.aarch64 #1 SMP Wed Mar 30 02:43:08 UTC 2022 aarch64 aarch64 aarch64 GNU/Linux
# lscpu
架构： aarch64
CPU 运行模式： 64-bit
字节序： Little Endian
CPU: 192
在线 CPU 列表： 0-191
厂商 ID： HiSilicon
BIOS Vendor ID: HiSilicon
型号名称： Kunpeng-920
BIOS Model name: HUAWEI Kunpeng 920 5250
型号： 0
每个核的线程数： 1
每个座的核数： 48
座： 4
步进： 0x1
Frequency boost: disabled
CPU 最大 MHz： 2600.0000
CPU 最小 MHz： 200.0000
BogoMIPS： 200.00
标记： fp asimd evtstrm aes pmull sha1 sha2 crc32 atomics fphp asimdhp cpuid asimdrdm jscvt fcma dcpop asimddp asimdfhm ssbs
Caches (sum of all):
L1d: 12 MiB (192 instances)
L1i: 12 MiB (192 instances)
L2: 96 MiB (192 instances)
L3: 192 MiB (8 instances)
NUMA:
NUMA 节点： 8
NUMA 节点0 CPU： 0-23
NUMA 节点1 CPU： 24-47
NUMA 节点2 CPU： 48-71
NUMA 节点3 CPU： 72-95
NUMA 节点4 CPU： 96-119
NUMA 节点5 CPU： 120-143
NUMA 节点6 CPU： 144-167
NUMA 节点7 CPU： 168-191
Vulnerabilities:
Itlb multihit: Not affected
L1tf: Not affected
Mds: Not affected
Meltdown: Not affected
Spec store bypass: Mitigation; Speculative Store Bypass disabled via prctl
Spectre v1: Mitigation; __user pointer sanitization
Spectre v2: Not affected
Srbds: Not affected
Tsx async abort: Not affected
# free -h
total used free sharedbuff/cache available
Mem: 1.5Ti 12Gi 26Gi 20Mi 1.4Ti 1.5Ti
Swap: 4.0Gi 12Mi 4.0Gi</pre></div>
<p class="maodian"><a name="_lab2_0_1"></a></p><h3>NPU/GPU信息</h3>
<p>由于没有部署任何AI、模型，所以空载着</p>
<div class="jb51code"><pre class="brush:bash;"># npu-smi info
+------------------------------------------------------------------------------------------------+
| npu-smi 24.1.rc1 Version: 24.1.rc1 |
+---------------------------+---------------+----------------------------------------------------+
| NPU Name | Health | Power(W) Temp(C) Hugepages-Usage(page)|
| Chip | Bus-Id | AICore(%) Memory-Usage(MB)HBM-Usage(MB) |
+===========================+===============+====================================================+
| 0 910B3 | OK | 89.7 35 0 / 0 |
| 0 | 0000:C1:00.0| 0 0 / 0 3159 / 65536 |
+===========================+===============+====================================================+
| 1 910B3 | OK | 88.6 38 0 / 0 |
| 0 | 0000:C2:00.0| 0 0 / 0 3159 / 65536 |
+===========================+===============+====================================================+
| 2 910B3 | OK | 91.8 36 0 / 0 |
| 0 | 0000:81:00.0| 0 0 / 0 3159 / 65536 |
+===========================+===============+====================================================+
| 3 910B3 | OK | 87.2 36 0 / 0 |
| 0 | 0000:82:00.0| 0 0 / 0 3159 / 65536 |
+===========================+===============+====================================================+
| 4 910B3 | OK | 88.8 41 0 / 0 |
| 0 | 0000:01:00.0| 0 0 / 0 3159 / 65536 |
+===========================+===============+====================================================+
| 5 910B3 | OK | 95.7 44 0 / 0 |
| 0 | 0000:02:00.0| 0 0 / 0 3159 / 65536 |
+===========================+===============+====================================================+
| 6 910B3 | OK | 93.5 39 0 / 0 |
| 0 | 0000:41:00.0| 0 0 / 0 3160 / 65536 |
+===========================+===============+====================================================+
| 7 910B3 | OK | 89.2 40 0 / 0 |
| 0 | 0000:42:00.0| 0 0 / 0 3160 / 65536 |
+===========================+===============+====================================================+
+---------------------------+---------------+----------------------------------------------------+
| NPU Chip | Process id | Process name | Process memory(MB) |
+===========================+===============+====================================================+
| No running processes found in NPU 0 |
+===========================+===============+====================================================+
| No running processes found in NPU 1 |
+===========================+===============+====================================================+
| No running processes found in NPU 2 |
+===========================+===============+====================================================+</pre></div>
<p class="maodian"><a name="_label1"></a></p><h2>开始部署DeepSeek</h2>
<p class="maodian"><a name="_lab2_1_2"></a></p><h3>ollama方法</h3>
<p>根据网上资料看，只要用ollama部署就行，后面发现这个行不通。因为ollama只适配了英伟达的GPU，像华为的根本就行不通啊，</p>
<p>ollama的安装脚本也是去下载英伟达的驱动，结果就是下载失败，就算下载成功了也不能安装上去</p>
<p>https://zhuanlan.zhihu.com/p/22081569918</p>
<p>0</p>
<p>最后折腾了很久</p>
<p class="maodian"><a name="_lab2_1_3"></a></p><h3>使用 nohup ollama run</h3>
<p>部署一个1.5B的试试，发现可以运行了。但是总觉得不对境。回答问题太慢了，用时3分钟。CPU使用率也是狂飙。NPU是一点没有使上劲啊</p>
<div class="jb51code"><pre class="brush:plain;">ollama run deepseek-r1:1.5b</pre></div>
<p style="text-align:center"><img alt="" src="https://img.jbzj.com/file_images/article/202502/2025021915245823.png" /></p>
<p class="maodian"><a name="_label2"></a></p><h2>容器部署方法</h2>
<p>最后决定下载权重+容器部署。结果这里就有遇到了坑点</p>
<p>需要用到git lfs 工具 和 华为的镜像。因为这是ARM服务器，所有git lfs命令也很难找，欧拉的yum源还没有提供，最后翻来覆去在github最新的V3.6.1找到了。使用二进制命令接安装脚本既可以实现。这样就能通过git install ，git push 去拉取近1TB的权重了</p>
<p>https://github.com/git-lfs/git-lfs/releases</p>
<p style="text-align:center"><img alt="" src="https://img.jbzj.com/file_images/article/202502/2025021915245824.png" /></p>
<p style="text-align:center"><img alt="" src="https://img.jbzj.com/file_images/article/202502/2025021915245825.png" /></p>
<p>再说说这个华为的镜像吧，不得不吐槽。华为这是把镜像当宝贝供着吗，下载还需要申请权限，不是一般人还申请不下来。还好我们这里条件都满足</p>
<p>晚上提交的申请，第二天早上就通过了</p>
<p style="text-align:center"><img alt="" src="https://img.jbzj.com/file_images/article/202502/2025021915245826.png" /></p>
<p>最后参照了好几个教程，不是启动失败，就吃出现权限拒绝，服了</p>
<p>华为服务器社区：https://www.hiascend.com/software/modelzoo/models/detail/68457b8a51324310aad9a0f55c3e56e3</p>
<p>天翼云社区： https://www.ctyun.cn/document/10027724/10944583</p>
<p style="text-align:center"><img alt="" src="https://img.jbzj.com/file_images/article/202502/2025021915245827.png" /></p>
<p style="text-align:center"><img alt="" src="https://img.jbzj.com/file_images/article/202502/2025021915245828.png" /></p>
<p>部署R1模型提示不兼容…</p>
<p>天翼云社区： https://www.ctyun.cn/document/10027724/10944583</p>
<p style="text-align:center"><img alt="" src="https://img.jbzj.com/file_images/article/202502/2025021915245829.png" /></p>
<p>部署R1模型提示不兼容…</p>
<p>到此这篇关于华为昇腾920b服务器部署DeepSeek翻车现场演示的文章就介绍到这了,更多相关昇腾920b服务器部署DeepSeek内容请搜索琼殿技术社区以前的文章或继续浏览下面的相关文章希望大家以后多多支持琼殿技术社区！</p>
頁:
[1]