基于DeepSeek-R1 15b微调训练自主的领域大模型，附带工程代码

爱你的人是我 發表於 2025-11-18 13:15:00

基于DeepSeek-R1 15b微调训练自主的领域大模型，附带工程代码

目       录
1.     概述... 2
2.     测试DeepSeek 15B原生模型... 3
3.     测试微调训练后的大模型... 4
4.     微调模型训练过程及代码... 6
<blockquote>
<h1>1.   概述</h1>
</blockquote>
　　基于DeepSeek-R1-Distill-Qwen-1.5B模型训练自主的领域大模型，例如打造针对钢铁、矿山、有色、稀土、建材、加工制造等领域的大模型。促进大模型技术在具体领域的应用与落地，助力行业向智能制造转型升级。
　　本文介绍：
　　（1）基础模型DeepSeek-R1-Distill-Qwen-1.5B与微调训练后的deepseek-1.5b-lora模型使用对比。
　　（2）微调训练模型的过程及Python代码。
　　下载代码：https://github.com/wxzz/iNeuOS_LLM。
 
<img src="https://img2024.cnblogs.com/blog/279374/202511/279374-20251118134058926-130510121.png" alt="image" loading="lazy">
 
<blockquote>
<h1>2.   测试DeepSeek-R1 15B原生模型</h1>
</blockquote>
<h2>2.1    提示词1：iNeuOS是什么？</h2>
结论：回答内容与iNeuOS不相关。
提问：iNeuOS是什么？
回答：如下图：
 <img src="https://img2024.cnblogs.com/blog/279374/202511/279374-20251118130746253-659292437.png" alt="1" loading="lazy">
<h2>2.2    提示词2：iNeuOS工业互联网操作系统的特点？</h2>
结论：回答内容说了一大堆废话，与提问内容不相关，浪费资源。
提问：iNeuOS工业互联网操作系统的特点？
回答：如下图：
 <img src="https://img2024.cnblogs.com/blog/279374/202511/279374-20251118130830294-251896638.png" alt="1" loading="lazy">
<h2>2.3    提示词3：iNeuOS工业互联网操作系统的功能介绍？</h2>
结论：回答内容说了一大堆英文，与提问内容不相关，浪费资源。
提问：iNeuOS工业互联网操作系统的功能介绍？
回答：如下图：
 <img src="https://img2024.cnblogs.com/blog/279374/202511/279374-20251118130853461-845076183.png" alt="1" loading="lazy">
<blockquote>
<h1>3.   测试微调训练后的大模型</h1>
</blockquote>
<h2>3.1    提示词1：iNeuOS是什么？</h2>
结论：回答的内容与iNeuOS有少许的相关性，但是回答的内容不成体系，可能与由于提问太过笼统、训练模型的数据集都有关系。
提问：iNeuOS是什么？
回答：如下图：
 <img src="https://img2024.cnblogs.com/blog/279374/202511/279374-20251118130958357-898914328.png" alt="1" loading="lazy">
<h2>3.2    提示词2：iNeuOS工业互联网操作系统的特点？</h2>
结论：相比提示词1，回答的内容与iNeuOS相关的内容更多了，回答的准确度提高了，内容更体系化。
提问：iNeuOS工业互联网操作系统的特点？
回答：如下图：
 <img src="https://img2024.cnblogs.com/blog/279374/202511/279374-20251118131028444-609166010.png" alt="1" loading="lazy">
<h2>3.3    提示词3：iNeuOS工业互联网操作系统的功能介绍？</h2>
结论：回答的内容大部分与训练模型的数据集相关，内容更有逻辑感。
提问：iNeuOS工业互联网操作系统的功能介绍？
回答：如下图：
 <img src="https://img2024.cnblogs.com/blog/279374/202511/279374-20251118131056521-523087901.png" alt="1" loading="lazy">
<h2>3.4    提示词4：写一份物联网的方案,包含数据采集、数据可视化、数据表报等</h2>
结论：增加回答难度，回答的内容基本与训练模型的数据集相关，如果提示词更完善，那么回答的内容更准确。
提问：依据iNeuOS工业互联网操作系统相关内容，写一份物联网的方案
回答：如下图：
 <img src="https://img2024.cnblogs.com/blog/279374/202511/279374-20251118131125560-1103465945.png" alt="1" loading="lazy">
<blockquote>
<h1>4.   微调模型训练过程及代码</h1>
</blockquote>
<h2>4.1    代码工程目录</h2>
　　下载代码：https://github.com/wxzz/iNeuOS_LLM。
<table border="1" cellspacing="0" cellpadding="0">
<tbody>
<tr>
<td valign="top" width="553">
LLM/
├───📂 deepseek-1.5b-lora-final/    //微调训练后的模型
├───📂 deepseek-1.5b-lora-merged/  //微调后模型与基础模型合并的模型
├───📂 deepseek-ai/
 
│   ├───📂 DeepSeek-R1-Distill-Qwen-1.5B/   //基础模型
├───📂 docx_input/  //生成数据集的基础Word文件
├───datasets.json/  //微调训练模型的输入数据集文件
├───merged_model.py/  //用于合并基础模型与微调后的模型
├───test_base_model.py/  //测试基础模型
├───test_merged_model.py/  //测试合并后的模型
├───test_train_model.py/  //测试微调后的模型
├───train_model.py/  //微调训练模型
├───training_dataset.json/  //转换Word生成的数据集文件
├───word_to_dataset.py/  //用于转换Word生成的数据集
</td>
</tr>
</tbody>
</table>
<h2>4.2    下载基础模型DeepSeek-R1-Distill-Qwen-1.5B</h2>
　　使用huggingface-cli下载基础模型，工具下载地址：https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B
<h2>4.3    准备数据集</h2>
（1）       把准备好的Word文件，放入docx_input文件夹。一共157个文件。如下图：
<img src="https://img2024.cnblogs.com/blog/279374/202511/279374-20251118135431044-797366051.png" alt="" style="display: block; margin-left: auto; margin-right: auto">
（2）       运行word_to_dataset.py代码，会生成training_dataset.json数据集文件，把training_dataset.json文件名称改为datasets.json。数据集有很大的调优空间。
<h2>4.4    训练模型</h2>
（1）       运行train_model.py，训练模型，以我的笔记本配置，训练完成datasets.json数据集需要将近4个小时。
（2）       训练完成的模型保存在deepseek-1.5b-lora-final目录下。
（3）       使用test_train_model.py代码测试基础模型与训练后的模型。
<h2>4.5    合并模型</h2>
（1）       运行merged_model.py代码，把基础模型与训练后的模型合并成一个整体的模型，保存在deepseek-1.5b-lora-merged目录下。
（2）       运行test_merged_model.py代码，测试合并后的模型。应用效果参见本文章节：测试微调训练后的大模型。
<blockquote>
<h1>5.   电脑配置</h1>
</blockquote>
<img src="https://img2024.cnblogs.com/blog/279374/202511/279374-20251118133354784-1677173099.png" alt="" width="444" height="189" style="display: block; margin-left: auto; margin-right: auto">
<hr>
物联网&大数据技术 QQ群：54256083
物联网&大数据项目 QQ群：727664080
QQ：504547114
微信：wxzz0151
博客：https://www.cnblogs.com/lsjwq
<img src="https://img2024.cnblogs.com/blog/279374/202509/279374-20250924180005285-1427975355.png" alt="image" width="193" height="96" class="lazyloaded medium-zoom-image" loading="lazy" src="https://img2024.cnblogs.com/blog/279374/202509/279374-20250924180005285-1427975355.png">
  
来源：https://www.cnblogs.com/lsjwq/p/19237068

頁: [1]

琼殿技术论坛's Archiver

基于DeepSeek-R1 15b微调训练自主的领域大模型，附带工程代码