如何实现本地大模型与MCP集成

素婧流年 發表於 2025-5-31 20:14:00

<h1>1.概述</h1>
本文将围绕构建兼具本地运行大型语言模型（LLM）与MCP 集成能力的 AI 驱动工具展开，为读者提供从原理到实践的全流程指南。通过深度整合本地大模型的隐私性、可控性优势与 MCP 工具的自动化执行能力，帮助用户以低门槛、高效率的方式，打造个性化 AI 助手，实现任务自动化 —— 无论是文档处理、数据分析，还是流程调度等场景，均可通过这一集成方案，借助大模型的语义理解与推理能力，结合 MCP 工具的标准化接口，构建端到端的智能工作流，让 AI 真正成为提升生产力的核心引擎。
<h1>2.内容</h1>
<h2>2.1 环境准备</h2>
<ul>
<li>ollama</li>
<li>python==3.13.2</li>
<li>uv 0.6.12</li>
<li>Linux / macOS</li>
</ul>
大模型服务部署
<ul>
<li>安装ollama服务框架</li>
<li>通过ollama部署所需的大语言模型</li>
</ul>
开发环境配置
<ul>
<li>准备Python 3.13运行环境（推荐使用最新稳定版）</li>
<li>安装mcp服务开发所需的Python包</li>
</ul>
开发工具推荐
<ul>
<li>使用uv工具链（新一代Python项目管理工具）</li>
<li>功能覆盖：
<ul>
<li>Python版本管理</li>
<li>虚拟环境控制</li>
<li>依赖包管理</li>
<li>项目依赖维护</li>
</ul>
</li>
<li>优势：提供全流程的Python开发环境管理方案</li>
</ul>
<h2>2.2 ollama安装</h2>
访问ollama地址：https://ollama.com/，然后根据自己的环境下载对应的安装包，如下图所示：
<img src="https://img2024.cnblogs.com/blog/666745/202505/666745-20250531191045515-1999840362.png" alt="" loading="lazy">
安装好ollama后，启动服务后，可以执行命令来检查服务是否启动成功，如下图所示：
<img src="https://img2024.cnblogs.com/blog/666745/202505/666745-20250531191237899-238773271.png" alt="" loading="lazy">
 然后，我们在ollama的模型页面选择我们需要下载的大模型，可以根据自身机器的性能来选择不同规模的模型，如图所示：
<img src="https://img2024.cnblogs.com/blog/666745/202505/666745-20250531191935032-1436115815.png" alt="" loading="lazy">
 
安装完成对应的模型后，可以通过http://localhost:11434/api/tags访问查看安装在本地的模型信息，如图所示：
<img src="https://img2024.cnblogs.com/blog/666745/202505/666745-20250531192356364-186606724.png" alt="" loading="lazy">
<h2> 2.3 安装uv工具</h2>
安装 uv（通常指 Rust 编写的超快 Python 包安装工具 uv，由 Astral 团队开发）的常用方法如下：
1. 使用官方安装脚本（推荐） 运行以下命令一键安装（适合 Linux/macOS）：
<div class="cnblogs_code">
<pre>curl -LsSf https://astral.sh/uv/install.sh | sh</pre>
</div>
安装后按提示将 uv 加入 PATH 环境变量，或直接重启终端。
2. 通过 pip 安装 如果已配置 Python 环境，可直接用 pip 安装：
<div class="cnblogs_code">
<pre>pip install uv</pre>
</div>
3. 验证安装 运行以下命令检查是否成功：
<div class="cnblogs_code">
<pre>uv --version</pre>
</div>
<h1>3.编写MCP服务</h1>
环境准备好之后，我们就可以开始编写MCP服务了，这里我们编写一个简单的MCP服务，用于读取本地文件，实现代码如下所示：
<div class="cnblogs_code">
<pre>import os
import uvicorn
import logging
from dotenv import load_dotenv
from argparse import ArgumentParser
from mcp.server.fastmcp import FastMCP
from starlette.applications import Starlette
from starlette.requests import Request
from starlette.routing import Route, Mount
from mcp.server import Server
from mcp.server.sse import SseServerTransport

# 配置日志
logging.basicConfig(
level=logging.INFO,
format='%(asctime)s - %(name)s - %(levelname)s - %(message)s'
)
logger = logging.getLogger(__name__)

# 加载环境变量
load_dotenv()

class Config:
"""应用配置类"""
HOST = os.getenv('HOST', '0.0.0.0')
PORT = int(os.getenv('PORT', 8020))
DEBUG = os.getenv('DEBUG', 'False').lower() == 'true'
FILE_PATH = os.getenv(
 'FILE_PATH',
 '/Users/smartloli/workspace/vscode/1/data.txt'
)

# 初始化MCP
mcp = FastMCP("file_reader")

@mcp.tool()
async def read_file():
"""
读取配置文件中的数据

Returns:
 文件内容或错误信息
"""
file_path = Config.FILE_PATH
try:
 logger.info(f"Reading file: {file_path}")
 with open(file_path, 'r', encoding='utf-8') as file:
 return file.read()
except FileNotFoundError as e:
 logger.error(f"File not found: {file_path}")
 return {"error": "File not found", "details": str(e)}
except Exception as e:
 logger.exception(f"Error reading file: {file_path}")
 return {"error": "Unexpected error", "details": str(e)}

def create_starlette_app(mcp_server: Server) -> Starlette:
"""创建基于Starlette的MCP服务器应用

Args:
 mcp_server: MCP服务器实例

Returns:
 Starlette应用实例
"""
sse = SseServerTransport("/messages/")

async def handle_sse(request: Request) -> None:
 async with sse.connect_sse(
 request.scope,
 request.receive,
 request._send
 ) as (read_stream, write_stream):
 await mcp_server.run(
 read_stream,
 write_stream,
 mcp_server.create_initialization_options(),
 )

return Starlette(
 debug=Config.DEBUG,
 routes=[
 Route("/sse", endpoint=handle_sse),
 Mount("/messages/", app=sse.handle_post_message),
 ],
 on_startup=[lambda: logger.info("Server starting...")],
 on_shutdown=[lambda: logger.info("Server shutting down...")]
)

def parse_arguments():
"""解析命令行参数"""
parser = ArgumentParser(description='Run MCP SSE-based server')
parser.add_argument('--host', default=Config.HOST, help='Host to bind to')
parser.add_argument('--port', type=int,
 default=Config.PORT, help='Port to listen on')
parser.add_argument('--debug', action='store_true',
 help='Enable debug mode')
return parser.parse_args()

if __name__ == "__main__":
args = parse_arguments()

# 更新配置
Config.HOST = args.host
Config.PORT = args.port
Config.DEBUG = args.debug

# 启动服务器
mcp_server = mcp._mcp_server
starlette_app = create_starlette_app(mcp_server)

logger.info(f"Starting server on {Config.HOST}:{Config.PORT}")
uvicorn.run(
 starlette_app,
 host=Config.HOST,
 port=Config.PORT,
 log_level="info" if not Config.DEBUG else "debug"
)</pre>
</div>
 
然后，我们使用uv来启动MCP服务，执行命令如下：
<div class="cnblogs_code">
<pre>uv run file_list.py --host 0.0.0.0 --port 8020</pre>
</div>
启动成功后，显示如下图所示信息：
<img src="https://img2024.cnblogs.com/blog/666745/202505/666745-20250531193601661-1044786069.png" alt="" loading="lazy">
<h1>4.集成LLM 和 MCP</h1>
 准备好LLM服务和MCP服务之后，我们在Cherry Studio客户端上集成我们本地部署的LLM 和 MCP 服务，如下图所示：
1.配置本地文件搜索MCP服务
<img src="https://img2024.cnblogs.com/blog/666745/202505/666745-20250531194356582-1051601961.png" alt="" loading="lazy">
 2.集成本地LLM
<img src="https://img2024.cnblogs.com/blog/666745/202505/666745-20250531194536217-1948810406.png" alt="" loading="lazy">
 然后，在设置里面勾选“工具”就可以使用MCP服务了，如图所示：
<img src="https://img2024.cnblogs.com/blog/666745/202505/666745-20250531194700143-951741171.png" alt="" loading="lazy">
 3.测试本地LLM回答
<img src="https://img2024.cnblogs.com/blog/666745/202505/666745-20250531200016556-1705855351.png" alt="" loading="lazy">
 4.测试本地LLM & MCP调用
<img src="https://img2024.cnblogs.com/blog/666745/202505/666745-20250531200748456-366627597.png" alt="" loading="lazy">
 当我们开启MCP服务后，输入的搜索词中LLM会自行判断是否需要调用本地的MCP服务，这里我们通过搜索词触发LLM通过function去调用本地MCP服务。
<h1>5.总结</h1>
本文围绕本地大模型与模型上下文协议（MCP）的集成展开探索，重点揭示了通过 MCP 构建自定义 AI 工具的路径。通过适配不同开发环境与实际用例，MCP 为 AI 功能的跨场景整合提供了灵活框架，其核心优势体现在定制化能力上 —— 从模型选型到集成策略的全流程可调节性，使开发者能够基于具体需求打造精准适配的 AI 解决方案，展现了 MCP 在整合本地大模型时的多功能性与实践价值。
<h1>6.结束语</h1>
这篇博客就和大家分享到这里，如果大家在研究学习的过程当中有什么问题，可以加群进行讨论或发送邮件给我，我会尽我所能为您解答，与君共勉！
另外，博主出新书了《Hadoop与Spark大数据全景解析》、同时已出版的《深入理解Hive》、《Kafka并不难学》和《Hadoop大数据挖掘从入门到进阶实战》也可以和新书配套使用，喜欢的朋友或同学，可以在公告栏那里点击购买链接购买博主的书进行学习，在此感谢大家的支持。关注下面公众号，根据提示，可免费获取书籍的教学视频。

</div>
<div id="MySignature" role="contentinfo">
<div>

<div class="b d1 k">
联系方式：
 
邮箱：smartloli.org@gmail.com
 
QQ群（Hive与AI实战【新群】）：935396818
 
QQ群（Hadoop - 交流社区1）：424769183
 
QQ群（Kafka并不难学）：825943084
 
温馨提示：请大家加群的时候写上加群理由（姓名＋公司/学校），方便管理员审核，谢谢！
 
<h3>热爱生活，享受编程，与君共勉！</h3>
</div>

</div>
 
<div>

<div class="b d1 k">
<h3>公众号：</h3>
<h3><img style="width: 8%; margin-left: 10px" src="https://www.cnblogs.com/images/cnblogs_com/smartloli/1324636/t_qr.png"></h3>
</div>

</div>
 
<div>

<div class="b d1 k">
<h3>作者：哥不是小萝莉［关于我］［犒赏］</h3>
<h3>出处：http://www.cnblogs.com/smartloli/</h3>
<h3>转载请注明出处，谢谢合作！</h3>
</div>

</div> 
来源：https://www.cnblogs.com/smartloli/p/18905572

頁: [1]

琼殿技术论坛's Archiver

如何实现本地大模型与MCP集成