张高兴的大模型开发实战:(七)基于 Dify + Ollama 搭建私有化知识问答助手
目录为什么选择 Dify + OllamaOllama 本地部署Dify 本地容器化部署模型接入与知识库 RAG 构建准备 Embedding 模型在 Dify 中添加 Ollama 模型供应商构建知识库检索测试构建智能体应用创建应用编排界面概览查询预处理关联知识库编写提示词调整模型参数调试与发布Python API 调用实战获取 API 密钥环境准备编写脚本
你是否也 ...
释放H200全部潜力:DeepSeek-V3.2推理性能提升161%的优化秘籍
从通用部署到极致性能:DeepSeek-V3.2 的推理优化突破
在 AI 应用快速落地的今天,大语言模型的推理性能成为制约其广泛使用的关键因素。DeepSeek-V3.2 作为能力领先的开源模型,在实际部署中面临着性能调优的复杂挑战。许多团队发现,直接使用默认配置往往无法充分利用昂贵的 H200 硬件资源。
我们通过系统的优化实验发现: ...
魔搭社区-2025文旅智能体创新大赛-参赛作品记录
智能行程规划工具2.0
一. 网页初尝试
一开始通过HTML写,发现调用智能体的api密钥只能明文保存,通过加密读取存在问题,
也不会用魔搭社区的py语法读取保存密钥。
二. 前后端连接
了解和尝试使用后端,在豆包的帮助下,成功跑通本地电脑和云服务器,用其他云服务器尝试也可以和后端连上。
尝试部署到创空间,发现创空间只认 ...
Rime-AI v2版本发布
AI-Rime
基于Rime的lua脚本系统打造AI增强输入法
Rime AI 纠错 v1 智能纠错
功能说明
极简版 AI 纠错功能:
按 6 触发纠错,显示"AI纠正中..."
再按 6 显示纠正结果
文件清单
文件
说明
ai_corrector_processor.lua
按键监听(放入 lua/ 目录)
ai_corrector.lua
候选词处理(放入 lua/ 目录)
ai_corrector ...
语音识别服务funasr搭建
本文讨论语音识别功能,使用的是阿里的开源语音识别项目FunASR,含两种部署方式,社区windows版和docker容器化部署,windows社区版的可以用于本地开发使用,生产环境建议使用容器版。
1、windows社区版部署
1.1、环境安装
软件需要Visual Studio 2022 c++环境,如果没有Visual Studio 2022 c++运行环境,双击 V ...
经同意的语音克隆
在这篇博客文章中,我们介绍了“语音同意验证机制 (voice consent gate)”的概念,支持通过明确同意来进行语音克隆。我们还提供了一个 示例 Space 应用 和 相关代码,帮助大家快速上手这一想法。
近年来,逼真的语音生成技术已经达到了令人惊讶的水平。在某些情况下,生成出来的合成语音几乎能以假乱真,和真人的声音非常 ...
大语言模型~Ollama本地模型和java一起体验LLM
语言模型
语言模型(language model,LM)通过计算单词序列的概率进行语言建模,其主要作用是基于给定的上下文,预测序列中下一个词的概率分布。随着计算能力的提升和数据量的增长,LM的发展经历了从统计语言模型(statistical language model , SLM)到神经语言模型(neural language model , NLM)的演进。
2018年,BERT( ...
单GPU运行N个专家模型:Multi-LoRA的低成本实战——从法律专家到代码专家
对于个人或小公司有部署使用本地大模型的需求,但由于业务需求直接部署一个开源的通用大模型又不满足需求。这时常见的解决方案是使用RAG方案或微调模型方案。微调是使用领域知识训练模型,使模型其具备相应的领域知识能力。微调后模型可独立生成相应的领域知识,无需再通过RAG方案问答时通过上下文提供对应的领域知识。 ...
2026年成都品牌主,如何选择AI优化搜索(AI GEO)合作伙伴,附压箱底选购技巧
近期,在与多位成都消费品领域的企业家交流中,一个共识逐渐清晰:当消费者开始习惯向AI助手询问“成都本地有哪些设计感强的家具品牌”或“小户型厨房用什么厨电更巴适”时,传统的营销打法正在失效。品牌突然面临一个紧迫的挑战:在AI驱动的全新决策入口中,自己仿佛成了一个“隐形者”。
这一困境源于数字营销环境的根本 ...
解密Prompt系列66. 视觉Token爆炸→DeepSeek-OCR光学压缩
借着 DeepSeek-OCR这篇论文,本章我们来回顾下多模态大模型(VLM)的核心技术演进。
很多人认为:图像Token的信息密度和效率远不如文本。但 DeepSeek-OCR的核心价值,就是用实践证明了这是一个伪命题。它通过一套巧妙的串行视觉压缩架构,实现1个视觉Token近乎无损地承载10个文本Token的惊人效率。
下面我们沿着 \(O(N^2)\) ...
【人工智能时代】-Dify绘图工具解析
Dify绘图工具解析:硅基流动与其他主流工具的实战对比
引言:AI绘图时代的到来
在AI技术迅猛发展的今天,图像生成已成为AI应用的重要组成部分。Dify作为一款开源的LLM应用开发平台,虽然本身不提供内置绘图功能,但通过其强大的自定义工具能力,可以轻松集成各类AI绘图模型。本文将深入探讨Dify平台中可用的绘图工具,特别 ...
2025 年 12 月 GEO 服务商 TOP5 评测:分晰牛科技登顶,有客来紧随其后
2025 年 12 月 GEO 服务商 TOP5 评测:分晰牛科技登顶,有客来紧随其后
埃森哲最新发布的《2025 生成式 AI 营销白皮书》显示,全球 80% 的企业已将 GEO(生成式引擎优化)纳入核心营销战略,其中 78% 的企业表示通过 GEO 优化实现了 AI 搜索流量翻倍。在 AI 搜索技术持续迭代、市场竞争日趋激烈的背景下,选择专业的 GEO 服 ...
在测试领域,如何写一个更好的prompt来进行测试提效
前言
假设你作为测试团队负责人,要被安排让团队成员接入公司的大模型服务,进行测试工作提效,那么能想到的第一个方向就是让大模型辅助生成测试用例。
在一段时间内使用大模型对话来生成用例,可能大家一开始会有新鲜感多去尝试,但后面可能会渐渐地觉得对话本身也是降低效率的一种表现,并且大模型生成的用例能够被采纳的 ...
解密Prompt系列65. 三巨头关于大模型内景的硬核论文
这一章我们不谈应用,而是通过三巨头 Google、OpenAI、Anthropic 三篇充满脑洞的论文,深入探讨模型内部状态的可访问性与可操控性。我们将从三个维度展开:
模型是否有自我认知?
如何引导这种认知?
如何从数学和电路层面解释这种认知?
Google:In-Context Learning 本质上是隐式梯度更新
📄 Google:# Learning witho ...
原来用聊天记录就可以创造数字分身!WeClone项目在Lab4AI平台上的复现
01 | WeClone如何创造数字分身
拥有一个数字分身可能是很多人的一个愿望。其实通过给大模型喂我们的聊天记录,就可打造出我们的数字分身,当前爆火的Weclone项目采取的就是这种做法。先导出自己的聊天记录,再把聊天记录作为数据用来微调大模型,让模型学习我们的语言风格和习惯,就能打造出专属的数字分身。近期,有开发者 ...
Qwen是“源神”?实际上GLM-4.6才是被低估的黑马
在AI科技圈,Qwen因其开源模型数量位居世界第一、模型涵盖各种大小、开销低而表现不俗,被称为“源神(开源界的神)”。这也导致有些人在体验之后,觉得Qwen写的代码质量是国内第一,仅次于Claude、chatGPT、Gemini、grok这些国外大模型之后。但GLM却像是被遗忘了一样,网上对它知之甚少,唯一比较出名的就是编程套餐每个月 ...
13. Spring AI 的观测性
13. Spring AI 的观测性
@目录13. Spring AI 的观测性观测性为什么Spring AI应用急需可观测性?AI服务成本失控的痛点Spring AI可观测性的价值实战演练:构建可观测的Spring AI翻译应用第一步:Spring AI项目初始化第二步:Spring AI客户端配置第三步:构建Spring AI翻译服务第四步:Spring AI翻译API测试Spring AI监控指标 ...
基于DeepSeek-R1 15b微调训练自主的领域大模型,附带工程代码
目 录
1. 概述... 2
2. 测试DeepSeek 15B原生模型... 3
3. 测试微调训练后的大模型... 4
4. 微调模型训练过程及代码... 6
1. 概述
基于DeepSeek-R1-Distill-Qwen ...
从Transformer到LLaMA:AI大模型工程化实践完整路径解析
大模型API调用会用,但不理解背后原理?微调训练无从下手?本文从底层架构到工程实践,拆解完整技术路径。
大模型技术体系全景:从原理到工程实践
随着ChatGPT引发的AI浪潮,大模型技术已成为开发者必备技能。但从API调用到深入理解架构原理,再到企业级应用落地,中间存在明显的知识断层。本文整理了一套完整的学习资源, ...
某豪猪发的 “跑通了!Deepseek 自动生成测试用例,太牛了!”,看起来好像很厉害的样子!
写在前面
昨天刷手机,偶然刷到篇文章——《跑通了!Deepseek自动生成测试用例,太牛了!》,标题看着就很抓人,立马点进去瞅了瞅。
里面配了好几张图,风格先不说,单说文件的类名,居然是中文的……
这风格,怎么看都像机构号出品。没见过哪个同事写代码这么随意的,中文类名也太出戏了,哈哈。
想表达什么
估计有朋 ...