独立开发:高效集成大模型,看这篇就够了
目录一、简介二、集成原理三、提示词管理四、数据库设计五、接口设计1、大模型API基础2、阻塞响应3、Flux流式响应4、WebSocket会话六、前端对接1、接口对接思路2、WebSocket对接和设计使用方式简单使用检查连接状态发送消息架构优势性能优化代码简化扩展性强3、websocket的设计优化连接的断开时机1. 应用进入后台时断开2. ...
还在用 URL 传小图片?Base64 才是 API 设计的性能利器
本文已收录在Github,关注我,紧跟本系列专栏文章,咱们下篇再续!
🚀 魔都架构师 | 全网30W技术追随者
🔧 大厂分布式系统/数据中台实战专家
🏆 主导交易系统百万级流量调优 & 车联网平台架构
🧠 AIGC应用开发先行者 | 区块链落地实践者
🌍 以技术驱动创新,我们的征途是改变世界!
👉 实战干货:编程严选网
1 咋在文本世 ...
华为HCIE-AI笔试题解析
HCIE-AI笔试题
1.以下关于Google论文中标准transformer structure优点描述正确的有哪些选项?(多选)
A.可以获取输入的全局依赖信息。
B.Transformer的Encoder和Decoder可以并行独立计算,训练效率高。
C.计算资源利用率高,特征学习能力强。
D.每个block的输入输出维度不变,易于扩展和调整。
2.关于Transfo ...
大模型的监督微调
1.Chat Template
'1. 指令微调在预训练(LoRA微调)之后'
# 预训练使大模型成为“领域专家”
# 指令微调令大模型学会表达
每一个大模型的指令微调都不一样;
所以一定要根据官方发布的格式做指令微调
'2. Chat_Template的源代码'
# Chat_Template.py
from transformers import AutoModelForCausalLM, AutoTokenizer
import ...
大模型预训练
1.分组
'1. 两种训练方法'
从零开始预训练:BV1xhYtewEum 4分30秒
二次特定预训练:BV1xhYtewEum
2.创建LLM
'1. 创建模型核心流程'
(1)加载模型->(2)将模型放入显卡->(3)输入文本并分词->
(4)将分词放入显卡->(5)设置label->(6)模型输出->
(7)获取模型loss->(8)更新参数->(9)保存模型
'2. 创建模型核心代码'
#加载模型
mo ...
快速使用开发者空间AI Agent打造你的私人营养师
本文分享自华为云社区《快速使用华为开发者空间AI Agent打造你的私人营养师》,作者:社区云活动助手
本篇讲带你快速使用Agent部署,教你把“今天吃什么”现成MCP模板一键装进Agent,5分钟完成安装-配置-发布三连,现场就能在浏览器里跟AI营养师聊菜单。
华为开发者空间的Agent到底是什么?
简单来说, ...
搭建 Claude Code 镜像服务,打造高可控、安全稳定的 AI 编程助手
🚀 搭建 Claude Code 镜像服务,打造高可控、安全稳定的 AI 编程助手 —— 推荐项目 claude-relay-service
原创不易,欢迎点赞、收藏、关注!
近期热度迅速攀升的 AI 编码助手 Claude Code(Anthropic Claude),正在成为开发者们探索生产力工具的新宠。然而随着使用人数剧增,官方 API 接口时有波动,账号风险频发,安全 ...
给 DolphinScheduler 加一个 SQL Copilot 聊天助手,这个主意怎么样?
DolphinScheduler 准备引入 Copilot 聊天助手啦!借助大语言模型(如 OpenAI),帮助用户智能编写 SQL、优化代码、答疑解惑,大幅提升开发体验。
咱 DolphinScheduler 也是紧跟上 AI 智能化的脚步了,与时俱进不是挂在嘴上的,而是说干就干!这个超棒的想法目前还处于设计阶段,能不能尽快列入到 DolphinScheduler 的支持列 ...
HF Papers 直播| AI for Science 专场
AIGC热点大赛# 由 Hugging Face × OpenMMLab × ModelScope × 知乎 × 机智流等 联合发起的【AI Insight Talk】系列直播活动第三场即将开始!
AI 科学家时代正加速到来,但科研智能体真的做好准备了吗?真实科研场景中,多模态智能体能否在推理、规划与执行等关键能力上达到人类科研人员的水平?我们又该如何准确评估它们 ...
R²AIN SUITE AI赋能的一体化企业提效解决方案
为了在快速发展的时代浪潮中抢占先机,众多企业积极拥抱生成式 AI,麦肯锡数据显示,生成式人工智能的投资增长迅速,2017 - 2022 年风险投资和其他私人外部投资年均复合增长率为 74%。
Gartner则表示,到 2026 年,80% 以上的企业将在生产环境中使用生成式人工智能应用程序接口、模型或部署生成式人工智能应用程序。
生成 ...
5分钟带你搞懂从0打造一个ChatGPT
前言
欧阳上一次写文章还是4个月前,之所以断更有两个原因:换工作和业余时间ALL IN AI了。不管你是否承认,AI时代已经来了,依然埋头研究前端的那一亩三分地和源码在未来可能就是蒸汽时代被淘汰的纺织女工。
今年大家多多少少都有接触到AI相关的项目了,从前端的角度来看以前是调用后端的接口,现在改成了调用大模型提供的 ...
解决Dify的Ollama插件添加模型时保存成功但模型为空的问题
最近组里安排了点调研Dify任务。我跟着基于Docker+DeepSeek+Dify :搭建企业级本地私有化知识库超详细教程一步一步走,前面都挺顺利,但在Dify的Ollama中引入大模型这一步卡住了:按照原文,我添加了本地安装的deepseek-r1:1.5b,点击“保存”,提示“保存成功”但模型列表却是空的。
我摸索了半天,改了一通配置终于搞定, ...
从moved、ask到智能客户端:一次彻底搞懂RedisCluster的数据路由
本文已收录在Github,关注我,紧跟本系列专栏文章,咱们下篇再续!
🚀 魔都架构师 | 全网30W技术追随者
🔧 大厂分布式系统/数据中台实战专家
🏆 主导交易系统百万级流量调优 & 车联网平台架构
🧠 AIGC应用开发先行者 | 区块链落地实践者
🌍 以技术驱动创新,我们的征途是改变世界!
👉 实战干货:编程严选网
1 moved重定 ...
Huggingface 一键迁移 Modelscope 工具
用法
使用 hf-ms-transfer 迁移 Huggingface 模型、数据集到 modelscope 平台:
安装
pip install hf-ms-transfer # install
迁移
hf-ms-transfer "hf-user/hf-package" --ms-token "modelscope_token" --ms-name "modelscope_user_name" # transfer
# example: hf-ms-transfer "stanfordnlp/imdb" --ms-token "0234242 ...
解密prompt系列56.Agent context Engineering - 单智能体代码剖析
近期关于智能体设计有诸多观点,一个关键点让我豁然开朗——无论智能体是1个还是多个,是编排驱动还是自主决策,是静态预定义还是动态生成,Context上下文的管理机制始终是设计的核心命脉。它决定了:每个节点使用哪些信息?分别更新或修改哪些信息?多步骤间如何传递?智能体间是否共享、如何共享?后续篇章我们将剖析多个 ...
掌握 Spring Cloud Gateway 的 13 种路由方式:轻松构建灵活微服务网关
本文已收录在Github,关注我,紧跟本系列专栏文章,咱们下篇再续!
🚀 魔都架构师 | 全网30W技术追随者
🔧 大厂分布式系统/数据中台实战专家
🏆 主导交易系统百万级流量调优 & 车联网平台架构
🧠 AIGC应用开发先行者 | 区块链落地实践者
🌍 以技术驱动创新,我们的征途是改变世界!
👉 实战干货:编程严选网
Spring Cloud ...
MySQL 8.0 的隐藏索引:索引管理的利器,还是性能陷阱?
本文已收录在Github,关注我,紧跟本系列专栏文章,咱们下篇再续!
🚀 魔都架构师 | 全网30W技术追随者
🔧 大厂分布式系统/数据中台实战专家
🏆 主导交易系统百万级流量调优 & 车联网平台架构
🧠 AIGC应用开发先行者 | 区块链落地实践者
🌍 以技术驱动创新,我们的征途是改变世界!
👉 实战干货:编程严选网
0 前言
MySQL ...
Redis 数据倾斜?别慌!从成因到解决方案,一文帮你搞定
本文已收录在Github,关注我,紧跟本系列专栏文章,咱们下篇再续!
🚀 魔都架构师 | 全网30W技术追随者
🔧 大厂分布式系统/数据中台实战专家
🏆 主导交易系统百万级流量调优 & 车联网平台架构
🧠 AIGC应用开发先行者 | 区块链落地实践者
🌍 以技术驱动创新,我们的征途是改变世界!
👉 实战干货:编程严选网
分片集群中, ...
深度学习之息肉分割
深度学习课题总结
课题目标:
基于 3D 重建的早期结肠肿瘤分割。
背景:
结肠癌是全球 第三大常见致死癌症,每年新增患者 100-200 万,死亡约 70 万。
结肠镜是结肠癌筛查的 金标准,目标是检测潜在癌变的息肉:
高危息肉: 大小超过 1 cm,被 AGA 协会视为高风险肿瘤
恶变概率高: 大息肉最终发展为肿瘤的比例显著
然而, ...
Dify v1.1.0 发布:自定义元数据过滤,让知识检索更高效!
本文已收录在Github,关注我,紧跟本系列专栏文章,咱们下篇再续!
🚀 魔都架构师 | 全网30W技术追随者
🔧 大厂分布式系统/数据中台实战专家
🏆 主导交易系统百万级流量调优 & 车联网平台架构
🧠 AIGC应用开发先行者 | 区块链落地实践者
🌍 以技术驱动创新,我们的征途是改变世界!
👉 实战干货:编程严选网
0 前言
Dify ...