AI大模型 今日: 0|主题: 313|排名: 11 

本文已收录在Github，关注我，紧跟本系列专栏文章，咱们下篇再续！ 🚀 魔都架构师 | 全网30W技术追随者 🔧 大厂分布式系统/数据中台实战专家 🏆 主导交易系统百万级流量调优 & 车联网平台架构 🧠 AIGC应用开发先行者 | 区块链落地实践者 🌍 以技术驱动创新，我们的征途是改变世界！ 👉 实战干货：编程严选网 2025年7月3日 ...

随着人工智能正在重塑从教育到国防的方方面面，数字主权已不再是一个长期的愿景，而是一个迫在眉睫的现实需求。 为了确保各国能够对影响其社会的人工智能系统进行治理、审核和建设，开源人工智能正成为实现自主可控、激发本土创新、重建公众信任的关键支柱。 什么是数字主权？ 数字主权是指一个国家或地区具备能力，依据自 ...

本文已收录在Github，关注我，紧跟本系列专栏文章，咱们下篇再续！ 🚀 魔都架构师 | 全网30W技术追随者 🔧 大厂分布式系统/数据中台实战专家 🏆 主导交易系统百万级流量调优 & 车联网平台架构 🧠 AIGC应用开发先行者 | 区块链落地实践者 🌍 以技术驱动创新，我们的征途是改变世界！ 👉 实战干货：编程严选网 0 前言 曼彻 ...

本文已收录在Github，关注我，紧跟本系列专栏文章，咱们下篇再续！ 🚀 魔都架构师 | 全网30W技术追随者 🔧 大厂分布式系统/数据中台实战专家 🏆 主导交易系统百万级流量调优 & 车联网平台架构 🧠 AIGC应用开发先行者 | 区块链落地实践者 🌍 以技术驱动创新，我们的征途是改变世界！ 👉 实战干货：编程严选网 1 Kafka脚本 ...

本文已收录在Github，关注我，紧跟本系列专栏文章，咱们下篇再续！ 🚀 魔都架构师 | 全网30W技术追随者 🔧 大厂分布式系统/数据中台实战专家 🏆 主导交易系统百万级流量调优 & 车联网平台架构 🧠 AIGC应用开发先行者 | 区块链落地实践者 🌍 以技术驱动创新，我们的征途是改变世界！ 👉 实战干货：编程严选网 0 前言 有自 ...

本文已收录在Github，关注我，紧跟本系列专栏文章，咱们下篇再续！ 🚀 魔都架构师 | 全网30W技术追随者 🔧 大厂分布式系统/数据中台实战专家 🏆 主导交易系统百万级流量调优 & 车联网平台架构 🧠 AIGC应用开发先行者 | 区块链落地实践者 🌍 以技术驱动创新，我们的征途是改变世界！ 👉 实战干货：编程严选网 1 推理引擎是 ...

看VeRL代码之前发现代码里主要使用了ray框架来进行调度和通信. 所以先对ray进行初步学习, 后续有空闲时间再细看下Ray的代码. 框架原理 构成 架构图如下, ray里主要分为系统层面的layer和应用层的layer. 系统层layer: GCS(Global Control Store): 中心数据存储，是 Worker 之间传递消息的纽带, 储存了代码, 输入参数, 返 ...

最近做吞吐量调试涉及到输入batch_size的设置，为了把算力和显存用起来，同时不触发out of memory，需要提前估计大模型推理过程中的显存占用，我参考了MindIE官网的这个文档完成了估计：https://www.hiascend.com/document/detail/zh/mindie/20RC2/mindieservice/servicedev/mindie_service0105.html 。 显存估计 大模型推 ...

[中文]｜[English] iChat 是一款开源的智能聊天工具，支持 MiMo、DeepSeek 、Gemini、Grok、OpenAI、ZenMux、OpenRouter、Cloudflare（AI Gateway）和自定义AI，使用 SwiftUI 开发，macOS 原生 AI 客服端 开发环境 开发工具：Xcode 16.3 开发技术：SwiftUI SwiftData 系统支持：macOS 14+ 功能说明 现支持 MiMo、DeepSeek ...

最近和开发者做了很多DeepSeek-R1模型相关的推理项目，这两天抽时间把hugging face上面的源码拉下来仔细看了一遍，在这里做一个分享。主要是解析MOE部分的代码，包括EP并行的代码实现。 整体结构 查看hugging face上面的modeling_deepseek.py文件和config.json文件，可以发现代码结构和DeepSeek-V3是完全相同的。DeepseekV3 ...

作者：孙鹏，大衍（北京）科技有限公司研发工程师 首先为大家推荐这个 OceanBase 开源负责人老纪的公众号 “老纪的技术唠嗑局”，会持续更新和 #数据库、#AI、#技术架构 相关的各种技术内容。欢迎感兴趣的朋友们关注！ 暴论：通用满血大模型“不适合”用于赋能国产数据库智能诊断运维 在传统数据库运维领域，长期面临三大 ...

nanoVLM 是使用纯 PyTorch 训练 你自己的视觉语言模型 (VLM) 的 最简单 方式。它是一个轻量级 工具包 ，让你可以在 免费的 Colab Notebook 上启动 VLM 训练。 我们受到了 Andrej Karpathy 的 nanoGPT 的启发，为视觉领域提供了一个类似的项目。 从本质上讲，nanoVLM 是一个 工具包，可以帮助你构建和训练一个能够理解图像 ...

本文已收录在Github，关注我，紧跟本系列专栏文章，咱们下篇再续！ 🚀 魔都架构师 | 全网30W技术追随者 🔧 大厂分布式系统/数据中台实战专家 🏆 主导交易系统百万级流量调优 & 车联网平台架构 🧠 AIGC应用开发先行者 | 区块链落地实践者 🌍 以技术驱动创新，我们的征途是改变世界！ 👉 实战干货：编程严选网 0 前言 很多 ...

本文已收录在Github，关注我，紧跟本系列专栏文章，咱们下篇再续！ 🚀 魔都架构师 | 全网30W技术追随者 🔧 大厂分布式系统/数据中台实战专家 🏆 主导交易系统百万级流量调优 & 车联网平台架构 🧠 AIGC应用开发先行者 | 区块链落地实践者 🌍 以技术驱动创新，我们的征途是改变世界！ 👉 实战干货：编程严选网 0 前言 在 Ma ...

本文已收录在Github，关注我，紧跟本系列专栏文章，咱们下篇再续！ 🚀 魔都架构师 | 全网30W技术追随者 🔧 大厂分布式系统/数据中台实战专家 🏆 主导交易系统百万级流量调优 & 车联网平台架构 🧠 AIGC应用开发先行者 | 区块链落地实践者 🌍 以技术驱动创新，我们的征途是改变世界！ 👉 实战干货：编程严选网 0 📌 注意事 ...

分辨大模型的好坏是一个多维度的问题，需要从技术能力、实际效果、安全性、成本和应用适配性等多个角度综合考量。以下是一些关键的评估维度和方法： 一、核心能力维度 1、基础能力： 语言理解与生成： 流畅度、语法准确性、上下文连贯性、能否理解复杂指令和隐含信息？ 知识覆盖与准确性： 知识广度（涵盖多少领域？）、知 ...

本文已收录在Github，关注我，紧跟本系列专栏文章，咱们下篇再续！ 🚀 魔都架构师 | 全网30W技术追随者 🔧 大厂分布式系统/数据中台实战专家 🏆 主导交易系统百万级流量调优 & 车联网平台架构 🧠 AIGC应用开发先行者 | 区块链落地实践者 🌍 以技术驱动创新，我们的征途是改变世界！ 👉 实战干货：编程严选网 1 智能体互 ...

最新动态 GitHub 开源: https://github.com/experdot/pointer [MIT] 前言 过去一段时间，我较为深入地使用了多款 Web 端和桌面端的大语言模型聊天工具。在日常使用中，我逐渐意识到，这些工具在基础的问答能力上已经做得不错，但在围绕对话本身的管理、组织和流转方面，仍然存在明显的不足。 这些不足在偶尔使用时并不显 ...

华为Ascend 910B部署Qwen2.5-VL-32B方案 目录一、多模态大模型——Qwen2.5-VL-32B1.1 简介1.2 显存测算1.2.1 Model Memory Calculator工具测算1.2.2 按模型参数量一般测算1.3 算力测算1.3.1 单 Token 理论计算量估算二、华为昇腾910B（64GB）2.1 简介2.2 Atlas 800I A2 推理服务器三、Qwen2.5-VL-32B-Instruct部署到华为昇 ...

本文已收录在Github，关注我，紧跟本系列专栏文章，咱们下篇再续！ 🚀 魔都架构师 | 全网30W技术追随者 🔧 大厂分布式系统/数据中台实战专家 🏆 主导交易系统百万级流量调优 & 车联网平台架构 🧠 AIGC应用开发先行者 | 区块链落地实践者 🌍 以技术驱动创新，我们的征途是改变世界！ 👉 实战干货：编程严选网 0 工作流信息 ...