集成学习常用组合策略：让多个模型“合作”得更好
集成学习通过组合多个学习器的预测结果，达到超越单个学习器的效果。
就像医生会诊时综合多位专家的意见，集成学习的关键在于如何有效整合不同学习器的判断。
这些学习器可以是不同类型的模型，比如决策树、支持向量机、神经网络等。通过合理地组合这些学习器，我们可以获得比单一模型更好的预测效果。
今天，重点介绍4种常 ...
集成学习双雄：Boosting和Bagging简介
在机器学习的世界里，集成学习（Ensemble Learning）是一种强大的技术，它通过组合多个模型来提高预测性能。
集成学习通过组合多个基学习器的预测结果，获得比单一模型更优秀的性能。其核心思想是"三个臭皮匠顶个诸葛亮"，主要分为两大流派：Boosting（提升）和Bagging（装袋）。
本文将重点解析这两种方法的原理，并通过实 ...
从“朴素”到“半朴素”：贝叶斯分类器的进阶之路
在机器学习分类任务中，朴素贝叶斯（Naive Bayes）因其简单高效而广受欢迎，但它的“朴素”之名也暗示了其局限性。
为了突破这一局限，半朴素贝叶斯（Semi-Naive Bayes） 应运而生。
本文将详细介绍朴素贝叶斯和半朴素贝叶斯的原理、应用场景以及如何使用scikit-learn库实现它们。
1. 朴素贝叶斯：简单但“天真”
朴素贝叶 ...
极大似然估计：频率学派与贝叶斯学派的碰撞与融合
在统计学的世界里，参数估计一直是数据分析的核心任务之一。
极大似然估计（MLE）作为一种经典的参数估计方法，被广泛应用于各种领域。
然而，极大似然估计并非只有一种实现方式，它在频率学派和贝叶斯学派中有着不同的理论基础和应用场景。
本文将探讨这两种学派的区别，并通过实际代码示例展示它们在极大似然估计中的应用 ...
机器学习线性模型推导计算
本篇笔记总结了最基本，同时也是推导比较容易理解的机器学习中线性模型的部分。
许多非线性模型也是在线性模型的基础上做了结构等方面的补充和引入。
本笔记随学习进度的跟进将持续更新：）
基本形式
\[f(\bf{x}) = \bf{\omega^T x + b}
\]线性回归
主要内容：主要是学得\(\omega\)和b的值，而这是通过衡量f(x)和y之间的关 ...
最详细最易懂的【YOLOX原理篇】
目录前言简介详细解读Mosaic and MixupMixupMosaicDecoupled Headanchor freeSimOTAin_boxes 和 in_center计算cost矩阵dynamic_k_matching算法网络架构参考资料
前言
提出时间：2021年
作者单位：旷视科技
旷视官方代码：https://github.com/Megvii-BaseDetection/YOLOX
论文下载地址：https://arxiv.org/abs/2107.08430
...
软间隔：让支持向量机更“宽容”
在SVM中，软间隔是一个重要的概念，它允许模型在一定程度上容忍误分类，从而提高模型的泛化能力。
本文将详细介绍软间隔的定义、与硬间隔的区别、损失函数的作用，最后使用 scikit-learn 进行实际演示。
1. 软间隔 vs 硬间隔
在支持向量机中，软间隔是指允许某些数据点违反分类边界（即误分类）的间隔。
与硬间隔（严格要求 ...
核函数：让支持向量机从“青铜”变“王者”
在机器学习领域，支持向量机（SVM）是一种强大的分类算法，而核函数则是其核心组件之一。
核函数的本质是一个「空间映射工具」。
当原始数据在低维空间中线性不可分时（如环形、月牙形数据），核函数能将数据隐式地映射到更高维的特征空间，使得在高维空间中数据变得线性可分，同时避免直接计算高维特征的爆炸性计算量（即" ...
多变量决策树：机器学习中的“多面手”
在机器学习的广阔领域中，决策树一直是一种备受青睐的算法。它以其直观、易于理解和解释的特点，广泛应用于分类和回归任务。
然而，随着数据复杂性的不断增加，传统决策树的局限性逐渐显现。
本文将深入探讨多变量决策树这一强大的工具，它不仅克服了传统决策树的瓶颈，还为处理复杂数据提供了新的思路。
1. 基本概念
1.1. ...
当决策树遇上脏数据：连续值与缺失值的解决方案
在机器学习中，决策树算法因其简单易懂、可解释性强而被广泛应用。
然而，现实世界中的数据往往复杂多变，尤其是连续值和缺失值的存在，给决策树的构建带来了诸多挑战。
连续值（如年龄、收入）无法直接用于决策树的离散分裂点，需要转化为“离散区间”。
缺失值（如用户未填写的问卷项）可能导致信息损失或模型偏差。
本 ...
决策树剪枝：平衡模型复杂性与泛化能力
在机器学习的世界里，决策树是一种简单而强大的算法，但它的 “任性生长” 却常常让数据科学家陷入 “过拟合的困境”。
想象一下，一棵决策树如果无限生长，它可能会完美地拟合训练集中的每一个数据点，但当面对新的数据时，却可能表现得像一个“陌生人”——预测完全失效。
这种现象背后的原因在于模型过于复杂，对训练数 ...
决策树：机器学习中的“智慧树”
在机器学习的广阔森林中，决策树（Decision Tree）是一棵独特而强大的“智慧树”。
它是一种监督学习算法，既可以用于分类任务，也能用于回归任务，通过树形结构模拟人类决策过程。
这篇文章会带你了解决策树，从基础概念开始，一步步讲解如何构建决策树、常用的算法以及它的实际应用。
1. 概述
决策树（Decision Tree）作 ...
【深度学习】从VAE到GAN漫谈
正文
从AE说起
AE是一个特征提取模型，通过编解码的形式重构输入，完成低维特征表示工作
推导
存在一个输入\(x\)，构造AE编码器\(p_\theta(x)\)，得到离散低维特征\(z\)；
通过AE解码器\(q_\phi(z)\)，重构回\(\hat{x}\)；
通过正则项\(\Vert x-\hat{x} \Vert_2\)构造损失函数实现。
\[\begin{aligned}
z &= p_\theta(x ...
不平衡样本数据的救星：数据再分配策略
在机器学习领域，数据是模型训练的基础，而数据的分布情况往往会对模型的性能产生重要影响。
不平衡样本数据是我们在实际项目中经常会遇到的问题，它可能导致模型对多数类过度拟合，而对少数类的预测能力不足。
本文将详细介绍不平衡样本数据的常见场景、处理方法以及在实践中需要注意的问题，帮助你在模型训练前有效地进行 ...
AI可解释性 II | Saliency Maps-based 归因方法（Attribution）论文导读（2025.4.9更新）
AI可解释性 II | Saliency Maps-based 归因方法（Attribution）论文导读（持续更新）
导言
本文作为AI可解释性系列的第二部分，旨在以汉语整理并阅读归因方法（Attribution）相关的论文，并持续更新。
归因方法主要研究如何解释深度神经网络的决策过程，通过识别输入特征对模型输出的贡献程度，对模型的决策过程输出为人类 ...
JBoltAI的Prompt编排技术：重塑企业智能交互新生态
一、Prompt编排技术原理
1. 结构化Prompt设计JBoltAI通过领域驱动设计（DDD）将业务需求拆解为原子化指令单元，构建三层结构：
业务意图层：定义核心目标（如营销转化、风险拦截）
场景规则层：注入行业知识（如金融合规条款、医疗术语库
交互执行层：集成多模态输出模板（文本/表格/流程图）例如，在生成设备操作手册时， ...
线性模型与多分类问题：简单高效的力量
在机器学习的世界里，分类问题无处不在，而多分类问题更是其中的常见挑战。
无论是识别手写数字、分类新闻主题，还是预测客户购买的产品类别，多分类问题都扮演着重要角色。
线性模型，以其简洁高效的特点，成为了应对多分类问题的有力工具之一。
本文将探讨线性模型解决多分类问题的原理、策略以及优缺点，并通过代码示例 ...
SuperYOLO模型单RGB分支评估及不同尺度mAP50、FPS打印
github：https://github.com/icey-zhang/SuperYOLO
article：https://www.sfu.ca/~zhenman/files/J12-TGRS2023-SuperYOLO.pdf
环境：
PyTorch 2.5.1
Python 3.12(ubuntu22.04)
CUDA 12.4
GPU RTX 4090D(24GB) * 1升降配置
CPU 18 vCPU AMD EPYC 9754 128-Core Processor
内存 60GB
由于不习惯SuperYOLO的数据集读取 ...
AI可解释性 I | 对抗样本（Adversarial Sample）论文导读- Part I
AI可解释性 I | 对抗样本（Adversarial Sample）论文导读（持续更新）
导言
本文作为AI可解释性系列的第一部分，旨在以汉语整理并阅读对抗攻击（Adversarial Attack）相关的论文，并持续更新。与此同时，AI可解释性系列的第二部分：归因方法（Attribution）也即将上线，敬请期待。
Intriguing properties of neural network ...
