从“朴素”到“半朴素”：贝叶斯分类器的进阶之路
<p>在机器学习分类任务中，<strong>朴素贝叶斯</strong>（<code>Naive Bayes</code>）因其简单高效而广受欢迎，但它的<strong>“朴素”</strong>之名也暗示了其局限性。</p><p>为了突破这一局限，<strong>半朴素贝叶斯</strong>（<code>Semi-Naive Bayes</code>） 应运而生。</p>
<p>本文将详细介绍朴素贝叶斯和半朴素贝叶斯的原理、应用场景以及如何使用<code>scikit-learn</code>库实现它们。</p>
<h1 id="1-朴素贝叶斯简单但天真">1. 朴素贝叶斯：简单但“天真”</h1>
<p><strong>朴素贝叶斯</strong>是一种基于贝叶斯定理的简单概率分类器，它的<strong>核心思想</strong>是利用特征之间的独立性假设来简化计算。</p>
<p>具体来说，朴素贝叶斯假设每个特征之间是相互独立的，即给定一个类别标签，所有特征的联合概率可以分解为各个特征的条件概率的乘积。</p>
<p>用数学公式表示为：$ P(X|Y)=P(x_1|Y)\times P(x_2|Y)\times\cdots\times P(x_n|Y) $</p>
<p>其中，$ X <span class="math inline">\(是特征向量，\)</span> Y <span class="math inline">\(是类别标签，\)</span> x_1,x_2,\ldots,x_n $是各个特征。</p>
<p>朴素贝叶斯的<strong>优势</strong>在于计算高效，适合高维数据（如新闻分类）。</p>
<h1 id="2-半朴素贝叶斯放松独立性假设">2. 半朴素贝叶斯：放松独立性假设</h1>
<p>尽管<strong>朴素贝叶斯</strong>在许多场景下表现出色，但它的一个关键假设：<strong>特征独立性</strong>，在实际应用中往往难以满足。</p>
<p>在现实世界中，特征之间通常存在一定的相关性。</p>
<p>例如，在文本分类中，某些词汇的出现可能与其他词汇的出现密切相关。</p>
<p>这种情况下，<strong>朴素贝叶斯</strong>的独立性假设会导致分类器的性能下降。</p>
<p>为了解决这一问题，半朴素贝叶斯应运而生。</p>
<p><strong>半朴素贝叶斯</strong>在一定程度上放宽了特征独立性的假设，允许特征之间存在一定的相关性，从而提高分类器的性能。</p>
<p><strong>半朴素贝叶斯</strong>的核心改进在于允许部分特征之间存在依赖关系，通过捕捉关键特征间的依赖，提升分类精度，同时保持计算复杂度可控。</p>
<h1 id="3-实战对比">3. 实战对比</h1>
<p>下面构造一个简单的示例，用来对比<strong>朴素</strong>和<strong>半朴素</strong>贝叶斯的在属性存在依赖关系时的准确率。</p>
<p>首先，生成测试数据：</p>
<ol>
<li>类别<code>Y</code>有两种值，<code>0</code>和<code>1</code></li>
<li>类别<code>Y</code>决定<code>X1</code>的分布（<code>Y=0</code>时均值为<code>0</code>，<code>Y=1</code>时均值为<code>1</code>）</li>
<li><code>X2</code>依赖于<code>X1</code>（<strong>X2 = X1 + 噪声</strong>），模拟属性间的依赖关系</li>
</ol>
<pre><code class="language-python">import numpy as np
from sklearn.model_selection import train_test_split
# 生成模拟数据：Y影响X1和X2，且X2依赖X1
np.random.seed(42)
n_samples = 1000
Y = np.random.randint(0, 2, n_samples)
X1 = np.zeros(n_samples)
X2 = np.zeros(n_samples)
for i in range(n_samples):
if Y == 0:
x1 = np.random.normal(0, 1)
x2 = x1 + np.random.normal(0, 0.5)# X2依赖X1
else:
x1 = np.random.normal(1, 1)
x2 = x1 + np.random.normal(0, 0.5)# X2依赖X1
X1 = x1
X2 = x2
X = np.vstack((X1, X2)).T
X_train, X_test, y_train, y_test = train_test_split(
X,
Y,
test_size=0.3,
random_state=42,
)
</code></pre>
<p>然后分别使用朴素和半朴素贝叶斯模型来训练数据，看看各自的准确率。</p>
<p>注意，<code>scikit-learn</code>没有直接提供<strong>半朴素贝叶斯</strong>的实现，下面的示例中通过手动计算特征之间的相关性来改进朴素贝叶斯模型。</p>
<pre><code class="language-python">from sklearn.naive_bayes import GaussianNB
from sklearn.metrics import accuracy_score
from sklearn.linear_model import LinearRegression
# 朴素贝叶斯（假设属性独立）
nb = GaussianNB()
nb.fit(X_train, y_train)
y_pred_nb = nb.predict(X_test)
acc_nb = accuracy_score(y_test, y_pred_nb)
# 半朴素贝叶斯（手动实现，假设X2依赖X1）
# 训练阶段：估计每个类别的参数
def train_semi_naive_bayes(X, y):
params = {}
for cls in :
X_cls = X
X1_cls = X_cls[:, 0]
X2_cls = X_cls[:, 1]
# 估计P(X1|Y)的参数（高斯分布）
mu_X1 = np.mean(X1_cls)
sigma_X1 = np.std(X1_cls)
# 估计P(X2|Y,X1)的参数（线性回归）
lr = LinearRegression().fit(X1_cls.reshape(-1, 1), X2_cls)
a, b = lr.coef_, lr.intercept_
residuals = X2_cls - lr.predict(X1_cls.reshape(-1, 1))
sigma_X2_given_X1 = np.std(residuals)
params = {
"prior": np.sum(y == cls) / len(y),
"mu_X1": mu_X1,
"sigma_X1": sigma_X1,
"a": a,
"b": b,
"sigma_X2_given_X1": sigma_X2_given_X1,
}
return params
# 预测阶段：计算对数概率
def predict_semi_naive_bayes(X, params):
y_pred = []
for x1, x2 in X:
log_prob = {0: 0, 1: 0}
for cls in :
p = params
# 计算P(Y)
log_prob += np.log(p["prior"])
# 计算P(X1|Y)
log_prob += -0.5 * np.log(2 * np.pi * p["sigma_X1"] ** 2) - (
x1 - p["mu_X1"]
) ** 2 / (2 * p["sigma_X1"] ** 2)
# 计算P(X2|Y,X1)
mu_x2 = p["a"] * x1 + p["b"]
log_prob += -0.5 * np.log(2 * np.pi * p["sigma_X2_given_X1"] ** 2) - (
x2 - mu_x2
) ** 2 / (2 * p["sigma_X2_given_X1"] ** 2)
y_pred.append(0 if log_prob > log_prob else 1)
return np.array(y_pred)
params = train_semi_naive_bayes(X_train, y_train)
y_pred_semi = predict_semi_naive_bayes(X_test, params)
acc_semi = accuracy_score(y_test, y_pred_semi)
# 输出结果
print(f"朴素贝叶斯准确率: {acc_nb:.4f}")
print(f"半朴素贝叶斯准确率: {acc_semi:.4f}")
## 输出结果：
'''
朴素贝叶斯准确率: 0.6333
半朴素贝叶斯准确率: 0.7000
'''
</code></pre>
<p><strong>朴素贝叶斯</strong>因假设属性独立，在<code>X1</code>和<code>X2</code>存在依赖时性能略有下降。</p>
<p>而<strong>半朴素贝叶斯</strong>通过显式建模<code>X2</code>对<code>X1</code>的依赖，更准确地估计联合概率，从而获得更高的准确率。</p>
<p>此示例简单展示了半朴素贝叶斯在属性存在依赖关系时的优势。</p>
<h1 id="4-总结">4. 总结</h1>
<p><strong>朴素贝叶斯</strong>和<strong>半朴素贝叶斯</strong>都是基于贝叶斯定理的分类算法。</p>
<p>其中，<strong>朴素贝叶斯</strong>假设特征之间相互独立，适用于特征独立性较强的场景，比如：</p>
<ul>
<li><strong>特征独立性较强</strong>：当特征之间确实相互独立时，朴素贝叶斯能够发挥其优势。例如，在垃圾邮件分类中，邮件中的词汇通常可以被视为独立的特征。</li>
<li><strong>数据量较少</strong>：由于朴素贝叶斯的计算复杂度较低，它在数据量较少的情况下也能快速训练模型。</li>
<li><strong>对分类精度要求不高</strong>：在一些对分类精度要求不高的场景中，朴素贝叶斯可以作为一种快速且有效的解决方案。</li>
</ul>
<p>而<strong>半朴素贝叶斯</strong>在一定程度上放宽了这一假设，适用于特征存在相关性的场景，比如：</p>
<ul>
<li><strong>特征存在相关性</strong>：当特征之间存在一定的相关性时，半朴素贝叶斯可以更好地捕捉这些关系，从而提高分类性能。例如，在医学诊断中，某些症状之间可能存在关联。</li>
<li><strong>对分类精度要求较高</strong>：在需要高精度分类的场景中，半朴素贝叶斯可以通过考虑特征之间的相关性来提升性能。</li>
<li><strong>数据量较大</strong>：当有足够的数据来估计特征之间的相关性时，半朴素贝叶斯能够更好地发挥其优势。</li>
</ul><br><br>
来源：https://www.cnblogs.com/wang_yb/p/18859897
頁:
[1]