C#.NET ConcurrentBag<T> 设计原理与使用场景
<div id="navCategory"><h5 class="catalogue">目录</h5><ul class="first_class_ul"><li>简介</li><li>核心定位与价值</li><li>核心特点</li><li>内部实现原理</li><li>核心 API</li><ul class="second_class_ul"><li>核心构造函数</li><li>核心方法 / 属性</li><li>常用操作</li></ul><li>用法示例</li><ul class="second_class_ul"><li>多线程添加与消费</li><li>并行处理大量独立小文件</li><li>对象池实现</li></ul><li>关键特性与适用场景</li><ul class="second_class_ul"><li>核心特性</li><li>最佳适用场景</li><li>不适用场景</li></ul><li>最佳实践</li><ul class="second_class_ul"><li>优先用于生产者-消费者同线程场景</li><li>避免用于生产者-消费者分离场景</li></ul><li>总结</li><ul class="second_class_ul"></ul></ul></div><p class="maodian"></p><h2>简介</h2><p><code>ConcurrentBag<T></code> 是 <code>System.Collections.Concurrent</code> 命名空间下的线程安全的无序集合，专为 “多线程同时添加 / 移除元素” 设计，核心特点是基于线程局部存储（<code>TLS</code>）优化，在 “同一线程频繁添加和移除元素” 的场景下性能最优，是 <code>.NET</code> 中处理无序线程安全集合的核心工具。</p>
<p class="maodian"></p><h2>核心定位与价值</h2>
<p>在多线程场景中，普通的 <code>List<T></code> 非线程安全（多线程操作会抛出异常或数据损坏），而 <code>lock</code> 包裹的 <code>List<T></code> 存在锁竞争问题（性能低）。<code>ConcurrentBag<T></code> 的核心价值：</p>
<ul><li>无锁核心路径：通过线程局部存储（<code>TLS</code>）让每个线程优先操作自己的私有数据段，减少跨线程锁竞争；</li><li>无序存储：不保证元素的顺序（插入顺序≠遍历顺序），牺牲顺序换取性能；</li><li>线程安全：所有操作（<code>Add/TryTake</code> 等）均线程安全，无需手动加锁；</li><li>适配特定场景：尤其适合 “生产者和消费者为同一线程” 的场景（如线程池线程自产自销）。</li></ul>
<p class="maodian"></p><h2>核心特点</h2>
<table><thead><tr><th>特性</th><th>ConcurrentBag</th><th>ConcurrentQueue</th><th>ConcurrentStack</th><th>典型使用场景</th></tr></thead><tbody><tr><td>顺序保证</td><td>无序（完全不保证）</td><td>FIFO</td><td>LIFO</td><td>不关心顺序的场景</td></tr><tr><td>线程安全</td><td>是</td><td>是</td><td>是</td><td>多线程并发</td></tr><tr><td>元素重复取出风险</td><td>可能（同一个线程可能先取后放）</td><td>不可能</td><td>不可能</td><td>允许“偷取”工作</td></tr><tr><td>内存使用</td><td>较低（分段 + 线程本地袋）</td><td>中等</td><td>中等</td><td>大量小对象</td></tr><tr><td>支持 Peek</td><td>不支持</td><td>支持</td><td>支持</td><td>—</td></tr><tr><td>典型模式</td><td>工作窃取（work-stealing）</td><td>生产者-消费者</td><td>后进先出任务栈</td><td>并行任务池、负载均衡</td></tr></tbody></table>
<p class="maodian"></p><h2>内部实现原理</h2>
<p><code>ConcurrentBag</code> 的高性能来源于线程本地存储 + 工作窃取的设计：</p>
<ul><li>每个线程拥有一个私有小袋（<code>bag</code>）（通常是链表或数组）</li><li>线程 <code>Add/Take</code> 时优先操作自己的私有袋（几乎无锁）</li><li>当自己袋子为空时，会去 <strong>“偷”</strong> 其他线程的袋子（ <code>work-stealing</code>）</li></ul>
<p>这种设计导致：</p>
<ul><li>同一个线程插入的元素，很可能被同一个线程先取出（局部性好）</li><li>但跨线程看，完全无序，而且可能出现同一个元素被同一个线程先取后放的情况</li></ul>
<p>轻量级锁：仅在跨线程窃取元素时加锁，核心路径（同线程存取）无锁，性能远超全局锁的 <code>List<T></code>。</p>
<div class="jb51code"><pre class="brush:csharp;">graph TD
A[线程A] --> A_Queue[本地队列A: 1, 3, 5]
B[线程B] --> B_Queue[本地队列B: 2, 4]
C[线程C] --> C_Queue[本地队列C: 6]
D[全局队列] --> |工作窃取| A_Queue
D --> |工作窃取| B_Queue
D --> |工作窃取| C_Queue
</pre></div>
<p class="maodian"></p><h2>核心 API</h2>
<p class="maodian"></p><h3>核心构造函数</h3>
<ul><li><code>ConcurrentBag<T>()</code>: 创建空的线程安全集合</li><li><code>ConcurrentBag<T>(IEnumerable<T>)</code>: 用指定集合初始化<code>ConcurrentBag<T></code></li></ul>
<p class="maodian"></p><h3>核心方法 / 属性</h3>
<ul><li><code>Add(T item)</code>: 向集合添加元素（线程安全），无返回值</li><li><code>TryTake(out T result)</code>: 尝试从集合移除并返回任意元素：成功返回<code>true</code>，集合为空返回 <code>false</code></li><li><code>Count</code>: 获取集合中元素的数量（线程安全，但值为瞬时快照）</li><li><code>IsEmpty</code>: 判断集合是否为空（线程安全，瞬时快照）</li><li><code>GetEnumerator()</code>: 返回遍历集合的枚举器（遍历的是瞬时快照，不保证后续元素不变）</li></ul>
<p class="maodian"></p><h3>常用操作</h3>
<div class="jb51code"><pre class="brush:csharp;">var bag = new ConcurrentBag<string>();
// 插入（极快）
bag.Add("任务A");
bag.Add("任务B");
// 尝试取出（非阻塞）
if (bag.TryTake(out var item))
{
Console.WriteLine($"取出: {item}");
}
// 尝试偷取（TryPeek 不存在！）
if (bag.TryTake(out var stolen)) { /* 处理 */ }
// 计数（注意：有一定开销）
int count = bag.Count;
// 清空（不常用）
bag.Clear();
// 检查是否为空
bool isEmpty = bag.IsEmpty;
</pre></div>
<p class="maodian"></p><h2>用法示例</h2>
<p class="maodian"></p><h3>多线程添加与消费</h3>
<div class="jb51code"><pre class="brush:csharp;">using System;
using System.Collections.Concurrent;
using System.Threading.Tasks;
class ConcurrentBagBasicDemo
{
static void Main()
{
// 创建线程安全的ConcurrentBag
var bag = new ConcurrentBag<int>();
// 1. 多线程添加元素（4个线程，每个添加5个元素）
Parallel.For(0, 4, threadId =>
{
for (int i = 1; i <= 5; i++)
{
int value = threadId * 100 + i;
bag.Add(value);
Console.WriteLine($"线程{threadId}：添加 {value}");
}
});
Console.WriteLine($"\n集合总元素数：{bag.Count}\n");
// 2. 多线程消费元素（直到集合为空）
Parallel.For(0, 2, threadId =>
{
while (!bag.IsEmpty)
{
if (bag.TryTake(out int value))
{
Console.WriteLine($"线程{threadId}：取出 {value}");
}
// 避免空循环占用CPU
Task.Delay(10).Wait();
}
});
Console.WriteLine($"\n最终集合是否为空：{bag.IsEmpty}");
}
}
</pre></div>
<p>输出结果</p>
<blockquote><p>线程0：添加 1<br />线程1：添加 101<br />线程0：添加 2<br />线程2：添加 201<br />...（添加顺序无序）<br />集合总元素数：20</p>
<p>线程0：取出 2<br />线程1：取出 101<br />线程0：取出 1<br />线程1：取出 201<br />...（取出顺序≠添加顺序，且优先取当前线程添加的元素）<br />最终集合是否为空：True</p></blockquote>
<p>核心现象：</p>
<ul><li>添加和取出的顺序完全无序，符合 <code>ConcurrentBag<T></code> “无序集合” 的特性；</li><li>同一线程优先取出自己添加的元素（<code>TLS</code> 优化的体现）。</li></ul>
<p class="maodian"></p><h3>并行处理大量独立小文件</h3>
<div class="jb51code"><pre class="brush:csharp;">var files = Directory.GetFiles("big_folder", "*.txt");
var bag = new ConcurrentBag<string>(files);
Parallel.ForEach(bag, new ParallelOptions { MaxDegreeOfParallelism = Environment.ProcessorCount },
file =>
{
ProcessFile(file);
});
</pre></div>
<p class="maodian"></p><h3>对象池实现</h3>
<div class="jb51code"><pre class="brush:csharp;">public class ObjectPool<T>
{
private readonly ConcurrentBag<T> _objects;
private readonly Func<T> _objectGenerator;
public ObjectPool(Func<T> objectGenerator)
{
_objects = new ConcurrentBag<T>();
_objectGenerator = objectGenerator;
}
public T Get()
{
return _objects.TryTake(out T item) ? item : _objectGenerator();
}
public void Return(T item)
{
_objects.Add(item);
}
}
// 使用示例
var pool = new ObjectPool<StringBuilder>(() => new StringBuilder());
var sb = pool.Get();
try
{
sb.Append("Hello");
Console.WriteLine(sb.ToString());
}
finally
{
pool.Return(sb);
}
</pre></div>
<p class="maodian"></p><h2>关键特性与适用场景</h2>
<p class="maodian"></p><h3>核心特性</h3>
<ul><li>顺序性: 无序（<code>Add</code> 顺序≠遍历 / <code>Take</code> 顺序）</li><li>线程安全: 所有操作线程安全，无需手动加锁</li><li>性能: 同线程存取：极高（无锁）；跨线程窃取：中（轻量级锁）</li><li>空值支持: 允许添加 <code>null</code>（若T为引用类型）</li><li>遍历特性: 遍历的是 “瞬时快照”，遍历过程中集合可修改，不抛出异常</li><li>容量: 无固定容量限制，动态扩容</li></ul>
<p class="maodian"></p><h3>最佳适用场景</h3>
<ul><li>线程自产自销：线程池线程添加元素后，自己快速取出处理（如线程本地缓存）；</li><li>无序批量处理：多线程收集数据，无需保证顺序（如日志收集、临时数据存储）；</li><li>低锁竞争场景：大多数操作由同一线程完成，跨线程操作少。</li><li>对象池实现：重用对象减少分配</li><li>并行计算中间结果收集</li><li>生产者即消费者模式</li></ul>
<p class="maodian"></p><h3>不适用场景</h3>
<ul><li>需要有序存取：如 <code>FIFO</code>（用 <code>ConcurrentQueue<T></code> ）、<code>LIFO</code>（用<code>ConcurrentStack<T></code>）；</li><li>高跨线程窃取：多线程频繁添加，且其他线程频繁取走（此时锁竞争多，性能低于<code>ConcurrentQueue<T></code> ）；</li><li>索引访问：<code>ConcurrentBag<T></code> 无索引（如 <code>bag</code> ），需索引访问用<code>ConcurrentDictionary<TKey, TValue></code> 或手动封装。</li></ul>
<p class="maodian"></p><h2>最佳实践</h2>
<p class="maodian"></p><h3>优先用于生产者-消费者同线程场景</h3>
<div class="jb51code"><pre class="brush:csharp;"> // 同一线程添加和取出
var threadLocalBag = new ConcurrentBag<WorkItem>();
void Process()
{
threadLocalBag.Add(CreateWork());
if (threadLocalBag.TryTake(out var work))
{
Execute(work);
}
}
</pre></div>
<p class="maodian"></p><h3>避免用于生产者-消费者分离场景</h3>
<div class="jb51code"><pre class="brush:csharp;"> // 生产者消费者分离
var sharedBag = new ConcurrentBag<Data>();
// 生产者线程
Task.Run(() => sharedBag.Add(produce()));
// 消费者线程
Task.Run(() =>
{
if (sharedBag.TryTake(out var data))
{
consume(data);
}
});
</pre></div>
<p class="maodian"></p><h2>总结</h2>
<p><code>ConcurrentBag<T></code> 是 <code>.NET</code> 并发集合中的特殊工具：</p>
<ul><li>✅ 在生产者即消费者场景中性能卓越</li><li>✅ 内置工作窃取机制</li><li>✅ 无锁实现减少竞争</li><li>✅ 线程本地存储优化</li></ul>
<p>最佳适用场景：</p>
<ul><li>线程处理自己生成的任务</li><li>对象池实现</li><li>并行计算的结果收集</li><li>工作窃取模式的任务分发</li></ul>
<p>到此这篇关于C#.NET ConcurrentBag<T>设计原理与使用场景的文章就介绍到这了,更多相关C#.NET ConcurrentBag<T>使用内容请搜索琼殿技术社区以前的文章或继续浏览下面的相关文章希望大家以后多多支持琼殿技术社区！</p>
<div class="art_xg">
<b>您可能感兴趣的文章:</b><ul><li>详解C# ConcurrentBag的实现原理</li></ul>
</div>
</div>
<!--endmain-->
頁:
[1]