C#黔驴技巧之去重（Distinct）

理所应当 發表於 2020-5-10 16:49:00

<h2>前言</h2>
关于C#中默认的Distinct方法在什么情况下才能去重，这个就不用我再多讲，针对集合对象去重默认实现将不再满足，于是乎我们需要自定义实现来解决这个问题，接下来我们详细讲解几种常见去重方案，孰好孰歹自行判之。
<h2>分组</h2>
首先给出我们需要用到的对象，如下：
<div class="cnblogs_code">
<pre>public class Person
{
public string Name { get; set; }
public int Age { get; set; }
}</pre>
</div>
接下来我们添加100万条数据到集合中，如下：
<div class="cnblogs_code">
<pre>var list = new List<Person>();
for (int i = 0; i < 1000000; i++)
{
list.Add(new Person() { Age = 18, Name = "jeffcky" });
}</pre>
</div>
接下来我们对年龄和名称进行分组，然后取第一条即可达到去重，如下：
<div class="cnblogs_code">
<pre>list = list.GroupBy(d => new { d.Age, d.Name })
.Select(d => d.FirstOrDefault())
.ToList();</pre>
</div>
<h2>扩展方法（HashSet去重）</h2>
我们知道在C#中HashSet对于重复元素会进行过滤筛选，所以我们写下如下扩展方法，遍历集合元素，最后利用HashSet进行过滤达到去重目的，如下：
<div class="cnblogs_code">
<pre>public static IEnumerable<TSource> Distinct<TSource, TKey>(
 this IEnumerable<TSource> source,
 Func<TSource, TKey> keySelector)
{
 var hashSet = new HashSet<TKey>();

 foreach (TSource element in source)
 {
 if (hashSet.Add(keySelector(element)))
 {
 yield return element;
 }
 }
}</pre>
</div>
最后调用上述扩展方法即可去重，如下：
<div class="cnblogs_code">
<pre> list = list.Distinct(d => new { d.Age, d.Name }).ToList();</pre>
</div>
<h2>扩展方法（IEqualityComparer去重）</h2>
在实际项目中有很多通过具体实现类实现该接口，通过重写Equals和HashCode比较属性值来达到去重目的，因为对于每一个类都得实现对应比较器，所以并不通用，反而利用上述方式才是最佳，其实我们大可借助该比较接口实现通用解决方案，对于每一个类都得实现一个比较器的原因在于，我们将属性比较放在类该接口内部，如果我们将属性比较放在外围呢，这个时候就达到了通用解决方案，那么我们怎么实现呢，通过委托来实现，实现该接口的本质无非就是比较HashCode，然后通过Equals比较其值，当比较HashCode时，我们强制其值为一个常量（比如0），当重写Equals方法我们调用委托即可，如下：
<div class="cnblogs_code">
<pre>public static class Extensions
{
public static IEnumerable<T> Distinct<T>(
 this IEnumerable<T> source, Func<T, T, bool> comparer)
 where T : class
 => source.Distinct(new DynamicEqualityComparer<T>(comparer));

private sealed class DynamicEqualityComparer<T> : IEqualityComparer<T>
 where T : class
{
 private readonly Func<T, T, bool> _func;

 public DynamicEqualityComparer(Func<T, T, bool> func)
 {
 _func = func;
 }

 public bool Equals(T x, T y) => _func(x, y);

 public int GetHashCode(T obj) => 0;
}
}</pre>
</div>
最终通过指定属性进行比较即可去重，如下：
<div class="cnblogs_code">
<pre>list = list.Distinct((a, b) => a.Age == b.Age && a.Name == b.Name).ToList();</pre>
</div>
<h2>性能比较</h2>
以上3种常见方式我们已经介绍完毕了，当数据量比较小时，我们大可忽略对集合进行各种操作所带来的性能，但是一旦数据量很大时，我们可能需要考虑性能，能节省一点时间或许有必要，于是乎，在上述100万条数据前提下，我们来分析其耗时情况，如下：
<div class="cnblogs_code">
<pre>var list = new List<Person>();
for (int i = 0; i < 1000000; i++)
{
list.Add(new Person() { Age = 18, Name = "jeffcky" });
}

var time1 = Time(() =>
{
list.GroupBy(d => new { d.Age, d.Name })
 .Select(d => d.FirstOrDefault())
 .ToList();
});
Console.WriteLine($"分组耗时：{time1}");

var time2 = Time(() =>
{
list.Distinct(d => new { d.Age, d.Name }).ToList();
});
Console.WriteLine($"HashSet耗时：{time2}");

var time3 = Time(() =>
{
list.Distinct((a, b) => a.Age == b.Age && a.Name == b.Name).ToList();
});
Console.WriteLine($"委托耗时：{time3}");

static long Time(Action action)
{
var stopwatch = new Stopwatch();
stopwatch.Start();
action();
stopwatch.Stop();
return stopwatch.ElapsedMilliseconds;
}</pre>
</div>
<img src="https://img2020.cnblogs.com/blog/589642/202005/589642-20200510160553318-1006082150.png" alt="">
<h2>总结</h2>
上述结果耗时大小比较理论应该不会出现逆转的情况，只是多少的问题，数据量较少时理论上差异也很明显，本文对于去重方式只是基于性能角度来分析，还是那句话大部分情况下，我们完全不需要考虑这些问题，不过，作为程序员的我们可能也想写出高性能、高质量的代码吧，有时候多考虑考虑也无妨，对自身有个好的代码质量要求也未尝不可，也还是那句话，孰好孰歹，自行判之。 

</div>
<div id="MySignature" role="contentinfo">
你所看到的并非事物本身，而是经过诠释后所赋予的意义 
来源：https://www.cnblogs.com/CreateMyself/p/12863407.html

頁: [1]

琼殿技术论坛's Archiver

C#黔驴技巧之去重（Distinct）