C# 多线程处理List数据

代码思路

将要处理的数据放到ConcurrentQueue中，然后开启多个线程去处理数据，处理完成后，再到队列中获取下一个待处理数据。

ConcurrentQueue 表示线程安全的先进先出 (FIFO) 集合，属于 System.Collections.Concurrent 命名空间下的一个数据结构

直接上代码

/// 

/// 多线程处理数据（无返回值）
/// 
/// 数据类型
/// 待处理数据
/// 数据处理方法（有参数无返回值）
/// 处理线程数量
/// 是否等待执行结束
static void RunTask(List list, Action action, int threadCount = 5, bool waitFlag = true)
{
    ConcurrentQueue queue = new ConcurrentQueue(list);
    Task[] tasks = new Task[threadCount];
    for (int i = 0; i < threadCount; i++)
    {
        tasks[i] = Task.Run(() =>
          {
              while (queue.TryDequeue(out T t))
              {
                  action(t);
              }
          });
    }
    if (waitFlag)
    {
        Task.WaitAll(tasks);
    }
}

/// 

/// 多线程处理数据（返回处理后列表）
/// 
/// 数据类型
/// 待处理数据
/// 数据处理方法（有参数有返回值）
/// 处理线程数量
/// 数据处理后结果
static List RunTask(List list, Func func, int threadCount = 5)
{
    var result = new List();
    ConcurrentQueue queue = new ConcurrentQueue(list);
    Task>[] tasks = new Task>[threadCount];
    for (int i = 0; i < threadCount; i++)
    {
        tasks[i] = Task.Run>(() =>
        {
            var rList = new List();
            while (queue.TryDequeue(out T t))
            {
                rList.Add(func(t));
            }
            return rList;
        });
    }
    Task.WaitAll(tasks);
    for (int i = 0; i < threadCount; i++)
    {
        result.AddRange(tasks[i].Result);
    }
    return result;
}

调用方法

List list = new List() { 1, 2, 3, 4, 5, 6, 7, 8, 9 };
//输出列表中的数据，且加上“action”字符前缀
RunTask(list, d => { Console.WriteLine("action" + d); });

//对列表中数据都执行 “*2” 的操作
var result = RunTask(list, d => { return d * 2; });
result.ForEach(d => Console.WriteLine(d));

最后的话

上面的代码只是简单的实现了对数据的处理，并没有考虑到对内存的使用限制，一般的项目中使用还是可以的。
最后我尝试了下，生成一个100M的列表，然后将其加载到ConcurrentQueue，监控程序内存占用，发现没有很大的内存占用变化。