基于Dapper打造高性能PostgreSQL异步访问封装(DapperHelper PostgerSQL 版)

基于Dapper打造高性能PostgreSQL异步访问封装(DapperHelper PostgerSQL 版)


一、前言

在高富贵性的环境中,我们常常需要处理大量数据,而Dapper作为一款轻量级ORM,充分发挥了性能上的优势。

然而,默认的Dapper没有考虑大量数据流式处理,很容易一次性拉入大量数据到内存,造成OOM。

本文将教你如何封装一个完全支持「异步」「流式」「多结果集」的 DapperHelper,让你充分采用PostgreSQL和Dapper的性能优势!


二、Dapper和PostgreSQL简介

  • Dapper:定位于极致性能的微型ORM,直接将SQL查询结果映射成实体。
  • PostgreSQL:一款免费、开源、强大的具有高实时性性能的关系型数据库,特别适合处理大量数据库操作。

三、DapperHelper设计思路

  • 异步打开连接 (OpenAsync)
  • 全部方法完全异步
  • 流式读取 (StreamQueryAsync)
  • 多结果集支持 (QueryMultipleAsync)

四、流式、多结果封装

public static async IAsyncEnumerable<T> StreamQueryAsync<T>(string sql, object? parameters = null)
{
   
    await using var connection = await CreateConnectionAsync();
    await using var reader = await connection.ExecuteReaderAsync(sql, parameters, commandType: CommandType.Text, commandBehavior: CommandBehavior.SequentialAccess | CommandBehavior.CloseConnection);

    var parser = reader.GetRowParser<T>();

    while (await reader.ReadAsync())
    {
   
        yield return parser(reader);
    }
}
public static async Task<TResult> QueryMultipleAsync<TResult>(string sql, object? parameters, Func<SqlMapper.GridReader, Task<TResult>> mapFunc)
{
   
    await using var connection = await CreateConnectionAsync();
    using var multi = await connection.QueryMultipleAsync(sql, parameters);
    return await mapFunc(multi);
}

这样的设计,可以保证日常工作中:

  • 处理大表查询不爆内存
  • 多次SQL处理简单、开放

五、性能比较

方式 内存占用 速度 适用场景
QueryAsync(默认) 小量数据(<10万条)
StreamQueryAsync 较快 大表,流水统计查询

六、DapperHelper完整代码

using System;
using System.Collections.Generic;
using System.Data;
using System.Threading.Tasks;
using Dapper;
using Npgsql;

namespace YourNamespace
{
   
    /// 
    /// 提供对 PostgreSQL 数据库的 Dapper 异步访问封装,支持常规查询、事务操作、流式查询和多结果集查询。
    /// 
    public static class DapperHelper
    {
   
        private static readonly string _connectionString = "Host=your_host;Port=5432;Database=your_database;Username=your_user;Password=your_password;Pooling=true;Maximum Pool Size=100;";

        /// 
        /// 创建并打开一个异步 PostgreSQL 数据库连接。
        /// 
        /// 已打开的 NpgsqlConnection 实例
        private static async Task<NpgsqlConnection> CreateConnectionAsync()
        {
   
            var connection = new Np

你可能感兴趣的:(.net,postgresql,数据库,.net,c#)