spring templete jdbc 游标实现百万级数据导出

先直接上干货，关键代码实现：
说明：
1、mysql连接url上一定要加上此配置，不然不会生效：useCursorFetch=true
2、getPreparedStatementCreator 方法可以copy出NamedParameterJdbcTemplate中的实现，用来支持map传参。
3、createRowCallbackHandler方法是构建RowCallbackHandler类，用来处理结果数据
4、##重要事情说三遍：一定不要用jdbcTemplate.setFetchSize(1000);jdbcTemplate.setMaxRows(1000000);
来设置游标每次返回结果数量。原因是，jdbcTemplate是单例的，设置了后会导致所有的请求都使用游标查询，游标查询会导致设置的默认sql请求超时时间失效，连接不会被释放，导致数据库连接池被打满
5、使用preparedStatement.setFetchSize(int count) 来设置游标批量处理数据条数

                   log.info("游标方式执行的sql:{}" , sql);
                    JdbcTemplate jdbcTemplate = namedParameterJdbcTemplate.getJdbcTemplate();
//                    jdbcTemplate.setFetchSize(1000);
//                    jdbcTemplate.setMaxRows(1000000);
                    PreparedStatementCreator getPreparedStatementCreator = getPreparedStatementCreator(sql, new MapSqlParameterSource(request.getParams()), null);
                    jdbcTemplate.query(con->{
                        PreparedStatement preparedStatement = getPreparedStatementCreator.createPreparedStatement(con);
                        preparedStatement.setFetchSize(1000);
                        preparedStatement.setMaxRows(1000000);
                        return preparedStatement;

                    },createRowCallbackHandler(titleNames,workbook));
                    log.info("游标方式执行的sql,查询完成:{}", sql);

private RowCallbackHandler createRowCallbackHandler(final List titleNames,SXSSFWorkbook workbook) {


        return new RowCallbackHandler() {
            private Map> dictMap = new HashMap<>();
            private SXSSFSheet sheet;
            @Override
            public void processRow(ResultSet resultSet) throws SQLException {
                ResultSetMetaData metaData = resultSet.getMetaData();
                int columnCount = metaData.getColumnCount();
                Object[] result = new Object[columnCount];
                for (int j = 1; j <= columnCount; j++) {
                    Object value = resultSet.getObject(j);
                    result[j - 1] = value;
                }
                   if(sheet == null){
                       String[] header = new String[titleNames.size()];
                       header = titleNames.toArray(header);
                       sheet = ExcelUtils.createdSheet(workbook, header, "导出");
                   }
                   List objs = new ArrayList<>();
                   objs.add(result);
                   ExcelUtils.addRows(sheet,objs);
            }
        };
    }

Reportcenter 导出本地性能测试

用例导出100w数据(124M)
测试环境：mac 4G 8线程

导出方式：原有导出功能

执行一次耗时以及内存使用情况：内存直线上升，并且不会及时回收，内存回收缓慢，且回收不完全。类加载有小幅上涨，****cpu****直接上升至50%

image

image

image

优化后游标方式导出：耗时比非游标方式导出时间少45s左

image

image

内存使用情况：内存使用平稳，****cpu****会有小幅上涨，内加载变化平稳

image

并发5次请求测试：

非游标方式5次：老年代已经被打满，cpu使用率上升至80%，导出还未结束，25分时监控已经不动，11点33还是只看到25的监控情况，监控卡死，系统宕机

image

游标方式：最小耗时4分钟，最大9分钟，平均耗时7分钟，内存使用方面，5次并发导出与一次相比无明显变化，比非游标方式1次导出所需内存小。cpu使用率最高20%左右

image

结论：
游标方式：
耗时情况：两者耗时相差不大
内存使用情况：
单次导出：无明显波动，与初始使用(500M)内存持平
并发5次导出：无明显波动，稍高于初始使用(500M)内存
cpu使用情况：
单次导出：峰值12%左右
并发5次导出：峰值20%左右
非游标方式：
耗时情况：两者相差不大
内存使用情况：
单次导出：内存波动明显，1次导出需要1G左右内存
并发5次导出：内存被打满，系统卡死，oom问题产生
cpu使用情况：
单次导出：峰值50%左右
并发5次导出：峰值80%左右，系统卡死，oom问题产生