首先附上easyExcel官网EasyExcel官方文档 - 基于Java的Excel处理工具 | Easy Excel (alibaba.com)
Java解析、生成Excel比较有名的框架有Apache poi、jxl。但他们都存在一个严重的问题就是非常的耗内存,poi有一套SAX模式的API可以一定程度的解决一些内存溢出的问题,但POI还是有一些缺陷,比如07版Excel解压缩以及解压后存储都是在内存中完成的,内存消耗依然很大。
easyexcel重写了poi对07版Excel的解析,一个3M的excel用POI sax解析依然需要100M左右内存,改用easyexcel可以降低到几M,并且再大的excel也不会出现内存溢出;03版依赖POI的sax模式,在上层做了模型转换的封装,让使用者更加简单方便
com.google.guava
guava
31.0.1-jre
com.alibaba
easyexcel
3.0.5
下方的代码都是基于SpringBoot + Mybatis-Plus
这是一个简单的实体类,用来使用接收Excel表格里所读取的数据
其中注解@ExcelProperty表示一个用来接受Excel内字段的属性,其中value属性表示的是Excel对应的列名称,index则表示当前列是Excel中的第几列,其中下标是从0开始的。
@ExcelIgnoreUnannotated
@TableName("excel")
@Data
public class ExcelImport implements Serializable {
private static final long serialVersionUID = -75075031034829113L;
@ExcelProperty(value = {"公司名"}, index = 0)
@ColumnWidth(15)
private String companyName;
@ExcelProperty(value = {"货物数量"}, index = 1)
private Long goodsNum;
@ExcelProperty(value = {"去往城市"}, index = 2)
private String city;
@ExcelProperty(value = {"出货时间"}, index = 3)
@DateTimeFormat("yyyy-MM-dd")
@ColumnWidth(15)
private Date shippingTime;
}
Mapper层加入批量存储数据的方法,以便后续操作
insert into excel(company_name,goods_num,city,shipping_time) VALUES
(#{excelImport.companyName},#{excelImport.goodsNum},#{excelImport.city},#{excelImport.shippingTime})
业务层
@Override
public void importExcel(MultipartFile file) {
try {
EasyExcel.read(file.getInputStream(), ExcelImport.class, new ExcelImpostListener(excelImportMapper)).sheet().doRead();
} catch (IOException e) {
throw new RuntimeException("IO异常");
}
}
重点需要构造一个监听器来监听读文件的情况
@Slf4j
@Component
@Transactional(rollbackFor = Exception.class)
public class ExcelImpostListener extends AnalysisEventListener {
private ExcelImportMapper excelImportMapper;
private final int DATA_COUNT = 121;
private List dataList = ListUtils.newArrayListWithExpectedSize(DATA_COUNT);
public ExcelImpostListener(ExcelImportMapper excelImportMapper) {
this.excelImportMapper = excelImportMapper;
}
@Transactional(rollbackFor = Exception.class)
@Override
public void invoke(ExcelImport excelImport, AnalysisContext analysisContext) {
dataList.add(excelImport);
if (dataList.size() >= DATA_COUNT) {
excelImportMapper.saveBatch(dataList);
dataList = ListUtils.newArrayListWithExpectedSize(DATA_COUNT);
}
}
@Override
public void doAfterAllAnalysed(AnalysisContext analysisContext) {
excelImportMapper.saveBatch(dataList);
log.info("存储成功");
}
}
批量存数据入数据库,由于采用了批量导入,所以万条数据的存储时间只需1.5s左右
读数据所需的实体类同写数据一致,注释一致。
@Override
public void exportData(Integer type, Long startDate, Long endDate, HttpServletResponse response) {
String fileType = getFileType(type);
//查询数据库
List data = excelImportMapper.selectList(new QueryWrapper()
.between("shipping_time", new Date(startDate), new Date(endDate)));
if (ObjectUtils.isEmpty(data)) {
throw new ServiceException("查询数据为空", 200);
}
//处理数据,将其转化为导出的格式
List exportList = setDataToWrite(data);
//开启线程调用第三方飞书机器人api
asyncService.feiShuApi(exportList);
//设置下载信息
response.setContentType("application/vnd.ms-excel;charset=UTF-8");
response.setCharacterEncoding("utf-8");
try {
String fileName = Calendar.getInstance().getTimeInMillis() + "货物统计" + fileType;
response.setHeader("Content-disposition", "attachment;filename=" + URLEncoder.encode(fileName, "utf-8"));
} catch (UnsupportedEncodingException e) {
e.printStackTrace();
}
//调用方法进行写操作
try {
EasyExcel.write(response.getOutputStream(), ExcelExport.class).sheet("货物统计")
.doWrite(exportList);
} catch (IOException e) {
throw new ServiceException(e.getMessage(), 500);
}
}
其中最重要的代码为最后十三行,其他可以忽略