[bug报告]nxlog字符集转化导致内存泄漏

nxlog号称“日志收集神器”。nxlog 2.8社区版存在一个bug，此bug会导致明显的内存泄漏。

nxlog

重现方法

采用支持自动字符集转化的扩展，对日志数据进行转化时：

    Module xm_charcov
    AutodetectCharsets gbk, utf-8, euc-jp, utf-16, utf-32, iso8859-2



    Module  im_file
    File  "tmp/input"
    Exec  convert_fields("AUTO", "utf-8");


...

nxlog对配置了AUTO源字符集的日志数据进行转化时，会按照顺序从AutodetectCharsets罗列的候选字符集从左到右依次尝试进行转化（采用libiconv），直到成功。

如果源文件的字符集无法匹配第一个AutodetectCharsets，那么将导致内存泄漏，使用valgrind测试得到下面输出：

valgrind

可以看到，在这个测试下，泄漏的字节尽然高达150M，如果测试继续下去，可能更高。在压力测试下，泄漏的速度甚至高达30M/s。而泄漏的根源是iconv_open没有对应的iconv_close。

问题分析

通过源码分析，可以发现在src/modules/extension/charconv/charconv.c中_nx_convert负责iconv_open，并调用iconv，但是转化失败会导致抛出异常（long jump）。于是iconv_close将被跳过：

_nx_convert

修复方法

修复这个问题有两个方面：

1. 尽量避免使用AUTO源，通过观察AUTO的逻辑，可以发现效率比较低下，最好能够提前知道源文件的字符编码。夏洛克采集程序将Mozilla Firefox浏览器中对文档字符集自动探测算法集成到了产品中，从而尽可能避免使用AUTO。
2. 在_nx_convert方法内部catch住异常，并在保证关闭后rethrow。由于C语言无法模拟finally，如果考虑到代码的优雅性，那么应避免在iconv_close之前throw异常。