自动机器学习工具NNI使用体验

NNI简介

NNI (Neural Network Intelligence) 是由微软亚洲研究院人工智能系统联合中心打造的AutoML开源工具包。 它通过多种调优的算法来搜索最好的神经网络结构和（或）超参，并支持单机、本地多机、云等不同的运行环境。NNI是非常友好的开源工具，用户可以在其上拓展自己的开源算法。

NNI相较于其他autoML工具的优势

易于使用：NNI可通过pip安装。只需要在代码中添加几行，就可以利用 NNI 来调优参数。 可使用命令行工具或 Web 界面来查看实验过程。
可扩展：调优超参或网络结构通常需要大量的计算资源。NNI 在设计时就支持了多种不同的计算资源，如远程服务器组，训练平台（如：OpenPAI，Kubernetes），等等。 通过训练平台，可拥有同时运行数百个 Trial 的能力。
灵活：除了内置的算法，NNI 中还可以轻松集成自定义的超参调优算法，神经网络架构搜索算法，提前终止算法等等。 还可以将 NNI 连接到更多的训练平台上，如云中的虚拟机集群，Kubernetes 服务等等。 此外，NNI 还可以连接到外部环境中的特殊应用和模型上。
高效：NNI 在系统及算法级别上不停的优化。 例如：通过 Trial 早期的反馈来加速调优过程。

NNI安装过程体会

NNI的安装十分便捷，目前NNI只支持Linux系统和MacOS系统，官方测试的版本包括Ubuntu 16.04及更高版本，MacOS 10.14.1。并且要求python版本在3.5以上。安装NNI可以通过以下两种方式：

通过pip命令安装。

pip的安装非常简单，在python3.5以上环境直接使用命令行

pip install --upgrade nni

如果出现了类似Segmentation fault这样的错误可以参考官方的常见问题。

通过源代码安装

使用源代码安装需要安装git和wget组件。如果没有安装这两个组件，可以使用命令安装：

sudo apt-get update
sudo apt-get install wget
sudo apt-get install git

安装好git和wget后，使用命令安装NNI

git clone -b v0.5.1 https://github.com/Microsoft/nni.git
cd nni  
source install.sh

或者你可以手动在git上下载nni的安装包，并在nni目录下直接执行

source install.sh

也可安装成功，NNI具体配置参考

安装体会

NNI的安装过程十分简单，官方提供了非常详细的安装说明以及系统配置需求，开发者即便不了解和熟悉linux系统，也可以轻松安装成功。并且NNI提供了验证安装成功的demo，详情可参考官方安装教程。

NNI使用过程体会

NNI的使用过程包括一些文件的配置，如何在自己的python代码中嵌入NNI工具，如何定义搜索空间等可以参考我的两位同学写的博客。
NNI的学习及简单示例
自动机器学习工具NNI给xgboost模型调参
NNI的使用过程也十分的方便，官方提供了大量的使用相关文档。入门可以参考官方的快速入门。

使用体会

使用NNI给我最好的使用体验就是易于使用。

1.简单的代码嵌入

刚好最近正在参加的一个数据类竞赛中使用了lgb模型，于是使用了就使用了nni进行lgb调参。只需要在我原来的代码中添加几行代码，如更新参数只需要添加如下几行代码。

RECEIVED_PARAMS = nni.get_next_parameter()
lgb_params = get_default_parameters()
lgb_params.update(RECEIVED_PARAMS)

然后只需要将验证集的结果返回，添加如下代码

nni.report_final_result(score)

这样一个nni调参程序就嵌入到了你原有的代码中。而且NNI还可以使用Annotation的方式实现，详见如何使用 Annotation。使用这种方法，nni的嵌入代码就像普通的python注释一样，这样在没有配置nni的环境下也可以正常的运行代码。

2. WEB页面

NNI的web页面可以清晰的反映所用参数和结果，这可以帮助开发和科研人员更好的看超参数跟自己结果的关系，也可以直接使用NNI跑出的最优超参数用于自己的模型。相比于一些没有web页面的autoML工具，NNI将所有的参数和结果记下，并很方便下载，避免了开发人员耗费大量时间记录参数和对应的结果。NNI的web页面及下载参数如下：

NNI使用过程中的建议

1. 希望能设置错误流输出。
   出现异常无法定位，改进能够通过配置将错误流输出到文件中。
2. 希望能有NNI的调试页面。
3. 下载的参数是以json文件格式存储，但是顺序是乱序的，希望可以下载后是以最优结果排序，这样方便开发者观察数据。