AutoML简介

简介：什么是AutoML？

Machine Learning近年来已经取得了相当大的成功，一大批学科的前进都依赖于它。但是，这些成功都需要机器学习专家去执行以下任务：

• Preprocess the data（数据预加工）

• Select appropriate features（选择合适的特征）

• Select an appropriate model family（选择一个合适的模型族）

• Optimize model hyperparameters（优化超参数模型）

• Postprocess machine learning models（机器学习模型后处理）

• Critically analyze the results obtained（严谨地分析所得结果）

当任务的复杂度经常会令非机器学习专家头疼的时候，一大批机器学习的应用应运而生。这些现成的机器学习方法不需要专家的知识，同时可以简单的使用。我们将由此产生的领域称之为Targets progressive automation of machine learning，AutoML。

虽然它聚焦于让用户不需要专业的机器学习知识。AutoML同样为机器学习专家提供了新工具，比如：

• Perform architecture search over deep representations（在深度学习中执行框架搜索）

• Analyse the importance of hyperparameters（分析超参数的重要性）

通过编程中优化的范式，AutoML主张开发灵活的数据包。这些数据包可以通过数据驱动的方式自动实例化。

AutoML的一些例子

AutoML的目标是可以让机器学习的菜鸟来编写一些立即可用的软件。以下的一些例子说明了这是可行的：

• AutoWEKA

• 众所周和，Deep neural networks（深度神经网络）依赖于其中众多的超参数，并且模型优化程序在设置超参数方面取得的结论已经比人类的更好。(Bergstra et al, Snoek et al)

• Making a science of model search：一个复杂型计算机视觉框架可以自动进行实例化，并且可以产生3种类型的任务结果：face matching（人脸对比），face identification（人脸识别），object recognition（物体识别）

方法

AutoML用到了很多机器学习的学科，最显著的包括：

• Bayesian optimization（贝叶斯优化）

• Regression models for structured data and big data（结构化数据和大数据的回归模型）

• Meta learning（元学习）

• Transfer learning（迁移学习）

• Combinatorial optimization（组合优化）

超参数优化系统

当今一些使用贝叶斯优化来优化机器学习超参数的系统极大促进了AutoML。它们包括：

• Hyperopt, including the TPE algorithm

• Sequential Model-based Algorithm Configuration (SMAC)

• Spearmint

我们同样提供了两个函数包用来优化超参数：

• RoBO – Robust Bayesian Optimization framework

• SMAC3 – a python re-implementation of the SMAC algorithm

原文地址