机器学习评估指标（Metrics）
Metrics提供以下语言的各种监督机器学习评估指标的实现：
- Python
easy_install ml_metrics - R
install.packages("Metrics")from the R prompt - Haskell
cabal install Metrics - MATLAB / Octave (clone the repo & run setup from the MATLAB command line)
有关更详细的安装说明，请参阅每个实现的 README。
评估指标
| Evaluation Metric（评估指标） | Python | R | Haskell | MATLAB / Octave |
| Absolute Error (AE) 绝对误差 | ✓ | ✓ | ✓ | ✓ |
| Average Precision at K (APK, AP@K)K 的平均精度 | ✓ | ✓ | ✓ | ✓ |
| Area Under the ROC (AUC) | ✓ | ✓ | ✓ | ✓ |
| Classification Error (CE) | ✓ | ✓ | ✓ | ✓ |
| F1 Score (F1)F1 分数 | ✓ | |||
| Gini基尼 | ✓ | |||
| Levenshtein | ✓ | ✓ | ✓ | |
| Log Loss (LL)对数损失 | ✓ | ✓ | ✓ | ✓ |
| Mean Log Loss (LogLoss)平均对数损失 | ✓ | ✓ | ✓ | ✓ |
| Mean Absolute Error (MAE)平均绝对误差 | ✓ | ✓ | ✓ | ✓ |
| Mean Average Precision at K (MAPK, MAP@K) | ✓ | ✓ | ✓ | ✓ |
| Mean Quadratic Weighted Kappa | ✓ | ✓ | ✓ | |
| Mean Squared Error (MSE)均方误差 | ✓ | ✓ | ✓ | ✓ |
| Mean Squared Log Error (MSLE)均方对数误差 | ✓ | ✓ | ✓ | ✓ |
| Normalized Gini归一化基尼 | ✓ | |||
| Quadratic Weighted Kappa | ✓ | ✓ | ✓ | |
| Relative Absolute Error (RAE)相对绝对误差 | ✓ | |||
| Root Mean Squared Error (RMSE)均方根误差 | ✓ | ✓ | ✓ | ✓ |
| Relative Squared Error (RSE)相对平方误差 | ✓ | |||
| Root Relative Squared Error (RRSE)根相对平方误差 | ✓ | |||
| Root Mean Squared Log Error (RMSLE)均方根对数误差 | ✓ | ✓ | ✓ | ✓ |
| Squared Error (SE)平方误差 | ✓ | ✓ | ✓ | ✓ |
| Squared Log Error (SLE)平方对数误差 | ✓ | ✓ | ✓ | ✓ |
TO IMPLEMENT
- F1 score （F1分数）
- Multiclass log loss
- Lift
- Average Precision for binary classification（二进制分类的平均精度）
- precision / recall break-even point（精度/召回盈亏平衡点）
- cross-entropy（交叉熵）
- True Pos / False Pos / True Neg / False Neg rates
- precision / recall / sensitivity / specificity（精度率/召回率/灵敏度/特异性）
- mutual information
要处理的更高级别的转换
- GroupBy / 减少
- 对单个样本或组进行加权
属性指标可以有
（非详尽无遗，将在未来添加）
- 最小值或最大值（通过最小化或最大化进行优化）
- 二进制分类
- 分数预测的类标签
- 分数预测排名（最有可能在一个班级中最不可能）
- 得分预测概率
- 多类分类
- 分数预测的类标签
- 得分预测概率
- 回归
- 离散评分者比较（混淆矩阵）
Sklearn.metrics (sklearn中的评价指标)
scikit-learn.metrics导入与调用
有两种方式导入：
方式一：
from sklearn.metrics import 评价指标函数名称例如：
from sklearn.metrics import mean_squared_error
from sklearn.metrics import r2_score调用方式为：直接使用函数名调用
计算均方误差mean squared error
mse = mean_squared_error(y_test, y_pre)计算回归的决定系数R2
R2 = r2_score(y_test,y_pre)方式二：
from sklearn import metrics调用方式为：metrics.评价指标函数名称（parameter）
例如：
计算均方误差mean squared error
mse = metrics.mean_squared_error(y_test, y_pre)计算回归的决定系数R2
R2 = metrics.r2_score(y_test,y_pre)回归指标
explained_variance_score(y_true,y_pred,sample_weight=None,multioutput=‘uniform_average’)：回归方差(反应自变量与因变量之间的相关程度)
mean_absolute_error(y_true,y_pred,sample_weight=None,multioutput=‘uniform_average’)：平均绝对误差
mean_squared_error(y_true, y_pred, sample_weight=None, multioutput=‘uniform_average’)：均方差
median_absolute_error(y_true, y_pred) 中值绝对误差
r2_score(y_true, y_pred,sample_weight=None,multioutput=‘uniform_average’) ：R平方值
分类指标
accuracy_score(y_true,y_pre) : 精度
auc(x, y, reorder=False) : ROC曲线下的面积;较大的AUC代表了较好的performance。
average_precision_score(y_true, y_score, average=‘macro’, sample_weight=None):根据预测得分计算平均精度(AP)
brier_score_loss(y_true, y_prob, sample_weight=None, pos_label=None):The smaller the Brier score, the better.
confusion_matrix(y_true, y_pred, labels=None, sample_weight=None):通过计算混淆矩阵来评估分类的准确性 返回混淆矩阵
f1_score(y_true, y_pred, labels=None, pos_label=1, average=‘binary’, sample_weight=None): F1值
F1 = 2 * (precision * recall) / (precision + recall) precision(查准率)=TP/(TP+FP) recall(查全率)=TP/(TP+FN)
log_loss(y_true, y_pred, eps=1e-15, normalize=True, sample_weight=None, labels=None)：对数损耗，又称逻辑损耗或交叉熵损耗
precision_score(y_true, y_pred, labels=None, pos_label=1, average=‘binary’,) ：查准率或者精度； precision(查准率)=TP/(TP+FP)
recall_score(y_true, y_pred, labels=None, pos_label=1, average=‘binary’sample_weight=None)：查全率 ；recall(查全率)=TP/(TP+FN)
roc_auc_score(y_true, y_score, average=‘macro’, sample_weight=None)：计算ROC曲线下的面积就是AUC的值，the larger the better
roc_curve(y_true, y_score, pos_label=None, sample_weight=None, drop_intermediate=True)；计算ROC曲线的横纵坐标值，TPR，FPR TPR = TP/(TP+FN) = recall(真正例率，敏感度) FPR = FP/(FP+TN)(假正例率，1-特异性)