对比不同的loss funtion

分类 loss

参考 http://scikit-learn.org/stable/auto_examples/linear_model/plot_sgd_loss_functions.html

0-1 loss

logistic loss

hinge-loss

也叫SVM loss

max(0, 1-py)

h(x)=max(1−x,0)

平滑的hinge-loss

E = ln (1 + exp(−ty))

y log p

回归 loss

L1 对应拉普拉斯分布

MSE

L2 对应高斯分布

(p-y)^2

RMSE