metric 距离度量

什么时候采用均方差,什么时候采用cross entropy?

连个任意向量的距离

L1 L2

L2距离,更改坐标系,距离不变。 L1距离,更改坐标系,距离会变。coordinate dependency

有特殊意义的,可以用L1. 没有特殊意义的向量,最好用L2。

http://vision.stanford.edu/teaching/cs231n-demos/knn/

两个概率的距离

  • cross entropy
  • kl divergence
  • word mover distance
    • WMD for document distance
    • Wasserstein GAN (W-GAN)