信息论

KL散度（KullbackLeibler Divergence）是衡量两个概率分布差异的指标常用于机器学习和信息论。在Python中可以使用scipy.stats库中的函数

相对熵在Python中的实现主要通过SciPy库的entropy函数。该函数可以计算两个概率分布之间的相对熵常用于衡量两个随机变量的不确定性。相对熵（Python）（图片来