电脑基础 · 2023年2月28日

机器学习中的数学原理——对数似然函数

这个专栏主要是用来分享一下我在 机器学习中的 学习笔记及一些感悟,也希望对你的学习有帮助哦!感兴趣的小伙伴欢迎 私信或者评论区留言!这一篇就更新一下《 白话机器学习中的数学——对数似然函数》!

目录

一、什么是对数似然函数

二、算法分析

三、总结 


一、什么是对数似然函数

对数似然是Minitab 为了确定估计系数(β) 的最优值而最大化的表达式。 由于对数似然是样本数量的函数,因此它们的值不能单独作为拟合值的指数使用,但可以用来比较不同系数的拟合值。 由于您要最大化对数似然,因此值越大越好。

二、算法分析

之前我们已经接触过似然函数的概念,我们认为似然函数 L(θ) 中,使其值最大的参数θ能够最近似地说明训练数据。和随机梯度下降法一样,我们接下来要做的就是对似然函数进行微分,求出参数 θ。不过直接对似然函数进行微分有点困难,在此之前要把函数变形。联合概率中的概率都是 1 以下的数,所以像联合概率这种概率乘法的值会越来越小。如果值太小,编程时会出现精度问题。并且与加法相比,乘法的计算量要大得多。

想要解决这些问题,只要取似然函数的对数就好了。像这样在等式两边加上 log 即可:

机器学习中的数学原理——对数似然函数

 log 是单调递增函数。log 函数的图形如下所示:

机器学习中的数学原理——对数似然函数

图形一直向右上方延伸。单调递增函数是在 x1 < x2 时,f(x1) < f(x2) 的函数 f(x)。log(x)的图形一直向右上方延伸,而且在 x1 < x2时,log(x1) < log(x2)也成立。

我们现在考察的似然函数也是在 L(θ1) < L(θ2) 时,有logL(θ1) < logL(θ2) 成立。也就是说,使 L(θ) 最大化等价于使logL(θ) 最大化。我们把对数似然函数变形看看:

机器学习中的数学原理——对数似然函数

 每一行的变形分别利用了下面这些特性,好好理解一下:

  • 第 2 行是 log(ab) = log a + log b
  • 第 3 行是 log ab = b log a
  • 第 4 行是 P(y(i) = 0|x(i) ) = 1 − P(y(i) = 1|x(i) )

前两个是对数函数的特性,下面对第 4 行进行解释:现在我们考虑的只有 y = 1 和 y = 0 两种情况,所以应有 P(y(i) = 0|x(i) ) + P(y(i) = 1|x(i) ) = 1

下面要做的就是就是进行偏分求未知量。前面讲了很多,总结一下就是逻辑回归将这个对数似然函数用作 目标函数。

机器学习中的数学原理——对数似然函数

 接下来,对各个参数 θj 求微分就行了:

机器学习中的数学原理——对数似然函数

 和回归的时候是一样的,我们把似然函数也换成这样的复合函数, 然后依次求微分。

机器学习中的数学原理——对数似然函数

机器学习中的数学原理——对数似然函数

机器学习中的数学原理——对数似然函数

这个是 u 对 v 微分,log(v) 的微分是 1/v。对 log(1 − v) 微分时,要像这样通过复合函数来求。还 要注意,这样做最后的表达式前面会有个负号。

机器学习中的数学原理——对数似然函数

 所以,微分结果是这样的:

机器学习中的数学原理——对数似然函数

 接下来是 v 对 θj 的微分:

机器学习中的数学原理——对数似然函数

这个看上去有点麻烦,不过其实我们已经知道了 sigmoid 函数的 微分是这样的,所以用这个应该就可以计算了。

机器学习中的数学原理——对数似然函数

现在 fθ(x)本身就是 sigmoid 函数,所以这个微分表达式可以直接使用。设 z = θTx,然后再一次使用复合函数的微分会比较好。

 机器学习中的数学原理——对数似然函数

v 对 z 微分的部分也就是 sigmoid函数的微分。

机器学习中的数学原理——对数似然函数

 z 对 θj 的微分就简单了。

机器学习中的数学原理——对数似然函数

 接下来把结果相乘就好了:

机器学习中的数学原理——对数似然函数

 我们就代入各个结果,然后通过展开、约分,使表达式 变得更简洁。

机器学习中的数学原理——对数似然函数

接下来要做的就是从这个表达式导出参数更新表达式。不过现在是以最大化为目标,所以必须按照与最小化时相反的方向移动参数哦。也就是说,最小化时要按照与微分结果的符号相反的 方向移动,而最大化时要与微分结果的符号同向移动。

机器学习中的数学原理——对数似然函数

 为了与回归时的符号保持一致,也可以将表达式调整为下面这样。注意,η 之前的符号和∑中的符号反转了。这就是我们最终求得的结果表达式:

机器学习中的数学原理——对数似然函数

三、总结 

通过上面的推导,我们学习了最大似然函数,这与我们之前接触的最小二乘法不同,最小二乘法以误差作为评判标准,误差越小越好,而最大似然函数以概率作为评判标准,概率越大越好。在计算概率时,我们求了一次对数log计算,避免了连乘概率越来越小,受计算机计算进度影响也越来越大的问题。求得表达式之后的求微分也和我们之前讲的相似,只要采用连续偏导就可以了。计算过程挺复杂,不过最后的结果还挺简单的:

机器学习中的数学原理——对数似然函数