机器学习学习笔记(六)

正规方程

在一些线性回归问题中,可以用正规方程方法更快地解决问题,直接解出参数值来。

设特征矩阵为X(第一列是x0=1),训练集结果为向量y,能够带入公式

θ=(XTX)1XTy

直接解出θ的向量。

举例:

upload successful

带入公式进行矩阵运算即可得出结果。 以此题为例,我使用 Octave 进行了运算

先输入输入值X的矩阵

upload successful

输入输出值y的向量

upload successful

直接带入公式

θ=(XTX)1XTy

upload successful

梯度下降法与正规方程的对比

梯度下降 正规方程
需要选择学习率α 不需要
需要多次迭代 一次运算得出
当特征数量 n 大时也能较好适用 需要计算(XTX)1 如果特征数量 n 较大则运算代价大,因为矩阵逆的计算时间复杂度为 O(n3),通常来说当 n 小于 10000 时还可以接受
适用于各种类型的模型 只适用于线性模型,不适合逻辑回归模型等其它模型