谷歌机器学习课程笔记(3)——深入了解机器学习

一、线性回归

 

线性回归是一种找到最适合一组点的直线或超平面的方法。本模块会先直观介绍线性回归,为介绍线性回归的机器学习方法奠定基础。

 

最基本的线性关系:

y=mx+b

其中:

y 指的是我们试图预测的值

m 指的是直线的斜率

x 指的是输入特征的值

b 指的是 y 轴截距

 

按照机器学习的惯例,以上方程可写为:

y′=b+w1x1

其中:

y′ 指的是预测标签(理想输出值)。

b 指的是偏差(y 轴截距)。而在一些机器学习文档中,它称为 w0

w1 指的是特征 1 的权重。权重与上文中用 m 表示的“斜率”的概念相同。

x1 指的是特征(已知输入项)。

要根据新的 x1 推断(预测) y′,只需将 x1 值代入此模型即可。

下标(例如 w1 和 x1)预示着可以用多个特征来表示更复杂的模型。例如,具有三个特征的模型可以采用以下方程式:

y′=b+w1x1+w2x2+w3x3

 

二、训练与损失

 

训练模型表示通过有标签样本来学习(确定)所有权重和偏差的理想值。在监督式学习中,机器学习算法通过以下方式构建模型:检查多个样本并尝试找出可最大限度地减少损失的模型;这一过程称为经验风险最小化

损失是对糟糕预测的惩罚。也就是说,损失是一个数值,表示对于单个样本而言模型预测的准确程度。如果模型的预测完全准确,则损失为零,否则损失会较大。训练模型的目标是从所有样本中找到一组平均损失“较小”的权重和偏差。

 

平方损失:一种常见的损失函数

接下来我们要看的线性回归模型使用的是一种称为平方损失(又称为 L2 损失)的损失函数。单个样本的平方损失如下:

= 标签与预测值之差的平方

= (观察值 - 预测(x))2

= (y - y')2

 

均方误差 (MSE) 指的是每个样本的平均平方损失。要计算 MSE,需要求出各个样本的所有平方损失之和,然后除以样本数量:

MSE = (1/N) * ∑(x,y)∈D(y−prediction(x))2

 

其中:

(x,y) 指的是样本,其中:

    x 指的是模型进行预测时使用的特征集。

    y 指的是样本的标签。

prediction(x) 指的是权重和偏差与特征集 x 结合的函数。

D 指的是包含多个有标签样本(即 (x,y))的数据集。

N 指的是 D 中的样本数量。

虽然 MSE 常用于机器学习,但它既不是唯一实用的损失函数,也不是适用于所有情形的最佳损失函数。

Pingbacks已关闭。

Trackbacks

评论已关闭