在机器学习领域，线性回归模型以其简洁性而著称，它通过一条直线来拟合数据点，如下面的图表所示：
上面这张图还可以用下面的数学公式表示：
[ y = \mathbf{w}^T \cdot \mathbf{x} + b ]
其中 ( \mathbf{w} ) 表示权重向量，( b ) 是偏置项。
线性回归广泛用于预测连续数值，如房价、气温、销售额等。此外，通过引入激活函数，线性回归模型也能够解决二元分类问题。激活函数，如sigmoid函数，可以将线性回归的输出转换为概率值，非常适合用来处理分类问题。
例如，判断一张图像中是否包含猫，这是一个典型的二元分类问题。为了将线性回归应用于二元分类，我们需要执行一个关键步骤：将线性回归的输出映射到区间 [0,1] 内。在这个映射中，( y=1 ) 表示图像中存在猫，而 ( y=0 ) 表示没有猫。这将问题转化为一个概率估计问题，可以表示为 ( \hat{y} = P(y=1 \mid \mathbf{x}) )。
实现这种映射的关键是一个数学函数：sigmoid函数 ( \sigma(f) )，其定义为：
[ \sigma(f) = \frac{1}{1 + e^{-f}} ]
在这个函数中，( e ) 是自然对数的底数，( f ) 是线性回归的输出值。当 ( f ) 是一个非常大的正数时，( e^{-f} ) 趋近于 0，导致 ( \sigma(f) ) 的值接近于 1；反之，如果 ( f ) 是一个非常大的负数，( e^{-f} ) 会变得非常大，使得 ( \sigma(f) ) 的值接近于 0。这种函数的图形如下所示：
推而广之，通过将多个激活函数与线性回归模型结合，我们可以得到一个多层感知机（Multilayer Perceptron, MLP），它能够解决更为复杂的非线性问题，如图像分类、物体检测、语音识别等。
