什么样的模型是线性回归

1. 什么样的模型是线性回归

2经典线性回归模型

§2.1概念与记号

1．线性回归模型是用来描述一个特定变量y与其它一些变量x1，…，xp之间的关系。2．称特定变量y为因变量（dependentvariable）、被解释变量（explainedvariable）、
响应变量（responsevariable）、被预测变量（predictedvariable）、回归子（regressand）。3．称与特定变量相关的其它一些变量x1，…，xp为自变量（independentvariable）、解释变量（explanatoryvariable）、控制变量（controlvariable）、预测变量（predictorvariable）、回归量（regressor）、协变量（covariate）。
4．假定我们观测到上述这些变量的n组值：(yi,xi1,L,)xip(i=1，…，n)。称
这n组值为样本（sample）或数据（data）。
§2.2经典线性回归模型的假定

假定2.1（线性性(linearity)）

yi=b0+b1xi1+L+bpxip+ei(i=1，…，n)。

（2.1）

称方程（2.1）为因变量y对自变量x1，…，xp的线性回归方程（linearregression

equation），其中bk(k=0，1,L,p)是待估的未知参数（unknownparameters），

ei(i=1,L,n)是满足一定限制条件的无法观测的误差项（unobservederrorterm）。称自
变量的函数b0+b1xi1+L+bpxip为回归函数（regressionfunction）或简称为回归

（regression）。称b0为回归的截距(ntercept)，称bk(k=1,L,p)为自变量的回归系数

（regressioncoefficients）。某个自变量的回归系数表

2. 简单线性回归的理论模型

一元线性回归方程：表示为Y=A BX的方程

3. 线性回归模型的基本假设是什么？

古典线性回归模型假设是如下：
1、零均值假定。即在给定xt的条件下，随机误差项的数学期望（均值）为0，即E（ut）=0。
2、同方差假定。误差项ut的方差与t无关，为一个常数。
3、无自相关假定。即不同的误差项相互独立。
4、解释变量与随机误差项不相关假定。
5、正态性假定，即假定误差项ut服从均值为0，方差为西塔的平方的正态分布。

相关准则：
1、自变量对因变量必须有显著的影响，并呈密切的线性相关。
2、自变量与因变量之间的线性相关必须是真实的，而不是形式上的。
3、自变量之间应具有一定的互斥性，即自变量之间的相关程度不应高于自变量与因变量之间的相关程度。
4、自变量应具有完整的统计数据，其预测值容易确定。

4. 线性回归模型和非线性回归模型的区别是什么

线性回归模型和非线性回归模型的区别是：
线性就是每个变量的指数都是1，而非线性就是至少有一个变量的指数不是1。

通过指数来进行判断即可。

线性回归模型，是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。其表达形式为y = w'x+e，e为误差服从均值为0的正态分布。线性回归模型是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。只有一个自变量的情况称为简单回归,大于一个自变量情况的叫做多元回归。

非线性回归，是在掌握大量观察数据的基础上，利用数理统计方法建立因变量与自变量之间的回归关系函数表达式（称回归方程式）。回归分析中，当研究的因果关系只涉及因变量和一个自变量时，叫做一元回归分析；当研究的因果关系涉及因变量和两个或两个以上自变量时，叫做多元回归分析。

5. 广义线性回归模型有哪些

从逻辑回归模型开始，我们连续讲了好多集有些相似又特点各异的几种统计模型。它们有个统一的旗号，叫做「广义线性模型」(generalized linear model)。 许多在大学里学过一点统计的读者，可能对广义线性模型还是会感到比较陌生。为什么这些模型能被归为一个大类？它们的共同点在哪里？今天我们就和大家一块再来系统地认识一下，广义线性模型到底是何方神圣。

在耐着性子把这篇文章读完之前，大家肯定会想，为什么要学习广义线性模型呢？毕竟光是理解线性模型的各种用法就已经够头疼的了，再加个广义更绕不清楚了。

普通线性模型对数据有着诸多限制，真实数据并不总能满足。而广义线性模型正是克服了很多普通线性模型的限制。在笔者的心里，广义模型能解决的问题种类比普通线性模型多很多，用图来表示，大概就是这样的：



图一：定性对比广义线性模型和普通线性模型的能解决的问题多少

我们前面通过讨论逻辑回归、定序回归以及泊松回归模型，已经带着读者们在广义线性模型的世界里面转了一大圈。今天，我们将要回到广义线性模型的本质，从广义线性模型的三个要素——线性预测、随机性和联系函数入手，在理论层面系统深入地了解广义线性模型。

各路线性模型的共同点：线性预测

不管是普通线性模型，还是广义线性模型，既然打着「线性模型」旗号，总该是有个原因的吧？这里的「线性」指的是多个自变量的「线性组合」对模型预测产生贡献，也叫做线性预测，它具有类似于下面的形式：

这个形式读者们已经非常熟悉了，因为之前讲的所有模型使用的都是线性预测。

统计模型中的β0、β1、β2等是模型的参数，如果把模型看成是一个音箱，这些参数就像看是音箱上一个个控制声音的旋钮。为啥音箱得要怎么多旋钮呢？因为虽然拧每一个旋钮达到的效果不同，可能β0管的是低音炮部分，β1管的是中音区，β2管的是高音区，模型里面需要这么多参数也是为了控制各种自变量对因变量的影响的。

为什么各种常用的模型都选择线性预测呢？当我们调节某一个旋钮的时候，我们当然希望声音的效果与旋钮拧了多少成正比，如果拧了一圈声音跟蚊子叫一样，而拧了两圈声音突然震耳欲聋，这样的音箱用起来就得经过反反复复地调节才能找到最佳音量，非常的不方便。统计模型的在寻找最优参数的时候做得就是调节音量这件事，使用线性预测使得β0、β1、β2这些参数改变的值与预测的结果的改变值成正比，这样才能有效地找到最佳参数。

「随机性」— 统计模型的灵魂

我们之所以会建立统计模型，是想研究自变量（模型的输入）与因变量（模型的输出）之间的定量关系。通过模型计算出来的自变量的预测值与因变量的测量值越接近，就说明模型越准确。

虽然在建立模型时，我们希望统计模型能准确地抓住自变量与因变量之间的关系，但是当因变量能够100%被自变量决定时，这时候反而没有统计模型什么事了。典型的例子是中学时学习的物理定律，我们都知道，物体的加速度与它受的合力大小成正比，也就是说给定物体的质量和受力大小，加速度是一个固定的值，如果你答题的时候写，「有一定的概率是a，也有一定的概率是b」，物理老师肯定会气得晕过去。

统计模型的威力就在于帮助我们从混合着噪音的数据中找出规律。假设这个世界还没有人知道物体受的合力大小与加速度成正比，为了验证这一假说， 你仔细测了小滑块 在不同受力条件下的加速度，但由于手抖眼花尺子烂等等理由，哪怕是同样的受力，多次测量得到的加速度也会不一样，具有一定的随机性。也就是说，由于测量误差的存在，测量到的加速度（因变量y）与物体的受力大小（自变量x）之间不是严格的正比关系。

统计模型是怎样从具有随机性的数据中找到自变量和因变量之间的关系的呢？原因在于是随机误差也是有规律的。在测量不存在系统性的偏差的情况下，测量到的加速度会以理论值为平均值呈正态分布，详情可回顾《正态分布到底是怎么来的？| 协和八》。抓住这一统计规律，统计模型就能帮我们可以透过随机性看到自变量与因变量之间的本质联系，找出加速度与受力大小的关系。

6. 如何判断模型为线性回归模型

亲，线性就是每个变量的指数都是1，通过指数来进行判断即可【摘要】
如何判断模型为线性回归模型【提问】
亲，线性就是每个变量的指数都是1，通过指数来进行判断即可【回答】
此外，在机器学习-线性回归模型判断标准如下回归模型的判断标准一般有三种：MSE(误差平方和的均值，又称均方差)，误差越小即越趋近于0表示模型的效果也就是对数据的拟合性越好。【回答】
【回答】
m是指m个样本，i指的是向量y第i个维度的值       RMSE(均方差的算术平方根), 作用与MSE相同【回答】
R^2，取值范围是\large \left [ -\infty, 1 \right ]，其值越大越好，越接近1表示模型拟合效果越好，当预测值恒为样本期望值时，R^2为0.【回答】
【回答】
【回答】
最后补充：一般而言，MSE和R^2用的居多，特别是R^2。【回答】

7. 回归分析是线性回归吗

回归分析是线性回归。
线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。其表达形式为y = w'x+e，e为误差服从均值为0的正态分布。 
回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。
在统计学中，线性回归（Linear Regression）是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。只有一个自变量的情况称为简单回归，大于一个自变量情况的叫做多元回归。

在线性回归中，数据使用线性预测函数来建模，并且未知的模型参数也是通过数据来估计。这些模型被叫做线性模型。最常用的线性回归建模是给定X值的y的条件均值是X的仿射函数。不太一般的情况，线性回归模型可以是一个中位数或一些其他的给定X的条件下y的条件分布的分位数作为X的线性函数表示。
像所有形式的回归分析一样，线性回归也把焦点放在给定X值的y的条件概率分布，而不是X和y的联合概率分布（多元分析领域）。
线性回归是回归分析中第一种经过严格研究并在实际应用中广泛使用的类型。这是因为线性依赖于其未知参数的模型比非线性依赖于其未知参数的模型更容易拟合，而且产生的估计的统计特性也更容易确定。
线性回归模型经常用最小二乘逼近来拟合，但他们也可能用别的方法来拟合，比如用最小化“拟合缺陷”在一些其他规范里（比如最小绝对误差回归），或者在桥回归中最小化最小二乘损失函数的惩罚.相反,最小二乘逼近可以用来拟合那些非线性的模型.因此，尽管“最小二乘法”和“线性模型”是紧密相连的，但他们是不能划等号的。

8. 线性回归