在准备考研数学概率论后进行一些相关知识的整理。

基本概念阐述

Q: 数理统计解决了什么?

A: 数理统计主要解决了以下两方面的问题

  • 为了达到某些目的,如我想测量全国平均收入,通过抽样的方式来做相关的估计
  • 现在在面前给我们摆了一个观点,如中国人均收入10000RMB,那么我们需要用数学的办法去说明我们是拒绝这个观点还是接受这个观点

Q: XX是什么?

A: XX称为总体XX是我们所研究对象的某些数字指标,首先明确这是一个随机变量,XX所反映的是我们所关注的某个或某几个数量指标(如果是多个则是向量),比如我们关注城市人口的收入,那么收入就是随机变量,注意人口不是随机变量,因为我们研究的是收入而不是人口。

Q: XiX_i是什么?

A: 比如说我想研究全国的平均收入,我应该从全国范围内(总体)抽取n个人(样本,X1,X2,,XnX_1, X_2, \cdots, X_n)问他们的收入情况,那么X1,X2,,XnX_1, X_2, \cdots, X_n与总体XX独立同分布(iid)的,称(X1,X2,,Xn)(X_1, X_2, \cdots, X_n)这个整体来自总体XX,容量为n的一个简单随机样本,简称样本,记为XiiidX{X_i}\mathop \sim \limits^{iid} X

Q: xix_i是什么?

A: 一次抽样结果的具体n个(容量为n)数值称为观测值,用小写x表示。

Q: XiX_ixix_i的关系是什么?

A: 以上面的平均工资的例子为例,XiX_i表示我们抽的第i个人的工资,xix_i表示一次抽样的具体的值,可能第一次抽样抽出来的第i个人工资是10k,第二次抽样抽出来的是15k,所以xix_i在对应的不同次抽样中的数字是不同的。因此XiX_i是一个抽象的概念,xix_i是一个具体的数字。

Q: 分布函数的公式是什么?

A: 分布函数的公式可以写为连乘积
$F({x_1},{x_2}, \cdots ,{x_n}) = \prod\limits_{i = 1}^n {F({x_i})} $
考虑为什么可以这样,第一他们独立性可以把边缘分布直接相乘变为联合分布,第二他们是同分布所以分布函数都相同,因此可以写为连乘式。连续型概率密度亦如此。

Q: 什么是统计量?

A: 统计量是一种函数,即对应法则,还是从前面例子中,我们要获得了数据后需要对数据进行处理,比如说求均值,这就一一对应了一种函数,即统计量,记为g(X1,X2,,Xn)g(X_1, X_2, \cdots, X_n)

基本数字特征

先说明几个基本的数字特征

  • 样本均值:$\bar X = {1 \over n}\sum\limits_{i = 1}^n { {X_i}} $
  • 样本方差:S2=1n1i=1n(XˉXi)2=1n1[(i=1nXi2)nXˉ2]{S^2} = {1 \over {n - 1}}\sum\limits_{i = 1}^n { { {(\bar X - {X_i})}^2}} = {1 \over {n - 1}}\left[ {\left( {\sum\limits_{i = 1}^n { {X_i}^2} } \right) - n{ {\bar X}^2}} \right]
  • EX=μ,DX=σ2EX = \mu ,DX = {\sigma ^2},那么EXi=μ,DXi=σ2,i=1,2,3,E{X_i} = \mu ,D{X_i} = {\sigma ^2}, i=1,2,3,\cdotsEXˉ=μ,DXˉ=σ2nE\bar X = \mu ,D\bar X = { { {\sigma ^2}} \over n}E(S2)=DX=σ2E({S^2}) = DX = {\sigma ^2}

抽样分布

三大抽样分布

卡方分布

定义主要集中在两点

  • XiN(0,1)X_i \sim N(0,1)
  • $X = \sum\limits_{i = 1}^n { {X_i}^2} $,这是我们人为制造的一种随机变量

那么我们称XX服从由度为n的卡方分布,记为Xχ2(n)X \sim {\chi ^2}(n)

t分布

t分布的定义主要集中在三点

  • XN(0,1)X\sim N(0,1)
  • Yχ2(n)Y \sim {\chi ^2}(n)
  • t=XYnt={X\over\sqrt{Y\over n}}

那么我们称tt服从自由度为n的t分布,记为tt(n)t\sim t(n)

F分布

F分布的定义主要集中在三点

  • Xχ2(n1)X \sim {\chi ^2}(n_1)
  • Yχ2(n2)Y \sim {\chi ^2}(n_2)
  • F=Xn1Yn2F={ {X\over n_1} \over {Y\over n_2}}

那么我们称FF服从第一自由度n1n_1和第二自由度n2n_2的F分布,记为FF(n1,n2)F\sim F(n_1, n_2)

正态总体条件下的样本均值和样本方差

总前提XN(μ,σ2)X \sim N(\mu ,\sigma^2 ),那么可以推出XˉN(μ,σ2n)\bar X \sim N(\mu ,{ { {\sigma ^2}} \over n})XiμσN(0,1){ { {X_i} - \mu } \over \sigma } \sim N(0,1)

第一种情况

已知Xˉ,σ,n,uα2,α\bar X, \sigma, n, u_{\alpha \over 2}, \alpha,那么我们可以根据正态分布的标准化推出

Xˉμσn=n(Xμ)σN(0,1){ {\bar X - \mu } \over { {\sigma \over {\sqrt n }}}}={ {\sqrt n \left( {\overline X - \mu } \right)} \over \sigma } \sim N(0,1)

“以点估点”不可取,我们更多的是相信μ\mu落在Xˉ\bar X附近的区间(置信区间)上,具体区间长度是多少是需要我们求的,一般会给出精度(1α)(1-\alpha),这也就是所谓的“置信度”,那么根据这些我们可以列出公式如下

\eqalign{ & P\left( {\left| {\bar X - \mu } \right| < \Delta } \right) = 1 - \alpha \Rightarrow & P\left( { { {\left| {\bar X - \mu } \right|} \over { {\sigma \over {\sqrt n }}}} < {\Delta \over { {\sigma \over {\sqrt n }}}}} \right) = 1 - \alpha \cr},{ {\bar X - \mu } \over { {\sigma \over {\sqrt n }}}}\sim N(0,1)

目前对于我们来说Δ\Delta是未知的,是我们要求的,转换为标准正太分布是因为想借助标准正态分布的上α分位点计算出未知量,如下

Δσn=uα2Δ=uα2σn{\Delta \over { {\sigma \over {\sqrt n }}}} = {u_{ {\alpha \over 2}}} \Rightarrow \Delta = {u_{ {\alpha \over 2}}} \cdot {\sigma \over {\sqrt n }}

那么最终置信区间为

Xˉμ<ΔXˉΔ<μ<Xˉ+ΔXˉuα2σn<μ<Xˉ+uα2σn\left| {\bar X - \mu } \right| < \Delta \Rightarrow \bar X - \Delta < \mu < \bar X + \Delta \Rightarrow \bar X - {u_{ {\alpha \over 2}}} \cdot {\sigma \over {\sqrt n }} < \mu < \bar X + {u_{ {\alpha \over 2}}} \cdot {\sigma \over {\sqrt n }}

实际的意义是根据你观测的值(Xˉ\bar X)推测客观值(μ\mu)落在置信区间的概率是多少。1α1 - \alpha称之为置信度(精度),置信度越高我们就越相信μ\mu是落在这个区间内的,同时整个置信区间也将越大,考虑最极端的情况当置信区间扩大到整个实数集,那么我们必相信μ\mu落在区间内,反过来当置信区间缩小到Xˉ\bar X时就变成了“以点估点”,这是我们最不愿意相信的。

第二种情况

其实第一种不能被使用的原因在于我们连μ\mu都不知道更不可能知道σ\sigma,因此为了改进上面的问题,我们把σS\sigma\to S,现在我们需要的已知条件为Xˉ,S,n,uα2,α\bar X, S, n, u_{\alpha \over 2}, \alpha,因此整个的公式就需要被改变了

(1)P(Xˉμ<Δ)=1αP\left( {\left| {\bar X - \mu } \right| < \Delta } \right) = 1 - \alpha \tag{1}

对于公式(1)我们就不能像上面那样转换为标准正态分布了,而是需要想下面这样

(2)n(Xˉμ)S=(Xˉμ)Sn=XˉμσnSσ=XˉμσnS2σ2{ {\sqrt n \left( {\bar X - \mu } \right)} \over S} = { {\left( {\bar X - \mu } \right)} \over { {S \over {\sqrt n }}}} = { { { {\bar X - \mu } \over { {\sigma \over {\sqrt n }}}}} \over { {S \over \sigma }}} = { { { {\bar X - \mu } \over { {\sigma \over {\sqrt n }}}}} \over {\sqrt { { { {S^2}} \over { {\sigma ^2}}}} }} \tag{2}

其中XˉμσnN(0,1){ { {\bar X - \mu } \over { {\sigma \over {\sqrt n }}}}}\sim N(0,1),这其实就满足了t分布的一半的需求了,接下来是把分母转换为卡方分布,即

\eqalign{ {S^2} = {1 \over {n - 1}}\sum\limits_{i = 1}^n { { {({X_i} - \bar X)}^2}},(n - 1){S^2} = \sum\limits_{i = 1}^n { { {({X_i} - \bar X)}^2}} \Rightarrow{ { {S^2}} \over { {\sigma ^2}}} = { { { {(n - 1){S^2}} \over { {\sigma ^2}}}} \over {(n - 1)}} = { {\sum\limits_{i = 1}^n { { {({ { {X_i} - \bar X} \over \sigma })}^2}} } \over {(n - 1)}} \cr}

其中

i=1n(XiXˉσ)2χ2(n1)\sum\limits_{i = 1}^n { { {({ { {X_i} - \bar X} \over \sigma })}^2}} \sim {\chi ^2}(n - 1)

那回过头来在看公式(2)其实可以发现整个公式其实就

(3)n(Xˉμ)St(n1){ {\sqrt n \left( {\bar X - \mu } \right)} \over S } \sim t(n-1) \tag{3}

第三种情况

那么其实推出公式(4)就相对比较容易了

(4)n(Xˉμ)2S2F(1,n1){n(\bar X-\mu)^2 \over S^2}\sim F(1, n-1) \tag{4}