几率论与数理统计(茆诗松)复习

2020年07月16日 阅读数:71
这篇文章主要向大家介绍几率论与数理统计(茆诗松)复习,主要内容包括基础应用、实用技巧、原理机制等方面,希望对大家有所帮助。

第一章 随机事件及其几率

几率的公理化定义:
1)非负性公理
2)正则性公理
3)可加性公理web

重复组合:从n个不一样的元素中每次取出一个,放回后再取出下一个,如此连续取r次所得的组合称为重复组合,总数为C_{n+r-1}^{r}
可结合插板法考虑svg

几率的加法公式函数

多个事件的独立性不仅是两两独立,eg:三个事件相互独立须要知足4个等式。atom

条件几率一样知足几率的公理化中的三个条件。spa

乘法公式code

全几率公式(经由另外一对全空间的分割,经过乘法公式/条件几率推算得出)orm

由全几率公式可知,抽签不分前后,机会是均等的。xml

敏感性问题的调查,能够设置两个问题,其中A为感兴趣的B为不感兴趣的。被调查者从一个罐子中随机抽取一只球,抽到白球则回答A,抽到红球则回答B。经过相关几率公式能够计算感兴趣的问题的几率性质。事件

贝叶斯公式,可由条件几率公式、乘法公式及全几率公式得出。ip

第二章 随机变量及其几率分布

分布函数F(x)=P(X<=x)的性质:
1)0<=F(x)<=1
2)在x趋于负无穷时为0
3)在x趋于正无穷时为1
4)F(x)是非降函数
5)右连续函数

泊松分布
是经常使用对的离散分布之一,eg: 在必定时间内, 电话总站接错电话的次数。其中使用的 λ 不一样。泊松分布与计数过程相关联,在必定时间或必定区域或一特定单位内的前提下进行。

(泊松定理)
n大p小,且\lambda=np大小合适,二项分布中的几率有一个很好的近似公式,可用泊松分布中相应次数的几率近似二项分布中的几率。(就求极限便可)

人们把一次试验中出现几率很小(如小于0.05)成为稀有事件,此时可以使用二项分布的泊松近似。

超几何分布

指数分布 E x p ( λ )
p ( x ) = λ e λ x , x 0

随机变量函数的分布。 Y = g ( X )
p Y ( y ) = p X ( h ( y ) ) | h ( y ) |
其中 x = h ( y ) y = g ( x ) 的反函数.

指望存在的条件是指望对应的积分绝对可积。
指望不必定存在如柯西分布 p ( x ) = 1 π ( x 2 + 1 ) , < x < + 的指望不存在。

正态分布 N ( μ , σ )
p ( x ) = 1 2 π σ e ( x μ ) 2 2 σ 2 , < x < + ,其中 < μ < + 决定位置, σ > 0 决定散布大小。
(从正态分布能够导出一些有用的分布,如统计中经常使用的三大分布 χ 2 t F )
0.95 (-1.96, 1.96)
0.99 (-2.58, 2.58)
0.99 (-3.29, 3.29)

伽马分布 G a ( a , λ )
p ( x ) = λ a Γ ( a ) x a 1 e λ x , x > 0
其中 a > 0 称为形状参数, λ > 0 称为尺度参数。
a < 1 , a = 1 , a > 1 时密度函数各不相同, a > 1 时密度函数具备单峰,另外 1 < a 2 a > 2 时又有不一样。
用于描述产品寿命
注: Γ ( 1 ) = 1 , Γ ( n + 1 ) = n ! , Γ ( 1 2 ) = π

1)所以, a = 1 的伽马分布 G a ( 1 λ ) 是指数分布。可用来描述第一次冲击到来的时间,电话的通话是时间等。具备无记忆性。

2) a = λ = n 2 , λ = 1 2 的伽马分布 G a ( n 2 1 2 ) 称为自由度为 n χ 2 分布

贝塔分布 B e ( a , b )
p ( x ) = Γ ( a + b ) Γ ( a ) + Γ ( b ) x a 1 ( 1 x ) b 1 , 0 x 1 ,其中 a > 0 , b > 0 均为形状参数
β ( a , b ) = 0 1 x a 1 ( 1 x ) b 1 d x , a > 0 , b > 0
β ( a , b ) = Γ ( a ) + Γ ( b ) Γ ( a + b )
a = 1 , b = 1 B e ( 1 , 1 ) 即为 U ( 0 , 1 )
指望与方差
E ( X ) 是分布位置的特征数。
X E ( X ) 误差
E ( X E ( X ) ) 2 表征随机变量取值的波动大小
V a r ( X ) = E [ X E ( X ) ] 2 = E ( X 2 ) E ( X ) 2
σ ( X ) = V a r ( X )
可利用求导、二项式公式、泰勒展开、分部积分
二项分布 B ( n , p )
指望 n p , 方差 n p ( 1 p )
泊松分布 P ( λ )
指望 λ , 方差 λ
几何分布
指望p^{-1}

均与分布 U ( a , b )
指望 a + b 2 , 方差 ( b a ) 2 12
指数分布 E x p ( λ )
p ( x ) = λ e λ x , x 0
指望 1 λ , 方差 1 λ 2
正态分布 N ( μ , σ )
p ( x ) = 1 2 π σ e ( x μ ) 2 2 σ 2 , < x < + ,其中 < μ < + 决定位置, σ > 0 决定散布大小。
(从正态分布能够导出一些有用的分布,如统计中经常使用的三大分布 χ 2 t F )
指望 μ
方差 σ 2
伽马分布 G a ( a , λ )
指望 a λ , 方差 a λ 2
χ 2 分布
指望 n , 方差 2 n
贝塔分布 B e ( a , b )
指望 a a + b

切比雪夫不等式
P ( | X E ( X ) ϵ | V a r ( X ) ϵ )


变导系数 C v = V a r ( X ) E X
分位数 F ( x α ) = x α p ( x ) d x = P ( X α ) = α , x α 称为 X 分布的 α 分位数,或 α 下侧分位数。
众数 M o d ( X ) , P ( X = x ) 达到最大的 x

第三章 多维随机变量

二维正态分布 N ( μ 1 , μ 2 , σ 1 2 , σ 1 2 , ρ )
的边缘分布是一维正态分布 N ( μ 1 , σ 1 2 ) , N ( μ 2 , σ 2 2 )
由此也能够看出二维联合分布能够惟一决定其每一个份量的的边缘分布,可是反过来不成立。

泊松分布,二项分布、正态分布、伽马分布可加性:(独立)
X P ( λ 1 ) , Y P ( λ 1 ) X Y 独立,则 X + Y P ( λ 1 + λ 2 )
X B ( n , p ) , Y B ( m , p ) X Y 独立,则 X + Y B ( n + m , p )
X N ( μ 1 , σ 1 2 ) , Y N ( μ 2 , σ 2 2 ) X Y 独立,则 X + Y N ( μ 1 + μ 2 , σ 1 2 + σ 1 2 )
X Γ ( a 1 , λ ) , Y Γ ( a 2 , λ ) X Y 独立,则 X + Y Γ ( a 1 + a 2 , λ )

E ( X + Y ) = E ( X ) + E ( Y )
X Y 独立,则 E ( X Y ) = E ( X ) E ( Y )
X Y 独立,则 V a r ( X ± Y ) = V a r ( X ) + V a r ( Y )

协方差 C o v ( X , Y ) = E [ ( X E ( X ) ) ( Y E ( Y ) ) ] = E ( X Y ) E ( X ) E ( Y )
X Y 独立,则 C o v ( X , Y ) = 0 .
V a r ( X ± Y ) = V a r ( X ) + V a r ( Y ) ± 2 C o v ( X , Y )

(线性)相关系数 C o r r ( X , Y ) = C o v ( X , Y ) σ X σ Y
1 C o r r ( X , Y ) 1
独立则相关系数为0,反之否则。在二维正态分布场合例外。

条件指望 E ( E ( X | Y ) ) = E ( X )

中心极限定理(n个相互独立、同分布的随机变量之和的分布近似于正态分布)
{ X n } 是独立同分布的随机变量序列,其中 E ( X 1 ) = μ , V a r ( X 1 ) = σ 2 , 假如方差有限且不为零0,则前 n 个随机变量之和的标准化变量 Y n = X 1 + . . . + X n n μ n σ 的分布函数收敛于 Φ ( y ) , 即
lim n + P ( Y n y ) = Φ ( y )

所以 n p 5 , n ( 1 p ) 5 时可用正态分布近似二项分布。使用正态近似应修正区间为往左右放大 d f r a c 1 2

独立不一样分布的随机变量之和也有相似的中心极限定理。

统计量及其分布

从这里开始,咱们经过对随机现象的观测或试验来获取数据,经过对数据的分析与推断去寻求隐藏在数据中的统计规律性。

eg:经过样本去推断整体。因为在实际中经常只能获得有限的甚至少许的数据,这部分数据必然带有随机性,咱们须要从中尽量地排出随机性的干扰以作出合理的推断。

经常使用的抽取样本的方法是“简单随机抽样”,样本具备表明性(同分布),独立性。

经验分布函数,n增大经验分布函数也将在几率移一下愈来愈靠近整体分布函数。

X = ( X 1 , X 2 , . . . , X n ) 是取自某整体的一个容量为 n 的样本, 若是
T = T ( X ) = T ( X 1 , X 2 , . . . , X n ) 不含任何未知参数,则称 T 为统计量。统计量的分布称为抽样分布。

样本均值 X ¯ = 1 n i = 1 n X i
样本方差 S n 2 = 1 n i = 1 n ( X i X ¯ ) 2
n 不大时,经常使用 S 2 = 1 n 1 i = 1 n ( X i X ¯ ) 2

计算误差平方和 Q = i = 1 n ( x i x ¯ ) 2 的经常使用公式:
Q = i = 1 n ( x i x ¯ ) 2 = i = 1 n x i 2 2 i = 1 n x i x ¯ + i = 1 n x ¯ 2 = i = 1 n x i 2 n x ¯ 2 = i = 1 n x i 2 1 n ( i = 1 n x i ) 2

X 1 , X 2 , . . . , X n 是来自整体 N ( μ , σ 2 ) 的一个样本,则
n 1 σ 2 S 2 = n σ 2 S n 2 = 1 σ 2 i = 1 n ( X i X ¯ ) 2 χ 2 ( n 1 ) 且与 X ¯ 独立

偏度反映了整体分布密度曲线的对称信息。是统计数据分布偏斜方向和程度的度量,是统计数据分布非对称程度的数字特征。偏度(Skewness)亦称偏态、偏态系数。 S K > 0 右偏,正偏,右长尾,也就是说均值右边的数据较多。

峰度(Kurtosis)与偏度相似,反映了整体分布密度曲线的在其峰值附近的陡峭程度的信息。是描述整体中全部取值分布形态陡缓程度的统计量。这个统计量须要与正态分布相比较,峰度为0表示该整体数据分布与正态分布的陡缓程度相同;峰度大于0表示该整体数据分布与正态分布相比较为陡峭,为尖顶峰;峰度小于0表示该整体数据分布与正态分布相比较为平坦,为平顶峰。峰度的绝对值数值越大表示其分布形态的陡缓程度与正态分布的差别程度越大。

整体偏度 S K = μ 3 σ 3 即为标准化变量的三阶矩。
整体峰度 μ 4 σ 4 3

其中 μ 3 , μ 4 皆为中心距。

次序统计量的抽样分布
k 个次序统计量 X ( k ) 的几率密度函数是:
p k ( x ) = n ! ( k 1 ) ! ( n k ) ! [ F ( x ) ] k 1 [ 1 F ( x ) ] n k p ( x )

样本极差表示样本取值范围的大小也反映了整体取值的分散和集中程度。
R = X ( n ) X ( 1 )

参数估计

形式有两种: 点估计和区间估计

点估计值能给人们一个明确的数量,未知参数是多少,可是却不能给出精度。

点估计的经常使用方法有矩法估计和极大似然估计。

矩法估计 用样本矩去估计整体矩

评价估计的好坏,无偏性(渐进五篇)、有效性(无偏时,方差最小)、均方偏差准则(有偏时,均方偏差最小)、相和性(p收敛,n越大 θ ^ 应该愈来愈接近 θ

辛钦大数定律独立同分布的随机变量,具备有限数学但愿,则样本均值是数学指望的相和估计。

极大似然估计(MLE,整体分布类型已知时

θ 的一切取值之中选出一个使样本观测值出现的几率为最大的 θ 值(记为)做 θ ^ θ 的估计,并称 θ ^ θ 的极大似然估计.
L ( θ ) = i = 1 n p ( x i ; θ ) ,
L ( θ ^ ) = max L ( θ )
可经过求导得到极大似然估计的状况,直接求导(为求导方便,常对似然函数取对数)。不可时,经过定义出发直接求 L ( θ ) 的极大值点。

极大似然估计的不变原则, θ ^ θ 的极大似然估计, g ( θ ) θ 的连续函数, 则
g ( θ ^ ) g ( θ ) 的极大似然估计.

极大似然估计具备渐进正态性。

区间估计给出一个区间以及相应的精度。
P ( θ L θ θ U ) 1 α , 则称随机区间 [ θ L , θ U ] θ 的置信水平为 1 α 的置信区间
经常使用方法枢轴量法(点估计 θ ^ 经过点估计去寻找)
θ 的一个点估计 θ ^ 出发,构造 θ ^ θ 的一个函数 G ( θ ^ , θ ) ,是的 G 的分布已知且与 θ 无关
eg:
正态分布 N ( μ , σ 2 )

1)正态均值
方差 σ 2 已知,样本数 n 已知, 将 X ¯ μ σ / n 做为枢轴量给出均值 μ 获得置信区间

2)正态均值
方差 σ 2 未知,样本数 n 已知,
X ¯ μ S / n ( t ( n 1 ) ) \mu$获得置信区间。

t 分布 t ( n ) X N ( 0 , 1 ) , Y χ 2 ( n ) , 且 X Y 独立,则 t = X Y / n 的分布称为自由度为 n t 分布

3)正态方差
均值 μ 未知,样本数 n 已知,
( n 1 ) S 2 σ 2 ( χ 2 ( n 1 ) )做为轴量给出方差 σ 2 获得置信区间。

4)两正态均值差
同正态均值的思路

5)两正态方差比

F 分布 F ( n , m )
X χ 2 ( n ) , Y χ 2 ( m ) ,且 X Y 独立,则 F = X / n Y / m 的分布称为自由度是 n m F 分布

假设检验

步骤
1)创建假设,原假设与备择假设
常把没有把握不能轻易确定的命题做为备择假设,把没有充分理由不能轻易否认的命题做为原假设,只有理由充足时才会拒绝它,不然保留。
2)寻找检验统计量(因为要确认原假设是否为真,那么咱们先假定原假设成立,而后用样本去判断真伪,而样本信息较为分散,因此要构造一个统计量帮助判断)
3)显著水平与临界值
显著水平即为原假设为真但被拒绝的几率
两类错误:
第一类错误,原假设为真而被拒绝,拒真几率记为 α
第二类错误,原假设为假但保留,取伪几率记为 β
单双边看备择假设
样本容量固定时,二者通常一个大一个小,不能同时减少,因此抽取样本时,尽可能使样本容量大一点,可减少两类错误。
4)做判断,拒绝或保留原假设

关于均值的检验
1)方差已知
X ¯ 做为检验统计量

2)方差未知
X ¯ μ 0 S / n 做为检验统计量

关于方差的检验
( n 1 ) S 2 σ 0 2 做为检验统计量

两正态整体方差
S X 2 S Y 2 做为检验统计量

两正态整体均值差
同正态均值的思路

p值

前面所讨论的检验问题是在分布形式已知的前提下对分布的参数进行的,他们都属于参数假设检验问题,当咱们对整体分布知之甚少时,就要采用非参数检验。

χ 2 拟合优度检验
用来检验一批分类数据所来自的整体的分布是否与某种理论分布相一致。

1)整体可分为有限类,但整体分布不含未知参数。(此时 p i 已知)
整体 X 可分为 r 类,记为 A 1 , . . . A r
H 0 : p ( A i ) = p i , i = 1 , . . . r
n 充分大且 H 0 为真时, χ 2 = i = 1 r ( n i n p i ) 2 n p i 近似服从自由度为 r 1 χ 2 分布

2)整体可分为有限类,但整体分布含 k 个未知参数。(此时 p i 未知,可用极大似然估计去代替,相应的自由度减 k

3)整体为连续分布的状况
H 0 : X 服从分布 F ( x )
把检验问题转化为分类数据的检验问题

列联表的独立性检验
H 0 : p i , j = p i , . p . , j i , j
χ 2 = i = 1 r j = 1 c ( n i j n p i , j ) 2 n p i , j = i = 1 r j = 1 c ( n i j n p i , . p . , j ) 2 n p i , . p . , j
p i , . p . , j 使用极大似然估计去替换
p ^ i , . = n i , . n
p ^ . j = n . , j n
即采用检验统计量
χ 2 = i = 1 r j = 1 c ( n i j n p ^ i , . p ^ . j ) 2 n p ^ i , . p ^ . j 自由度为 n ( r + c 2 ) = ( r 1 ) ( c 1 )

方差分析

单因子方差分析
因子–变量,水平–变量的不一样过取值

设因子 A r 个水平 A 1 , . . , A r ,每一水平下均可以当作一个整体,现有 r 个水平,故有 r 个整体,假定
1)每一整体服从正态分布
2)每一整体方差相同
3)从每一整体中抽出的样本独立
比较哥哥整体的均值是否一致
H 0 : μ 1 = . . . = μ r
H 0 为真时,称该因子的各水平间无显著差别,简称该因子不显著。

方差分析检验具备相同方差的正态整体均值是否相等
a i 称为因子 A 的第 i 水平的主效应,原假设可改写为
H 0 : a 1 = . . . = a r = 0

总误差平方和
S T = i = 1 r j = 1 m i ( y i , j y ¯ ) 2
因为假设原假设为真,因此除去一个常数项(方差)后服从自由度为 n 1 χ 2 分布

组内误差平方和(偏差误差平方和)
S ϵ = i = 1 r j = 1 m i ( y i , j y i , . ¯ ) 2
除去一个常数项(方差)后服从自由度为 n r χ 2 分布

因子 A 的误差平方和
S A = i = 1 r j = 1 m i ( y i , . ¯ y ¯ ) 2 = i = 1 r m i ( y i , . ¯ y ¯ ) 2

S T = S ϵ + S A
因为假设原假设为真,因此 S A 除去一个常数项(方差)后服从自由度为 r 1 χ 2 分布

采用检验统计量 F = S A / ( r 1 ) S ϵ / ( n r )

多重比较
当因子显著时,如何进一步去确认哪些水平减的确有差别,哪些水平间无显著差别。同时比较任意两个水平间有无显著差别的问题叫作多重比较。

一元线性回归

回归分析是研究变量间相关关系的一种统计方法
y i = β 0 + β 1 x i + ϵ i , i = 1 , 2 , . . . , n 其中 ϵ i 相互独立且服从均值为零的正态分布 N ( 0 , σ 2 )

回归系数如何估计?
一个直观的想法是观测值与估计值的误差越小越好,转化为求误差平方和达到最小,即最小二成估计

回归方程是否有意义?
H 0 : β 1 = 0
F检验,相似于方差分析,从误差平方和分解入手。
F = S R / 1 S E / ( n 2 )

t检验( β 1 ^ 服从正态分布) t = β 1 ^ σ ^ / l x x

相关系数检验 r 2 = l x y 2 l x x l y y = 1 1 + n 2 F

可化为一元线性回归的曲线回归
相关指数(相似于一元线性回归方程中的相关系数)
R 2 = 1 i ( y i y i ^ ) 2 i ( y i y ¯ ) 2 越大越好。

剩余标准差
s = i ( y i y i ^ ) 2 n 2 越小越好