IntrotoMathematicalStatisticsH.M.C 思维导图模板

Chapter 7 Sufficiency

7.1 Measures of quality of Estimators

MVUE

Def：MVUE(Minimum Variance Unbiased Estimator)

Y=y(X1,X2...Xn),如果 Y unbiased即E(Y)=θ，同时Y的方差不大于任何其他无偏估计量的方差，则Y为θ的MYUE

Risk function

Decision function/Rule

Def

δ（y）是统计量Y的函数，通过δ(y)实现对θ的点估计

因为δ()决定了θ的值，所以称为decision rule;一个y对应一个decision

Loss function

Def

某个非负函数g()，衡量θ真实值和δ(y)之间的差异性

example

squared-error loss function

absolute-error loss function

goal post loss function

理解：如果落入中心的a单位之内，则没有损失；规定之外，则损失b

Risk function（R.F.）

Def

Loss funciton 的期望(对y)

annotation

对于所有的θ，希望选择的δ(）使得R(θ，δ)尽可能小，但通常行不通

Minimax decision function

Def

δ0即为所取选取得decision rule，称为minimax decision function

理解

对每一个Decision Rule 先取它对每一个θ估计的最大值，再选取所有最大值中最小的Decision Rule

δ(y)给出的决策函数是对所有的θ∈Ω

Annotation

1.若不加限制，很难找到某R.F.使得其R.F. 一致的小于任何其他决策的R.F.

2.选取DR的一个原则为 minimax decision function

δ0即为所取选取得decision rule，称为minimax decision function

3.

用其它条件代替E(δ(Y))=θ

并且损失函数形如此

minimax decition function 会得到

minimum mean-squared-error estimator 最小均方误差估计量

习题7.1.6、7、8

7.2 A Sufficient Statistic for a Parameter

Sufficient statistic

Def

X1,X2...Xn iid pmf/pdf,Y1 = u1(X1,X2...Xn)是一个统计量，其pdf/pmf 为fY1(y1,θ),

当H(x1,x2...xn)与θ无关时，Y1为θ的sufficient estimator

Annotation

1. 注意，充分统计量在更一般的情形下，不要求X1，X2...Xn同分布or独立

也就是说用联合分布代替成立即可说Y1为充分统计量

2. 直观上来看，一旦Y1=y1所确定的集合固定，即在Y1=y1下，对样本空间进行分割，留下Y1=y1的空间。任一统计量Y2不依赖于θ，即可以说Y1将θ信息充分用尽。也就是任何Xi也提取不出来θ的信息

3. 一般来说，求解任意得一个Y的pdf是十分困难

Factorization theorem（因子分解定理）

X1,X2...Xn iid pmf/pdf。Y1 = u1(X1,X2...Xn)是一个统计量。

Y1为θ得sufficient estimator 当且仅当可以找出两个非负函数k1,k2。其中k2不依赖于 θ

意义

判别一个统计量是否是充分统计量

无需求解Y1的pdf，计算方便许多，即在求解Y1分布困难的时候用因子分解定理

7.3 Properties of a Sufficient Statistic

充分统计量的传递性

Y1是SS，Y2 = g(Y1)是一个统计量，其中g()是一个一对一函数，则Y2也是SS

SS 与 MVUE的联系

前提

θ=E(Y2)=E[E(Y2|Y1)]=E(φ(y1)) (重期望公式)

Var(Y2)>=Var[E(Y2|Y1)]=Var(φ(Y1))

Suffiency 能产生最佳点估计

充分统计量Y1的函数φ(y1)=E(Y2|y1)仍是无偏估计量，而且其方差比Y2的方差小

Rao-Blackwell

X1,X2...Xn iid pmf/pdf，Y1 = u1(X1,X2...Xn)是SS，Y2=u2(X1,X2...Xn)是θ无偏估计量，E(Y2|y1)=φ(y1)，则φ(Y1)是θ的SS :Y1的函数,且其方差小于Y2的方差

应用

寻找某参数的MVUE时，若参数的SS Y1存在，那么找到无偏估计量Y2，构造φ(Y1)=E(Y2|y1),那么φ(Y1)既为无偏估计量，方差又更小

SS 与 MLE的联系

Theorem 7.3.2

θ的SS Y1=u1(X1,X2...Xn)存在，同时θ的mle θhat唯一存在，则θhat一定为Y1的函数

应用

先求解其SS是否存在以及其MLE，再求MLE的期望，并通过乘以系数的方式使得MLE称为某无偏估计量，那么这个无偏估计量即为MVUE、

例7.3.1

7.4 Completeness and Uniqueness

Complete Family

Def

完备族的证明

例7.4.2

Uniqueness

Lehmann & Scheffe

Y1=u1（X1,X2,X3...Xn）,{fY1(y1;θ)}是θ的完备族，如果有关于Y1的函数使得其为θ的无偏估计量，那么这个Y1的方程即为θ的唯一MVUE

理解

给寻找MVUE的方法找到了理论依据

Complete sufficient statistics

定义

概率密度函数族充分，且本身是θ的SS

7.5 The Exponential Class of Distributions

意义

正则指数分布族具有完备且充分统计量

Exponential Class

S表示 X的support

正则指数族

Regular Conditions

1. X的support S 不依赖于θ

2. p(θ)是θ∈Ω上的非平凡连续函数

3.

连续

K'(x)恒不为零，且H(x)在S上连续

离散

K(x)在S上非平凡

Def

满足 Regular Conditions 的Exponential Class 称为正则指数函数族

正则指数族下的Y=ΣK(Xi)的性质

分布

结论

对于某个函数R(y1), Y1的pdf:f(y1;θ)=R(y1)*exp[p(θ)y1+nq(θ)]

E(Y1)= -n*q'(θ)/p'(θ)

theorem 7.5.1

完备性和充分性

结论

Y=ΣK(Xi)是θ的充分统计量

Y的概率密度函数族是完备的

所以使得E(φ(Y))=θ的φ(Y)是一个MVUE

theorem 7.5.2

Chapter 8 Optimal Tests of Hypotheses

8.1 Most Powerful Tests

basic conception

hypothesis

null hypothesis

alternative hypothesis

critical region

Error

Type 1 error

Type 2 error

signifiance level

power fonction

Best Critical Region

Def

C是样本空间的一个子空间 H0 : θ = θ0；H1：θ=θ1

b) 对于样本空间的任何有着水平α子集A，其功效函数比C小

a）C的significant level of α

Neyman-Pearson Theorem

假设Ω={θ'，θ''}只有两个元素，C是样本空间的子集

如果 a,b,c 成立，那么C即为 H0: θ=θ'，H1：θ=θ''的检验水平α下的最优临界域。

这是使区域C成为检验水平α下的最优临界域的充要条件

判断 Best Critical Region

Unbiased Test

例 8.1.2

Unbiased Test 无偏检验

Def

Pθ( X∈C )>=α，对于所有的 θ ∈ H1

理解

检验功效应该永远不低于其显著性水平，否则错误拒绝H0的概率α 会大于正确拒绝H0（功效函数）的概率

Corollary 8.1.1

Best Critical Region is an Unbiased Test , that is γ(θ'')>=α for all θ''∈Ω

8.2 Uniformly Most Powerful Tests

Background

Simple Hypothesis H0 vs Alternative composite hypothesis H1

Uniformly most powerful (UMP) critical region

如果 C是检验H0 vs H1中的每一个简单检验的最优临界域，则C称为H0 vs H1下的水平α的最大一致功效区域

Uniformly most powerful(UMP) Test

由最大一致功效区域定义的检验

Monotone likelihood ratio(mlr)

def

对于θ1<θ2

比值是关于y=u(x)的单调函数，则称L(θ,x)具有关于统计量y=u（x）的单调似然比

（这一节记得不太详细）

Chapter 9 Inferences About Normal Models

9.1 Quadratic Forms

Quadratic Forms

Def

n个变量的二次多项式称为其二次型，即在一个多项式中，未知数的个数为任意多个，但每一项的次数都为2的多项式

Example

(n-1)S^2是一个二次型

统计量为 Quadratic Forms 的函数进行检验极为快捷

正态分布的二次型定理

Q = Q1 + Q2+ ... Qk-1+Qk, 他们是服从正态分布的n个独立随机变量的二次型。若Q/σ方，Q1/σ方...Qk-1/σ方分别服从自由度为r,r1...rk-1的卡方分布，Qk非负

结论

1. Q1,Q2...Qk 是独立的

2. Qk/σ方服从自由度为 r-(r1+r2+...rk-1)=rk的卡方分布

常见的二次型转换

按行均值、总体均值变换

Q = Q1+ Q2

Q = (ab-1) * S^2

Q/σ^2：服从卡方(ab-1)

Q1

Q1/σ^2服从卡方a(b-1)

理解

每行多了一个均值约束，总共a行，自由度从ab->a(b-1)

Q2

由定理一，则 Q2/σ^2 服从卡方(a-1)

理解

a行a个变量，但行均值的期望=总体均值，a->a-1

按列均值、总体均值变换

Q = Q3 + Q4

Q = (ab-1) * S^2

Q/方差：服从卡方(ab-1)

Q3

Q3/σ^2 服从卡方b(a-1)

理解

每列多了一个均值约束，总共b列，自由度从ab->(a-1)b

Q4

有定理一，Q4与Q3独立且 Q4/σ^2 服从卡方(b-1)

按行均值、列均值、总体均值变换

Q = Q2 + Q4 + Q5

Q = (ab-1) * S^2

Q/方差：服从卡方(ab-1)

Q2

Q2/σ^2 服从卡方(a-1)

Q4

Q4/σ^2 服从卡方(b-1)

Q5

由定理一，Q5/σ^2 服从卡方(a-1)(b-1)

9.5 The Analysis of Variance

ANOVA

Analysis of Variance

因为一般构成的中枢变量都是形如类型的，所以称为ANOVA(其实应该理解为用方差进行分析)

9.2 One-Way ANOVA

One Way

单向模型(单因素)

Model

Xij=μj+eij .i= 1,···,n, j = 1,· ··,m, where eij∼N(0,σ2)

i 代表样本量

Hypothesis

H0 : μ1=μ2=···=μb=μ

H1 : At least one of those means μj are different to others

Statistic

CR

F(m-1, m*(n-1) ) 截图有误

理解

因为是要比较各组之间的差异，所以组间方差分析作为分子，组内方差作为分母

推导过程很重要P363

Two-Way ANOVA)

One Observation per Cell(每格单位观测值的双向分类)

Additive Model

理解

μij 为cell（i,j）的均值

即将（i,j）格的均值归因于平均值上的因素A 的 i 水平与因素B 的 j 水平的可加影响

所以称为Two - Way ANOVA

Hypothesis

Row Effect

H0A : α1=···=αn= 0

Main Effect 假设

对特定列来说，每个行的格均值都一样，行水平因素为0

H1A: αi != 0,for some i

Column Effect

H0B : β1=···=βm= 0

Main Effect 假设

H1B : βj != 0 ,for some j

Decomposition

Q = Q2 (行间平方和)+ Q4(列间平方和) +Q5(剩余平方和)

C.R.

HA（行均值检验）

F ~ (a-1, (a-1)(b-1) )

理解

基于行均值相同的假设，即用行间平方和/剩余平方和

HB（列均值检验）

理解

基于列均值相同的假设，即用列间平方和/剩余平方和

More than one indepent Observations per Cell

Interaction Model

γij 称为个性化因子

γij = μij - { μ +(μi. - μ)+(μ.j -μ)}= μij - (μ+αi+βj)

每个格子取大于1个独立的观测值

理解

μij 为cell（i,j）的均值

γij称为个性化因子，代表指标族A，B之外没考虑到的因素

称为 Interactive Two-Way ANOVA

Hypothesis

H0AB : γij= 0 for all i,j

H1AB : γij != 0 for some i,j

理解

即考察指标A,B分类清晰之后，是否还存在剩余的个性化因素

Decomposition

总平方和 = 各行之间差异平方和 + 各列之间差异平方和 + 交互效应平方和 + 格内平方和

C.R.

理解

检验个性化因子是否均为零，即用交互效应平方和 / 格内平方和

Summary

如果接受 H0AB 的假设时，然后就可以继续对指标A，B进行检验

实验流程

Interaction Tests —— Two-Way ANOVA —— One-Way

Chapter 10 Nonparametric and Robust Statistics

10.1 Location Model

Background

test procedures associated with the methods are distribution-free

Basic Concept

Functional

Def

Functions of functions

Induced estimator

Def

Location functional

Def

X is a continuous R.V with cdf FX and pdf fX, T(FX) is a location functional if it satisfies

If Y = X + a , T(Fy) = T(Fx)+ a，对于所有的a∈R

If Y =aX , T(Fy) = aT(Fx) ,对于所有的a≠0

Example

Mean functional

Median functional

例10.1.1

Median 是唯一作为位置泛函的百分位数

Location Model

Def

By the definition of location functional, we have X1, X2,···,Xn are iid with pdf fx() =f(x−T(Fx)).

Symmetry(对称性定理)

Let X with cdf F(x) pdf f(x) and distribution of X is symmetric about a. T(Fx)是位置泛函，则T(Fx)=a

10.2 Sample Median and Sign Test

Basic

Model Setting

X1,X2...Xn are R.S. which follows Location Model Xi = θ + εi, εi~pdf f(x), F(x) 以及 median 0

Sign Test

Hypothesis

H0a : θ = θ0 vs H1a：θ> θ0

H0b : θ = θ0 vs H1b：θ≠ θ0

Statistic

符号统计量

S(θ0) = #{Xi > θ0} = (i=1~n)∑ I ( Xi>θ0 )

H0a为真时，我们期望一半左右的观测值大于θ0

H1a为真时，期望超过半数以上的观测值大于θ0

H0a为真时，我们期望一半左右的观测值大于θ0

H1b为真时，期望小于等于c1或者大于等于(n-c1)的数落在拒绝域中

分布

小样本下

在H0下，因为θ0为中位数点，所以一半的Xi小于θ0。因此S(θ0)服从bin(n,0.5)的二项分布

大样本下

H0为真且样本量足够大时，标准化统计量使之渐进服从正态分布 N(0,1)

[S(theta0)-（n/2)]/sqrt(n)/2

Distribution Free Test（非参数检验）

并不依赖于Xi本身的分布的检验

Power function

性质

符号统计量的平移性质Translation property

For every k， Pθ[S(0)>k] = P0[S(-θ)>k]

理解

即总体中位数为θ时，样本大于零的个数之和大于k的概率与总体中位数为0时，样本大于-θ的个数之和大于k的概率相同

Nondecresasing

γ(θ)是单边假设检验水平α的符号检验功效函数，则γ(θ)为θ的非递减函数

理解

γ（θ）=Pθ[S(0)>cα]，θ增大中位数增大，γ不减

Hypothesis推广

H0' :θ<=θ0

10.2.2 Estimating Equations Based on the Sign Test

Estimate Equation

L1 distance

中位数θ的估计转换成使L1距离最小的点

EE

其解即为样本中位数Q2

变式

2S(θ)-n = 0

样本中位数也是S(θ) = n/2 的解

10.2.1 Asymptotic Relative Efficiency

子主题

10.3 Signed-Rank Wilcoxon

Background（缺点）

Sign Test推断非常简单，而且所需的基础分布很少

符号检验的有效性只是t检验的0.64倍

Lamma

H0 成立且pdf关于0对称的条件下，|x1|,|x2|,...,|xn|和sgn(X1),sgn(X2)...sgn(Xn)是独立的

即Xi的rank 和Xi 的符号是独立的

Signed-Rank Wilcoxon

假设

Xi = θ + εi的pdf f(x)是对称的即f(x) = f(-x),

所以 Xi服从关于θ 对称的分布

Statistics

r(|Xi|) refers to the rank of |Xi| among |X1| ,···, |Xn|

理解

视为符号检验的一种加权后的结果

当两个距离原点距离相同时，权重应当一致

当一个的到原点距离小时，其权重应该小

Anti-Ranks

Denote the variable with the rank equal to j as Xij .

Decision Rule

T >= c,拒绝H0, 接受H1

Chapter 6 Maximum Likelihood Methods

极大似然估计 MLE

定义

似然函数

一般取对数进行运算

估计方程

对数偏导为0

本书有几种估计方程EE,这只是其中的一种

极大似然估计量 MLE

一般求解估计方程即可

MLE能使得其似然函数函数值达到最大

特殊情况下，例如含有示性函数的问题，直接看L(θ，X)的图像即可

正则条件（R0-R2）

R0

pdf unique，即不同的θ，pdf不同

R1

对于不同的θ，X有着相同的support

R2

θo为Ω的内点（即不为边界点）

性质

似然函数与 θo之间的关系

在R0,R1下

表明：似然函数在θ0处渐近达到最大值

定理6.1.1

MLE在函数作用不变性

θhat 是θ的mle，则在函数g()的作用下,g(θhat)是g(θ)的mle

定理6.1.2

MLE 与 θ的关系

θhat 依概率收敛于 θ

定理6.1.3

应用

求pdf参数的mle

不满足正则条件

均匀分布U(0,θ)

满足正则条件

求P(X>x)的mle

相当于把这个概率视作在θ某函数作用下的，求g(θhat)

习题6.1.5、6.1.6

求pmf的mle

二项分布mle

习题6.1.6

Rao-Cramer 下界及有效性

正则条件(R3-R4)

R3

pdf 二次可微

R4

pdf在积分符号下二次可微

R5

pdf三次可微，且得分函数的二阶导能被M（X）控制

得分函数 Score function

定义

性质

得分函数的期望为0

得分函数对所有变量求和为估计方程

Fisher infromation: I(θ)

定义

得分函数平方的期望

等价形式

得分函数再对θ求偏导的期望的相反数

易于计算

费舍信息即得分函数的方差

易于理解

Rao-Cramer 下界

定义

条件：R0~R4成立，随机变量Xi iid, Y=u(X1,X2...Xn)为k(θ)统计量，且E(Y)=k(θ) 即Y为k(θ)的无偏估计量

限制了Y的方差的最小值

推论

条件:在上述假设下，且Y为θ的无偏估计，即E(Y)=θ

Y的方差大于等于n倍的费舍信息的倒数

有效估计量Efficient Estimator

定义

有效估计量（efficient estimator）：当Y为θ的无偏估计量且 Y的方差达到RC下界时，称Y为θ的有效估计量

有效性（efficiency）：RC下界与Y方差的比称为Y的有效性

性质

有效估计量衡量了大样本下Y对θ的接近程度

定理

条件：在R0~R5成立，费舍信息有限且θhat为θo的mle（即为似然估计方程的解）

结论

应用

求sqrt(n)*（θhat-θo)的渐进分布

习题6.2.7、8

推论

在上述条件下

且如果g()连续

Δ-方法

Rn 依概率趋向于0

判断方法

步骤

1.首先看Y是否为无偏估计量

2.计算Y的方差V(Y)

3.得分函数二阶偏导数的期望的相反数计算I(θ)，及Rao-Cramer下界

4.判断是否达到Rao-Cramer下界

渐进有效性asymptotically efficiency

条件

θ1nhat是θ0的估计量（不一定为mle、不一定无偏估计）

定义

渐进有效性

e的值称为θ1nhat的渐进有效性

渐进有效估计量

如果e= 1 ，则称θ0hat为渐进有效估计量

应用：

由定理知mle是渐进有效

渐进相对有效性ARE

定义：θ1nhat、θ2nhat均为θ0的估计量

1相对于2 的渐进相对有效性

e >1，θ1nhat更好

e < 1 , θ2nhat更好

应用：比较两个估计量的好坏，直观上来看拥有较小渐进方差的估计量较好

极大似然检验

似然比检验(LRT，Likelihood Ratio Test)

正态分布LRT（精确分布）

常规统计量

θo为θ的真值，一般在H0中定义，θhat为θ的mle

λ小于从c，则拒绝H0

θo若为真值，比值应该接近于1；H1成立则比值较小

变式统计量

理论依据

似然函数可以化为

之后可以采用此检验量

在R0~R5成立，费舍信息有限。检验统计量服从卡方1分布

Decision rule

其中卡方L为上述定义的统计量

其他分布LRT(Asymptotical Distribution渐进分布)

变式统计量

理论依据

在R0~R5成立，费舍信息有限。统计量依分布收敛于卡方1分布

Decision rule

其中卡方L为上述定义的统计量

沃尔德型检验(Wald-type Test)

统计量

由于I(θhat)依概率收敛于I(θ0)，此统计量的极限分布为卡方1

理解

平方内的部分渐进收敛于N(0,1)

Decision rule

得分型检验(Score-type Test)

统计量

理解

由于涉及到Score function: l'(θ0)，所以称之为得分型统计量

Decision rule

多参数估计

极大似然估计量 mle

等价的求解向量方程

性质

上述定理6.1.1依旧成立

上述定理6.1.2依旧成立

上述定理6.1.3依旧成立

费舍信息阵Fisher Infromatation Matrix

定义

密度函数对参数向量各分量梯度协方差矩阵

对于信息阵中的每个元素Ijk来说

计算方法

一般元素I(j,k)的等价形式

由于上式成立，并且得分函数的期望为0

计算化简可以得到每个信息阵每个元素的等价形式

优点此形式便于计算

对角线元素

信息阵对角线元素的形式大致和纯量的一样

随机样本下的费舍信息阵

由于样本量n且iid，所以具有一样的费舍尔信息阵

随机样本下的费舍信息阵为单独信息阵的n倍

费舍信息阵下的RC下界

令估计量Yj=uj(X1,X2...Xn)是θj的无偏估计量

估计量Yj的方差不小于费舍信息阵逆的对角线第j个元素除以n

多参数下的渐近性

定理

θnhat是θ的渐进有效估计量

根号n倍的θnhat与θ的差依分布收敛于p元均值为0方差为费舍尔信息阵的逆的正态分布

应用

纯量形式

对某一个参数

函数映射

设p元向量θ在函数g()的映射下

于是，g（θ）的偏导矩阵为

变换 η 为g(σ)的估计量

满足定理

于是η信息阵可以表示为

理解

举个例子来说，一般求得的费舍信息阵例如I(μ，σ)，虽然能从I(1,1)得出来I(μ)，但是从信息阵中无法直接看出来出来I(σ方)

2.所以需要采取变换η=g(μ，σ)=σ方，进行转换，然后代入公式

3.此时如果要求I(η)，便可以通过此时的信息矩阵的逆求出

例题6.4.6

多参数检验

似然比检验LRT

统计量

其中Ωhat表示全空间下的mle

Decision rule

α的确定

子主题