首页  思维导图  详情

概率论与数理统计

2023-02-22 11:47:03   0  举报





AI智能生成

大学概率论与数理统计所有知识点

概率

数据分析

考研

升学助力

作者其他创作

大纲/内容

5 大数定律与中心极限定理

5.1 大数定律

伯努利大数定理

设是次重复独立实验中事件发生的次数，是事件在每次实验中发生的概率，则对于任意正数，有：

或：

辛钦大数定律

设有随机变量：，这些随机变量相互独立，服从同一分布，且具有相同的数学期望：

令：

则对于任意有：

或：

也可以表述为：

切比雪夫大数定理

设有随机变量：，这些随机变量两两不相关，若每个随机变量的方差存在，且有共同的上界，即：

令：

则对于任意有：

或：

也可以表述为：

关系

5.2 中心极限定理

棣莫弗-拉普拉斯定理（中心极限定理的一种）

设随机变量，则对任意有：

林德伯格-莱维定理

设随机变量：

相互独立，服从同一分布，且有相同的数学期望和方差：

则随机变量：

对于任意实数有：

6 数理统计的基本知识

6.1 总体和样本

总体与个体

一个统计问题总有它明确的研究对象，研究对象的全体称为总体

总体中每个成员称为个体

样本

从总体中随机抽取个个体，这些个体组成的集合称为样本，称为样本容量，通常记作：

简单随机样本

原则

样本要简单，或者说有样本中的个体相互独立，学习前面概率的时候就知道，如果独立的话计算就会比较简单

样本要有和总体一样的随机性，或者说能代表总体

如此才能根据样本推断总体的情况，用数学的话来说就是样本和总体的分布相同，简称为同分布。比如说对于总体有，那么同分布的样本有

6.2 经验分布函数

6.3 统计量与样本数字特征

定义

完全由样本所决定的量叫作统计量

几个统计量

样本均值

设为取自某总体的样本，则其算术平均数：

称为样本均值。

中位数

样本方差和样本标准差

定义

设为取自某总体的样本，则称：

为样本方差，其算术平方根称为样本标准差。

样本均值、方差和方差的关系

6.4 一些统计量的分布

三大抽样分布

卡方分布

分布

定理一

样本均值的分布

定义

设为取自某总体的简单随机样本，对应的样本均值为，则样本均值的分布为：

其中表示的是当足够大时，差不多服从于)的意思。

样本的分布

样本方差的分布

定理二

样本均值、标准差分布

定理三

样本均值差的分布

其中：

样本方差比的分布

7 参数估计

7.1 点估计

定义

设为取自某总体的样本，若构造某统计量作为总体分布中未知参数的近似（或者说估计），可以称此统计量为估计量估计量，称此估计量为的点估计

相关性质

矩估计的理论基础

样本阶矩是随机变量阶矩的一致估计

设为取自某总体的简单随机样本，设随机变量阶矩与样本阶矩分别为：

则有：

也就是说：

发展出了点估计的矩法，也称为矩估计

最大似然估计

离散

若总体为离散型随机变量，其分布律为：

其中，表示某未知参数，表示的可能取值范围。
设为的一个简单随机样本，为来自该样本的具体数值，则样本联合分布为：

若以为变量则有：

该函数称为样本的似然函数（注意该函数中都是已知的样本值，它们都是常数）。令该函数取得最大值的：

称这个为参数的最大似然估计值，因为这个只与有关，所以也记作。对应的统计量称为最大似然估计量。

连续

若总体X为连续型随机变量，其概率密度函数为：

其中，表示某未知参数，表示的可能取值范围。
设为的一个简单随机样本，为来自该样本的具体数值，则样本联合概率密度为：

若以为变量则有：

该函数称为样本的似然函数（注意该函数中都是已知的样本值，它们都是常数）。令该函数取得最大值的：

称这个为参数的最大似然估计值，因为这个只与有关，所以也记作。对应的估计量称为最大似然估计量。

7.2 点估计的优劣

一致性

估计量必须要满足一致性

设为总体分布的一个未知参数的点估计，如果对于任意的，始终有：

则称为的一致估计（也称为相合估计），或者说具有一致性（也称为相合性）。

一致性是对估计量最基本的要求

因为抽取样本的时候我们并不能控制到底抽到什么样本值，唯一可能可控的是样本容量（有些情况下连样本容量都不能随意控制，比如地震的样本）。所以人们希望在样本容量增大时，估计的精度可以不断地提高。

无偏性

定义

若估计量的数学期望存在，且对于任意有：

则称是的无偏估计量，或者说该估计量具有无偏性。

有效性

设估计量与都是无偏估计量，若对于任意有：

且至少对于某一个上式中的不等号成立，则称相对而言更有效。

7.3 区间估计

置信区间

设总体的分布函数含有一个未知参数（为的可能取值范围），对于给定值，若由来自的样本确定的两个统计量和，对于任意满足：

则称随机区间是\theta的置信水平为的置信区间，和分别称为置信下限和置信上限，称为置信水平

7.4 正态总体均值的区间估计

7.5 正态总体方差的区间估计

7.6 两个正态总体均值差的置信区间

7.7 两个正态总体方差比的置信区间

7.8 单侧置信区间

8 假设检验

8.1 假设检验的基本概念与方法

8.2 正态总体下的假设检验

8.3 两个正态总体均值与方差的假设检验

8.4 整体分布函数的假设检验

1 随机事件及其概率

1.1 随机试验与随机事件

确定性现象和随机现象

在一定条件下必然发生的现象称为确定性现象

在一定条件下可能出现也可能不出现的现象称为随机现象

随机试验与样本空间

在概率论中,把具有以下三个特征的试验称
为随机试验（random experiment）

可以在相同的条件下重复地进行

每次试验的可能结果不止一个,并且能事
先明确试验的所有可能结果

进行一次试验之前不能确定哪一个结果
会出现

随机试验的所有可能结果组成的集合称为的样本空间（sample space）, 记为或

随机事件

随机试验的样本空间 Ω 的子集称为的随机事件, 简称事件

基本事件

由一个样本点组成的单点集

复合事件

必然事件

试验中必然会出现的结果.记为Ω

不可能事件

试验中不可能出现的结果.记为

1.2 事件间关系及运算

事件的运算

并运算：

交运算：

差运算：

补运算：如果，则为的补

性质

交换律

结合律

分配率

摩根定律

事件的关系

事件之间的关系

1.3 随机事件的概率

频率

定义

在相同的条件下进行次试验，在这次试验中事件发生的次数称为事件发生的频数。比值称为事件发生的频率，并记成。

性质

互斥时，

概率的统计定义

在相同的条件下进行次试验，事件在这次试验中发生了次，如果当增大时，事件发生的频率稳定在某一常数附近摆动，就称常数为事件发生的概率，记为：

1.4 古典概型

定义

满足下面两个特点的随机试验称为等可能概型或古典概型

（1）样本空间有限

（2）样本点的出现等可能

计算

计算的核心知识点（复习中学的知识）

数清楚和Ω里面有多少样本点，这称为计数

乘法原理

如果某件事需经个步骤才能完成，做第步有种方法，做第步有种方法，做第步有种方法，则完成这个事件总共有种方法。

加法原理

如果某件事有种办法去完成，第种办法有种方法，第种办法有种方法，第种办法有种方法，则完成这个事件总共有种方法。

排列

从个不同元素中任取个元素排成一排（不能重复选择元素，要考虑元素的先后顺序），称为一个排列（Permutation）。按乘法原理，此种排列共有种，记作，可以读作：。若，称为全排列，全排列数共有个，记为。

组合

从个不同元素中任取个元素并成一组(不区分顺序)，称为一个组合（Combination），组合总数为：可以读作：

1.5 几何概型

定义

当随机试验的样本空间是某个区域，并且任意一点落在度量 (长度、面积、体积) 相同的子区域是等可能的，则事件的概率可定义为

说明

当古典概型的试验结果为连续无穷多个时,就归结为几何概型

1.6 概率公理化定义

概率的定义：已知某样本空间，对于其中任一事件，定义函数，满足三大公理，则称为概率函数，称为事件的概率。

三大公理

非负性公理

举例子

规范性公理

可加性公理

设为两两不相容事件，即：，有：

意义

公理中出现的概率函数是把样本空间中的事件，
映射为[0,1]之间的实数

解决三大流派的纠纷

举例子

抛掷硬币：正面的概率=

性质

空集的概率是零

概率的有限可加性

若是两两互不相容的事件，则有：

任意事件，有

包含的概率

设为两个事件，若是的子集，则可推出

(1)

(2)

任意两个事件，有

加法公式

对于任意两个事件，有：

1.7 条件概率与乘法公式

条件概率

定义

设和是样本空间中的两事件，若，则称：

为“假设条件为时的的概率”，简称条件概率。也常写作：

条件概率的三大公理

非负性公理

规范性公理

可加性公理

设为两两不相容的事件，即，有：

乘法公式

根据条件概率定义得到

，则：

事件的相互独立性

独立性的定义

对于两个随机事件，如果满足：

则称A与B相互独立，或简称A与B独立，否则称A与B不独立或相依。

多个事件相互独立

两两独立≠相互独立

1.8 伯努利概型

伯努利分布

某样本空间只包含两个元素，，在其上定义随机变量：

若时，有：

或写作：

则此概率分布称作0-1分布，也称作伯努利分布

二项分布

在数学中，类似于扔一次硬币这样的“是非题”称为一次伯努利试验，
像上面这样独立地重复扔次硬币（做同样的“是非题”次），就称为重伯努利试验

对于重伯努利实验，如果每次得到“是”的概率为，设随机变量：
X=得到“是”的次数，则称：

为随机变量的二项分布，也可以记作：

当的时候，对应的就是伯努利分布，所以伯努利分布也可以记作

1.9 全概率公式与逆概率公式

全概率公式

逆概率公式（贝叶斯公式）

贝叶斯定理

对于随机事件，若，有：

设为样本空间的一个分割，则有：

2 随机变量及其分布

2.1 随机变量

随机变量的定义

定义在样本空间上的实值函数：

称为随机变量

，即一切满足的

组成的集合

离散随机变量

随机变量的函数值是实数轴上孤立的点（有限个或者无限个），则称为离散随机变量

连续随机变量

如果随机变量的函数值是实数轴上某个区间上所有的值（也可以是区间），则称为连续随机变量

2.2 离散型随机变量及其概率分布

概率质量函数(PMF)

设为离散型随机变量，其全部可能值为则：

称为的概率质量函数（Probability Mass Function，缩写为PMF）

还可写作列表的形式：

所以也称为的概率分布列，或者简称为概率分布。
有时候也如下表示：，读作服从的概率分布。

常见的离散随机变量

伯努利分布

某样本空间只包含两个元素，，在其上定义随机变量：

若时，有：

或写作：

则此概率分布称作0-1分布（两点分布），也称作伯努利分布

二项分布

在数学中，类似于扔一次硬币这样的“是非题”称为一次伯努利试验，
像上面这样独立地重复扔n次硬币（做同样的“是非题”次），就称为重伯努利试验

泊松分布

泊松分布的定义

对于随机变量的概率质量函数：
称为随机变量的泊松分布，也可以记为：
其数学期望和方差为：

泊松分布的条件

平稳性

在此时间段内，此事件发生的概率相同（在实际应用中大致相同就可以了）

独立性

事件的发生彼此之间独立（或者说，关联性很弱）

普通性

把切分成足够小的区间，在内恰好发生两个、或多个事件的可能性为（或者说，几乎为）

超几何分布

设有件产品，其中有件不合格品，随机抽取件产品，设随机变量：

则其中含有件不合格产品的概率为：

其中。此时称服从超几何分布，可以记作：

几何分布

对于重伯努利实验，如果每次得到“是”的概率为，设随机变量：
=首次得到“是”时进行的试验次数，则称：

为随机变量的几何分布，也可以记作：

其数学期望和方差为：

2.3 连续型随机变量及其概率密度

2.7 概率密度函数(PDF)

定义

如果函数满足下列两个条件（对应了概率的三大公理）：
非负性：

规范性（暗含了可加性），因为是连续的，所以通过积分相加：

则称其为概率密度函数（Probability Density Function，简写为PDF）。

期望

方差

累积分布函数(CDF)

连续随机变量的概率密度函数为，则：
称为的累积分布函数。

常见的连续随机变量

均匀分布

如果连续随机变量的概率密度函数为：
则称服从区间(a,b)上的均匀分布，记作，其累积分布函数为：

期望和方差分别为：

指数分布

指数分布的定义

若随机变量X的概率密度函数为：

其中，称服从指数分布，也可以记为：，累积分布函数为：

期望和方差

性质：无记忆性

分布之间的关系

正态分布

正态分布的定义

如果连续随机变量X的概率密度函数为：

则称X服从正态分布（normal distribution），也称作高斯分布（Gaussian distribution），记作，其累积分布函数为：

中心极限定理

因为要逼近二项分布才引入了正态分布，但随着这个问题研究的深入，发现不光二项分布，很多别的分布最终也会变为正态分布，甚至很多不同的分布混合在一起最终也会变为正态分布……
正态分布是这些分布的最终归宿，这是一个很惊人的结论，这就导致正态分布的地位大大提高，基本可以算是概率论的中心。
这个结论称为中心极限定理，它导致的结果是，我们在现实生活中会观察到非常非常多的正态分布

标准正态分布

我们称时的正态分布N(0,1)为标准正态分布

重要结论

如果，那么有：

上分位点

如果有，如果满足：

那么称点为标准正态分布的上分位点。

期望和方差

2.4 分布函数

累积分布函数(CDF)

设是一个随机变量，是任意实数，函数：
因为是把概率分布函数累加起来，所以称为累积分布函数
（Cumulative Distribution Function，或者缩写为CDF），也简称为分布函数。

举例子：伯努利分布的累积分布函数

定义累积分布函数的理由

定义累积分布函数主要是为了计算上的便利，以下常见计算都可以CDF来完成：

2.5 随机变量函数的概率分布

随机变量函数的定理

设是连续随机变量，其概率密度函数为是另外一个随机变量。若严格单调，其反函数有连续导函数，则的概率密度函数为：其中：

3 随机向量

3.1 二维随机向量及其分布

二维随机变量

设是定义在同一样本空间上的两个随机变量，由它们构成的向量称为二维随机向量或二维随机变量

离散型随机向量及其概率分布

如果二维随机向量所有可能的取值为，这两个随机变量同时发生的概率可以用函数表示如下：

且此函数满足如下性质（即概率的三大公理）：
（1）非负性：

（2）规范性和可加性

则称此函数为的联合概率质量函数（Joint Probability Mass Function），或者称为联合分布列，此定义可以推广到多维离散随机变量上去。

连续型随机向量及其概率密度

对于某二维随机变量存在二元函数满足：
（1）非负性：

（2）规范性和可加性（连续的都通过积分来相加）：

则称此函数为的联合概率密度函数（Joint Probability Density Function），或者称为联合分布密度，此定义可以推广到多维连续随机变量上去。

联合累积分布函数

设是二维随机变量，对于任意实数，可以定义一个二元函数来表示两个事件同时发生的概率：

称为二维随机变量的联合累积分布函数（Joint Cumulative Distribution Function），如果混合偏导存在的话，那么：

得到就是此分布的概率密度函数。此定义和性质可以推广到多维随机变量。

举例子

二维正态分布

如果二维随机变量(X,Y)的联合概率密度函数为：

则称服从二维正态分布，记作：

它含有五个参数和，取值范围分别为：

并且分别是的期望；分别是的方差；是的相关系数。

3.2 边缘分布

边缘分布函数

如果二维连续随机变量的联合累积分布函数为，如下可以得到的累积分布函数：

称为的边缘累积分布函数（Marginal Cumulative Distribution Function）。可记作：

同理可以得到的边缘累积分布函数：

边缘分布律（边缘概率质量函数）

如果二维离散随机变量的联合概率质量函数为：

对求和所得的函数：

称为的边缘概率质量函数（Marginal Probability Mass Function），或者称为边缘分布列。类似的对求和所得的函数：

称为的边缘概率质量函数。

边缘分布密度（边缘概率密度函数）

如果二维连续随机变量的联合概率密度函数为，则：

称为的边缘概率密度函数（Marginal Probability Density Function）。类似的：

称为的边缘概率密度函数。

3.3 条件分布

条件分布律（条件概率质量函数）

设是二维离散型随机变量，对于固定的，若，则称：

为条件下的随机变量的条件概率质量函数。同样的对于固定的i，若，则称：

为条件下的随机变量的条件概率质量函数。

条件分布密度（条件概率密度函数）

设二维连续型随机变量的概率密度函数为，若对于固定的有边缘概率密度函数，则：

为条件下的随机变量的条件概率密度函数。对应的条件累积分布函数为：

同样的道理，以为条件有：

3.4 随机变量的独立性

设随机变量的联合分布函数为，边缘分布函数为，若对任意实数，有，即：，则称随机变量相互独立。

3.5 随机变量的函数分布

随机变量的和的分布

卷积公式

离散

设为两个相互独立的离散随机变量，取值范围为，则其和的概率质量函数为：

这个概率等式称为离散场合下的卷积公式。

连续

设为二维连续型随机变量，概率密度函数为，则仍为连续型随机变量，其概率密度为：

若为相互独立，其边缘密度函数分别为和，则其和的概率密度函数为：

上面两个概率等式称为连续场合下的卷积公式。

随机变量的极值的分布

设是相互独立的个随机变量，各自的累积分布函数为：

若，其累积分布函数为：

若，其累积分布函数为：

4 随机变量的数字特征

4.1 数学期望

定义

离散型

连续型

性质

常数的期望

若为常数，则：

推出：

随机变量函数的期望

一维随机变量

设是随机变量的函数(是连续函数)。
（1）若为离散随机变量，则（设下式中的级数绝对收敛）：

（2）若为连续随机变量，则（设下式中的积分绝对收敛）：

多维随机变量

线性的数学期望

齐次性

对于任意常数有：

可加性

对于任意两个函数有：

对于多维也成立：

独立的数学期望

设为二维独立随机变量，则有：

这个结论可以推广到维独立随机变量：

重要不等式

施瓦茨不等式

对任意随机变量与都有：

4.2 方差

方差

定义

令，则：

简化计算公式

推导过程：

性质

常数的方差

非线性的方差

若为常数，则：

独立的方差

设为二维独立随机变量，则有：

这个结论可以推广到维独立随机变量：

方差为0

存在常数使得

标准差

定义

常见随机变量的方差

离散型

连续型

4.3 协方差与相关系数

定义

设是一个二维随机变量，若存在，则称此数学期望为与的协方差（Covariance），记作：

特别地有。

很显然会有：
时，正相关，即两者有同时增加或者减少的倾向
时，负相关，即两者有反向增加或者减少的倾向
时，不相关，不过和独立还是有区别的，这点我们后面再论述

性质

化简

可以通过下式来化简运算：

据此马上可以得到一个推论：

方差

对于任意的二维随机变量有：

所以当为二维不相关随机变量时，有：

分配率

数乘

独立必不相关

根据刚才的性质：

如果独立，则有：

所以：
独立不相关

不相关的充要条件