矩估计和极大似然估计
矩估计基于辛钦大数定律：
当样本的容量足够大时，样本k阶距(A_k)收敛域总体k阶距(a_k)
样本的平均值去估计总体的均值(期望)
期望和均值
数学期望常称为“均值”，即“随机变量取值的平均值”之意，这个平均是以概率为权的平均，不是通常意义上的(总数)/(个数),数学期望由随机变量的分布完全决定。
Xˉ=1n∑i=1nxi
\bar{X}=\frac{1}{n}\sum_{i=1}^nx_i
Xˉ=n1i=1∑nxi
(1)式，其实是平均值（期望是均值），对其求期望其实就是一个加权的过程，所以无论是哪种分布，都是E(x)=μ,而非X平均值=μ
方差：衡量一组数据离散程度的度量
S2=1n∑i=1n(X−μ)2
S^2=\frac{1}{n}\sum_{i=1}^n(X-\mu)^2
S2=n1i=1∑n(X−μ)2
误差分析：
因为X取得是样本，所以X的取值存在误差因为我们事先是不知道是什么分布的，所以μ是不知道的，使用均值替代的话，也会出现误差
方差和修正方差的来源及其证明
S2=1n∑i=1n(xi−Xˉ)2S2=1n∑i=1n[(xi−μ)−(Xˉ−μ)]2S2=1n∑i=1n[(xi−μ)2−2(xi−μ)(Xˉ−μ)+(Xˉ−μ)2]S2=1n∑i=1n(xi−μ)2−2n∑i=1n(xi−μ)(Xˉ−μ)+(Xˉ−μ)2S2=1n∑i=1n(xi−μ)2−(Xˉ−μ)2E(S2)=E(1n∑i=1n(xi−μ)2−(Xˉ−μ)2)=σ2−E((Xˉ−μ)2)E((Xˉ−μ)2)=E(Xˉ2−2μXˉ+μ2)=E(Xˉ2)−E(Xˉ)2=D(X)=σ2nE(S2)=σ2−σ2n=n−1nσ2
S^2=\frac{1}{n}\sum_{i=1}^n(x_i-\bar{X})^2\\
S^2=\frac{1}{n}\sum_{i=1}^n[(x_i-\mu)-(\bar{X}-\mu)]^2\\
S^2=\frac{1}{n}\sum_{i=1}^n[(x_i-\mu)^2-2(x_i-\mu)(\bar{X}-\mu)+(\bar{X}-\mu)^2]\\
S^2=\frac{1}{n}\sum_{i=1}^n(x_i-\mu)^2-\frac{2}{n}\sum_{i=1}^{n}(x_i-\mu)(\bar{X}-\mu)+(\bar{X}-\mu)^2\\
S^2=\frac{1}{n}\sum_{i=1}^n(x_i-\mu)^2-(\bar{X}-\mu)^2\\
E(S^2)=E(\frac{1}{n}\sum_{i=1}^n(x_i-\mu)^2-(\bar{X}-\mu)^2)=\sigma^2-E((\bar{X}-\mu)^2)\\
E((\bar{X}-\mu)^2)=E(\bar{X}^2-2\mu\bar{X}+\mu^2)=E(\bar{X}^2)-E(\bar{X})^2=D(X)=\frac{\sigma^2}{n}\\
E(S^2)=\sigma^2-\frac{\sigma^2}{n}=\frac{n-1}{n}\sigma^2\\
S2=n1i=1∑n(xi−Xˉ)2S2=n1i=1∑n[(xi−μ)−(Xˉ−μ)]2S2=n1i=1∑n[(xi−μ)2−2(xi−μ)(Xˉ−μ)+(Xˉ−μ)2]S2=n1i=1∑n(xi−μ)2−n2i=1∑n(xi−μ)(Xˉ−μ)+(Xˉ−μ)2S2=n1i=1∑n(xi−μ)2−(Xˉ−μ)2E(S2)=E(n1i=1∑n(xi−μ)2−(Xˉ−μ)2)=σ2−E((Xˉ−μ)2)E((Xˉ−μ)2)=E(Xˉ2−2μXˉ+μ2)=E(Xˉ2)−E(Xˉ)2=D(X)=nσ2E(S2)=σ2−nσ2=nn−1σ2
由上可知S^2和σ^2是有微小差距的，所以对此做修正，得到的方差就是修正方差
E(nn−1S2)=nn−1n−1nσ2=σ2nn−1S2=nn−11n∑i=1n(xi−Xˉ)2=1n−1∑i=1n(xi−Xˉ)2(S∗)2=1n−1∑i=1n(xi−Xˉ)2
E(\frac{n}{n-1}S^2)=\frac{n}{n-1}\frac{n-1}{n}\sigma^2=\sigma^2\\
\frac{n}{n-1}S^2=\frac{n}{n-1}\frac{1}{n}\sum_{i=1}^n(x_i-\bar{X})^2=\frac{1}{n-1}\sum_{i=1}^n(x_i-\bar{X})^2\\
(S^*)^2=\frac{1}{n-1}\sum_{i=1}^n(x_i-\bar{X})^2
E(n−1nS2)=n−1nnn−1σ2=σ2n−1nS2=n−1nn1i=1∑n(xi−Xˉ)2=n−11i=1∑n(xi−Xˉ)2(S∗)2=n−11i=1∑n(xi−Xˉ)2
本质：使用样本原点距去估计总体原点距的一种方法(用样本量估计总体量)
估计均值
E(Xˉ)=E(1n∑i=1nxi)=1n∑i=1nE(xi)=1nnμ=μ
E(\bar X)=E(\frac{1}{n}\sum_{i=1}^nx_i)=\frac{1}{n}\sum_{i=1}^nE(x_i)=\frac{1}{n}n\mu=\mu
E(Xˉ)=E(n1i=1∑nxi)=n1i=1∑nE(xi)=n1nμ=μ
u^=Xˉ=1n∑i=1nxi
\hat{u}=\bar{X}=\frac{1}{n}\sum_{i=1}^nx_i
u^=Xˉ=n1i=1∑nxi
估计方差
σ2=a2−a12=1n∑i=1nxi2−Xˉ2=1n∑i=1n(xi−Xˉ)2=S2
\sigma^2=a_2-a_1^2=\frac{1}{n}\sum_{i=1}^nx_i^2-\bar{X}^2=\frac{1}{n}\sum_{i=1}^{n}(x_i-\bar{X})^2=S^2
σ2=a2−a12=n1i=1∑nxi2−Xˉ2=n1i=1∑n(xi−Xˉ)2=S2
σ^2=S2
\hat{\sigma}^2=S^2
σ^2=S2
0-1分布:只有一个未知参数，所以也只能估P的值
X01P1-ppp(x=xi)=(1−p)1−xipxi
p(x=x_i)=(1-p)^{1-x_i}p^{x_i}
p(x=xi)=(1−p)1−xipxi
矩估计:
E(Xˉ)=E(1n∑i=1nxi)=1n∑i=1nE(xi)=1nnp=p
E(\bar{X})=E(\frac{1}{n}\sum_{i=1}^nx_i)=\frac{1}{n}\sum_{i=1}^nE(x_i)=\frac{1}{n}np=p
E(Xˉ)=E(n1i=1∑nxi)=n1i=1∑nE(xi)=n1np=p
p^=Xˉ=1n∑i=1nxi
\hat{p}=\bar{X}=\frac{1}{n}\sum_{i=1}^{n}x_i
p^=Xˉ=n1i=1∑nxi
最大似然估计
L(p)=(1−p)∑xi=1n(1−xi)p∑xi=1nxi
L(p)=(1-p)^{\sum_{x_i=1}^n(1-x_i)}p^{\sum_{x_i=1}^n{x_i}}
L(p)=(1−p)∑xi=1n(1−xi)p∑xi=1nxi
lnL(p)=∑xi=1n(1−xi)ln(1−p)+∑xi=1nxilnp
lnL(p)=\sum_{x_i=1}^n(1-x_i)ln(1-p)+\sum_{x_i=1}^n{x_i}lnp
lnL(p)=xi=1∑n(1−xi)ln(1−p)+xi=1∑nxilnp
令：∂lnL(p)∂p=−∑xi=1n(1−xi)1−p+∑xi=1nxip=0
令：\frac{\partial{lnL(p)}}{\partial{p}}=-\frac{\sum_{x_i=1}^n(1-x_i)}{1-p}+\frac{\sum_{x_i=1}^n{x_i}}{p}=0
令：∂p∂lnL(p)=−1−p∑xi=1n(1−xi)+p∑xi=1nxi=0
p^=Xˉ=1n∑i=1nxi
\hat{p}=\bar{X}=\frac{1}{n}\sum_{i=1}^{n}x_i
p^=Xˉ=n1i=1∑nxi
注：估计的P，其实表示的就是在n次试验下，出现1的次数的概率
泊松分布
P(x=xi)=λxie−λxi!
P(x=x_i)=\frac{\lambda^{x_i}e^{-\lambda}}{x_i!}
P(x=xi)=xi!λxie−λ
矩估计
E(Xˉ)=E(1n∑i=1nxi)=1n∑i=1nE(xi)=1nnλ=λ
E(\bar{X})=E(\frac{1}{n}\sum_{i=1}^{n}x_i)=\frac{1}{n}\sum_{i=1}^{n}E(x_i)=\frac{1}{n}n\lambda=\lambda
E(Xˉ)=E(n1i=1∑nxi)=n1i=1∑nE(xi)=n1nλ=λ
λ^=Xˉ=1n∑i=1nxi
\hat{\lambda}=\bar{X}=\frac{1}{n}\sum_{i=1}^{n}x_i
λ^=Xˉ=n1i=1∑nxi
注：E(x_i)=入的证明过程，其中使用到了泰勒公式进行变换
E(X)=∑i=1∞xiP(x=xi)=∑i=1∞xiλxie−λxi!=λe−λ∑i=1∞λxi−1(xi−1)!=λe−λeλ=λ
E(X)=\sum_{i=1}^\infty x_iP(x=x_i)=\sum_{i=1}^\infty x_i\frac{\lambda^{x_i}e^{-\lambda}}{x_i!}=\lambda e^{-\lambda}\sum_{i=1}^\infty \frac{\lambda ^{x_i-1}}{(x_i-1)!}=\lambda e^{-\lambda}e^{\lambda}=\lambda
E(X)=i=1∑∞xiP(x=xi)=i=1∑∞xixi!λxie−λ=λe−λi=1∑∞(xi−1)!λxi−1=λe−λeλ=λ
最大似然估计
L(λ)=λ∑i=1nxie−nλ∏i=1nxi!
L(\lambda)=\frac{\lambda^{\sum_{i=1}^{n}x_i}e^{-n\lambda}}{\prod_{i=1}^{n}x_i!}
L(λ)=∏i=1nxi!λ∑i=1nxie−nλ
lnL(λ)=∑i=1nxiln(λ)−nλ−ln(∏i=1nxi!)
lnL(\lambda)=\sum_{i=1}^{n}x_iln(\lambda)-n\lambda-ln(\prod_{i=1}^nx_i!)
lnL(λ)=i=1∑nxiln(λ)−nλ−ln(i=1∏nxi!)
令：∂lnL(λ)∂λ=∑i=1nxiλ−n=0
令： \frac{\partial{lnL(\lambda)}}{\partial\lambda}=\frac{\sum_{i=1}^{n}x_i}{\lambda}-n=0
令：∂λ∂lnL(λ)=λ∑i=1nxi−n=0
可得:λ^=Xˉ=1n∑i=1nxi
可得:\hat{\lambda}=\bar{X}=\frac{1}{n}\sum_{i=1}^{n}x_i
可得:λ^=Xˉ=n1i=1∑nxi
均匀分布
f(x)={1b−aa f(x)=\begin{cases}\frac{1}{b-a}\quad a f(x)={b−a1a 注：这里有两个参数，分别是a和b，故需要至少列两个参数才能得到解 矩估计 E(X)=∫abxf(x)dx=∫abxb−adx=12(b+a)=Xˉσ2=1n∑i=1n(xi−Xˉ)2=S2(下式原理)1b−a∫ab(x−Xˉ)2dx=1b−a∫ab(x−12(b+a))2dx=112(b−a)2=S2解得：{b^=Xˉ+3Sa^=Xˉ−3S E(X)=\int_{a}^{b}xf(x)dx=\int_{a}^{b}\frac{x}{b-a}dx=\frac{1}{2}(b+a)=\bar{X}\\ \sigma^2=\frac{1}{n}\sum_{i=1}^{n}(x_i-\bar{X})^2=S^2(下式原理)\\ \frac{1}{b-a}\int_{a}^{b}(x-\bar{X})^2dx=\frac{1}{b-a}\int_{a}^{b}(x-\frac{1}{2}(b+a))^2dx=\frac{1}{12}(b-a)^2=S^2\\ 解得：\begin{cases}^{\hat{a}=\bar{X}-\sqrt{3}S}_{\hat{b}=\bar{X}+\sqrt{3}S}\end{cases} E(X)=∫abxf(x)dx=∫abb−axdx=21(b+a)=Xˉσ2=n1i=1∑n(xi−Xˉ)2=S2(下式原理)b−a1∫ab(x−Xˉ)2dx=b−a1∫ab(x−21(b+a))2dx=121(b−a)2=S2解得：{b^=Xˉ+3Sa^=Xˉ−3S 最大似然估计 常规的，列最大似然函数，然后求导令为零是求不出估计值。 指数分布 特点：无记忆性，可以用于描述机器寿命。 f(x)={0其他λe−λxx>0 f(x)=\begin{cases}^{\lambda e^{-\lambda x}\quad x>0}_{0\quad\quad 其他}\end{cases} f(x)={0其他λe−λxx>0 矩估计： E(X)=∫0+∞λxe−λxdx=1λ=Xˉλ^=1Xˉ E(X)=\int_0^{+\infty}\lambda xe^{-\lambda x}dx=\frac{1}{\lambda}=\bar{X}\\ \hat{\lambda}=\frac{1}{\bar{X}} E(X)=∫0+∞λxe−λxdx=λ1=Xˉλ^=Xˉ1 极大似然估计 L(λ)=λne−λ∑i=1nxilnL(λ)=nlnλ−λ∑i=1nxi令：∂(lnL(λ))∂λ=nλ−∑i=1nxi=0λ^=n∑i=1n1xi=1Xˉ L(\lambda)=\lambda^ne^{-\lambda \sum_{i=1}^nx_i}\\ lnL(\lambda)=nln\lambda-\lambda\sum_{i=1}^nx_i\\ 令：\frac{\partial({lnL(\lambda)})}{\partial\lambda}=\frac{n}{\lambda}-\sum_{i=1}^{n}x_i=0\\ \hat{\lambda}=n\sum_{i=1}^n\frac{1}{x_i}=\frac{1}{\bar{X}} L(λ)=λne−λ∑i=1nxilnL(λ)=nlnλ−λi=1∑nxi令：∂λ∂(lnL(λ))=λn−i=1∑nxi=0λ^=ni=1∑nxi1=Xˉ1 正态分布 f(x)=12πσe−(x−μ)22σ2 f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}} f(x)=2πσ1e−2σ2(x−μ)2 X~N(μ,σ^2)： {σ^=Sμ^=Xˉ \begin{cases}^{\hat{\mu}=\bar{X}}_{\hat{\sigma}=S}\end{cases} {σ^=Sμ^=Xˉ 写笔记难免有错误，烦请指正！如有疑问可加QQ:1372931501