统计信号处理

第三章—-经典参数估计

如何评价估计器的好坏？

两个重要的无偏一致估计：

均值：

\[\hat \mu = \frac 1 N \sum _{i=1} ^N x_i\]

协方差矩阵：

已知均值 \[\hat R = \frac 1 N \sum _{i=1} ^N (x_i - \mu _x)(x_i - \mu _x)^H\] 未知均值 \[\hat R = \frac 1 {N-1} \sum _{i=1} ^N (x_i - \hat \mu _x)(x_i - \hat \mu _x)^H\]

均方误差(mean squared error, MSE )

\[E[||\hat A - A||^2]=E[e^He]=trE[e^He]=trM\]

$ M=E[ee^H] $ 称为均方误差矩阵，可对其进行进一步分解

令 $ b = _e $ : \[R_e = E[(e - \mu _e)(e - \mu _e)^H] = M - bb^H\] 因此 $ M = R_e + bb^H $ ，可视为协方差和偏差的加权，当估计器为无偏估计时，

最小方差估计器不一定是无偏的，因此存在最小均方误差估计和最小方差无偏估计两种不同的准则

最小方差无偏估计MVDR

对于$ y=Hx+n $ 现有问题：

\[\mathbf{W}^H=(\mathbf{H}^H\mathbf{R}_{nn}^{-1}\mathbf{H})^{-1}\mathbf{H}^H\mathbf{R}_{nn}^{-1}\\\\\hat{\mathbf{x}}=\mathbf{W}^{H}\mathbf{y}=(\mathbf{H}^{H}\mathbf{R}_{nn}^{-1}\mathbf{H})^{-1}\mathbf{H}^{H}\mathbf{R}_{nn}^{-1}\mathbf{y}\\\\\begin{aligned}\mathbf{R}_{\mathrm{\hat{x}\hat{x}}}&=\mathbf{W}^H\mathbf{R}_{\mathrm{nn}}\mathbf{W}=(\mathbf{H}^H\mathbf{R}_{nn}^{-1}\mathbf{H})^{-1}\mathbf{H}^H\mathbf{R}_{nn}^{-1}\cdot\mathbf{R}_{nn}\cdot\mathbf{R}_{nn}^{-1}\mathbf{H}(\mathbf{H}^H\mathbf{R}_{nn}^{-1}\mathbf{H})^{-1}\\&=(\mathbf{H}^H\mathbf{R}_{nn}^{-1}\mathbf{H})^{-1}\end{aligned}\]

以下是例题：

例： $ y=Hx+n $ ，对于上述线性模型，在满足线性运算的条件下寻找最小方差无偏估计，结果称为minimum variance distortionless response (MVDR) ，也称作best linear unbiased estimator (BLUE)：

解：

假设线性条件： $ x = W^H y $

则无偏性条件： \[E[\hat x] = E[W^H y]= E[W^H(Hx+n)]= E[W^HHx+W^Hn]= W^HHx+W^HE(n)=W^HHx=x\\W^HH=I\] 最小化方差： \[E[||\hat x - x||^2]=trE[(\hat x - x)(\hat x - x)^H]\\=trR_{\hat x \hat x}=tr\{W^HR_{yy}W\}=tr\{W^HR_{nn}W\}\] 则原问题变成了MVDR优化现有问题： \[\underset{W}{min} \ tr\{ W^HR_{nn}W \}\\s.t. W^HH=I\] 首先构造拉格朗日函数： \[\mathcal{L}=\mathrm{tr}\left(\mathbf{W}^T\mathbf{R}_{nn}\mathbf{W}\right)-\sum_{i,j}\lambda_{ij}\left[\left(\mathbf{W}^T\mathbf{H}-\mathbf{I}\right)\right]_{ji}=\mathrm{tr}\left(\mathbf{W}^T\mathbf{R}_{nn}\mathbf{W}\right)-\mathrm{tr}\left[\mathbf{\Lambda}\left(\mathbf{W}^T\mathbf{H}-\mathbf{I}\right)\right]\] 对W求偏导 \[\begin{aligned}&\frac{\partial\mathrm{tr}(\mathbf{W}^T\mathbf{R}_{mn}\mathbf{W})}{\partial\mathbf{W}}=2\mathbf{R}_m\mathbf{W}\\&\frac{\partial(\mathbf{\Lambda}\mathbf{W}^T\mathbf{H})}{\partial\mathbf{W}}=\frac{\partial\mathrm{tr}(\mathbf{W}^T\mathbf{H}\mathbf{\Lambda})}{\partial\mathbf{W}}=\mathbf{H}\mathbf{\Lambda}\end{aligned}\quad\Rightarrow\quad\frac{\partial\mathcal{L}}{\partial\mathbf{W}}=2\mathbf{R}_{mn}\mathbf{W}-\mathbf{H}\mathbf{\Lambda}=0\quad\Rightarrow\quad\mathbf{W}=\frac12\mathbf{R}_{mn}^{-1}\mathbf{H}\mathbf{\Lambda}\] 由约束条件得： \[\mathbf{W}^{T}\mathbf{H}=\frac{1}{2}\mathbf{\Lambda}^{T}\mathbf{H}^{T}\mathbf{R}_{nn}^{-1}\mathbf{H}=\mathbf{I}\Rightarrow\mathbf{\Lambda}^{T}=2(\mathbf{H}^{T}\mathbf{R}_{nn}^{-1}\mathbf{H})^{-1}\] 解得 \[\mathbf{W}^{T}=(\mathbf{H}^{T}\mathbf{R}_{nn}^{-1}\mathbf{H})^{-1}\mathbf{H}^{T}\mathbf{R}_{nn}^{-1}\] 对于复数情形 \[\mathbf{W}^H=(\mathbf{H}^H\mathbf{R}_{nn}^{-1}\mathbf{H})^{-1}\mathbf{H}^H\mathbf{R}_{nn}^{-1}\] 因此，MVDR估计为： \[\hat{\mathbf{x}}=\mathbf{W}^{H}\mathbf{y}=(\mathbf{H}^{H}\mathbf{R}_{nn}^{-1}\mathbf{H})^{-1}\mathbf{H}^{H}\mathbf{R}_{nn}^{-1}\mathbf{y}\] MVDR估计的协方差矩阵 \[\begin{aligned}\mathbf{R}_{\mathrm{\hat{x}\hat{x}}}&=\mathbf{W}^H\mathbf{R}_{\mathrm{nn}}\mathbf{W}=(\mathbf{H}^H\mathbf{R}_{nn}^{-1}\mathbf{H})^{-1}\mathbf{H}^H\mathbf{R}_{nn}^{-1}\cdot\mathbf{R}_{nn}\cdot\mathbf{R}_{nn}^{-1}\mathbf{H}(\mathbf{H}^H\mathbf{R}_{nn}^{-1}\mathbf{H})^{-1}\\&=(\mathbf{H}^H\mathbf{R}_{nn}^{-1}\mathbf{H})^{-1}\end{aligned}\] 例： $ y=sA+n $ ，其中s为已知实信号， A为待估计幅度，n为噪声，其协方差矩阵为 $ R_{nn} $ ，试设计MVDR估计并优化s,在满足总功率限制的条件下使得的估计误差最小化

解：首先将信号模型写成矩阵的形式 \[y=sA+n\quad\Rightarrow\quady=Hx+n\\H=s,A=x\] 计算权值 \[\mathbf{W}^T=(\mathbf{H}^T\mathbf{R}_{nn}^{-1}\mathbf{H})^{-1}\mathbf{H}^T\mathbf{R}_{nn}^{-1}\\=(\mathbf{s}^T\mathbf{R}_{nn}^{-1}\mathbf{s})^{-1}\mathbf{s}^T\mathbf{R}_{nn}^{-1}=\frac1{\mathbf{s}^T\mathbf{R}_{nn}^{-1}\mathbf{s}}\mathbf{s}^T\mathbf{R}_{nn}^{-1}\] 由此可得MVDR估计 \[\hat{\mathbf{A}}=\hat{\mathbf{x}}=\mathbf{W}^{T}\mathbf{y}=\frac1{\mathbf{s}^T\mathbf{R}_{nn}^{-1}\mathbf{s}}\mathbf{s}^T\mathbf{R}_{nn}^{-1}y\] 要使得估计误差最小化，即最小化方差，即最小化MSE \[\mathrm{tr}(\mathbf{R}_{\mathrm{xx}})=\mathrm{tr}\left[\left(\mathbf{H}^T\mathbf{R}_{nn}^{-1}\mathbf{H}\right)^{-1}\right]=\frac1{\mathbf{s}^T\mathbf{R}_{nn}^{-1}\mathbf{s}}\] 最小化方差等同于最大化分母 ，考虑 $ R_{nn} $ 的EVD分解 \[\mathbf{R}_{\mathrm{nn}}=\mathbf{V}\mathbf{\Lambda}\mathbf{V}^T\] 同时将s表示为 $ R_{nn} $ 特征向量的加权 \[s=V\alpha\] 所以： \[\mathbf{s}^T\mathbf{R}_{nn}^{-1}\mathbf{s}=\mathbf{\alpha}^T\mathbf{V}^T\mathbf{V}\mathbf{\Lambda}^{-1}\mathbf{V}^T\mathbf{V}\mathbf{\alpha}=\mathbf{\alpha}^T\mathbf{\Lambda}^{-1}\mathbf{\alpha}=\sum_{i\operatorname{=}1}^N\frac{|\alpha_i|^2}{\lambda_i}\] 考虑功率约束 \[\mathcal{E}=\sum_{k=1}^Ns_k^2=\parallel\mathbf{s}\parallel^2=\mathbf{s}^T\mathbf{s}\] 由于 $ s=V$ : \[\mathbf{s}^T\mathbf{s}=\mathbf{\alpha}^T\mathbf{V}^T\mathbf{V}\mathbf{\alpha}=\mathbf{\alpha}^T\mathbf{\alpha}=\parallel\mathbf{\alpha}\parallel^2=\sum_{i=1}^N\alpha_i^2\] 为最大化 $ ^{T{nn}^{-1} = {i1}}N $ ，应将能量分配到较小的 $ i $ 上，因此最佳方案为
\[\alpha_i^2=\begin{cases} 0,&i=1 ,...,N-1 ,\\ \mathcal{E},&i=N,\end{cases}\] 此时 $ ={} $，对应于 $ R_{nn} $ 最小特征根对应的特征向量