KnowledgeTree

外观

统计信号处理

约 1432 字大约 5 分钟

2026-03-11

如何评价估计器的好坏？

两个重要的无偏一致估计：

均值：

μ^=1N∑i=1Nxi\hat \mu = \frac 1 N \sum _{i=1} ^N x_i

协方差矩阵：

已知均值

R^=1N∑i=1N(xi−μx)(xi−μx)H\hat R = \frac 1 N \sum _{i=1} ^N (x_i - \mu _x)(x_i - \mu _x)^H

未知均值

R^=1N−1∑i=1N(xi−μ^x)(xi−μ^x)H\hat R = \frac 1 {N-1} \sum _{i=1} ^N (x_i - \hat \mu _x)(x_i - \hat \mu _x)^H

均方误差(mean squared error, MSE )

E[∣∣A^−A∣∣2]=E[eHe]=trE[eHe]=trME[||\hat A - A||^2]=E[e^He]=trE[e^He]=trM

$ M=E[ee^H] $ 称为均方误差矩阵，可对其进行进一步分解

令 $ b = \mu _e $ :

Re=E[(e−μe)(e−μe)H]=M−bbHR_e = E[(e - \mu _e)(e - \mu _e)^H] = M - bb^H

因此 $ M = R_e + bb^H $ ，可视为协方差和偏差的加权，当估计器为无偏估计时，

最小方差估计器不一定是无偏的，因此存在最小均方误差估计和最小方差无偏估计两种不同的准则

最小方差无偏估计MVDR

对于$ y=Hx+n $ 现有问题：

WH=(HHRnn−1H)−1HHRnn−1x^=WHy=(HHRnn−1H)−1HHRnn−1yRx^x^=WHRnnW=(HHRnn−1H)−1HHRnn−1⋅Rnn⋅Rnn−1H(HHRnn−1H)−1=(HHRnn−1H)−1\mathbf{W}^H=(\mathbf{H}^H\mathbf{R}_{nn}^{-1}\mathbf{H})^{-1}\mathbf{H}^H\mathbf{R}_{nn}^{-1} \\\\ \hat{\mathbf{x}}=\mathbf{W}^{H}\mathbf{y}=(\mathbf{H}^{H}\mathbf{R}_{nn}^{-1}\mathbf{H})^{-1}\mathbf{H}^{H}\mathbf{R}_{nn}^{-1}\mathbf{y} \\\\ \begin{aligned}\mathbf{R}_{\mathrm{\hat{x}\hat{x}}}&=\mathbf{W}^H\mathbf{R}_{\mathrm{nn}}\mathbf{W}=(\mathbf{H}^H\mathbf{R}_{nn}^{-1}\mathbf{H})^{-1}\mathbf{H}^H\mathbf{R}_{nn}^{-1}\cdot\mathbf{R}_{nn}\cdot\mathbf{R}_{nn}^{-1}\mathbf{H}(\mathbf{H}^H\mathbf{R}_{nn}^{-1}\mathbf{H})^{-1}\\&=(\mathbf{H}^H\mathbf{R}_{nn}^{-1}\mathbf{H})^{-1}\end{aligned}

以下是例题：

例： $ y=Hx+n $ ，对于上述线性模型，在满足线性运算的条件下寻找最小方差无偏估计，结果称为minimum variance distortionless response (MVDR) ，也称作best linear unbiased estimator (BLUE)：

解：

假设线性条件： $ \hat x = W^H y $

则无偏性条件：

E[x^]=E[WHy]=E[WH(Hx+n)]=E[WHHx+WHn]=WHHx+WHE(n)=WHHx=xWHH=IE[\hat x] = E[W^H y]= E[W^H(Hx+n)]= E[W^HHx+W^Hn]= W^HHx+W^HE(n)=W^HHx=x \\ W^HH=I

最小化方差：

E[∣∣x^−x∣∣2]=trE[(x^−x)(x^−x)H]=trRx^x^=tr{WHRyyW}=tr{WHRnnW}E[||\hat x - x||^2]=trE[(\hat x - x)(\hat x - x)^H] \\ =trR_{\hat x \hat x}=tr\{W^HR_{yy}W\}=tr\{W^HR_{nn}W\}

则原问题变成了MVDR优化现有问题：

minW tr{WHRnnW}s.t.WHH=I\underset{W}{min} \ tr\{ W^HR_{nn}W \} \\ s.t. W^HH=I

首先构造拉格朗日函数：

L=tr(WTRnnW)−∑i,jλij[(WTH−I)]ji=tr(WTRnnW)−tr[Λ(WTH−I)]\mathcal{L}=\mathrm{tr}\left(\mathbf{W}^T\mathbf{R}_{nn}\mathbf{W}\right)-\sum_{i,j}\lambda_{ij}\left[\left(\mathbf{W}^T\mathbf{H}-\mathbf{I}\right)\right]_{ji}=\mathrm{tr}\left(\mathbf{W}^T\mathbf{R}_{nn}\mathbf{W}\right)-\mathrm{tr}\left[\mathbf{\Lambda}\left(\mathbf{W}^T\mathbf{H}-\mathbf{I}\right)\right]

对W求偏导

∂tr(WTRmnW)∂W=2RmW∂(ΛWTH)∂W=∂tr(WTHΛ)∂W=HΛ⇒∂L∂W=2RmnW−HΛ=0⇒W=12Rmn−1HΛ\begin{aligned}&\frac{\partial\mathrm{tr}(\mathbf{W}^T\mathbf{R}_{mn}\mathbf{W})}{\partial\mathbf{W}}=2\mathbf{R}_m\mathbf{W}\\&\frac{\partial(\mathbf{\Lambda}\mathbf{W}^T\mathbf{H})}{\partial\mathbf{W}}=\frac{\partial\mathrm{tr}(\mathbf{W}^T\mathbf{H}\mathbf{\Lambda})}{\partial\mathbf{W}}=\mathbf{H}\mathbf{\Lambda}\end{aligned}\quad\Rightarrow\quad\frac{\partial\mathcal{L}}{\partial\mathbf{W}}=2\mathbf{R}_{mn}\mathbf{W}-\mathbf{H}\mathbf{\Lambda}=0\quad\Rightarrow\quad\mathbf{W}=\frac12\mathbf{R}_{mn}^{-1}\mathbf{H}\mathbf{\Lambda}

由约束条件得：

WTH=12ΛTHTRnn−1H=I⇒ΛT=2(HTRnn−1H)−1\mathbf{W}^{T}\mathbf{H} =\frac{1}{2}\mathbf{\Lambda}^{T}\mathbf{H}^{T}\mathbf{R}_{nn}^{-1}\mathbf{H} =\mathbf{I}\Rightarrow\mathbf{\Lambda}^{T} =2(\mathbf{H}^{T}\mathbf{R}_{nn}^{-1}\mathbf{H})^{-1}

解得

WT=(HTRnn−1H)−1HTRnn−1\mathbf{W}^{T}=(\mathbf{H}^{T}\mathbf{R}_{nn}^{-1}\mathbf{H})^{-1}\mathbf{H}^{T}\mathbf{R}_{nn}^{-1}

对于复数情形

WH=(HHRnn−1H)−1HHRnn−1\mathbf{W}^H=(\mathbf{H}^H\mathbf{R}_{nn}^{-1}\mathbf{H})^{-1}\mathbf{H}^H\mathbf{R}_{nn}^{-1}

因此，MVDR估计为：

x^=WHy=(HHRnn−1H)−1HHRnn−1y\hat{\mathbf{x}}=\mathbf{W}^{H}\mathbf{y}=(\mathbf{H}^{H}\mathbf{R}_{nn}^{-1}\mathbf{H})^{-1}\mathbf{H}^{H}\mathbf{R}_{nn}^{-1}\mathbf{y}

MVDR估计的协方差矩阵

Rx^x^=WHRnnW=(HHRnn−1H)−1HHRnn−1⋅Rnn⋅Rnn−1H(HHRnn−1H)−1=(HHRnn−1H)−1\begin{aligned}\mathbf{R}_{\mathrm{\hat{x}\hat{x}}}&=\mathbf{W}^H\mathbf{R}_{\mathrm{nn}}\mathbf{W}=(\mathbf{H}^H\mathbf{R}_{nn}^{-1}\mathbf{H})^{-1}\mathbf{H}^H\mathbf{R}_{nn}^{-1}\cdot\mathbf{R}_{nn}\cdot\mathbf{R}_{nn}^{-1}\mathbf{H}(\mathbf{H}^H\mathbf{R}_{nn}^{-1}\mathbf{H})^{-1}\\&=(\mathbf{H}^H\mathbf{R}_{nn}^{-1}\mathbf{H})^{-1}\end{aligned}

例： $ y=sA+n $ ，其中s为已知实信号， A为待估计幅度，n为噪声，其协方差矩阵为 $ R_{nn} $ ，试设计MVDR估计并优化s,在满足总功率限制的条件下使得的估计误差最小化

解：首先将信号模型写成矩阵的形式

y=sA+n⇒y=Hx+nH=s,A=xy=sA+n \quad\Rightarrow\quad y=Hx+n \\ H=s,A=x

计算权值

WT=(HTRnn−1H)−1HTRnn−1=(sTRnn−1s)−1sTRnn−1=1sTRnn−1ssTRnn−1\mathbf{W}^T=(\mathbf{H}^T\mathbf{R}_{nn}^{-1}\mathbf{H})^{-1}\mathbf{H}^T\mathbf{R}_{nn}^{-1} \\ =(\mathbf{s}^T\mathbf{R}_{nn}^{-1}\mathbf{s})^{-1}\mathbf{s}^T\mathbf{R}_{nn}^{-1} =\frac1{\mathbf{s}^T\mathbf{R}_{nn}^{-1}\mathbf{s}}\mathbf{s}^T\mathbf{R}_{nn}^{-1}

由此可得MVDR估计

A^=x^=WTy=1sTRnn−1ssTRnn−1y\hat{\mathbf{A}}=\hat{\mathbf{x}}=\mathbf{W}^{T}\mathbf{y}=\frac1{\mathbf{s}^T\mathbf{R}_{nn}^{-1}\mathbf{s}}\mathbf{s}^T\mathbf{R}_{nn}^{-1}y

要使得估计误差最小化，即最小化方差，即最小化MSE

tr(Rxx)=tr[(HTRnn−1H)−1]=1sTRnn−1s\mathrm{tr}(\mathbf{R}_{\mathrm{xx}})=\mathrm{tr}\left[\left(\mathbf{H}^T\mathbf{R}_{nn}^{-1}\mathbf{H}\right)^{-1}\right]=\frac1{\mathbf{s}^T\mathbf{R}_{nn}^{-1}\mathbf{s}}

最小化方差等同于最大化分母 ，考虑 $ R_{nn} $ 的EVD分解

Rnn=VΛVT\mathbf{R}_{\mathrm{nn}}=\mathbf{V}\mathbf{\Lambda}\mathbf{V}^T

同时将s表示为 $ R_{nn} $ 特征向量的加权

s=Vαs=V\alpha

所以：

sTRnn−1s=αTVTVΛ−1VTVα=αTΛ−1α=∑i=⁡1N∣αi∣2λi\mathbf{s}^T\mathbf{R}_{nn}^{-1}\mathbf{s}=\mathbf{\alpha}^T\mathbf{V}^T\mathbf{V}\mathbf{\Lambda}^{-1}\mathbf{V}^T\mathbf{V}\mathbf{\alpha}=\mathbf{\alpha}^T\mathbf{\Lambda}^{-1}\mathbf{\alpha}=\sum_{i\operatorname{=}1}^N\frac{|\alpha_i|^2}{\lambda_i}

考虑功率约束

E=∑k=1Nsk2=∥s∥2=sTs\mathcal{E}=\sum_{k=1}^Ns_k^2=\parallel\mathbf{s}\parallel^2=\mathbf{s}^T\mathbf{s}

由于 $ s=V\alpha $ :

sTs=αTVTVα=αTα=∥α∥2=∑i=1Nαi2\mathbf{s}^T\mathbf{s}=\mathbf{\alpha}^T\mathbf{V}^T\mathbf{V}\mathbf{\alpha}=\mathbf{\alpha}^T\mathbf{\alpha}=\parallel\mathbf{\alpha}\parallel^2=\sum_{i=1}^N\alpha_i^2

为最大化 $ \mathbf{s}T\mathbf{R}_{nn}\mathbf{s} = \sum_{i\operatorname{=}1}N\frac{|\alpha_i|2}{\lambda_i} $ ，应将能量分配到较小的 $ \lambda _i $ 上，因此最佳方案为

αi2={0,i=1,...,N−1,E,i=N,\alpha_i^2=\begin{cases} 0,&i=1 ,...,N-1 ,\\ \mathcal{E},&i=N,\end{cases}

此时 $ \mathbf{s}=\sqrt{\mathcal{E}}\mathbf{v}{\min} $，对应于 $ R $ 最小特征根对应的特征向量