Operation History Estimation and Its Application to Multi-Degraded Image Restoration

Yuanman Li , Member, IEEE, Minhua Liu, Student Member, IEEE, Jinyu Tian , Member, IEEE, Jie Du , Member, IEEE, and Xia Li , Member, IEEE

摘要

从网络和社交平台获取的共享图像可能因多种操作而质量下降，影响其对消费者的质量和可靠性。现有的图像修复算法主要针对已知退化类型的单个图像，而对于未知退化类型的多退化图像修复研究较少。此外，现有方法通过分类模型检测图像是否经历了特定的单一操作来评估图像的可靠性。然而，准确估计图像的完整操作历史仍然具有挑战性。这些限制可能限制了这些技术在消费者应用中的实际使用。为了解决这些问题，本研究提出了一种新的框架，该框架利用操作历史估计来提高多退化图像的可靠性和质量。首先，我们基于机器翻译机制开发了一个深度网络，用于估计输入多退化图像的操作历史，包括操作类型、参数及其顺序。具体而言，设计了自注意力机制和交叉注意力机制，以捕捉操作与参数之间的内部关联及其交互关系。其次，我们提出将操作历史估计方案应用于多退化图像的恢复，利用估计的操作和相关参数作为先验信息，辅助恢复过程。广泛的实验结果表明，我们的框架在操作历史估计和多退化图像恢复方面表现出色，最终提高了图像在消费应用中的可靠性和质量。

I.引言

这些方法包括检测操作链（即一系列连续的操作）[9]、[10]、[11]，以识别图像处理过程，并估计操作参数[12]、[13]，以确定操作链的相应参数。然而，现有的方法通常局限于特定任务，如估计操作链或参数，未能全面捕捉整个操作历史。此外，许多方法依赖分类模型来估计操作参数。由于操作参数通常是连续值，分类技术只能通过识别决策边界来提供近似的参数范围，而无法给出精确的参数值。因此，为了确保图像的可靠性，开发能够准确揭示整个操作历史的创新方法至关重要。
为了解决上述问题，本文提出了一种模型，该模型能够全面揭示操作历史，并将其应用于多退化图像的恢复。与传统的基于分类的方法不同，我们采用了基于机器翻译的方法，考虑了操作历史中操作和参数的顺序性。具体而言，我们将每个操作和参数视为句子中的词语，构建了两个描述操作历史的句子，一个描述操作，另一个描述参数。通过在语言空间中建立图像与操作历史之间的映射关系，我们能够同时考虑操作和参数，从而估计出完整的操作历史。随后，我们将这一操作历史估计模型整合到一个多退化图像恢复框架中。具体而言，我们将退化历史视为操作历史的一个特例，并利用估计的退化历史作为多退化图像恢复的先验信息，即使没有已知的退化历史，也能实现图像的恢复。我们的主要贡献可总结如下：

我们提出了一种操作历史估计模型，该模型充分利用了自注意力和交叉注意力机制，能够有效学习输入图像、操作及其相关参数之间的关联。与现有方法仅能估计操作或参数不同，我们的方法能够通过机器翻译机制逐步解码出完整的操作历史，包括操作、参数及其顺序。
我们利用回归技术来估计每个操作相关的参数。与基于分类的先前方法相比，这种方法通过直接预测参数的数值，而不是将其视为离散类别，从而实现更细致的估计。
我们进一步探索了该方法的实际应用，通过将其应用于多退化图像恢复框架来辅助恢复过程。与传统图像恢复方法假设退化历史已知不同，我们的恢复框架估计退化历史，并将其作为多退化图像恢复的先验信息。
实验结果表明，我们提出的方法在多退化图像的操作历史估计和恢复方面，比现有算法具有更好的性能。

本文的结构安排如下：第二部分概述了相关工作，第三部分介绍了操作历史估计算法及其在多退化图像复原中的应用，第四部分给出了实验结果，第五部分对全文进行了总结。

II.相关工作

在本节中，我们对有关操作历史估计和图像恢复的相关工作进行了简要回顾。

A.操作历史估计

实际的图像处理过程可能包含多个操作，这些操作共同构成了图像操作的历史记录。由于多个操作之间的相互作用，单个操作的取证方法难以满足对图像操作链的实际需求。为了全面揭示数字图像的操作过程，需要识别图像操作链中的操作类型、顺序和关键参数。操作链取证的概念最早由[14]提出，该研究以量化和加性高斯白噪声的操作链为例，验证了其理论分析的有效性。他们进一步分析了操作链的拓扑结构，其中包含更多的操作[15]。针对内容感知缩放和对比度增强的二元操作，Li等人[16]提出了一种方法，通过计算马尔可夫一步转移概率矩阵并提取DCT域的高维特征，来估计由内容感知缩放和对比度增强组成的链的操作历史。需要注意的是，上述方法基于手动特征。
随着深度学习技术的发展，操作链检测的任务已从传统的特征提取转向了深度学习。Boroumand和Fridrich [17]专注于特定的二进制操作链，并在卷积神经网络中引入了全局平均池化层，以识别被篡改图像中的操作类型。Chen等人[18]开发了一种自动化的神经网络，利用强化学习生成高性能的神经网络，特别适用于多目标取证和历史检测。通过联合提取与域操作序列相关的条件指纹特征，[19]和[20]的研究实现了特定二进制操作序列的类型识别和顺序识别。Liao等人[9]引入了一种基于双流卷积神经网络的图像操作链取证框架，并为特定的操作组合设计了多种预处理技术。最近，You等人[10]提出了一种基于Transformer的图像操作链检测方法，该方法将操作链检测视为一个翻译任务，而非分类任务。为了进一步提升检测性能，他们提出了链反转策略和双向检测机制[11]。
此外，操作历史中操作参数的估计也受到了关注。Feng等人[21]提出了一种利用归一化能量密度来估计重采样图像参数的方法。Zhu等人[22]介绍了一种基于归一化能量密度和矩阵特征的学习排序方法，用于估计图像缩放因子。Liu等人[23]提出了一种利用图像光谱和差分图像极值区间直方图来估计预JPEG压缩图像缩放因子的方法。Xue等人[12]提出了一种使用DCT系数直方图来估计双JPEG压缩图像因子的方法。Wang等人[24]通过分析零直方图区间数量与伽马变化之间的关系，来估计伽马变换参数。最近，Liao等人[13]通过对操作链中操作之间相关性的分析，进行了参数估计的研究。他们探讨了操作序列和参数变化对最终图像的影响，并根据操作间的耦合或非耦合相关性设计了不同的参数估计策略。值得注意的是，所有现有的方法都存在一个共同的局限性，即只能单独估计单个操作或参数，而无法全面捕捉整个操作历史。

B.图像恢复

图像恢复技术旨在解决因成像系统受多种因素影响而导致的图像质量下降问题，这些问题包括[8]、[25]、[26]、[27]和[28]。
近年来，图像恢复领域取得了显著进展。例如，Gu等人[25]提出了一种名为IKC的迭代方法，用于估计模糊核。他们将这一问题视为基于模型的图像恢复任务，假设低分辨率图像从高分辨率图像中经历了多次模糊退化。Yu等人[29]开发了一个基于强化学习的图像恢复框架，将恢复过程视为一个决策过程，并自适应地选择工具来优化图像质量。在应对多重退化挑战时，Suganuma等人[30]提出了一种神经网络层结构，该结构通过基于注意力的权重执行并行操作，以根据输入选择最合适的处理方式。此外，He等人[8]解决了多退化图像的问题，提出了一种可控的恢复框架，能够根据不同类型的退化和不同程度调节输出效果，引入了多维调制的概念。

III.提出的操作历史估计算法

在本节中，我们首先介绍问题的表述，然后详细阐述我们提出的基于机器翻译的操作历史估计算法。最后，我们将展示操作历史估计在多退化图像恢复任务中的应用。

A.问题的定义

B.提出的操作历史估计算法