zhaozw后院

Towards Generic Image Manipulation Detection with Weakly-Supervised Self-Consistency Learning University at Buffalo 摘要 ​ 随着先进的图像处理技术的出现，检测操作变得越来越重要。尽管最近基于学习的图像操作检测方法取得了成功，但它们通常需要昂贵的像素级注释来进行训练，同时在与训练图像相比被不同操作的图像上进行测试时表现出较差的性能。为了解决这些局限性，我们提出了弱监督图像操作检测，使得训练目的只需要二进制图像级别的标签（真实或篡改）。这种弱监督设置可以利用更多的训练图像，并有可能快速适应新的操作技术。为了提高泛化能力，我们提出了弱监督自一致性学习（WSCL）来利用弱注释图像。具体来说，学习了两个一致性属性：多源一致性（MSC, multi-source consistency）和补丁间一致性（IPC, inter-patch consistency ）。MSC利用不同的内容无关信息，并通过在线伪标签生成和细化过程实现跨源学习。IPC执行全局成对补丁关系推理， ...

交叉熵损失CrossEntropyLoss 交叉熵损失鼓励模型对同一类别提取相似特征。这可能有助于对Imagenet或cityscape等数据集进行分类或分割，在这些数据集中，相同类别的对象应该具有类似的特征。然而，在图像伪造定位中，由于不同的操作会在被篡改区域留下不同的伪造足迹，因此对数据集中所有被篡改区域提取相似的特征并不是最优的。因此，在没有附加约束的情况下，一个常见的基于交叉熵损失的框架容易对特定的伪造模式进行过拟合，这不利于泛化。 import torch.nn as nncriterion = nn.CrossEntropyLoss(weight = imbalance_weight)loss = criterion(pred, tar.long().detach()) 块对比损失PatchContrastLoss 来自于CFL-Net   我们首先将 $ F∈R^{256×H×W} $ 在空间上划分为k×k个块，从而得到 $ f_iR^{256hw} $ ，其中 $ i{1,2,3…k^2} $ 、 $ h= $ 和 $ w= $ 。然后，我们取每个局部区 ...

id bvid 关键词 题目 描述 30 BV1xN411Z7Tt 智能信息伪装 【图图Seminar30】张卫明：智能信息伪装 《中国图象图形学报》图图Seminar 30期——“图像/视频内容安全”前沿论坛 报告人：中国科学技术大学 张卫明 30 BV1j64y1y7XS 神经网络水印 【图图Seminar30】张新鹏：神经网络水印 《中国图象图形学报》图图Seminar 30期——“图像/视频内容安全”论坛 报告人：复旦大学 张新鹏 76 BV18Y4y1r7tb 视频身份识别技术 【图图Seminar76】“视频身份识别技术”主编论坛——图图名师讲堂 论坛致辞：中山大学 赖剑煌 报告专家：厦门大学 纪荣嵘 清华大学 王生进 南方科技大学 于仕琪 国防科技大学 蓝龙 武汉科技大学 王晓 论坛主持：山东科技大学 张鹏 77 BV1Kr4y147rU 智能图像安全 【图图Seminar77】“智能图像安全”主编论坛——图图名师讲堂 论坛致辞：中国科学 ...

Towards Effective Image Manipulation Detection with Proposal Contrastive Learning 摘要： ​ 深度模型在图像操作检测中得到了广泛而成功的应用，旨在对篡改图像进行分类和定位篡改区域。现有的方法大多集中于从被篡改图像中提取全局特征，而忽略了单个被篡改图像中被篡改区域与真实区域之间的局部特征的关系。为了利用这种空间关系，我们提出了建议对比学习（PCL）来进行有效的图像操作检测。我们的PCL由一个双流架构组成，通过分别从RGB和噪声视图中提取两种类型的全局特征。为了进一步提高鉴别能力，我们通过吸引/排斥基于命题的代理命题对比学习任务来利用局部特征的关系。此外，我们还证明了我们的PCL在实践中可以很容易地适应未标记的数据，这可以降低人工标记的成本，并促进更一般化的特性。在几个标准数据集中进行的大量实验表明，我们的PCL可以作为一个通用的模块来获得一致的改进。

发表于AAAI2024，提出基于CatmullRom样条的回归网络，为了明确抑制假阳性样本和避免不确定性边界，综合再评分算法（CRA,Comprehensive Re-scoring Algorithm），综合评估每个区域的信任分数作为篡改区域，而垂直纹理交互感知（VTP, Vertical Texture-interactive Perception）控制生成更准确的区域边缘。

CFL-Net: Image Forgery Localization Using Contrastive Learning 论文（arxiv） post1post2 总体框架流程： image-20240508214833256 ASPP流程： image-20240411165011289 对比学习损失函数的具体计算流程如下： CFL-Net-contrast-loss.drawio

CFL-Net: Image Forgery Localization Using Contrastive Learning 论文（arxiv） post1post2 摘要   传统的伪造定位方法的缺点是过度拟合和只关注少数特定的伪造痕迹。我们需要一种更通用的图像伪造定位方法，能够很好地适应各种伪造条件。底层伪造区域定位的一个关键假设是，无论伪造类型如何，每个伪造图像样本中未被篡改和被篡改区域的特征分布都存在差异。在本文中，我们的目标是利用这种差异特征分布来帮助图像伪造定位。   具体来说，我们使用对比损耗来学习映射到一个特征空间，在该空间中，每个图像的未篡改区域和被篡改区域之间的特征被很好地分离。此外，该方法不需要对伪造类型进行任何先验知识或假设，就可以对伪造区域进行局部定位。我们证明，我们的工作优于几个现有的方法在三个基准的图像处理数据集。 引言   交叉熵损失鼓励模型对同一类别提取相似特征。这可能有助于对Imagenet或cityscape等数据集进行分类或分割，在这些数据集中，相同类别的对象应该具有类似的特 ...

Deep High-Resolution Representation Learning for Human Pose Estimation Illustrating the architecture of the proposed HRNet 算法流程如下： architecture 其中Bottleneck的网络如下： Bottleneck stage： stage2 stage3 stage4 其中BasicBlock的网络如下： BasicBlock 以下是Hrnet特征间信息交互过程，为x_fuse过程，本身并不改变各个分辨率特征的大小 fuse_layers是hrnet多个不同分辨率特征信息交互的网络，本身并不改变各个分辨率特征的大小 以下为fuse_layers的构造代码： hrnet：code num_branches = self.num_branchesnum_inchannels = self.num_inchannelsfu ...

aixiv文章，首次使用对比学习加聚类的方法做图像篡改检测。

TruFor: Leveraging all-round clues for trustworthy image forgery detection and localization[]