2025 02 13

实验陷入了过拟合过程中

Log_v01300735.log：

image-20250213094734248
image-20250213094814707
image-20250213094851971
image-20250213094906452

其中最好的结果（Log_v02051520对Ep009_0.8633_0.6959_0.8708的测试）：

Network Dataset score_f1 score_iou score_auc kmeans_f1 kmeans_iou kmeans_auc
Log_v01300735 CASIA 0.8632 0.6957 0.8704 0.8612 0.6916 0.8658
Log_v01300735 Trainset 0.9021 0.7615 0.9481 0.9043 0.7651 0.9451
Log_v01300735 Columbia 0.9630 0.9267 0.9625 0.9621 0.9248 0.9614
Log_v01300735 COVERAGE 0.8181 0.5849 0.8731 0.8184 0.5848 0.8662

与其0.7782比（Log_v02140323对Ep002_0.7782的测试）

Network Dataset score_f1 score_iou score_auc kmeans_f1 kmeans_iou kmeans_auc
Log_v09011445 CASIA 0.8611 0.6971 0.8734 0.8603 0.6953 0.8700
Log_v09011445 Trainset 0.9124 0.7882 0.9577 0.9140 0.7908 0.9547
Log_v09011445 Columbia 0.9741 0.9530 0.9738 0.9733 0.9514 0.9728
Log_v09011445 COVERAGE 0.7980 0.5605 0.8419 0.7997 0.5613 0.8419

相比之下：

Dataset score_f1 (Log_v01300735 - Log_v09011445) score_iou (Log_v01300735 - Log_v09011445) score_auc (Log_v01300735 - Log_v09011445) kmeans_f1 (Log_v01300735 - Log_v09011445) kmeans_iou (Log_v01300735 - Log_v09011445) kmeans_auc (Log_v01300735 - Log_v09011445)
CASIA 0.8632 - 0.8611 = 0.0021 0.6957 - 0.6971 = -0.0014 0.8704 - 0.8734 = -0.0030 0.8612 - 0.8603 = 0.0009 0.6916 - 0.6953 = -0.0037 0.8658 - 0.8700 = -0.0042
Trainset 0.9021 - 0.9124 = -0.0103 0.7615 - 0.7882 = -0.0267 0.9481 - 0.9577 = -0.0096 0.9043 - 0.9140 = -0.0097 0.7651 - 0.7908 = -0.0257 0.9451 - 0.9547 = -0.0096
Columbia 0.9630 - 0.9741 = -0.0111 0.9267 - 0.9530 = -0.0263 0.9625 - 0.9738 = -0.0113 0.9621 - 0.9733 = -0.0112 0.9248 - 0.9514 = -0.0266 0.9614 - 0.9728 = -0.0114
COVERAGE 0.8181 - 0.7980 = 0.0201 0.5849 - 0.5605 = 0.0244 0.8731 - 0.8419 = 0.0312 0.8184 - 0.7997 = 0.0187 0.5848 - 0.5613 = 0.0235 0.8662 - 0.8419 = 0.0243

结论（F1高IoU低，多检；IoU高f1低，漏检）：
Trainset 说明，在训练集，模型成功识别了更多的篡改区域，但多预测了额外的区域，其过度拟合到了部分样本。
在Columbia数据集上，模型在识别篡改区域时可能出现了漏检，导致IoU下降，但F1分数相对稳定，未出现过多的误检。
在CASIA数据集上，模型并未出现明显的漏检或过度拟合的情况，表现出相对稳定的性能。

现在测试可能达到的最好值

image-20250213110321716
Dataset score_f1 score_iou score_auc
CASIA 0.8995 0.7399 0.9333
Trainset 0.9042 0.7437 0.9629
Columbia 0.9672 0.9212 0.9652
COVERAGE 0.8579 0.6530 0.8979

相比于现在最好的聚类结果还可以提升：

Dataset score_f1 score_iou score_auc
CASIA 0.8995 - 0.8632 = 0.0363 0.7399 - 0.6957 = 0.0442 0.9333 - 0.8704 = 0.0629
Trainset 0.9042 - 0.9021 = 0.0021 0.7437 - 0.7615 = -0.0178 0.9629 - 0.9481 = 0.0148
Columbia 0.9672 - 0.9630 = 0.0042 0.9212 - 0.9267 = -0.0055 0.9652 - 0.9625 = 0.0027
COVERAGE 0.8579 - 0.8181 = 0.0398 0.6530 - 0.5849 = 0.0681 0.8979 - 0.8731 = 0.0248

结论：

所以基于GT的中心的情形下，即摒除了因为聚类不稳定造成的额外因素，此时，CASIA数据集上涨（分别上涨3个点、4个点、6个点），COVERAGE数据集上涨（分别上涨3个点、6个点、2个点）

2025 02 14-15

一、现有网络的核心问题分析

  1. 特征对比学习的局限性

    • 全局特征主导：InfoNCE损失倾向于最大化不同图像特征间的整体差异，但可能忽略局部篡改区域的细粒度特征。例如，篡改边界处的局部噪声模式可能被全局特征淹没。

    • 背景噪声干扰：若背景区域包含复杂纹理（如树叶、砖墙），其高维特征可能与篡改区域产生相似性，导致聚类混淆。

  2. 聚类算法的粗粒度问题

    • 无监督聚类缺乏像素级约束：K-means等传统聚类算法仅依赖特征空间距离，无法直接建模像素级篡改边界，导致mask边缘模糊。

    • 特征空间过平滑：深层网络的特征图可能因多次下采样丢失细节，导致聚类结果难以区分小尺度篡改区域（如文字擦除）。

  3. 任务适配性不足

    • 单一任务设计：仅依赖对比学习可能无法捕捉篡改特有的痕迹（如边缘伪影、噪声不一致性）。

    • 缺乏多尺度感知：未显式建模不同尺度的篡改区域（如大物体拼接与局部纹理粘贴）。

改进网络流程：
1. 输入图像 → 特征提取器
2. 多尺度对比学习：
   - 全局对比损失（InfoNCE）
   - 局部块对比损失（Pixel-wise NCE）
3. 注意力引导细化：
   - 边界检测分支 → 边界敏感注意力
   - 特征融合 → 细化后的高维特征
4. 聚类与后处理：
   - 初始聚类（K-means） → 粗粒度mask
   - 图切割 + 超像素优化 → 细粒度mask
5. 输出：像素级篡改概率图
方向1：增强局部特征区分度
   - 引入多尺度特征融合与注意力机制
   - 边缘与纹理引导的特征增强
方向2：优化聚类与后处理
   - 两阶段细化：粗聚类+细粒度分割
   - 动态特征适配
方向3：改进对比学习策略
   - 局部对比损失设计
   - 伪标签引导的自监督学习
方向4：融合领域先验知识
   - 频域特征融合
   - 物理一致性约束