image-20240902094509834
image-20240902094320599

第一行是FOCAL论文效果
第二行是复刻的最好效果
第三四行是冻结encoder，训练decoder
第五行是一起训练
表格如下：

decoderweights Columbia F1 Columbia IOU Columbia AUC COVERAGE F1 COVERAGE IOU COVERAGE AUC CASIA F1 CASIA IOU CASIA AUC MISD F1 MISD IOU MISD AUC NIST F1 NIST IOU NIST AUC
FOCAL (HRNet) 9620 9290 7690 5240 8640 7060 8570 6390 7100 4030
Log_v09011445/Ep002_0.7782/ 9781 9582 9779 7999 5620 8425 8597 6958 8696 8736 6645 8426 6802 3475 7822
Log_v09011445/Ep002_0.7782/ Log_v09041701/latest/ 9754 9516 9763 7914 5448 8364 8486 6842 8697 8763 6707 8478 6846 3531 7885
Log_v09011445/Ep002_0.7782/ Log_v09041701/Ep001_0.6812/ 9766 9533 9773 7900 5460 8335 8505 6833 8687 8769 6720 8485 6848 3524 7880
Log_v09061430/Ep002_0.6672/ Log_v09061430/Ep002_0.6672/ 9719 9531 9732 7961 5516 8573 8456 6703 8729 8856 6914 8611 6792 3498 7934

复刻与FOCAL论文效果相比：

Columbia F1 Columbia IOU Columbia AUC COVERAGE F1 COVERAGE IOU COVERAGE AUC CASIA F1 CASIA IOU CASIA AUC MISD F1 MISD IOU MISD AUC NIST F1 NIST IOU NIST AUC
FOCAL (HRNet) 9620 9290 7690 5240 8640 7060 8570 6390 7100 4030
Log_v09011445/Ep002_0.7782/ +161 +292 9779 +309 +380 8425 -43 -102 8696 +166 +255 8426 -298 -555 7822

decoder性能相比：

decoderweights Columbia F1 Columbia IOU Columbia AUC COVERAGE F1 COVERAGE IOU COVERAGE AUC CASIA F1 CASIA IOU CASIA AUC MISD F1 MISD IOU MISD AUC NIST F1 NIST IOU NIST AUC
Log_v09011445/Ep002_0.7782/ 9781 9582 9779 7999 5620 8425 8597 6958 8696 8736 6645 8426 6802 3475 7822
Log_v09011445/Ep002_0.7782/ Log_v09041701/latest/ 9754 9516 9763 7914 5448 8364 8486 6842 8697 8763 6707 8478 6846 3531 7885
Log_v09011445/Ep002_0.7782/ Log_v09041701/Ep001_0.6812/ 9766 9533 9773 7900 5460 8335 8505 6833 8687 8769 6720 8485 6848 3524 7880
Log_v09061430/Ep002_0.6672/ Log_v09061430/Ep002_0.6672/ 9719 9531 9732 7961 5516 8573 8456 6703 8729 8856 6914 8611 6792 3498 7934
Log_v09061430/latest/ Log_v09061430/latest/ 9718 9545 9734 8036 5693 8604 8284 6411 8547 8826 6851 8582 6767 3495 7930

计算差值。以下是计算结果：

Columbia F1 Columbia IOU Columbia AUC COVERAGE F1 COVERAGE IOU COVERAGE AUC CASIA F1 CASIA IOU CASIA AUC MISD F1 MISD IOU MISD AUC NIST F1 NIST IOU NIST AUC
复刻 9781 9582 9779 7999 5620 8425 8597 6958 8696 8736 6645 8426 6802 3475 7822
冻结encoder的情况下，单独训练decoder -27 -66 -16 -85 -172 -61 -111 -116 +1 +27 +62 +52 +44 +56 +63
冻结encoder的情况下，单独训练decoder -15 -49 -6 -99 -160 -90 -92 -125 -9 +33 +75 +59 +46 +49 +58
联合训练 -62 -51 -47 -38 -104 +148 -141 -255 +33 +120 +269 +185 -10 +23 +112
联合训练 -63 -37 -45 +37 +73 +179 -313 -547 -149 +90 +206 +156 -35 +20 +108