边山

边山

副教授 · 硕士生导师

任职于华南农业大学数学与信息学院,本科、硕士及博士阶段均就读于中山大学。研究关注深度学习、深度伪造检测、图像篡改检测与视频取证,并开展智慧农业相关研究。

深度学习深度伪造检测篡改检测视频取证智慧农业

代表论文

精选荣誉

论文

31 篇 · 2013—2026

Expert Systems with Applications在线发表

FTFAW: A High-Fidelity Intelligent Fingerprinting Framework for Source Attribution of Latent Diffusion Models

Jiajun Pan; Jieming He; Mouke Mo; Shan Bian; Chuntao Wang

研究概述与图示

该工作面向潜在扩散模型的多用户分发,通过用户专属的解码器权重调制,从生成图像中追溯授权模型实例。方法结合两阶段微调、自适应损失加权与动态后处理训练,协调图像保真性和指纹提取能力。在 Stable Diffusion v1.4/v2.1 及不同数据集上的实验评估了图像质量和常见后处理下的恢复表现,同时指出扩散重构会明显削弱指纹恢复。

FTFAW 原论文图2:用户指纹映射与解码器权重调制、两阶段微调、动态后处理及指纹提取框架
ACM Multimedia已录用

GIER-Net: Generative Identity Encoding for Robust Original Identity Restoration from Face-Swapped Images

Huaquan Yang; Shan Bian; Gongwei Weng; Chuntao Wang

研究概述与图示

该研究面向人脸图像发布后遭受换脸与传播退化的场景,在发布前保留用于重建原始身份的保护线索。方法通过可逆生成模型的潜空间表示,结合人脸区域先验引导的冗余身份编码与攻击感知校正,重建具有原始身份特征的人脸图像。在 CelebA-HQ 数据集、三种换脸方法及 JPEG 与模拟社交平台压缩实验中,方法改善了多种条件下的恢复质量,并评估了保护图像的统计可检测性。

GIER-Net 原论文图1:保护、换脸攻击和身份恢复三阶段
GIER-Net · 原论文图1,Huaquan Yang、Shan Bian、Gongwei Weng、Chuntao Wang · CC BY-NC-ND 4.0
Expert Systems with Applications在线发表 · 2027 卷期

Detecting the imperceptible: A high-low frequency decoupling network for partial video inpainting forgery detection

Xiaofeng Xie; Shan Bian; Jianlin Zhang; Yue Cheng; Chuntao Wang

研究概述与图示

该研究关注深度视频修复造成的局部帧伪造,其痕迹可能被周围未修改帧的时空信息掩盖。方法采用高低频解耦网络提取时空特征,并通过特征增强、融合与形态分析区分被修改帧和原始帧。研究将局部视频修复作为独立取证问题,关注细微编辑痕迹在视频序列中的识别。

高低频注意力与特征金字塔融合后进行篡改掩码预测和帧级分类的论文网络图
高低频解耦的视频修复取证网络 · 论文图3
Expert Systems with Applications在线发表 · 2027 卷期

Forgery-aware CLIP adaptation via attention modulation with conditional gating for deepfake detection

Yue Cheng; Shan Bian; Lin Li; Jianlin Zhang; Xiaofeng Xie; Chuntao Wang

研究概述与图示

该研究利用CLIP的可迁移视觉表示开展深度伪造检测,关注通用语义特征与细微取证线索之间的差异。方法以轻量适配器调制注意力,并结合条件门控和文本提示对比约束,使模型更关注伪造相关信息。研究目标是缓解检测器对特定数据集痕迹的依赖,改善跨数据集和未见伪造方式下的检测适应性。

伪造痕迹提取、文本提示对比正则、注意力调制与条件门控的原论文方法图
条件门控与注意力调制的 CLIP 适配框架 · 论文图3
Applied Soft Computing在线发表 · 2027 卷期

M3D-net: Multi-modal 3D facial feature reconstruction network for deepfake detection

Haotian Wu; Yue Cheng; Shan Bian; Chuntao Wang

研究概述与图示

M3D-Net从单幅RGB人脸图像重构深度与反照率信息,以三维空间特征补充普通外观特征进行深度伪造检测。网络包含三维重构流和RGB流,并利用预融合模块与多模态特征融合模块建立不同线索之间的联系。论文通过跨数据集等实验考察这种三维几何与二维纹理互补的检测策略。

M3D-Net 作者预印本图1:三维人脸特征重构分支、RGB分支及跨模态特征融合
多模态三维人脸重构网络 · 作者预印本图1
计算机应用在线发表

全局-局部统计特征与攻击驱动载体选择的JPEG鲁棒可逆水印

黄颖熙; 王春桃; 汪建才; 汤毅超; 边山

研究概述

该工作面向JPEG图像中的鲁棒可逆水印,在量化DCT域内同时考虑载体稳定性与原图恢复。方法通过多攻击评分和轻量网络选择嵌入载体,并融合均值、中值等全局与局部统计特征进行四频带调制。结合直方图平移保存恢复信息,使水印在图像处理后仍可提取,并支持无攻击条件下的原图精确恢复。

Applied Intelligence

Detection of transcoding from HEVC to VVC based on CU types and Motion Vector Map

Jiajian Lin; Jianlin Zhang; Shan Bian; Chuntao Wang

研究概述

该研究面向HEVC视频转码为VVC后产生的编码历史鉴别问题。方法统计帧内与帧间编码单元的划分类型,并构造运动矢量图特征,将两类线索组合后交由支持向量机分类。论文在不同分辨率、码率和编码配置下评估检测表现,以分析新编码标准中的转码痕迹。

Animals

Two-Stream Bidirectional Interaction Network Based on RGB-D Images for Duck Weight Estimation

Diqi Zhu; Shan Bian; Xiaofeng Xie; Chuntao Wang; Deqin Xiao

研究概述与图示

为减少人工接触式称重,研究利用RGB-D图像估计鸭体重的双流双向交互网络。编码器分别提取外观纹理和深度结构信息,通过跨模态互补模块进行交互,再融合多尺度特征完成体重回归。研究构建了包含2865对俯视RGB-D图像的数据集,比较实验在该数据集上验证了多模态融合相对于对比方法的估计效果。

原文图4:RGB与深度图双流编码器、跨模态特征交互、解码器及体重回归结构
网络结构总览 · 论文图4 · CC BY 4.0
IEEE TrustCom

Robust Recovery Method Against Malicious Face Swapping in Online Social Networks

Huaquan Yang; Shan Bian; Gongwei Weng

研究概述与图示

针对社交网络有损压缩导致隐藏的人脸信息退化、进而影响换脸后原始人脸恢复的问题,提出主动保护框架SwinTRecNet。方法结合Swin Transformer与UNet增强人脸信息编码和解码,并使用压缩近似生成对抗网络模拟多种压缩模式,以复合损失平衡含密图像扰动与恢复质量。在CelebA-HQ数据集上的实验考察了不同换脸攻击与社交网络处理场景中的图像质量和人脸恢复表现。

原论文图1:准备网络提取人脸特征并将其编码到背景,经过社交平台压缩模拟与换脸处理后,由恢复网络重建预先保护的人脸。
Expert Systems with Applications

Inter-frame residual frequency-based reconstruction learning for deep video frame interpolation detection

Yibin Xu; Huaquan Yang; Shan Bian; Chuntao Wang; Bin Li; Jiwu Huang

研究概述与图示

ReFuL针对深度插帧技术造成的视频时间维度伪造,利用帧间残差的频率线索进行检测。方法对残差执行小波分解,分别学习高、低频成分的重构,并以度量学习约束突出可区分的插帧痕迹;重构驱动的注意力模块进一步服务于视频分类。论文评估跨插帧方法等设置,考察对未知插帧方式的检测能力。

ReFuL 原论文图3:帧间残差的小波频率分解、高低频重构、度量学习及RDGA分类框架
频率分解与重构学习框架 · 原论文图3
Expert Systems with Applications

A novel robust black-box fingerprinting scheme for deep classification neural networks

Mouke Mo; Chuntao Wang; Qingwen Guo; Shan Bian; Qiong Huang; Xinpeng Zhang

研究概述与图示

UfNet面向深度分类模型的多用户分发,通过用户专属指纹实现细粒度版权验证与来源追溯。方法利用DWT-DCT-SVD构造低可见度触发图像,并通过指纹特征增强模块和对抗训练学习较弱的指纹信号。论文检验指纹区分、隐蔽性以及模型攻击和串谋情形下的验证能力,验证过程仅依赖模型输入与输出。

UfNet通过携带用户指纹的图像训练分类模型,并在测试阶段验证模型指纹的整体框架
UfNet 模型指纹的训练与验证 · 原论文图1
Information Sciences

A two-stage robust reversible watermarking using polar harmonic transform for high robustness and capacity

Yichao Tang; Kangshun Li; Chuntao Wang; Shan Bian; Qiong Huang

研究概述与图示

针对鲁棒可逆水印在鲁棒性、容量与可恢复性之间的权衡,研究提出基于极谐变换的两阶段方案。首先选取稳定的极谐矩,并通过自适应归一化和优化的失真补偿量化嵌入鲁棒水印,减少需要保存的量化误差信息。随后以可逆嵌入保存恢复所需的辅助信息,使未受攻击的图像能够恢复原始内容。

PHT鲁棒可逆水印论文中标准与优化DC-QIM的量化区间对比图
标准与优化 DC-QIM 量化区间对比 · 原论文图2
应用科学学报

一种新型深度分类神经网络黑盒指纹水印算法

莫谋科; 王春桃; 郭庆文; 边山

研究概述与图示

该工作面向分类神经网络在多用户分发后的版权追溯,利用用户身份指纹区分不同授权副本。方法将身份信息嵌入低可见度毒化图像,并通过指纹特征增强与对抗训练,帮助模型学习嵌入强度较弱的指纹信号。论文从黑盒验证、分类性能保持与指纹可区分性等方面评价方案,关注相近身份指纹的可靠鉴别。

毒化指纹图像的三分类辅助训练与黑盒模型验证的原论文双面板图
BCMFW 黑盒模型指纹水印的训练与验证 · 论文图1
Symmetry

A Unique Identification-Oriented Black-Box Watermarking Scheme for Deep Classification Neural Networks

Mouke Mo; Chuntao Wang; Shan Bian

研究概述与图示

IDwNet研究多用户模型分发时的唯一身份鉴别,在黑盒访问条件下判断模型对应的授权用户。方法通过DCT与SVD把身份信息嵌入触发图像,并联合干净图像、正确身份图像和错误身份对抗图像进行训练。实验考察身份不可见性、验证成功率以及对原模型分类性能的影响,并测试只有一位差异的身份是否仍能被区分。

IDwNet 原论文图1:DCT-SVD身份嵌入、投毒对抗训练与黑盒用户身份验证
模型身份水印训练与验证 · 原论文图1 · CC BY 4.0
计算机科学

基于高斯增强模块的相机模型辨别

黄远航; 边山; 王春桃

研究概述与图示

该研究关注相机模型辨别中的特征提取问题:单纯高通滤波虽然抑制图像内容,也可能丢弃有用的取证信息。高斯增强模块在维持原有特征强度的基础上加强高频细节,形成包含更多设备线索的特征表示。通过将该模块用于辨别网络,研究探索保留内容信息与突出相机痕迹之间的平衡。

在骨干网络各阶段后插入高斯增强模块并进行相机型号分类的原论文网络图
配置高斯增强模块的相机辨别网络 · 论文图2
西安电子科技大学学报

结合自注意力与卷积的真实场景图像篡改定位

钟浩; 边山; 王春桃

研究概述

该工作面向真实场景图像中的篡改区域定位,研究如何从图像线索中找出被编辑的位置。方法结合卷积特征与自注意力机制,将局部图像痕迹和较大范围的关联信息纳入篡改分析。研究目标是给出可疑区域的空间分布,为图像真实性核验提供比整图真假分类更细的依据。

IEEE Transactions on Circuits and Systems for Video Technology

A Customized Deep Network Based Encryption-Then-Lossy-Compression Scheme of Color Images Achieving Arbitrary Compression Ratios

Chuntao Wang; Juan Hu; Shan Bian; Jiangqun Ni; Xinpeng Zhang

研究概述与图示

针对加密图像缺少可直接利用的原始统计信息、压缩比例受限的问题,提出非均匀下采样与定制深度网络相结合的先加密后有损压缩方案。非均匀下采样融合均匀与随机采样以支持任意压缩率,接收端则将重建建模为受约束的优化问题,并利用ETCNN网络求解。网络结合通道非局部注意力、残差内容补充和下采样约束,模拟实验比较了不同方案的重建表现。

原论文图7:图像持有者以模256加法加密图像,云端采用非均匀下采样压缩密文,接收端解压解密后通过 ETCNN 网络重建图像。
计算机应用研究

基于 ETRN 具有任意压缩率的彩色加密图像有损压缩

胡娟; 王春桃; 边山

研究概述

该研究针对多数先加密后压缩方案只能提供少量固定压缩率的问题,结合均匀与随机下采样压缩加密彩色图像。接收端将有损重构表述为带下采样约束的优化问题,并设计ETRN卷积网络融合浅层特征、残差堆叠与残差信息补充。方案以支持任意压缩率和改善接收端重构为目标,同时保持压缩端无需访问图像明文的流程。

Expert Systems with Applications

Exposing low-quality deepfake videos of Social Network Service using Spatial Restored Detection Framework

Ying Li; Shan Bian; Chuntao Wang; Kemal Polat; Adi Alhudhaif; Fayadh Alenezi

研究概述与图示

社交网络中的压缩和质量下降会掩盖深度伪造视频的细微痕迹,使检测器难以直接利用原始像素判别真假。该工作构建空间恢复检测框架,先增强或恢复与鉴别相关的空间信息,再进行深度伪造分析。研究关注低质量传播场景中的检测适应性,减少视频质量变化对真实性核验的影响。

提取增强块、映射块、注意力模块和骨干网络组成的低质量深伪检测框架
低质量深伪视频的空间特征恢复框架 · 论文图2
中国图象图形学报

CNN结合Transformer的深度伪造高效检测

李颖; 边山; 王春桃; 卢伟

研究概述与图示

针对深度伪造检测在不同压缩率和数据集间迁移时性能下降、训练与测试开销较高的问题,提出CNN与Transformer结合的检测模型。模型以EfficientNet构造空间和频率两路特征,再通过Transformer编码与交叉注意力建立全局联系,并结合注意力设计和数据增广增强鲁棒性。研究在FaceForensics++等数据上进行跨压缩率与跨数据集比较,同时考察检测效果和训练耗时。

空间域与频率域双分支特征经 Transformer 自注意力和交叉注意力融合的原论文方法图
CNN 与 Transformer 联合检测框架 · 论文图1
Information Sciences

DS-UNet: A dual streams UNet for refined image forgery localization

Yuanhang Huang; Shan Bian; Haodong Li; Chuntao Wang; Kangshun Li

研究概述与图示

针对拼接、复制移动和内容移除等图像操作,DS-UNet将RGB分支与噪声分支结合,在像素级定位篡改区域。RGB分支学习高、低层次的操作痕迹,噪声分支补充局部噪声不一致性,并通过分层融合适应不同形状和尺度的篡改对象。单一解码器借助跳跃连接逐步恢复空间细节;论文在五个公开数据集上评估定位效果及对后处理的鲁棒性。

DS-UNet 原论文图2:RGB与噪声双流编码器、分层融合及单解码器结构
双流篡改定位网络 · 原论文图2
计算机科学

基于双流网络结构的深度伪造人脸的检测方法

李颖; 边山; 王春桃; 黄琼

研究概述与图示

该研究针对低质量视频和跨数据集场景中深度伪造检测性能下降的问题,构建基于Xception的双流网络。RGB分支通过多重注意力聚合局部纹理和高层语义,频率分支利用离散余弦变换补充伪造及压缩线索。论文在FaceForensics++、Celeb-DF和DFDC数据上检验两类互补特征对检测鲁棒性的作用。

RGB 注意力分支和离散余弦变换频域分支融合进行真伪检测的原论文网络图
RGB 与频域特征的双流深伪检测框架 · 论文图4
Symmetry

Enhancing Performance of Lossy Compression on Encrypted Gray Images through Heuristic Optimization of Bitplane Allocation

Chuntao Wang; Renxin Liang; Shancheng Zhao; Shan Bian; Zhimao Lai

研究概述与图示

该工作把加密灰度图像的有损压缩建模为给定压缩率下最大化重构质量的问题,以位平面作为基本压缩单元。启发式分配利用不同有效位平面的非对称重要性,优先保留较高有效位,并以LDPC编码压缩所选位平面。接收端联合解码、解密和马尔可夫随机场恢复高有效位,再通过内容自适应插值补全缺失位平面与像素。

位平面分配加密图像压缩原论文图4:内容方加密、云端压缩与接收端MRF和插值重构流程
位平面分配与联合重构 · 原论文图4 · CC BY 4.0
IEEE Access

Improving Multi-Histogram-Based Reversible Watermarking Using Optimized Features and Adaptive Clustering Number

Weili Wang; Chuntao Wang; Junxiang Wang; Shan Bian; Qiong Huang

研究概述与图示

针对多直方图可逆水印对直方图构造方式敏感的问题,研究改进基于模糊C均值聚类的载体分组过程。方法优化原有特征集,采用替代FCM聚类,并在低嵌入率场景中自适应确定聚类数量,将这些策略组合为改进的多直方图水印方案。模拟实验对比了改进方案与原多直方图方法及其他已有方法的嵌入表现。

交叉像素集与点像素集的预测、聚类、容量分配、嵌入和恢复流程
自适应聚类的多直方图可逆水印流程 · 论文图4 · CC BY 4.0
Symmetry

Exposing Video Compression History by Detecting Transcoded HEVC Videos from AVC Coding

Shan Bian; Haoliang Li; Tianji Gu; Alex Chichung Kot

研究概述与图示

为判断HEVC视频是否由AVC视频转码而来,该工作分析先前编码对HEVC预测单元划分的影响。方法分别从I帧和P帧提取5维与25维预测单元统计量,组成30维特征并交由支持向量机分类。论文使用不同分辨率、码率及编码参数的视频测试压缩历史识别能力,为视频来源和质量核验提供线索。

HEVC压缩历史取证原论文图7:预测单元统计、30维特征构建与支持向量机分类流程
压缩历史检测流程 · 原论文图7 · CC BY 4.0
International Conference on Video and Image Processing

Exposing Video Forgeries by Detecting Misaligned Double Compression

Shan Bian; Weiqi Luo; Jiwu Huang

研究概述

针对视频拼接等操作可能造成的错位双重压缩,研究利用压缩模糊痕迹识别视频的再压缩历史。方法依据H.264/AVC对不同类型帧产生的模糊强度差异,提取前次压缩在重新编码后仍保留的痕迹,并构造紧凑的MBAS特征。在多种编码参数的标准测试序列上进行实验,为视频伪造分析提供错位双压缩检测线索。

2016 23rd International Conference on Pattern Recognition (ICPR)

Ensemble-driven support vector clustering: From ensemble learning to automatic parameter estimation

Dong Huang; Chang-Dong Wang; Jian-Huang Lai; Yun Liang; Shan Bian; Yu Chen

研究概述与图示

针对支持向量聚类对核参数和权衡参数敏感、依赖人工调参的问题,提出集成驱动的支持向量聚类方法EDSVC。方法利用聚类集成信息,在不提供监督标签的条件下自动估计这两个关键参数。研究在多个真实数据集上验证了参数估计与聚类结果的有效性,属于无监督学习方法研究。

作者原稿中集成驱动支持向量聚类与多种基础聚类在各数据集上的NMI结果柱状图
EDSVC 与基础聚类的 NMI 对比结果 · 论文图1
ISPEC

Detecting frame deletion in H.264 video

Hongmei Liu; Songtao Li; Shan Bian

研究概述

该研究将删帧检测扩展到H.264编码视频,利用删除操作对后续编码残差序列造成的周期扰动。方法构造P帧平均残差序列,并联合其时域位置特征与频域尖峰特征区分原始和删帧视频。论文通过不同视频样本验证这些编码痕迹对时域篡改取证的作用。

IEEE Transactions on Circuits and Systems for Video Technology

Exposing fake bit rate videos and estimating original bit rates

Shan Bian; Weiqi Luo; Jiwu Huang

研究概述与图示

针对仅提高编码码率却未提升实际画质的视频,研究识别虚假高码率并估计其原始码率。方法结合DCT域中的再量化首位数分布,以及可疑视频与逐级降低码率版本之间的结构相似性变化,构造紧凑的联合特征。研究在多种分辨率和MPEG-2、H.264/AVC编码的视频序列上检验检测与原码率估计效果。

原论文图8:从待检视频提取 DCT 首位数字统计特征,并对一系列降码率重编码视频计算 M-SSIM 曲线,结合拟合与拐点信息构成16维特征。
Multimedia Tools and Applications

Detecting video frame-rate up-conversion based on periodic properties of inter-frame similarity

Shan Bian; Weiqi Luo; Jiwu Huang

研究概述

帧率上转换可用于伪造视频质量或拼接不同帧率的视频片段,也会在帧间相似性中留下周期性痕迹。该方法分析帧序列相似性的周期变化,判断视频是否经过上转换,并进一步估计其原始帧率。论文在不同帧率、压缩与噪声条件下检验取证表现,探索无需原始视频的编辑历史分析。

IEEE ICIP

Exposing fake bitrate video and its original bitrate

Shan Bian; Weiqi Luo; Jiwu Huang

研究概述与图示

针对视频被重编码为更高码率、却并未增加真实画质的情况,研究识别虚假码率并估计最初码率。方法比较可疑视频与一系列较低码率重编码版本之间的质量变化,形成特征曲线并提取紧凑的三维特征。在CIF和QCIF原始序列上进行实验,验证利用质量变化分析视频码率历史的可行性。

原论文图1:待检视频以一系列更低码率重新编码,通过平均 SSIM 构造特征曲线,再由多项式和指数曲线拟合的决定系数生成3维特征并输入 SVM。

论文图示

正在加载图示…