딥페이크(Deepfake), 내 얼굴은 안전한가?

https://www.boannews.com/media/view.asp?idx=136811&skind=7

[보안 리포트] 딥페이크가 당신을 노린다! 방어법 총정리

1. 딥페이크(Deepfake)

1.1. 개념

• 딥러닝(Deep Learning)과 가짜(Fake)의 합성어로 실제와 구분하기 어려운 디지털 생성물

1.2. 종류

1.2.1. 적대적 신경망(GAN, Generative Adversarial Network)

• 두 개의 신경망이 서로 경쟁하면서 더 정교한 가짜 영상 생성
  • 생성자(Generator): 가짜 데이터 생성
  • 판별자(Discriminator): 진짜와 가짜 구별
  • 이 과정을 반복하면서 점점 더 정교한 영상·음성이 만들어짐

1.2.2. 확산 모델(DMs, Diffusion Models)

• 이미지나 음성과 같은 데이터를 점점 더 노이즈(잡음)로 바꾸는 과정을 학습한 뒤 그 반대 방향으로 다시 원래 데이터로 복원하는 방법
  • 전방향 과정(Forward Process): 원본 이미지를 점점 노이즈로 바꿔서 완전히 알아볼 수 없는 상태까지 진행
  • 역방향 과정(Reverse Process): 완전히 노이즈만 있는 상태에서 그 노이즈를 조금씩 제거해서 원본 이미지를 복원
  • 역방향 과정을 잘 하기 위해 노이즈 제거 패턴 학습

1.3. 비교

항목	적대적 신경망	확산 모델
방식	생성자 vs 판별자 경쟁	노이즈 제거 학습
장점	빠른 생성 속도	더 정교하고 안정적인 결과
단점	학습이 불안정할 수 있음	생성 속도가 느림(최근에 개선됨)
결과 품질	비교적 선명하지만 한계 존재	고해상도, 디테일이 뛰어남

 

1.4. 동향

• 적대적 신경망 > 확산 모델로 넘어가는 중이며 이미지 생성에서는 확산 모델이 표준처럼 자리 잡음
• 적대적 신경망과 확산 모델을 결합한 하이브리드 모델 연구 증가
  • 확산 모델로 뼈대를 만들고 적대적 신경망으로 디테일을 빠르게 채우는 방식

1.5. 방어 기법

1.5.1. 탐지 기술

• 딥페이크 영상이나 이미지는 아무리 정교해도 완벽하지 않기 때문에 미묘한 인공적인 흔적을 찾아내는 방식
  • CNN 기반 모델: 이미지·프레임 내 인공적인 특징(왜곡, 경계, 눈 깜빡임 등)을 학습
  • 주파수 분석: GAN이 생성한 영상은 특정 주파수 성분에 비정상적인 패턴이 있음
  • 생체 신호 기반: 눈 깜빡임, 맥박(혈류 변화), 미세 움직임 분석
  • 텍스처·노이즈 패턴 분석: 자연 이미지와는 다른 픽셀 간 패턴 감지
  • 멀티프레임 분석: 프레임 간 일관성, 입술 움직임과 음성 싱크 불일치 탐지

1.5.2. 방해·예방 기술

• 적대적 인공지능(Adversarial AI): 인공지능 모델의 정상적인 작동을 방해하고자 고안된 적대적 공격 및 이에 대응하는 방어 기법을 포괄하는 연구 분야
  
  • 적대적 예제(AEs, Adversarial Examples): 인공지능 모델의 오분류를 유도하기 위해 데이터에 육안으로는 구별하기 어려운 미세한 노이즈를 삽입하는 기술
  • 오염 공격(Poisoning Attack): 인공지능 모델의 학습 과정에 개입하여 데이터를 오염시켜 모델의 정확도를 떨어뜨려 학습을 방해하는 기술
  • 백도어 공격(Backdoor Attack): 오염 공격의 특수한 형태로 모델의 학습 데이터를 악의적인 패턴 삽입을 통해 오염시켜 해당 패턴이 주어졌을 때 모델이 예상치 못한 출력을 생성하도록 유도하는 기법

1.6 우회 기법

• 기술이 발달함에 따라 딥페이크 생성을 방해하는 기술이 고안되었지만 이를 우회하는 방법 또한 발달됨
  
  • 적대적 예제에 대해 Smoothing 등을 통한 노이즈 무력화 가능(Anti-Disrupt)
  • 오염 공격의 경우 학습 데이터에 대한 정제(Sanitization)을 통해 오염된 데이터 걸러냄
• 딥페이크가 생성되기 전부터 이를 방해하는 기술을 통해 근본적인 해결책을 제시할 수 있지만 모든 기술적인 문제를 해결할 수 없어 앞으로도 많은 연구와 노력 필요