KR102140340B1 - 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템 및 이를 이용하여 무보정 탐지 서비스를 제공하는 방법 - Google Patents
컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템 및 이를 이용하여 무보정 탐지 서비스를 제공하는 방법 Download PDFInfo
- Publication number
- KR102140340B1 KR102140340B1 KR1020180124376A KR20180124376A KR102140340B1 KR 102140340 B1 KR102140340 B1 KR 102140340B1 KR 1020180124376 A KR1020180124376 A KR 1020180124376A KR 20180124376 A KR20180124376 A KR 20180124376A KR 102140340 B1 KR102140340 B1 KR 102140340B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- forgery
- neural network
- convolutional neural
- correction
- Prior art date
Links
- 238000012937 correction Methods 0.000 title claims abstract description 69
- 238000003702 image correction Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 title claims description 37
- 238000001514 detection method Methods 0.000 title claims description 35
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 84
- 230000004075 alteration Effects 0.000 claims abstract description 32
- 238000000605 extraction Methods 0.000 claims abstract description 20
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 238000012790 confirmation Methods 0.000 claims description 13
- 238000013135 deep learning Methods 0.000 claims description 13
- 238000007670 refining Methods 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 10
- 230000000903 blocking effect Effects 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 238000007906 compression Methods 0.000 description 17
- 238000013528 artificial neural network Methods 0.000 description 15
- 230000006835 compression Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 6
- 238000010606 normalization Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000012952 Resampling Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000009977 dual effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 241000321422 Mycteroperca jordani Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000035755 proliferation Effects 0.000 description 1
- 238000000746 purification Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
- G06F21/16—Program or content traceability, e.g. by watermarking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Technology Law (AREA)
- Bioethics (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
실시예에 따른 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템은, 이미지에 위변조 조작여부를 판별하기 위한 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템으로서, 상기 이미지를 고역 통과 필터롤 통과시켜 위변조 조작의 특징을 확대하는 보정 특징 전처리부; 상기 특징이 확대된 이미지에서 기 학습된 컨볼루션 뉴럴 네트워크를 통해 이미지 보정 특징 정보를 추출하는 보정 특징 추출부; 상기 이미지 보정 특징 정보를 정제하는 특징 정제부; 및 상기 특징 정제부에서 정제된 이미지 보정 특징 정보를 기초로 상기 이미지의 위변조 조작여부를 판별하는 보정 구별부;를 포함한다.
Description
본 발명은 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템 및 이를 이용하여 무보정 탐지 서비스를 제공하는 방법에 관한 것이다. 보다 상세하게는 딥러닝을 기반으로 이미지의 보정 여부를 정확하게 판정하는 보정 탐지 시스템과, 이러한 시스템을 이용하여 무보정 여부를 탐지해주는 서비스를 제공하는 방법에 관한 것이다.
디지털 카메라 및 모바일 폰의 발전으로 누구나 고화질의 디지털 이미지를 생성할 수 있게 되었으며, 특히 소셜 네트워크 서비스 (Social Network Services, SNS)의 영향으로 이미지를 업로드하고공유하여 타인에게 사진을유통할 수 있다.
또한, 어도비 포토샵 (Adobe PhotoShop) 과같은 정교한 이미지 편집 소프 트웨어와 소셜 네트워크 서비스 자체 이미지 편집기능, 그리고 다수 이미지 편집 어플리케이션 (application)의 보급으로 인해 원본 이미지를 쉽게 수정할 수 있게 되었다. 특히, 블러링 (blurring), 메디안 필터링 (median filtering), 가우시안 노이즈 (Gaussian noise), 리샘플링 (resampling), 절삭 (cropping), 색상변조와 같은 이미지 리터칭 기법으로 실제 이미지와 다르게 특정 요소를 감추거나, 복사-붙여넣기(copy-move), 스플라이싱 (splicing)의 방법으로 새로운요소를 추가하는 등의 이미지 위변조가 일어날 수 있으며, 전문가의 도움없이는 이미지의 무결성을 파악하기 어려워 뉴스 및 소셜네트워크에 해당 위변조된 이미지가 원본 이미지처럼 유통될 수 있고 위변조 흔적을 누락하여 위조된 이미지가 법원의 증거로 인정될 수 있는 심각한 사례가 발생할 수 있다.
이미지 편집 소프트웨어의 빠른 확산으로 누구나 쉽게 영상을 제작, 유통할 수 있으며 특히 이미지의 위변조 또한 간단하고 정교하게 이루어지고 있다. 이러한 이미지 위변조를 탐지하는 기술은 이전부터 지속적으로 연구되어 왔지만 특정 파일 포맷, 조작, 압축 퀄리티 등 매우 제한적인 환경에서만 동작하는 단점이있다.
이러한 이미지 위변조를 탐지하기위해 이미지 포렌식 기법이 연구되어왔다
종래의 기술들은 패턴 변화를 분석하여 색상변조를 탐지하는 기법과, 이미지의 리샘플링 흔적을 분석하는 기법 등이 지속적으로 연구해왔다.
그러나 이러한 기법들은 각기 다른 조작과 파일 포맷 및 특정 환경에서만 동작하여 더 다양한 조작 및 포맷에 모두 적용하기 어려운 제약이있다.
한편, 딥 러닝 기술 중 컨볼루션 뉴럴 네트워크는 컴퓨터 비전 문제를 해결하는데 탁월한 성능을 보였고, 이 컨볼루션 뉴럴 네트워크를 이용하여 다양한 이미지 조작을 탐지하려는 연구가 진행되었다.
자세히, 컨볼루션 뉴럴 네트워크 (convolutional neural network, CNN) 은 물체의인식, 구별 등 컴퓨터 비전 문제를 해결하는데 탁월한 성능을 보였다.
그러나 컨볼루션 뉴럴 네트워크를 그대로 이미지 포렌식에 적용할 경우 좋은 학습 성능을 보이지 않아, 선행기술 1은 컨볼루션 뉴럴 네트워크 사용 이전 전처리 과정을 수행할 필요성을 파악하였다.
특히, 선행기술 1은 컨볼루션 뉴럴 네트워크 앞단에 특화된 레이어를 설계하여 기존 선행기술들에 비해 압도적인 이미지 조작 검출 성능을 보였다
도 1은 선행기술 1의 딥러닝 뉴럴 네트워크 구조로, 컨볼루션 뉴럴 네트워크의 맨 처음 레이어에 이미지 포렌식 기법에 특화된 바야르 필터(bayar filter) 를 포함하는 것을 특징으로 한다. 이 바야르 필터는 컨볼루션 뉴럴 네트워크가 어떠한 전처리 과정 (pre-processing) 이나 특징 추출 (feature extraction)없이 레이어 구조만으로 이미지 변화에 보다 더 적응하여 학습할 수 있게 하는 역할을 하여, 이미지 조작 검출 성능을 향상시켰다.
자세히, 바야르 필터는, 상기 수학식 1과 같이 이 필터에서는 중앙 가중치 (weight) 값을 -1 로 고정하고 이웃 가중치 값들의 합이 1이 되도록 강제하며 학습이 진행한다. 여기서, l, m은 픽셀의 좌표를 의미한다.
이러한 바야르 필터를 이용한 선행기술 1의 뉴럴 네트워크는 무압축 이미지에서의 블러, 노이즈, 메디안, 리사이징과 같은 변화들을 매우 잘 검출하였다.
그러나 선행기술 1은 압축된 이미지에서는 조작된 흔적들이 압축 과정에서 생기는 데이터 손실로 인해 추적하기 어려운 단점이 있다.
또한, 선행기술 1은 그레이스케일 이미지에 특화되어, 컬러 이미지에서의 조작된 흔적은 잘 검출하지 못하는 단점이 있다.
즉, 선행기술 1은 무압축 이미지만을 대상으로하여 이미지가 생성되고 유통되는 과정에서 필수적으로 겪는 압축에 대한 고려를 하지 않아 실제 대부분의 이미지가 압축되어 있는 점과, 대부분의 디지털 이미지는 컬러 이미지인 점을 고려할 때, 실제 기술 사용에는 어려운 문제가 있다.
현재 대부분의 디지털 이미지는 제이팩(JPEG) 포맷과 같은 압축 포맷을 통해 저장되고 있으며, 압축된 이미지에서는 조작된 흔적들이 압축 과정에서 생기는 데이터 손실로 인해 추적하기 어려워진다.
특히, 이미지 위변조는 제이팩 압축 포맷으로 저장된 이미지를 포토샵과 같은 소프트웨어에서 정교하게 조작한 뒤 이미지를 재저장(re-save) 하는 과정을 거치기 때문에 재압축 즉, 이중 제이펙 압축이 필연적으로 일어나게 되어, 조작된 흔적들이 더욱 데이터 손실되는 문제가 있다.
따라서, 본 발명은, 압축된 환경에서 이미지 조작을 탐지할 수 있는 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템을 제공하는 것을 목적으로 한다.
또한, 본 발명은, 컬러 이미지에 대한 이미지 조작도 정밀하게 탐지할 수 있는 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템을 제공하는 것을 목적으로 한다.
또한, 본 발명은, 상기 정밀한 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템을 이용하여 무보정 탐지 서비스를 제공하는 방법을 제공하는 것을 목적으로 한다.
실시예에 따른 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템은, 이미지에 위변조 조작여부를 판별하기 위한 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템으로서, 상기 이미지를 고역 통과 필터롤 통과시켜 위변조 조작의 특징을 확대하는 보정 특징 전처리부; 상기 특징이 확대된 이미지에서 기 학습된 컨볼루션 뉴럴 네트워크를 통해 이미지 보정 특징 정보를 추출하는 보정 특징 추출부; 상기 이미지 보정 특징 정보를 정제하는 특징 정제부; 및 상기 특징 정제부에서 정제된 이미지 보정 특징 정보를 기초로 상기 이미지의 위변조 조작여부를 판별하는 보정 구별부;를 포함한다.
이때, 상기 이미지를 일정 크기의 규격으로 이미지 블록화하는 이미지 블록부를 더 포함할 수 있다.
또한, 상기 보정 특징 추출부는, 복수의 컨볼루션 레이어(convolutional layer) 및 복수의 풀링 레이어(max pooling layer)를 포함할 수 있다.
이때, 상기 컨볼루션 레이어는, 3×3이하의 크기이며, 스트라이드는 1일 수 있다.
또한, 상기 보정 특징 추출부는, 기 학습된 VGG19 컨볼루션 뉴럴 네트워크 모델이며, 상기 컨볼루션 뉴럴 네트워크의 가중치는 상기 이미지에 따라서 변경 학습될 수 있다.
또한, 상기 보정 구별부는, 상기 이미지에서 조작 가능성이 있는 픽셀들을 검출하고, 상기 픽셀들의 보정 가능성 확률값을 산출하고, 위변조 가능성이 높은 픽셀들을 확률값에 따라 서로 다른 색으로 표시한 위변조 확인 맵을 출력할 수 있다.
또한, 상기 위변조 조작여부를 판별하기 위해 입력된 이미지는 컬러 이미지일 수 있다.
실시예에 따른 무보정 탐지 서비스를 제공하는 방법은, 상기 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템을 사용하여 무보정 탐지 서비스를 제공하는 방법으로서, 사용자로부터 위변조를 판별할 입력 이미지를 수신하는 단계; 상기 입력된 이미지를 일정 규격으로 블록화하여 이미지 블록을 생성하는 단계; 상기 이미지 블록을 상기 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템에 입력하고, 상기 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템으로부터 위변조 확인 맵을 출력하는 단계; 및 상기 위변조 확인 맵과 상기 입력 이미지를 딥러닝하여 위변조 여부를 예 또는 아니요의 레이블로 출력하는 단계;를 포함한다.
이때, 위변조 여부가 예로 판별되면, 위변조 가능성이 높은 영역을 하이라이트 하는 입력 이미지를 생성하는 단계와, 상기 생성된 입력 이미지를 사용자에게 제공하는 단계를 더 포함할 수 있다.
또한, 위변조 여부가 아니요로 판별되면, 상기 입력 이미지에 보정이 없다는 확인 도장을 합성하여 상기 사용자에게 제공하는 단계를 더 포함할 수 있다.
실시예에 따른 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조 탐지는. 다양한 압축 환경에서 일어나는 이미지 조작을 탐지하는 합성곱 뉴럴 네트워크와 압축을 고려한 마르코프 특성 기반의 뉴럴 네트워크를 결합하여 이미지 조작을 압축된 환경에서도 잘 탐지할 수 있다.
또한, 실시예에 따른 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조 탐지는. 다양한 압축 환경에서 일어나는 이미지 조작을 탐지할 수 있을 뿐만 아니라, 컬러 이미지의 위변조를 빠르고 강하게 탐지할 수 잇다.
또한, 실시예에 따른 무보정 탐지 서비스를 제공하는 방법은, 컬러 이미지이며 압축된 이미지인 경우에도 정밀하게 보정 여부를 판별할 수 있으며, 판별된 결과를 사용자가 직관적으로 인식할 수 있게 제공할 수 있는 장점이 있다.
도 1은 선행기술 1의 컨볼루션 뉴럴 네트워크 구조를 나타낸다.
도 2는 본 발명의 제 1 실시예에 따른 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템의 구조도를 나타낸다.
도 3은 본 발명의 제 1 실시예에 따른 특화된 컨볼루션 뉴럴 네트워크의 세부 구조도이다.
도 4는 본 발명의 제 1 실시예에 따른 마르코프 네트워크의 세부 구조도이다.
도 5는 본 발명의 제 1 실시예에 따른 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템에 의해 위변조된 이미지를 탐지한 실험 결과를 나타낸다.
도 6a 내지 도 6d들은 각기 다른 환경에서 본 발명의 제 1 실시예에 따른 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템의 탐지 정확도와 선행기술 1의 탐지 정확도를 비교하여 나타낸 그래프들이다.
도 7은 본 발명의 제 2 실시예에 따른 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템의 블록도이다.
도 8는 본 발명의 제 2 실시예에 따른 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템의 세부 구조도이다.
도 9a 내지 도 9c는 각기 다른 리사이즈 비율의 이미지들에 대해 각기 다른 뉴럴 네트워크 시스템들이 이미지 조작 탐지 정확도를 비교한 그래프들이다.
도 10은 본 발명의 실시예에 따른 무보정 탐지 서비스를 제공하는 방법을 설명하기 위한 흐름도이다.
도 11a는 본 발명의 실시예에 따른 무보정 탐지 서비스가 이미지의 보정이 없을 때에 무보정 확인 도장을 이미지 상에 찍어주는 서비스를 나타낸다.
도 11b는 본 발명의 실시예에 따른 무보정 탐지 서비스가 이미지의 보정이 검출됐을때 보정 의심 영역을 부각하여 알려주는 서비스를 나타낸다.
도 2는 본 발명의 제 1 실시예에 따른 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템의 구조도를 나타낸다.
도 3은 본 발명의 제 1 실시예에 따른 특화된 컨볼루션 뉴럴 네트워크의 세부 구조도이다.
도 4는 본 발명의 제 1 실시예에 따른 마르코프 네트워크의 세부 구조도이다.
도 5는 본 발명의 제 1 실시예에 따른 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템에 의해 위변조된 이미지를 탐지한 실험 결과를 나타낸다.
도 6a 내지 도 6d들은 각기 다른 환경에서 본 발명의 제 1 실시예에 따른 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템의 탐지 정확도와 선행기술 1의 탐지 정확도를 비교하여 나타낸 그래프들이다.
도 7은 본 발명의 제 2 실시예에 따른 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템의 블록도이다.
도 8는 본 발명의 제 2 실시예에 따른 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템의 세부 구조도이다.
도 9a 내지 도 9c는 각기 다른 리사이즈 비율의 이미지들에 대해 각기 다른 뉴럴 네트워크 시스템들이 이미지 조작 탐지 정확도를 비교한 그래프들이다.
도 10은 본 발명의 실시예에 따른 무보정 탐지 서비스를 제공하는 방법을 설명하기 위한 흐름도이다.
도 11a는 본 발명의 실시예에 따른 무보정 탐지 서비스가 이미지의 보정이 없을 때에 무보정 확인 도장을 이미지 상에 찍어주는 서비스를 나타낸다.
도 11b는 본 발명의 실시예에 따른 무보정 탐지 서비스가 이미지의 보정이 검출됐을때 보정 의심 영역을 부각하여 알려주는 서비스를 나타낸다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
<단말기>
실시예에 따른 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템의 뉴럴 네트워크 구조는, 컴퓨터 언어를 통해 작성된다. 따라서, 단말기는 메모리에 설치되어 램을 통해 프로세서가 상기 컴퓨터 언어를 독출함으로써, 프로세서를 통해 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지가 수행될 수 있다. 마찬가지로, 실시예에 따른 무보정 탐지 서비스를 제공하는 방법 또한 프로세서에서 무보정 탐지 프로그램 실행을 통해 구현될 수 있다.
따라서, 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템을 구동하는 주체는 단말기의 프로세서이다.
실시예에 따른 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템의 단말기는, 데이터를 처리하는 프로세서와, 이미지 딥러닝을 수행하기 위한 이미지 딥러닝 구동 프로그램을 저장하는 메모리를 포함할 수 있으며, 프로세서가 상기 이미니 딥러닝 구동 프로그램을 독출하여, 구축된 뉴럴 네트워크 시스템에 따라서 하기 기술하는 이미지 딥러닝을 수행하게 된다.
실시예에 따라서 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템은, 전체 유닛들을 제어하는 메인 프로세서와, 이미지 딥러닝에 따라 뉴럴 네트워크 구동시 필요한 연산을 처리하는 그래픽 처리장치(Graphics Processing Unit, GPU)를 포함하도록 구성될 수 있다.
그리고 실시예에 따른 단말기는, 상기 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지 프로그램이 설치된 서버 컴퓨터, 컴퓨터, 스마트 폰, 디지털방송용 단말, 휴대폰, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 태블릿 PC(tablet PC), 웨어러블 디바이스(wearable device) 등이 포함될 수 있다.
실시예에 따른 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지 프로그램과 무보정 탐지 서비스를 제공하기 위한 프로그램은 네트워크를 통해 제공되며, 단말기와 서버의 데이터 교환을 통해 단말기를 통해 최종 서비스가 제공될 수 있다.
<제 1 실시예 - 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템>
도 2는 본 발명의 제 1 실시예에 따른 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템의 구조도를 나타낸다.
도 2를 참조하면, 제 1 실시예에 따른 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템(10)은, 이중 뉴럴 네트워크 (two stream network) 구조로, 다양한 압축 환경에서 일어 나는 이미지 조작에 대하여 각 조작을 탐지하도록 이미지 포렌식 기법에 특화된 컨볼루션 뉴럴 네트워크(100)와, 이미지의 압축 여부를 고려한 마르코프 특성(Markov characteristics) 기반의 뉴럴 네트워크(200)와, 뉴럴 네트워크에서 추출된 이미지 보정 특징을 정제하고 조작여부를 판별하는 보정 특징 정제부(310) 및 보정 구별부(320)를 포함한다.
1.
이중 뉴럴 네트워크 네트워크 구조 및 입력 데이터
실시예에 따른 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템(10)의 이중 뉴럴 네트워크(two stream neural network)의 구조는 도 2와 같다.
자세히, 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템(10)은, 이미지 조작을 탐지하는 특화된 컨볼루션 뉴럴 네트워크(100)(constrained convolutional neural network)과 압축을 고려한 마르코프 특성(Markov statistics) 기반의 뉴럴 네트워크(200)를 결합한 이중 네트워크 구조이다.
이러한 이중 뉴럴 네트워크 구조는, 기존의 컨볼루션 뉴럴 네트워크를 디지털 이미지 포렌식 기법에 바로 적용하기 어려웠던 문제점들을 해결하기 위해, 픽셀 도메인에 서만 고려하였던 기존 연구와 달리 주파수 도메인에서도 이미지의 조작 여부를 고려할 수 있어, 적어도 일회 이상 압축된 이미지의 조작여부 검출에 특화될 수 있다.
실시예에서 이미지 조작을 검출할 입력 이미지 대상은, 제이펙 압축된 이미지 내에 정상 이미지 블록과 위변조된 이미지 블록을 구별하여 탐지하는 것이다. 실제로 이미지 위변조가 일어나는 상황은 제이펙 압축된 이미지를 편집소프트웨어를 통해 불러온 뒤, 이미지에 국부 조작하여 재 저장하고 유통시키는 것이며 특히 이미지를 재 저장할 때 역시 제이펙 압축을 거치게 되므로 조작된 영역과 정상인 영역은 모두 이중 압축되어 있어 두 영역을 구별하는 것이 필요하다. 앞서 언급한 이미지 위변조의 종류중 복사-붙여넣기와 스플라이 싱은 조작시 필연적으로 흔적을 감추기 위해 블러링 또는 메디안 필터링을 진행하며, 붙여 넣어진 객체의 자연스러움을위해 리샘플링 또한 생기게 된다. 따라서, 이하에서는 제이펙 압축되 이미지에서 이미지 조작을 검출하는 것을 대상으로 한정하여 설명한다.
2.
특화된 컨볼루션 뉴럴 네트워크(100)
도 2 내지 도 3을 참조하면, 실시예에 따른 특화된 컨볼루션 뉴럴 네트워크(100)는, 이미지 블록부(110), 보정 특징 전처리부(120), 보정 특징 추출부(130), 제 1 특징 정제부(140)를 포함할 수 있다.
자세히, 이미지 블록부(110)는, 컨벌루션 뉴럴 네트워크에 이미지를 입력하기 적합한 사이즈로 입력 이미지를 블록화시킬 수 있다. 예를 들어, 이미지 블록부(110)는, 이미지 블록이 64x64가 되도록 이미지를 자를 수 있다.
다음으로, 블록화된 이미지 블록은, 보정 특징 전처리부(120)에 입력된다.
자세히, 보정 특징 전처리부(120)는, 특화된 컨볼루션 레이어(constrained convolution layer)를 포함한다. 이러한 특화된 컨볼루션 레이어는, 선행기술 1의 바야르 필터와 동일하게 수학식 1과 같이 동작할 수 있다.
다음으로, 보정 특징 전처리부(120)에서 처리되어 출력된 전처리 이미지는, 보정 특징 추출부(130)에 입력될 수 있다.
보정 특징 추출부(130)는, 복수의 레이어를 포함하며, 각각의 레이어는, 컨볼루션 레이어(convolutional layer), 배치 정규화 (batch normalization), 정류된 선형 유닛 (ReLU) 함수, 맥스 풀링(max pooling layer)를 포함할 수 있다.
자세히, 도 3을 참조하면, 제 1 레이어(131)와, 제 2 레이어(132)와, 제 3 레이어(133)를 포함하며, 각각 컨벌루션 레이어(135), 배치 정규화(136), 정류된 선형 유닛함수(137)을 포함하며, 제 1 레이어(131)와 제 2 레이어(132)는 맥스 풀링 레이어(138)를 더 포함하는 것을 알 수 있다.
즉, 특징 추출부(130)는 복수의 컨볼루션 레이어를 포함하여 구성되는데, 이와 같이 복수의 레이어를 쌓기 위하여, 특징 추출부(130)에 포함되는 컨볼루션 레이어는 모두 5×5이하인 것이 바람직하다.
특히, 2번째 이후에 쌓이는 컨볼루션 레이어는, 3×3이하인 것이 바람직하다. 또한, 각각의 컨볼루션 레이어의 스트라이드 (stride)는 조작의 흔적을 놓칠 수 있으므로 1로 고정되며, 풀링 레이어 (pooling layer)만 2 이상의 정수로 설정될 수 있다.
자세히, 컨볼루션 레이어를 작은 필터 사이즈를 사용하는 이유로는 첫째로 여러 개의 정류된 선형 유닛 (rectified linear unit, ReLU) 함수를 사용할 수 있기 때문이다. 이는 큰 필터를 사용하는 하나의 레이어 대신 작은 필터를 사용하는 여러 레이어로 대체할 수 있게 한다. 둘째로는 학습해야할 가중치 (weight)의 수를많이 줄이는 역할을 한다. 선행기술 1처럼, 7×7 컨볼루션 레이어 하나를 사용하는 것보다는 실시예처럼 3×3 컨볼루션 레이어 3개를 사용할 경우 가중치의 수가 적게 됨이 명백하며, 학습될 가중치가 적다는 것은 정규화 측면에서 큰 이점을 가질 수 있다.
또한, 배치 정규화 (batch normalization)을 사용하여 제안하는 네트워크의 과적합 (over-fitting)을 방지했다.
이와 같은 특징 추출부(130)를 통해 추출된 보정 특징은, 제 1 특징 정제부(140)로 전달될 수 있다.
제 1 특징 정제부(140)는, 적어도 하나 이상의 완전 연결층(fully connected layer)을 포함하여, 추출된 이미지 보정 특징들을 정제하고 구별하도록 학습될 수 있다.
실시예에서 제 1 특징 정제부(140)는, 2개의 완전 연결층(141, 142) 과 각각의 완전 연결층 출력단에는 정류된 선형 유닛함수로 구성될 수 있다.
제 1 특징 정제부(140)에서 정제된 보정 특징은, 마르코브 특성 기반 네트워크(200)에서 추출된 보정 특징과 함께, 통합 특징 정제부(310)로 전달된다.
3.
마르코브 특성(Markov statistics) 기반 네트워크
실시예에 따른 마르코브 특성 기반 네트워크(200)는, 단일 제이펙 (single-JPEG) 압축과 이중 제이펙 (double-JPEG) 압축을 구분하고, 이중 제이팩 압축시 이미지 변형을 여부를 검출할 수 있다.
이러한 마르코브 특성 기반 네트워크(200)는, 주파수 도메인에서도 이미지의 조작 여부를 고려하여, 제이팩 포맷 압축 이미지에서의 이미지 변형을 효과적으로 탐지할 수 있다.
도 2 및 도 4를 참조하면, 실시예에 따른 마르코브 특성 기반 네트워크(200)는, 도메인 변환부(210), 픽셀차 산출부(220), 임계값 함수(230), 매트릭스 변환부(240) 및 제 2 특징 정제부(250)를 포함한다.
자세히, 도메인 변환부(210)는, 이미지 블록부(110)에서 블록화된 이미지 블록을 이산 코사인 변환 (DCT) 하여 주파수 도메인에서의 데이터로 처리하게 된다. 자세히, 도메인 변환부(210)는, 네트워크는 입력된 이미지 블록을 8×8 블록마다 이산 코사인 변환 (DCT) 하여 주파수 도메인에서의 데이터로 처리하게 된다.
그리고 픽셀차 산출부(220)는, 이산 코사인 변환이 된 블록 Bx,y에 대하여 하기 수학식 2와 같이 각각 수평, 수직 방향으로 이웃 픽셀과의 차이를 구한 배열 Bh, Bv들을 구할 수 있다.
다음으로, 임계값 함수(230)는, 배열값들을 임계값 범위 [-4, 4] 안으로 매핑시킨다.
다음으로, 매트릭스 변환부(240)는, 해당 블록의 값으로 하기 수학식 3과 같이 수평방향의 블록 Bh의 9×9 전이 확률 행렬 (TPM)을 구하며 수평, 수직에 대한 두 전이 확률 행렬을 [1, 9×9×2] 일차원 벡터로 결합한다.
이후 결합된 일차원 벡터는, 제 2 특징 정제부(250)로 전달되고, 제 2 특징 전달부는 완전 연결층(fully connected layer)으로 구성될 수 있다.
이러한 마르코브 특성 기반 네트워크(200)는, 이미지 포렌식 기법에 이중 네트워크 망에 적합하게 변형된 네트워크로, 단일, 이중 제이팩 압축된 이미지를 주파수 도메인으로 변환하여 분석함으로써, 압축된 이미지에서의 이미지 변형을 정밀하게 탐지할 수 있다.
4.
통합 특징 정제부(310) 및 보정 구별부(320)
마지막으로는 특화된 컨볼루션 뉴럴 네트워크(100)와, 마르코브 특성(Markov statistics) 기반 네트워크에서 출력된 각각의 보정 특징 정보는, 통합 특징 정제부(310)로 전달된다.
통합 특징 정제부(310)는, 완전 연결층(311, 312)으로 구성되며, 상기 특징 정보들을 결합하여 최종적으로 분류를 위한 학습을 시도한다.
실시예에 따른 통합 특징 정제부(310)는, 이미지 포렌식을 위해 미세한 특성의 데이터 손실을 막기 위해 평균으로 결하는 방법보다 두 완결층의 벡터들을 그대로 결합하여 분류기로 전달하는 구조를 갖는다.
이와 같이 통합 특징 정제부(310)에서 결합된 보정 특징 정보는, 보정 구별부(320)로 전달된다.
보정 구별부(320)는, 보정 가능성이 있는 픽셀들을 검출하고, 상기 픽셀들의 보정 가능성 확률값을 산출하고, 이를 위변조 확인 맵으로 추출할 수 있다. 즉, 도 5와 같이 위변조 가능성이 높은 픽셀들을 확률값에 따라 서로다른 색으로 표시한 위변조 확인 맵을 출력할 수 있다.
이러한 보정 구별부(320)는, 소프트맥스(softmax) 함수와, 기존에 널리 쓰이던 확률적 구배강하 (stochastic gradient descent) 보다 더 빠르게 국소 최소치 (local minima)에서 벗어날 수 있는 아담 옵티마이저 (Adam optimizer)를 포함한다.
자세히, 도 5를 참조하면, 실시예에 따른 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템(10)은, 원본 이미지에서 위변조된 이미지(그림 (a)) 가 입력되었을 때, 위변조된 영역을 그림 (b)와 같이 픽셀별로 변조 확률값도 나타내어 탐지한 결과를 출력할 수 있다.
이와 같이 설계된 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지는. 다양한 압축 환경에서 일어나는 이미지 조작을 탐지하는 합성곱 뉴럴 네트워크와 압축을 고려한 마르코프 특성 기반의 뉴럴 네트워크(200)를 결합하여 이미지 조작을 압축된 환경에서도 잘 탐지할 수 있다.
자세히, 표 1은, 선행기술 1의 딥러닝 네트워크(bayas)와, 본 실시예 1의 네트워크의 이미지 위변조 별 탐지율을 나타낸 표이다.
표 1을 보면 알 수 있듯이, 두가지 네트워크가, 총 네 가지의 이미지 변형유형 (가우시안 블러링, 가우시안 노이즈, 메디안 필터링, 리샘플링)에 대하여 이중 압축된 이미지에서도 해당 변형을 탐지하는 실험을 진행하였다.
, 모든 변형과 다양한 압축 퀄리티 (Q1 = 70, 90 / Q2 = 60, 70, 80, 90) 에 대하여 실시예 1의 네트워크는 선행기술 1의 Bayar 기법 보다 모두 우위를 기록한 것을 표 1을 통해 확인할 수 있다.
또한, 도 6a 내지 도 6d를 참조하면, 실시예 1의 네트워크가 각 이미지 변형 유형 별로 매 학습구간마다 항상 선행기술 1보다 높은 탐지율을 기록하는 것을 탐지 정확도 그래프를 통해 확인할 수 있다.
<제 2 실시예 - 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템>
이하, 제 2 실시예에 따른 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템(20)을 설명하며, 제 1 실시예와 중복되는 설명은 생략할 수 있다.
도 7을 참조하면, 제 2 실시예에 따른 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템(20)은, 이미지 블록화부(410), 보정 특징 전처리부(420), 보정 특징 추출부(430), 보정 특징 정제부(441) 및 보정 구별부(442)를 포함한다.
자세히, 도 7 내지 도 8을 참조하면, 이미지 블록화부(410)는, 입력된 이미지의 크기를 컨벌루션 뉴럴 네트워크에 입력하기 적합한 크기로 조절할 수 있다.
본 실시예에 따른 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템(20)은, 컬러 이미지를 분석하기 적합하여, 입력된 이미지는 컬러 이미지이며 컬러별 레이어를 다르게 구성해 복수의 레이어로 구성될 수 있다.
실시예에서 이미지 블록화부(410)는, 이미지 블록이 256x256x3이 되도록 이미지를 자를 수 있다.
다음으로 블록화된 이미지는 보정 특징 전처리부(420)에 전달될 수 있다.
보정 특징 전처리부(420)는, 고역 통과 필터(High-pass filter)를 사용하여 이미지의 보정 특징 확대화할 수 있다.
자세히, 보정 특징 전처리부(420)는, 고역 통과 필터를 포함하여, 리사이즈 트레이스 특징(resize trace feature)을 부각할 수 있다.
이러한 보정 특징 전 처리부는, 이미지 내의 숨겨진 stego 정보들을 찾는 방법을 이미지 포렌식 기법과 유사하다고 판단되어 착안한 것이다.
리사이즈 특징이 부각된 이미지 블록은, 이미지 보정 특징 추출부(430)에 입력될 수 있다.
상기 보정 특징 추출부(430)는, 미리 훈련된 딥러닝 컨볼루션 뉴럴 네트워크 모델 을 사용하여 이미지 보정 특징을 추출할 수 있다.
자세히, 보정 특징 추출부(430)는, 복수의 컨볼루션 레이어(convolutional layer), 배치 정규화 (batch normalization), 정류된 선형 유닛 (ReLU) 함수, 복수의 맥스 풀링(max pooling layer)를 포함할 수 있다.
실시예에 따른 보정 특징 추출부(430)는, 기 학습된 VGG19 컨볼루션 뉴럴 네트워크 모델일 수 있다. 예를 들어, 보정 특징 추출부(430)는 2개의 컨벌루션 레이어, 풀링 레이어, 2개의 컨벌루션 레이어, 풀링 레이어, 4개의 컨벌루션 레이어, 풀링 레이어 및 2개의 컨벌루션 레이어가 순차적으로 적층된 구조를 가질 수 있다.
이때, 보정 특징 추출부(430)는, 기 학습된 컨볼루션 뉴럴 네트워크 모델이면서, 입력 이미지 별로 가중치가 변화되는 모델일 수 있다.
자세히, 실시예에 따른 기 학습된 VGG19 컨볼루션 뉴럴 네트워크에 가중치(w)를 이미지 별로 변형되어 위변조 특징(VGG feature)을 추출하도록 학습시킬 수 있다.
또한, 보정 특징 추출부(430)에 포함된 복수의 컨볼루션 레이어는, 복수의 레이어로 쌓이므로 컨볼루션 레이어는 모두 3×3이하의 크기인 것이 바람직하다. 또한, 각각의 컨볼루션 레이어의 스트라이드 (stride)는 조작의 흔적을 놓칠 수 있으므로 1로 고정되며, 풀링 레이어 (pooling layer)만 2 이상의 정수로 설정될 수 있다.
그리고 보정 특징 추출부(430)에서 추출된 보정 특징 정보는, 특징 정제부에 입력된다.
특징 정제부(441)는, 완전 연결 접속층 (Fully-connected Layer)를 사용하여 추출된 이미지 보정 특징들을 정제하고 구별하도록 학습될 수 있다.
자세히, 특징 정제부(441)는, 적어도 하나 이상의 완전 연결층(fully connected layer)을 포함하여, 추출된 이미지 보정 특징들을 정제하고 구별하도록 학습될 수 있다.
실시예에서 특징 정제부(441)는, 2개의 완전 연결층 (fully connected layer)과 각각의 완전 연결층 출력단에는 정류된 선형 유닛함수로 구성될 수 있다.
이와 같이 특징 정제부(441)에서 결합된 보정 특징 정보는, 보정 구별부(442)로 전달된다.
보정 구별부(442)는, 보정 가능성이 있는 픽셀들을 검출하고, 상기 픽셀들의 보정 가능성 확률값을 산출할 수 있다.
그리고 보정 구별부(442)는, 소프트맥스(Softmax) 함수를 통해 이미지 블록의 보정 여부 를 0~1 사이의 확률로 나타낼 수 있다.
자세히, 이러한 보정 구별부(442)는, 소프트맥스 (softmax) 함수와, 기존에 널리 쓰이던 확률적 구배강하 (stochastic gradient descent) 보다 더 빠르게 국소 최소치 (local minima)에서 벗어날 수 있는 아담 옵티마이저 (Adam optimizer)를 포함할 수 있다.
이와 같이 설계된 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지는. 다양한 압축 환경에서 일어나는 이미지 조작을 탐지할 수 있을 뿐만 아니라, 컬러 이미지의 위변조를 빠르고 강하게 탐지할 수 잇다.
이하, 본 실시예에 따른 네트워크의 성능을 확인하기 위해 선행기술 1과 리사이즈 비율을 달리한 이미지를 입력하며, 위변조 추출 정확도를 산출하였다.
도 9a 내지 도 9c를 보면, 모든 리사이즈 비율에서 본 실시예에 따른 네트워크가, 선행기술 1의 네트워크에 비해 빠르게 학습되어 동작하는 것을 확인할 수 있으며, 그 정확도 또한 높은 것을 확인할 수 있다.
<무보정 탐지 서비스>
이하, 전술한 실시예에 따른 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템(10, 20)을 사용하여 무보정 탐지 서비스를 제공하는 방법을 상세히 설명한다.
이러한 서비스는, 사용자의 단말기를 통해 제공할 수 있으며, 보정 탐지는 무보정 탐지 서비스 제공서버에서 이루어질 수 있다.
즉, 사용자는 단말기를 통해 서비스 제공서버에 접속하여, 확인하고자 하는 이미지를 업로드한 후 서비스 제공서버에서 확인된 이미지를 수신하는 방식으로 서비스를 제공받을 수 있다.
도 10을 참조하면, 먼저, 사용자는 단말기를 통해 위변조가 의심되는 입력 이미지(I)를 입력할 수 있다.
자세히, 사용자는, 단말기에 저장된 이미지를 서비스 제공서버에 송신하여, 위변조 확인을 요청할 수 있다.
서비스 제공서버는, 입력받은 입력 이미지를 블록화하여 이미지 블록(IB)으로 생성하고, 생성된 이미지 블록(IB)을 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템(10, 20)에 입력할 수 있다.
실시예에 따른 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템(10, 20)은, 입력된 이미지 블록(IB)을 딥러닝하여, 이미지에서 보정이 의심되는 픽셀과 상기 픽셀의 위변조 확률 값을 표시한 위변조 확인 맵(PM)을 추출할 수 있다.
서비스 제공서버는, 위변조 확인 맵(PM)을 다시 컨볼루션 뉴럴 네트워크(30)를 통해 딥러닝하여, 위변조 여부를 예/아니요의 레이블로 출력할 수 있다.
이때, 상기 컨볼루션 네트워크는, 위변조 여부가 예로 판별되면, 위변조 확률이 높은 픽셀들의 위치 및 배열들로부터 어떠한 위변조 유형이 있었는지와, 위변조 가능성이 높은 영역을 하이라이트 하는 입력 이미지를 생성할 수 있다.
좀더 자세히, 도 11a를 참조하면, 서비스 제공서버는, 위변조 여부가 아니요로 판별되면, 입력 이미지(I)에 보정이 없다는 확인 도장(Y)을 합성하여, 사용자에게 제공할 수 있다.
또한, 도 11b를 참조하면, 서비스 제공서버는, 위변조 여부가 예로 판별되면, 입력 이미지(I)에서 위변조 가능성이 높은 영역을 하이라이트(N) 하고, 위변조 유형 정보를 추가로 나타낼 수 있다.
이와 같은 무보정 탐지 서비스를 제공하는 방법은, 컬러 이미지이며 압축된 이미지인 경우에도 정밀하게 보정 여부를 판별할 수 있으며, 판별된 결과를 사용자가 직관적으로 인식할 수 있게 제공할 수 있는 장점이 있다.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
또한 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.
Claims (10)
- 이미지에 위변조 조작여부를 판별하기 위한 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템으로서,
상기 이미지를 고역 통과 필터롤 통과시켜 위변조 조작의 특징을 확대하는 보정 특징 전처리부;
상기 특징이 확대된 이미지에서 기 학습된 컨볼루션 뉴럴 네트워크를 통해 이미지 보정 특징 정보를 추출하는 보정 특징 추출부;
상기 이미지 보정 특징 정보를 정제하는 특징 정제부; 및
상기 특징 정제부에서 정제된 이미지 보정 특징 정보를 기초로 상기 이미지의 위변조 조작여부를 판별하는 보정 구별부;를 포함하는
컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템. - 제 1 항에 있어서,
상기 이미지를 일정 크기의 규격으로 이미지 블록화하는 이미지 블록부를 더 포함하는
컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템. - 제 1 항에 있어서,
상기 보정 특징 추출부는,
복수의 컨볼루션 레이어(convolutional layer) 및 복수의 풀링 레이어(max pooling layer)포함하는
컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템. - 제 3 항에 있어서,
상기 컨볼루션 레이어는, 3×3이하의 크기이며, 스트라이드는 1인
컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템. - 제 3 항에 있어서,
상기 보정 특징 추출부는,
기 학습된 VGG19 컨볼루션 뉴럴 네트워크 모델이며, 상기 컨볼루션 뉴럴 네트워크의 가중치는 상기 이미지에 따라서 변경 학습되는
컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템. - 제 1 항에 있어서,
상기 보정 구별부는,
상기 이미지에서 조작 가능성이 있는 픽셀들을 검출하고, 상기 픽셀들의 보정 가능성 확률값을 산출하고, 위변조 가능성이 높은 픽셀들을 확률값에 따라 서로 다른 색으로 표시한 위변조 확인 맵을 출력하는
컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템. - 제 1 항에 있어서,
상기 위변조 조작여부를 판별하기 위해 입력된 이미지는 컬러 이미지인
컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템. - 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템을 사용하여 무보정 탐지 서비스를 제공하는 방법으로서,
사용자로부터 위변조를 판별할 입력 이미지를 수신하는 단계;
상기 입력된 이미지를 일정 규격으로 블록화하여 이미지 블록을 생성하는 단계;
상기 이미지 블록을 상기 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템에 입력하고, 상기 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템으로부터 위변조 확인 맵을 출력하는 단계; 및
상기 위변조 확인 맵과 상기 입력 이미지를 딥러닝하여 위변조 여부를 예 또는 아니요의 레이블로 출력하는 단계;를 포함하는
무보정 탐지 서비스를 제공하는 방법. - 제 8 항에 있어서,
위변조 여부가 예로 판별되면, 위변조 가능성이 높은 영역을 하이라이트 하는 입력 이미지를 생성하는 단계와, 상기 생성된 입력 이미지를 사용자에게 제공하는 단계를 더 포함하는
무보정 탐지 서비스를 제공하는 방법. - 제 8 항에 있어서,
위변조 여부가 아니요로 판별되면, 상기 입력 이미지에 보정이 없다는 확인 도장을 합성하여 상기 사용자에게 제공하는 단계를 더 포함하는
무보정 탐지 서비스를 제공하는 방법.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180124376A KR102140340B1 (ko) | 2018-10-18 | 2018-10-18 | 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템 및 이를 이용하여 무보정 탐지 서비스를 제공하는 방법 |
US16/657,994 US11861816B2 (en) | 2018-10-18 | 2019-10-18 | System and method for detecting image forgery through convolutional neural network and method for providing non-manipulation detection service using the same |
JP2019191482A JP6965320B2 (ja) | 2018-10-18 | 2019-10-18 | 畳み込みニューラルネットワークを介してイメージ偽変造を探知するシステム、方法、及びこれを利用して無補正探知サービスを提供する方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180124376A KR102140340B1 (ko) | 2018-10-18 | 2018-10-18 | 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템 및 이를 이용하여 무보정 탐지 서비스를 제공하는 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200046181A KR20200046181A (ko) | 2020-05-07 |
KR102140340B1 true KR102140340B1 (ko) | 2020-07-31 |
Family
ID=70281245
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180124376A KR102140340B1 (ko) | 2018-10-18 | 2018-10-18 | 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템 및 이를 이용하여 무보정 탐지 서비스를 제공하는 방법 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11861816B2 (ko) |
JP (1) | JP6965320B2 (ko) |
KR (1) | KR102140340B1 (ko) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9300678B1 (en) | 2015-08-03 | 2016-03-29 | Truepic Llc | Systems and methods for authenticating photographic image data |
US10375050B2 (en) | 2017-10-10 | 2019-08-06 | Truepic Inc. | Methods for authenticating photographic image data |
US10360668B1 (en) | 2018-08-13 | 2019-07-23 | Truepic Inc. | Methods for requesting and authenticating photographic image data |
CN111709883B (zh) * | 2019-03-01 | 2023-06-13 | 阿里巴巴集团控股有限公司 | 一种图像检测方法、装置及设备 |
US11037284B1 (en) * | 2020-01-14 | 2021-06-15 | Truepic Inc. | Systems and methods for detecting image recapture |
CN111507262B (zh) * | 2020-04-17 | 2023-12-08 | 北京百度网讯科技有限公司 | 用于检测活体的方法和装置 |
CN111553916B (zh) * | 2020-05-09 | 2023-11-14 | 中科计算技术创新研究院 | 基于多种特征和卷积神经网络的图像篡改区域检测方法 |
CN111951280B (zh) * | 2020-08-10 | 2022-03-15 | 中国科学院深圳先进技术研究院 | 图像分割方法、装置、设备及存储介质 |
CN112116580B (zh) * | 2020-09-22 | 2023-09-05 | 中用科技有限公司 | 用于摄像头支架的检测方法、***及设备 |
KR102562344B1 (ko) * | 2020-12-30 | 2023-08-01 | 주식회사 쿠오핀 | 네트워크 프로세서와 컨볼루션 처리기를 갖는 디바이스용 신경망 처리기 |
KR102508899B1 (ko) * | 2021-01-04 | 2023-03-10 | 캐롯손해보험 주식회사 | 리플렉션 이미지의 획득을 통한 단말기 보험 가입 시스템 |
CN113034628B (zh) * | 2021-04-29 | 2023-09-26 | 南京信息工程大学 | 一种彩色图像jpeg2000重压缩检测方法 |
CN113205464B (zh) * | 2021-04-30 | 2023-05-05 | 作业帮教育科技(北京)有限公司 | 图像去模糊模型的生成方法、图像去模糊方法和电子设备 |
US11720991B2 (en) | 2021-05-20 | 2023-08-08 | International Business Machines Corporation | Signing and authentication of digital images and other data arrays |
EP4141830A1 (en) * | 2021-08-31 | 2023-03-01 | Thales Dis France SAS | Method for detecting a forgery of an identity document |
WO2023063950A1 (en) * | 2021-10-14 | 2023-04-20 | Hewlett-Packard Development Company, L.P. | Training models for object detection |
CN114125437B (zh) * | 2022-01-28 | 2022-04-08 | 南京麦卡锡智能科技有限公司 | 适用于轨道交通的图像重压缩检测方法 |
US20240029460A1 (en) * | 2022-07-20 | 2024-01-25 | Samsung Electronics Co., Ltd. | Apparatus and method for performing image authentication |
CN115795370B (zh) * | 2023-02-10 | 2023-05-30 | 南昌大学 | 基于重采样痕迹的电子数字信息取证方法及*** |
CN117557562B (zh) * | 2024-01-11 | 2024-03-22 | 齐鲁工业大学(山东省科学院) | 基于双流网络的图像篡改检测方法及*** |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170032285A1 (en) * | 2014-04-09 | 2017-02-02 | Entrupy Inc. | Authenticating physical objects using machine learning from microscopic variations |
KR101861708B1 (ko) | 2016-11-30 | 2018-05-28 | 상명대학교산학협력단 | 영상기반 국소 영역의 변조 검출 장치 및 방법 |
KR101881505B1 (ko) | 2017-03-15 | 2018-07-25 | 한국과학기술원 | 지문 위조 판별 모델 생성 방법 및 이를 이용한 지문 위조 판별 방법 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5788681B2 (ja) | 2011-01-21 | 2015-10-07 | 株式会社東芝 | 手書き署名取得装置、手書き署名取得プログラム、手書き署名取得方法 |
US9177105B2 (en) * | 2013-03-29 | 2015-11-03 | Case Western Reserve University | Quantitatively characterizing disease morphology with co-occurring gland tensors in localized subgraphs |
JP2017191501A (ja) * | 2016-04-14 | 2017-10-19 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
US11410414B2 (en) * | 2016-10-10 | 2022-08-09 | Insurance Services Office, Inc. | Systems and methods for detection and localization of image and document forgery |
CN108229325A (zh) * | 2017-03-16 | 2018-06-29 | 北京市商汤科技开发有限公司 | 人脸检测方法和***、电子设备、程序和介质 |
CN107292230B (zh) * | 2017-05-09 | 2020-07-28 | 华南理工大学 | 基于卷积神经网络且具备仿冒检测能力的嵌入式指静脉识别方法 |
US10878540B1 (en) * | 2017-08-15 | 2020-12-29 | Electronic Arts Inc. | Contrast ratio detection and rendering system |
US11188783B2 (en) * | 2017-10-19 | 2021-11-30 | Nokia Technologies Oy | Reverse neural network for object re-identification |
US11069030B2 (en) * | 2018-03-22 | 2021-07-20 | Adobe, Inc. | Aesthetics-guided image enhancement |
US20200329233A1 (en) * | 2019-04-12 | 2020-10-15 | Frank Nemirofsky | Hyperdata Compression: Accelerating Encoding for Improved Communication, Distribution & Delivery of Personalized Content |
US11017506B2 (en) * | 2019-05-03 | 2021-05-25 | Amazon Technologies, Inc. | Video enhancement using a generator with filters of generative adversarial network |
US10803301B1 (en) * | 2019-08-02 | 2020-10-13 | Capital One Services, Llc | Detecting fraud in image recognition systems |
-
2018
- 2018-10-18 KR KR1020180124376A patent/KR102140340B1/ko active IP Right Grant
-
2019
- 2019-10-18 JP JP2019191482A patent/JP6965320B2/ja active Active
- 2019-10-18 US US16/657,994 patent/US11861816B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170032285A1 (en) * | 2014-04-09 | 2017-02-02 | Entrupy Inc. | Authenticating physical objects using machine learning from microscopic variations |
KR101861708B1 (ko) | 2016-11-30 | 2018-05-28 | 상명대학교산학협력단 | 영상기반 국소 영역의 변조 검출 장치 및 방법 |
KR101881505B1 (ko) | 2017-03-15 | 2018-07-25 | 한국과학기술원 | 지문 위조 판별 모델 생성 방법 및 이를 이용한 지문 위조 판별 방법 |
Non-Patent Citations (1)
Title |
---|
H. Xu et al. ‘Combining Convolutional Neural Network and Morkov Random Field for Semantic Imge Retrieval’, 2018.08.31. |
Also Published As
Publication number | Publication date |
---|---|
US20200126209A1 (en) | 2020-04-23 |
JP6965320B2 (ja) | 2021-11-10 |
KR20200046181A (ko) | 2020-05-07 |
JP2020064637A (ja) | 2020-04-23 |
US11861816B2 (en) | 2024-01-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102140340B1 (ko) | 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템 및 이를 이용하여 무보정 탐지 서비스를 제공하는 방법 | |
US11830230B2 (en) | Living body detection method based on facial recognition, and electronic device and storage medium | |
Kwon et al. | Learning jpeg compression artifacts for image manipulation detection and localization | |
US10832069B2 (en) | Living body detection method, electronic device and computer readable medium | |
WO2022161286A1 (zh) | 图像检测方法、模型训练方法、设备、介质及程序产品 | |
US11354797B2 (en) | Method, device, and system for testing an image | |
CN112102164B (zh) | 一种图像处理方法、装置、终端及存储介质 | |
CN110688524B (zh) | 视频检索方法、装置、电子设备及存储介质 | |
CN110163188B (zh) | 视频处理以及在视频中嵌入目标对象的方法、装置和设备 | |
KR102157375B1 (ko) | 딥러닝 기반 이미지 보정 탐지 시스템 및 이를 이용하여 무보정 탐지 서비스를 제공하는 방법 | |
WO2021003936A1 (zh) | 图像分割方法、电子设备和计算机可读存储介质 | |
US11568631B2 (en) | Method, system, and non-transitory computer readable record medium for extracting and providing text color and background color in image | |
CN112581344A (zh) | 一种图像处理方法、装置、计算机设备及存储介质 | |
CN114444566B (zh) | 一种图像伪造检测方法、装置以及计算机存储介质 | |
CN113344110B (zh) | 一种基于超分辨率重建的模糊图像分类方法 | |
CN113628181A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
KR20110087620A (ko) | 레이아웃 기반의 인쇄매체 페이지 인식방법 | |
Wu et al. | Joint manipulation trace attention network and adaptive fusion mechanism for image splicing forgery localization | |
CN112487943B (zh) | 关键帧去重的方法、装置和电子设备 | |
Xia et al. | DMFF-Net: Double-stream multilevel feature fusion network for image forgery localization | |
CN113869419A (zh) | 一种伪造图像识别方法、装置、设备及存储介质 | |
CN111553364A (zh) | 图片处理方法及装置 | |
Wu et al. | Deeply supervised group recursive saliency prediction | |
Zhang et al. | Dual-branch multi-scale densely connected network for image splicing detection and localization | |
Saleem et al. | Credibility assessment of social media images shared during disasters |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |