KR20220011099A - 인공지능을 이용한 편집된 이미지 검출 방법 및 시스템 - Google Patents

인공지능을 이용한 편집된 이미지 검출 방법 및 시스템 Download PDF

Info

Publication number
KR20220011099A
KR20220011099A KR1020210093967A KR20210093967A KR20220011099A KR 20220011099 A KR20220011099 A KR 20220011099A KR 1020210093967 A KR1020210093967 A KR 1020210093967A KR 20210093967 A KR20210093967 A KR 20210093967A KR 20220011099 A KR20220011099 A KR 20220011099A
Authority
KR
South Korea
Prior art keywords
image
region
area
regions
edited
Prior art date
Application number
KR1020210093967A
Other languages
English (en)
Inventor
박지은
이진호
Original Assignee
펄스나인 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 펄스나인 주식회사 filed Critical 펄스나인 주식회사
Priority to PCT/KR2021/009248 priority Critical patent/WO2022019590A1/ko
Publication of KR20220011099A publication Critical patent/KR20220011099A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 인공지능을 이용한 편집된 이미지 검출 방법 및 시스템에 관한 것이다.
본 발명에 따른 인공지능을 이용한 편집된 이미지 검출 방법은, 검출 대상의 이미지에서 특정 형태의 제1∼제N 영역을 각각 설정하고, 설정된 제1∼제N 영역을 특정 색으로 각각 변환하는 단계와; 제1∼제N 영역의 설정 및 특정 색으로의 변환을 완료한 후, 특정 색으로 각각 변환된 제1∼제N 영역을 제거한 이후, 제거된 제1∼제N 영역의 이미지를 각각 복원하는 단계와; 복원된 제1∼제N 영역의 각각의 이미지들 간의 편차를 계산하고, 계산된 편차가 미리 설정된 기준치 이상인지를 판별하는 단계와; 복원된 각각의 이미지들 간의 편차가 미리 설정된 기준치 미만이면, 검출 대상의 이미지를 편집되지 않은 이미지로 판정하는 단계; 및 복원된 각각의 이미지들 간의 편차가 미리 설정된 기준치 이상이면, 검출 대상의 이미지를 편집된 이미지로 판정하는 단계를 포함한다.
이와 같은 본 발명에 의하면, 검출 대상의 이미지가 편집된 이미지인지, 편집되지 않은 원본 이미지인지를 판정하는 한편 편집된 이미지로 판정되었을 시, 그 편집된 이미지에서의 편집된 위치를 찾아낼 수 있다.

Description

인공지능을 이용한 편집된 이미지 검출 방법 및 시스템{Method and system for detecting edited image using artificial intelligence}
본 발명은 인공지능을 이용한 편집된 이미지 검출 방법 및 시스템에 관한 것으로서, 더 상세하게는 인공지능을 이용한 이미지 검출에 있어서, 다수의 이미지가 있을 때 각 이미지가 편집된 이미지인지, 편집되지 않은 원본 이미지인지를 검출하는 한편 편집된 이미지로 판정되었을 시 편집된 위치를 찾아낼 수 있는 인공지능을 이용한 편집된 이미지 검출 방법 및 시스템에 관한 것이다.
일반적으로 딥러닝(Deep learning)은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화를 시도하는 기계학습 알고리즘의 집합으로 정의되며, 큰 틀에서 사람의 사고 방식을 컴퓨터에게 가르치는 기계학습의 한 분야이다.
어떠한 데이터가 있을 때 이를 컴퓨터가 인식할 수 있는 형태(예를 들면, 이미지의 경우 픽셀 정보를 열 벡터로 표현하는 툴)로 표현하고, 이를 학습에 적용하기 위해 많은 연구가 진행되고 있다.
DNN(deep neural networks), CNN(convolutional neural network), RNN(recurrent neural network) 등과 같은 다양한 딥러닝 기법들이 음성 신호 처리, 자연 언어 처리, 이미지(영상) 처리 등의 분야에 적용되어 우수한 성능의 응용프로그램들이 개발되고 있다.
신경 스타일 전이(neural style transfer)는 도 1에 도시된 바와 같이, 이미지 원천 소스를 입력받아 CNN(110)을 이용하여 추출한 특성 맵(feature map)으로부터 이미지를 복원(또는 새로운 이미지를 생성)하는 것으로, 이미지 A와 이미지 B을 합성해서 새로운 이미지 콘텐츠 C를 만들어낸다.
이상과 같은 일련의 과정에서, 입력 이미지에 인위적 효과가 불규칙하게 섞여 있을 경우, 이미지 특성 추출 성능이 떨어지는 문제가 있다. 또한, 이미지에 인위적 편집을 2차로 가했을 경우, 미세한 불규칙 편집 흔적이 이미지의 지엽적 부분에 특정하여 남는데, 이는 CNN으로 특성을 추출할 때 주요 특징 중 하나로 정의되기도 한다.
또한, 기존의 일반적 보간(interpolation) 변화량 측정 방식의 디지털 포렌식(forensic) 및 이미지 위변조 탐색 기술은 탐지율과 그 영역 설정면에서 성능이 떨어져 전문가의 안목 검증을 필요로 하는 사용상의 문제가 있다.
한편, 한국 공개특허공보 제10-2018-0115725호(특허문헌 1)에는 "이미지 내의 대상의 시각화와 특징화를 위한 시스템 및 방법"이 개시되어 있는바, 이에 따른 이미지 내의 특징부를 시각화 및 특징화하는 방법은, 이미지 내의 특징부를 시각화 및 특징화하는 방법에 있어서, 제1 로컬 마이크로-콘트라스트 컨버젼스 알고리즘을 제1 이미지에 적용하는 단계를 포함하여, 제1 이미지와 상이하고 구별되는 제2 이미지를 생성하되, 상기 제2 이미지는 상기 특징부를 포함하고, 상기 제1 로컬 마이크로-콘트라스트 컨버젼스 알고리즘과 상이하고 구별되는 제2 로컬 마이크로-콘트라스트 컨버젼스 알고리즘을 제1 이미지에 적용하는 단계를 더 포함하여, 제1 이미지 및 제2 이미지와 상이하고 구별되는 제3 이미지를 생성하는 것을 특징으로 한다.
이상과 같은 특허문헌 1의 경우, 로컬 마이크로-콘트라스트 컨버젼스 알고리즘 접근법을 사용함으로써 프로세스는 마모그램과 같은 이미지 내의 이러한 조직 타입이 특징적인 컬러와 그레이스케일 특성을 가정하도록 야기하고, 이는 조직과 조직의 경계를 고유하게 특징화하며, 특징 식별과 추출을 정확한 식별에 대해 매우 효과적이도록 하는 장점이 있기는 하나, 이 또한 기존의 일반적 보간 변화량 측정 방식의 디지털 포렌식 및 이미지 위변조 탐색 기술을 기반으로 하고 있어, 이미지가 편집된 이미지인지, 편집되지 않은 원본 이미지인지를 정확하게 검출하기 어렵고, 편집된 이미지로 판정했다 하더라도 편집된 위치를 찾아내기 어려운 문제점을 내포하고 있다.
한국 공개특허공보 제10-2018-0115725호(2018.10.23.)
본 발명은 이상과 같은 사항을 종합적으로 감안하여 창출된 것으로서, 인공지능을 이용한 이미지 검출에 있어서, 다수의 이미지가 있을 때 각 이미지가 편집된 이미지인지, 편집되지 않은 원본 이미지인지를 검출하는 한편 편집된 이미지로 판정되었을 시 편집된 위치를 찾아낼 수 있는 인공지능을 이용한 편집된 이미지 검출 방법 및 시스템을 제공함에 그 목적이 있다.
상기의 목적을 달성하기 위하여 본 발명에 따른 인공지능을 이용한 편집된 이미지 검출 방법은,
a) 검출 대상의 이미지에서 특정 형태의 제1∼제N 영역을 각각 설정하고, 설정된 제1∼제N 영역을 특정 색으로 각각 변환하는 단계와;
b) 상기 제1∼제N 영역의 설정 및 특정 색으로의 변환을 완료한 후, 상기 특정 색으로 각각 변환된 제1∼제N 영역을 제거한 이후, 제거된 제1∼제N 영역의 이미지를 각각 복원하는 단계와;
c) 상기 복원된 제1∼제N 영역의 각각의 이미지들 간의 편차를 계산하고, 계산된 편차가 미리 설정된 기준치 이상인지를 판별하는 단계와;
d) 상기 복원된 각각의 이미지들 간의 편차가 미리 설정된 기준치 미만이면, 상기 검출 대상의 이미지를 편집되지 않은 이미지로 판정하는 단계; 및
e) 상기 복원된 각각의 이미지들 간의 편차가 미리 설정된 기준치 이상이면, 상기 검출 대상의 이미지를 편집된 이미지로 판정하는 단계를 포함하는 점에 그 특징이 있다.
여기서, 상기 단계 a)에서 상기 제1∼제N 영역을 각각 설정하고, 설정된 제1∼제N 영역을 특정 색으로 각각 변환함에 있어서, 상기 검출 대상의 이미지에서 제1 영역을 설정한 후, 설정된 제1 영역을 특정 색으로 변환하고, 상기 제1 영역과는 다른 제2 영역을 설정한 후, 설정된 제2 영역을 특정 색으로 변환하며, 상기 제1, 제2 영역과는 다른 제3 영역을 설정한 후, 설정된 제3 영역을 특정 색으로 변환하고, …, 제N 영역을 설정한 후, 설정된 제N 영역을 특정 색으로 변환하는 방식으로 일련의 작업을 N번 반복적으로 수행함에 의해 상기 제1∼제N 영역을 각각 설정하고, 설정된 제1∼제N 영역을 특정 색으로 각각 변환할 수 있다.
또한, 상기 단계 a)에서 상기 제1∼제N 영역을 설정함에 있어서, 상기 검출 대상의 이미지가 사각형일 경우, 가로를 A등분, 세로를 B등분하여 A×B의 격자 형태로 분할하여 제1∼제N 영역의 총 N개의 영역을 설정할 수 있다.
이때, 상기 총 N개의 영역을 설정함에 있어서, 한꺼번에 종 N개의 영역을 설정하는 것이 아니라, 한 번에 한 개씩 영역을 설정하는 방식으로 각 영역을 설정하여 총 N회에 걸쳐 총 N개의 영역을 설정할 수 있다.
또한, 상기 단계 b)에서 상기 제1∼제N 영역을 제거한 후, 제거된 제1∼제N 영역의 이미지를 각각 복원함에 있어서, 상기 제1 영역을 제거한 후, 이미지 복원(image inpainting) 알고리즘을 이용하여 상기 제거된 제1 영역에 채워 넣는 작업을 수행하여 제1 영역의 이미지를 복원하고, 상기 제2 영역을 제거한 후, 이미지 복원 알고리즘을 이용하여 상기 제거된 제2 영역에 채워 넣은 작업을 수행하여 제2 영역의 이미지를 복원하며, 상기 제3 영역을 제거한 후, 이미지 복원 알고리즘을 이용하여 상기 제거된 제3 영역에 채워 넣는 작업을 수행하여 제3 영역의 이미지를 복원하고, …, 상기 제N 영역을 제거한 후, 이미지 복원 알고리즘을 이용하여 상기 제거된 제N 영역에 채워 넣는 작업을 수행하여 제N 영역의 이미지를 복원하는 방식으로 총 N번의 반복 작업을 수행하여 상기 제1∼제N 영역의 이미지를 각각 복원할 수 있다.
여기서, 또한 바람직하게는 상기 단계 e) 이후에, 상기 단계 e)에서의 편집된 이미지에서 편집된 위치를 찾기 위해,
f) 상기 단계 e)에서 상기 편집된 이미지로 판정된 이미지를 K개의 영역으로 분할하는 단계와;
g) 상기 K개로 분할된 각 영역의 이미지를 각각 하나의 전체 이미지로 보고, 각 영역의 이미지에 대해 상기 단계 a)∼b)를 각각 수행하여 이미지를 각각 복원하는 단계와;
h) 상기 복원된 각 이미지에 대응하는 영역 중에서 편차가 큰 영역을 편집된 영역으로 판정하는 단계와;
i) 상기 편집된 영역으로 판정된 영역에 다시 상기 단계 g)를 적용하여 해당 영역을 세분화된 다수의 영역으로 분할한 후, 분할된 각 영역의 편차를 구하는 단계와;
j) 상기 구해진 편차 중 편차가 크지 않은 영역에 대해서는 편집되지 않은 영역으로 판정하고, 편차가 큰 영역에 대해서는 편집된 영역으로 판정하는 단계; 및
k) 상기 단계 j)에서 편집된 영역으로 판정된 영역의 이미지를 다시 더 세분화된 다수의 영역으로 분할하고, 분할된 각 영역의 편차를 구하여 그를 바탕으로 해당 영역의 편집 여부를 판정하는 방식을 반복 수행함으로써, 최종적으로 편집된 이미지에서의 편집된 위치를 찾아내는 단계를 더 포함할 수 있다.
또한, 상기의 목적을 달성하기 위하여 본 발명에 따른 인공지능을 이용한 편집된 이미지 검출 시스템은,
검출 대상의 이미지에서 특정 형태의 제1∼제N 영역을 각각 설정하고, 설정된 제1∼제N 영역을 특정 색으로 각각 변환하는 영역 설정/변환부와;
상기 영역이 설정되고, 특정 색으로 각각 변환된 제1∼제N 영역을 제거한 후, 제거된 제1∼제N 영역의 이미지를 각각 복원하는 이미지 복원부와;
상기 복원된 제1∼제N 영역의 각각의 이미지들 간의 편차를 계산하고, 계산된 편차가 미리 설정된 기준치 이상인지를 판별하는 편차 계산부; 및
상기 영역 설정/변환부, 이미지 복원부 및 편차 계산부의 상태 체크 및 동작을 제어하고, 상기 편차 계산부에 의해 판별된 결과를 수신하여, 상기 복원된 각각의 이미지들 간의 편차가 미리 설정된 기준치 미만이면, 상기 검출 대상의 이미지를 편집되지 않은 이미지로 판정하고, 상기 복원된 각각의 이미지들 간의 편차가 미리 설정된 기준치 이상이면, 상기 검출 대상의 이미지를 편집된 이미지로 판정하는 제어부를 포함하는 점에 그 특징이 있다.
여기서, 상기 영역 설정/변환부가 상기 제1∼제N 영역을 각각 설정하고, 설정된 제1∼제N 영역을 특정 색으로 각각 변환함에 있어서, 상기 검출 대상의 이미지에서 제1 영역을 설정한 후, 설정된 제1 영역을 특정 색으로 변환하고, 상기 제1 영역과는 다른 제2 영역을 설정한 후, 설정된 제2 영역을 특정 색으로 변환하며, 상기 제1, 제2 영역과는 다른 제3 영역을 설정한 후, 설정된 제3 영역을 특정 색으로 변환하고, …, 제N 영역을 설정한 후, 설정된 제N 영역을 특정 색으로 변환하는 방식으로 일련의 작업을 N번 반복적으로 수행함에 의해 상기 제1∼제N 영역을 각각 설정하고, 설정된 제1∼제N 영역을 특정 색으로 각각 변환할 수 있다.
또한, 상기 영역 설정/변환부가 상기 제1∼제N 영역을 설정함에 있어서, 상기 검출 대상의 이미지가 사각형일 경우, 가로를 A등분, 세로를 B등분하여 A×B의 격자 형태로 분할하여 제1∼제N 영역의 총 N개의 영역을 설정할 수 있다.
이때, 상기 총 N개의 영역을 설정함에 있어서, 한꺼번에 종 N개의 영역을 설정하는 것이 아니라, 한 번에 한 개씩 영역을 설정하는 방식으로 각 영역을 설정하여 총 N회에 걸쳐 총 N개의 영역을 설정할 수 있다.
또한, 상기 이미지 복원부가 상기 제1∼제N 영역을 제거한 후, 제거된 제1∼제N 영역의 이미지를 각각 복원함에 있어서, 상기 제1 영역을 제거한 후, 이미지 복원(image inpainting) 알고리즘을 이용하여 상기 제거된 제1 영역에 채워 넣는 작업을 수행하여 제1 영역의 이미지를 복원하고, 상기 제2 영역을 제거한 후, 이미지 복원 알고리즘을 이용하여 상기 제거된 제2 영역에 채워 넣은 작업을 수행하여 제2 영역의 이미지를 복원하며, 상기 제3 영역을 제거한 후, 이미지 복원 알고리즘을 이용하여 상기 제거된 제3 영역에 채워 넣는 작업을 수행하여 제3 영역의 이미지를 복원하고, …, 상기 제N 영역을 제거한 후, 이미지 복원 알고리즘을 이용하여 상기 제거된 제N 영역에 채워 넣는 작업을 수행하여 제N 영역의 이미지를 복원하는 방식으로 총 N번의 반복 작업을 수행하여 상기 제1∼제N 영역의 이미지를 각각 복원할 수 있다.
이때, 상기 이미지 복원부는 이미지 복원 알고리즘을 사전에 학습한 인공지능으로 구성될 수 있다.
또한, 바람직하게는 외부 기기와의 데이터 송/수신을 위한 통신부를 더 포함할 수 있다.
이와 같은 본 발명에 의하면, 검출 대상의 이미지를 N개의 영역으로 분할하고, 분할된 각 영역을 제거한 후, 제거된 영역을 이미지 복원(image inpainting) 알고리즘을 이용하여 복원하는 과정을 N회 반복 수행함으로써, 검출 대상의 이미지가 편집된 이미지인지, 편집되지 않은 원본 이미지인지를 판정하는 한편 편집된 이미지로 판정되었을 시, 그 편집된 이미지에서의 편집된 위치를 찾아낼 수 있는 장점이 있다.
도 1은 신경 스타일 전이에 기반하여 원천 이미지에 대해 CNN을 이용하여 생성한 특성 맵으로부터 새로운 이미지를 생성하는 것을 나타낸 도면이다.
도 2는 임의의 이미지에서 손상된 영역을 이미지 복원 알고리즘을 이용하여 복원하는 개요를 도식적으로 설명하는 도면이다.
도 3은 본 발명의 실시예에 따른 인공지능을 이용한 편집된 이미지 검출 시스템의 구성을 개략적으로 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 인공지능을 이용한 편집된 이미지 검출 방법의 실행 과정을 나타낸 흐름도이다.
도 5는 편집된 이미지에서 편집된 위치를 찾는 과정을 나타낸 흐름도이다.
도 6은 검출 대상의 이미지에서 직사각형 영역을 설정 및 검은색으로 변환한 후, 이미지 복원 알고리즘을 이용하여 이미지를 복원하는 과정을 나타낸 도면이다.
도 7은 편집된 이미지를 찾는 과정에서, 검출 대상의 이미지를 총 N개의 직사각형 영역으로 분할한 상태를 나타낸 도면이다.
도 8은 검출 대상 이미지에서 4개의 직사각형 영역을 설정하여 4회에 걸쳐 직사각형 영역을 제거한 후, 이미지 복원 알고리즘을 이용하여 복원하는 과정을 나타낸 도면이다.
도 9는 이미지에서 직사각형 형태로 이미지를 손상시킨 이후, 이미지 복원 알고리즘을 이용하여 복원시킨 이미지들의 L1, L2 거리를 계산하는 방법을 설명하기 위한 도면이다.
도 10은 이미지에서 직사각형이 아닌 자유 형태로 이미지를 손상시킨 이후, 이미지 복원 알고리즘을 이용하여 복원시킨 이미지들의 L1, L2 거리를 계산하는 방법을 설명하기 위한 도면이다.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정되어 해석되지 말아야 하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈", "장치" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
이하 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.
여기서, 본 발명의 실시예에 대하여 본격적으로 설명하기에 앞서, 본 발명에 대한 이해를 돕기 위해 본 발명에 도입되는 이미지 복원 알고리즘과 관련하여 먼저 설명해 보기로 한다.
도 2는 임의의 이미지에서 손상된 영역을 이미지 복원 알고리즘을 이용하여 복원하는 개요를 도식적으로 설명하는 도면이다.
도 2를 참조하면, 이미지 복원(image inpainting)이란 이미지 내부에 빈 영역이 있을 때, 그 빈 영역을 주변 영역과 잘 어울리게 복원, 생성하는 기술이다. 즉, 예시와 같이, 원본 이미지에서 (a)와 같이 일부 영역이 손상되었을 때, (b)와 같이 이미지 복원 알고리즘(모델)을 이용하여, 훼손되어 빈 영역 부분에 채워 넣기 작업을 수행하여, (c)와 같이 최종적으로 원본 이미지를 복원하는 것이다.
이상과 같은 이미지 복원 알고리즘과 관련한 이미지 복원 딥러닝 모델로서, 컨텍스트 엔코더(Context Encoder)가 있다. 컨텍스트 엔코더는 컨텍스트 기반의 픽셀 예측을 통해 비지도 학습된 이미지 학습 알고리즘이다. 이와 같은 컨텍스트 엔코더에 대해서는 논문 "D. Pathak, P. Krahenbuhl, J. Donahue, T. Darrell, and A. A. Efros. Context encoders: Feature learning by inpainting. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016. 2, 3"에 자세히 설명되어 있으므로, 그것을 참고하는 것으로 갈음하기로 하고, 본 명세서에서는 이에 대한 상세한 설명은 생략하기로 한다.
또한, 이미지 복원 딥러닝 모델로서 "Image Inpainting for Irregular Holes Using Partial Convolutions"알고리즘이 있다. 이는 부분적인 컨벌루션 연산과 마스크 업데이트 스템을 결합한 부분적인 컨벌루션을 이미지 복원에 적용한 알고리즘이다. 이 알고리즘에 대해서는 논문 "Guilin Liu, Fitsum A Reda, Kevin J Shih, Ting-Chun Wang, Andrew Tao, and Bryan Catanzaro. Image inpainting for irregular holes using partial convolutions. In Proceedings of the European Conference on Computer Vision (ECCV), pages 85-100, 2018."에 상세히 설명되어 있으므로, 그것을 참고하는 것으로 갈음하기로 하고, 본 명세서에서는 이에 대한 상세한 설명은 생략하기로 한다.
또한, 이미지 복원 딥러닝 모델로서 "Free-Form Image Inpainting with Gated Convolution” 알고리즘이 있다. 이는 데이터로부터 자동적으로 소프트 마스크를 학습하는 게이티드 컨벌루션(gated convolution)을 이미지 복원에 적용한 알고리즘이다. 이 알고리즘에 대해서는 논문 "Jiahui Yu, Zhe Lin, Jimei Yang, Xiaohui Shen, Xin Lu, and Thomas S Huang. Free-form image inpainting with gated convolution. In Proceedings of the IEEE International Conference on Computer Vision, pages 4471-4480, 2019."에 자세히 설명되어 있으므로, 마찬가지로 그것을 참고하는 것으로 갈음하기로 하고, 본 명세서에서는 이에 대한 상세한 설명은 생략하기로 한다.
그러면, 이하에서는 이상을 바탕으로 본 발명의 실시예에 대하여 상세히 설명해 보기로 한다.
도 3은 본 발명의 실시예에 따른 인공지능을 이용한 편집된 이미지 검출 시스템의 구성을 개략적으로 나타낸 도면이다.
도 3을 참조하면, 본 발명에 따른 인공지능을 이용한 편집된 이미지 검출 시스템(300)은 영역 설정/변환부(310), 이미지 복원부(320), 편차 계산부(330), 제어부(340)를 포함하여 구성된다.
영역 설정/변환부(310)는 검출 대상의 이미지에서 특정 형태(예를 들면, 직사각형 형태, 도 5 참조)의 제1∼제N 영역을 각각 설정하고, 설정된 제1∼제N 영역을 특정 색(예를 들면, 검은 색, 도 5 참조)으로 각각 변환한다. 여기서, 이와 같은 영역 설정/변환부(310)가 상기 제1∼제N 영역을 각각 설정하고, 설정된 제1∼제N 영역을 특정 색으로 각각 변환함에 있어서, 상기 검출 대상의 이미지에서 제1 영역을 설정한 후, 설정된 제1 영역을 특정 색으로 변환하고, 상기 제1 영역과는 다른 제2 영역을 설정한 후, 설정된 제2 영역을 특정 색으로 변환하며, 상기 제1, 제2 영역과는 다른 제3 영역을 설정한 후, 설정된 제3 영역을 특정 색으로 변환하고, …, 제N 영역을 설정한 후, 설정된 제N 영역을 특정 색으로 변환하는 방식으로 일련의 작업을 N번 반복적으로 수행함에 의해 상기 제1∼제N 영역을 각각 설정하고, 설정된 제1∼제N 영역을 특정 색으로 각각 변환할 수 있다.
또한, 상기 영역 설정/변환부(310)가 상기 제1∼제N 영역을 설정함에 있어서, 상기 검출 대상의 이미지가 사각형일 경우, 도 6에 도시된 바와 같이, 가로를 A등분, 세로를 B등분하여 A×B의 격자 형태로 분할하여 제1∼제N 영역의 총 N개의 영역을 설정할 수 있다.
이때, 상기 총 N개의 영역을 설정함에 있어서, 한꺼번에 종 N개의 영역을 설정하는 것이 아니라, 한 번에 한 개씩 영역을 설정하는 방식으로 각 영역을 설정하여 총 N회에 걸쳐 총 N개의 영역을 설정할 수 있다.
이미지 복원부(320)는 이상과 같이 상기 영역이 설정되고, 특정 색으로 각각 변환된 제1∼제N 영역을 제거한 후, 제거된 제1∼제N 영역의 이미지를 각각 복원한다. 여기서, 이와 같은 이미지 복원부(320)가 상기 제1∼제N 영역을 제거한 후, 제거된 제1∼제N 영역의 이미지를 각각 복원함에 있어서, 상기 제1 영역을 제거한 후, 이미지 복원(image inpainting) 알고리즘을 이용하여 상기 제거된 제1 영역에 채워 넣는 작업을 수행하여 제1 영역의 이미지를 복원하고, 상기 제2 영역을 제거한 후, 이미지 복원 알고리즘을 이용하여 상기 제거된 제2 영역에 채워 넣은 작업을 수행하여 제2 영역의 이미지를 복원하며, 상기 제3 영역을 제거한 후, 이미지 복원 알고리즘을 이용하여 상기 제거된 제3 영역에 채워 넣는 작업을 수행하여 제3 영역의 이미지를 복원하고, …, 상기 제N 영역을 제거한 후, 이미지 복원 알고리즘을 이용하여 상기 제거된 제N 영역에 채워 넣는 작업을 수행하여 제N 영역의 이미지를 복원하는 방식으로 총 N번의 반복 작업을 수행하여 상기 제1∼제N 영역의 이미지를 각각 복원할 수 있다.
또한, 이상과 같은 이미지 복원부(320)는 이미지 복원 알고리즘을 사전에 학습한 인공지능으로 구성될 수 있다.
편차 계산부(330)는 상기 이미지 복원부(320)에 의해 복원된 상기 제1∼제N 영역의 각각의 이미지들 간의 편차를 계산하고, 계산된 편차가 미리 설정된 기준치 이상인지를 판별한다. 여기서, 이와 같은 편차 계산과 관련해서는 뒤에서 다시 설명하기로 한다.
제어부(340)는 상기 영역 설정/변환부(310), 이미지 복원부(320) 및 편차 계산부(330)의 상태 체크 및 동작을 제어하고, 상기 편차 계산부(330)에 의해 판별된 결과를 수신하여, 상기 복원된 각각의 이미지들 간의 편차가 미리 설정된 기준치 미만이면, 상기 검출 대상의 이미지를 편집되지 않은 이미지로 판정하고, 상기 복원된 각각의 이미지들 간의 편차가 미리 설정된 기준치 이상이면, 상기 검출 대상의 이미지를 편집된 이미지로 판정한다.
이상과 같은 구성을 가지는 본 발명에 따른 인공지능을 이용한 편집된 이미지 검출 시스템(300)은 바람직하게는 외부 기기와의 데이터 송/수신을 위한 통신부(350)를 더 포함할 수 있다.
또한, 이상과 같은 인공지능을 이용한 편집된 이미지 검출 시스템(300)은 전체적으로 하나의 컴퓨터 시스템으로 통합되어 구성될 수도 있다.
그러면, 이하에서는 이상과 같은 구성을 가지는 본 발명에 따른 인공지능을 이용한 편집된 이미지 검출 시스템에 기반한 인공지능을 이용한 편집된 이미지 검출 방법에 대하여 설명해 보기로 한다.
도 4는 본 발명의 실시예에 따른 인공지능을 이용한 편집된 이미지 검출 방법의 실행 과정을 나타낸 흐름도이다.
도 4를 참조하면, 본 발명에 따른 인공지능을 이용한 편집된 이미지 검출 방법에 따라, 먼저 도 6의 (a)와 같은 검출 대상의 이미지에서 특정 형태(예컨대, 정사각형 또는 직사각형)의 제1∼제N 영역을 각각 설정하고(도 6에서는 편의상 하나의 영역을 도시하고 있으나, 실제로는 다수의 영역이 설정됨), (b)와 같이 설정된 제1∼제N 영역을 특정 색(예컨대, 검은 색)으로 각각 변환한다(단계 S401). 여기서, 상기 제1∼제N 영역을 각각 설정하고, 설정된 제1∼제N 영역을 특정 색으로 각각 변환함에 있어서, 상기 검출 대상의 이미지에서 제1 영역을 설정한 후, 설정된 제1 영역을 특정 색으로 변환하고, 상기 제1 영역과는 다른 제2 영역을 설정한 후, 설정된 제2 영역을 특정 색으로 변환하며, 상기 제1, 제2 영역과는 다른 제3 영역을 설정한 후, 설정된 제3 영역을 특정 색으로 변환하고, …, 제N 영역을 설정한 후, 설정된 제N 영역을 특정 색으로 변환하는 방식으로 일련의 작업을 N번 반복적으로 수행함에 의해 상기 제1∼제N 영역을 각각 설정하고, 설정된 제1∼제N 영역을 특정 색으로 각각 변환할 수 있다. 또한, 여기서 상기 제1∼제N 영역을 설정함에 있어서, 상기 검출 대상의 이미지가 사각형일 경우, 도 7과 같이, 가로를 A등분, 세로를 B등분하여 A×B의 격자 형태로 분할하여 제1∼제N 영역의 총 N개의 영역을 설정할 수 있다. 이때, 이와 같이 총 N개의 영역을 설정함에 있어서, 한꺼번에 종 N개의 영역을 설정하는 것이 아니라, 한 번에 한 개씩 영역을 설정하는 방식으로 각 영역을 설정하여 총 N회에 걸쳐 총 N개의 영역을 설정할 수 있다.
한편, 이상과 같이 상기 제1∼제N 영역의 설정 및 특정 색으로의 변환을 완료한 후, 상기 특정 색으로 각각 변환된 제1∼제N 영역을 제거한 이후, 도 6의 (c)와 같이, 제거된 제1∼제N 영역의 이미지를 각각 복원한다(단계 S402). 여기서, 상기 제1∼제N 영역을 제거한 후, 제거된 제1∼제N 영역의 이미지를 각각 복원함에 있어서, 상기 제1 영역을 제거한 후, 이미지 복원(image inpainting) 알고리즘을 이용하여 상기 제거된 제1 영역에 채워 넣는 작업을 수행하여 제1 영역의 이미지를 복원하고, 상기 제2 영역을 제거한 후, 이미지 복원 알고리즘을 이용하여 상기 제거된 제2 영역에 채워 넣은 작업을 수행하여 제2 영역의 이미지를 복원하며, 상기 제3 영역을 제거한 후, 이미지 복원 알고리즘을 이용하여 상기 제거된 제3 영역에 채워 넣는 작업을 수행하여 제3 영역의 이미지를 복원하고, …, 상기 제N 영역을 제거한 후, 이미지 복원 알고리즘을 이용하여 상기 제거된 제N 영역에 채워 넣는 작업을 수행하여 제N 영역의 이미지를 복원하는 방식으로 총 N번의 반복 작업을 수행하여 상기 제1∼제N 영역의 이미지를 각각 복원할 수 있다.
이렇게 하여 제1∼제N 영역에 대한 이미지가 각각 복원되면, 그 복원된 제1∼제N 영역의 각각의 이미지들 간의 편차를 계산하고(단계 S403), 계산된 편차가 미리 설정된 기준치 이상인지를 판별한다(단계 S404).
상기 판별에서, 상기 복원된 각각의 이미지들 간의 편차가 미리 설정된 기준치 미만이면, 상기 검출 대상의 이미지를 편집되지 않은 이미지로 판정한다(단계 S405).
그리고 상기 판별에서, 상기 복원된 각각의 이미지들 간의 편차가 미리 설정된 기준치 이상이면, 상기 검출 대상의 이미지를 편집된 이미지로 판정한다(단계 S406).
여기서, 이상과 같은 제1∼제N 영역에 대한 이미지 복원과 복원된 이미지들 간의 편차 여부에 따라 편집되지 않은 이미지 혹은 편집된 이미지로 판정하는 것과 관련하여 도 8을 참조하여 조금 더 설명을 부가해 보기로 한다.
도 8은 검출 대상 이미지에서 4개의 직사각형 영역을 설정하여 4회에 걸쳐 직사각형 영역을 제거한 후, 이미지 복원 알고리즘을 이용하여 복원하는 과정을 나타낸 도면이다.
도 8을 참조하면, 예를 들어, (a)와 같은 "사진1.jpg"라는 이미지 파일이 있다고 가정할 때, (b)와 같이 서로 다른 직사각형 형태의 영역을 제거한 후, (c)와 같이 제거된 영역을 이미지 복원 알고리즘을 이용하여 다시 복원하는 작업을 총 4회 반복하여 수행했다고 가정한다. 즉, "사진1.jpg"는 총 4회 직사각형 영역을 제거하고, 이미지 복원 알고리즘으로 복원하였다. 이때, (c)와 같이 복원된 4장의 이미지의 편차가 특정 수치(즉, 미리 설정된 기준치) 이상이면, "사진1.jpg"는 편집된 사진으로 판정하고, 복원된 4장의 이미지의 편차가 특정 수치(즉, 미리 설정된 기준치) 미만이면, "사진1.jpg"는 편집되지 않은 사진으로 판정하는 것이다.
이상과 같은 일련의 과정에서 사용되는 "편차"는 다양한 개념이 될 수 있는데, 가장 많이 사용되는 개념은 "Rectangular mask L1 error", "Rectangular mask L2 error"가 있다.
도 9와 같이, (a)의 원본 이미지에서, (b)와 같이 직사각형 형태로 이미지를 손상시킨 이후, 이미지 복원(Image inpainting) 모델을 이용하여 (c)와 같이 복원시킨 이미지들의 L1, L2 거리를 계산하는 방법에 있어서, L1 error 거리는 d1과 벡터 p, q 사이에 차원 실수를 직교 좌표계에 일정한 좌표축의 점 위에 투영한 선분 길이의 합인 맨해튼 거리(위키백과 참조)를 이용하여 계산할 수 있고, L2 error 거리는 직교 좌표계로 나타낸 점 p =　(p1,　p2,...,　pn)와 q　=　(q1,　q2,...,　qn)가 있을 때, 두 유클리드 노름을 이용하여 두 점 p, q 사이의 거리를 계산할 때 사용되는 유클리드 거리(위키백과 참조)를 이용하여 계산할 수 있다.
이상과 같은 일련의 이미지 복원에 있어서, 이미지 복원은 이미지에서 훼손된 부분을 생성하는 기술이기 때문에 결과가 좋지 못할 경우가 있다. 따라서, 이런 경우를 대비하여 SSIM(Structural Similarity Index Map), PSNR(Peak Signal-to-Noise Ratio) 등의 지표를 활용하여 SSIM, PSNR이 특정 수치 이상인 경우만 이미지 복원의 결과물을 적용하여 편차를 계산할 수 있다. 여기서, SSIM은 이미지 품질 평가를 하기 위해 사용하는 방법으로 시각적 화질 차이 및 유사도를 평가하기 위한 것이다. 이를 비교하기 위해서 이미지의 휘도(luminance), 대조(contrast), 구조(structure)를 비교한다. SSIM의 최대치는 1이고, 이 값이 높을수록 이미지 품질이 좋다는 것을 의미한다.
한편, 상기 도 4의 단계 S406과 같이, 검출 대상의 이미지가 편집된 이미지로 판정되면, 그 편집된 이미지에서 편집된 위치를 찾기 위해, 본 발명의 방법은 편집된 위치를 찾기 위한 일련의 과정들을 더 포함할 수 있다. 이에 대해 도 5를 참조하여 설명해 보기로 한다.
도 5는 편집된 이미지에서 편집된 위치를 찾는 과정을 나타낸 흐름도이다.
도 5를 참조하면, 상기 도 4의 단계 S406 이후에, 단계 S406에서의 편집된 이미지에서 편집된 위치를 찾기 위해, 먼저 도 4의 단계 S406에서 상기 편집된 이미지로 판정된 이미지를 K개의 영역으로 분할한다(단계 S501).
그런 후, 상기 K개로 분할된 각 영역의 이미지를 각각 하나의 전체 이미지로 보고, 각 영역의 이미지에 대해 상기 도 4의 단계 S401∼S402를 각각 수행하여 이미지를 각각 복원한다(단계 S502).
그리고 상기 복원된 각 이미지에 대응하는 영역 중에서 편차가 큰 영역을 편집된 영역으로 판정한다(단계 S503).
그런 다음, 상기 편집된 영역으로 판정된 영역에 다시 상기 단계 S502를 적용하여 해당 영역을 세분화된 다수의 영역으로 분할한 후, 분할된 각 영역의 편차를 구한다(단계 S504).
그런 후, 상기 구해진 편차 중 편차가 크지 않은 영역에 대해서는 편집되지 않은 영역으로 판정하고, 편차가 큰 영역에 대해서는 편집된 영역으로 판정한다(단계 S505).
이후, 상기 단계 S505에서 편집된 영역으로 판정된 영역의 이미지를 다시 더 세분화된 다수의 영역으로 분할하고, 분할된 각 영역의 편차를 구하여 그를 바탕으로 해당 영역의 편집 여부를 판정하는 방식을 반복 수행함으로써, 최종적으로 편집된 이미지에서의 편집된 위치를 찾아낸다(단계 S506).
위에서 설명한 "Rectangular mask L1, L2 error"와는 다른 방식으로 에러를 체크하는 방법으로, 직사각형의 영역이 아닌, 임의의 형태의 영역을 지우고 다시 복원하는 "Free-form mask L1, L2 error" 방법이 있다. 이 방법은 위와 같이 편집된 이미지를 검출하는데 사용할 수 있다. 이 방법은 도 10과 같이, 원본 이미지에서 직사각형이 아닌 임의의 형태로 이미지를 손상시킨 후, 이미지 복원 모델을 이용하여 복원시킨 이미지들의 L1, L2 거리를 계산하는 방법이다.
이상의 설명과 같이, 본 발명에 따른 인공지능을 이용한 편집된 이미지 검출 방법 및 시스템은 검출 대상의 이미지를 N개의 영역으로 분할하고, 분할된 각 영역을 제거한 후, 제거된 영역을 이미지 복원(image inpainting) 알고리즘을 이용하여 복원하는 과정을 N회 반복 수행함으로써, 검출 대상의 이미지가 편집된 이미지인지, 편집되지 않은 원본 이미지인지를 판정하는 한편 편집된 이미지로 판정되었을 시, 그 편집된 이미지에서의 편집된 위치를 찾아낼 수 있는 장점이 있다.
이상, 바람직한 실시 예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양하게 변경, 응용될 수 있음은 당해 기술분야의 통상의 기술자에게 자명하다. 따라서, 본 발명의 진정한 보호 범위는 다음의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
110: CNN(convolutional neural network)
310: 영역 설정/변환부 320: 이미지 복원부
330: 편차 계산부 340: 제어부
350: 통신부

Claims (13)

  1. a) 검출 대상의 이미지에서 특정 형태의 제1∼제N 영역을 각각 설정하고, 설정된 제1∼제N 영역을 특정 색으로 각각 변환하는 단계와;
    b) 상기 제1∼제N 영역의 설정 및 특정 색으로의 변환을 완료한 후, 상기 특정 색으로 각각 변환된 제1∼제N 영역을 제거한 이후, 제거된 제1∼제N 영역의 이미지를 각각 복원하는 단계와;
    c) 상기 복원된 제1∼제N 영역의 각각의 이미지들 간의 편차를 계산하고, 계산된 편차가 미리 설정된 기준치 이상인지를 판별하는 단계와;
    d) 상기 복원된 각각의 이미지들 간의 편차가 미리 설정된 기준치 미만이면, 상기 검출 대상의 이미지를 편집되지 않은 이미지로 판정하는 단계; 및
    e) 상기 복원된 각각의 이미지들 간의 편차가 미리 설정된 기준치 이상이면, 상기 검출 대상의 이미지를 편집된 이미지로 판정하는 단계를 포함하는 인공지능을 이용한 편집된 이미지 검출 방법.
  2. 제1항에 있어서,
    상기 단계 a)에서 상기 제1∼제N 영역을 각각 설정하고, 설정된 제1∼제N 영역을 특정 색으로 각각 변환함에 있어서, 상기 검출 대상의 이미지에서 제1 영역을 설정한 후, 설정된 제1 영역을 특정 색으로 변환하고, 상기 제1 영역과는 다른 제2 영역을 설정한 후, 설정된 제2 영역을 특정 색으로 변환하며, 상기 제1, 제2 영역과는 다른 제3 영역을 설정한 후, 설정된 제3 영역을 특정 색으로 변환하고, …, 제N 영역을 설정한 후, 설정된 제N 영역을 특정 색으로 변환하는 방식으로 일련의 작업을 N번 반복적으로 수행함에 의해 상기 제1∼제N 영역을 각각 설정하고, 설정된 제1∼제N 영역을 특정 색으로 각각 변환하는 인공지능을 이용한 편집된 이미지 검출 방법.
  3. 제1항에 있어서,
    상기 단계 a)에서 상기 제1∼제N 영역을 설정함에 있어서, 상기 검출 대상의 이미지가 사각형일 경우, 가로를 A등분, 세로를 B등분하여 A×B의 격자 형태로 분할하여 제1∼제N 영역의 총 N개의 영역을 설정하는 인공지능을 이용한 편집된 이미지 검출 방법.
  4. 제3항에 있어서,
    상기 총 N개의 영역을 설정함에 있어서, 한꺼번에 종 N개의 영역을 설정하는 것이 아니라, 한 번에 한 개씩 영역을 설정하는 방식으로 각 영역을 설정하여 총 N회에 걸쳐 총 N개의 영역을 설정하는 인공지능을 이용한 편집된 이미지 검출 방법.
  5. 제1항에 있어서,
    상기 단계 b)에서 상기 제1∼제N 영역을 제거한 후, 제거된 제1∼제N 영역의 이미지를 각각 복원함에 있어서, 상기 제1 영역을 제거한 후, 이미지 복원(image inpainting) 알고리즘을 이용하여 상기 제거된 제1 영역에 채워 넣는 작업을 수행하여 제1 영역의 이미지를 복원하고, 상기 제2 영역을 제거한 후, 이미지 복원 알고리즘을 이용하여 상기 제거된 제2 영역에 채워 넣은 작업을 수행하여 제2 영역의 이미지를 복원하며, 상기 제3 영역을 제거한 후, 이미지 복원 알고리즘을 이용하여 상기 제거된 제3 영역에 채워 넣는 작업을 수행하여 제3 영역의 이미지를 복원하고, …, 상기 제N 영역을 제거한 후, 이미지 복원 알고리즘을 이용하여 상기 제거된 제N 영역에 채워 넣는 작업을 수행하여 제N 영역의 이미지를 복원하는 방식으로 총 N번의 반복 작업을 수행하여 상기 제1∼제N 영역의 이미지를 각각 복원하는 인공지능을 이용한 편집된 이미지 검출 방법.
  6. 제1항에 있어서,
    상기 단계 e) 이후에, 상기 단계 e)에서의 편집된 이미지에서 편집된 위치를 찾기 위해,
    f) 상기 단계 e)에서 상기 편집된 이미지로 판정된 이미지를 K개의 영역으로 분할하는 단계와;
    g) 상기 K개로 분할된 각 영역의 이미지를 각각 하나의 전체 이미지로 보고, 각 영역의 이미지에 대해 상기 단계 a)∼b)를 각각 수행하여 이미지를 각각 복원하는 단계와;
    h) 상기 복원된 각 이미지에 대응하는 영역 중에서 편차가 큰 영역을 편집된 영역으로 판정하는 단계와;
    i) 상기 편집된 영역으로 판정된 영역에 다시 상기 단계 g)를 적용하여 해당 영역을 세분화된 다수의 영역으로 분할한 후, 분할된 각 영역의 편차를 구하는 단계와;
    j) 상기 구해진 편차 중 편차가 크지 않은 영역에 대해서는 편집되지 않은 영역으로 판정하고, 편차가 큰 영역에 대해서는 편집된 영역으로 판정하는 단계; 및
    k) 상기 단계 j)에서 편집된 영역으로 판정된 영역의 이미지를 다시 더 세분화된 다수의 영역으로 분할하고, 분할된 각 영역의 편차를 구하여 그를 바탕으로 해당 영역의 편집 여부를 판정하는 방식을 반복 수행함으로써, 최종적으로 편집된 이미지에서의 편집된 위치를 찾아내는 단계를 더 포함하는 인공지능을 이용한 편집된 이미지 검출 방법.
  7. 검출 대상의 이미지에서 특정 형태의 제1∼제N 영역을 각각 설정하고, 설정된 제1∼제N 영역을 특정 색으로 각각 변환하는 영역 설정/변환부와;
    상기 영역이 설정되고, 특정 색으로 각각 변환된 제1∼제N 영역을 제거한 후, 제거된 제1∼제N 영역의 이미지를 각각 복원하는 이미지 복원부와;
    상기 복원된 제1∼제N 영역의 각각의 이미지들 간의 편차를 계산하고, 계산된 편차가 미리 설정된 기준치 이상인지를 판별하는 편차 계산부; 및
    상기 영역 설정/변환부, 이미지 복원부 및 편차 계산부의 상태 체크 및 동작을 제어하고, 상기 편차 계산부에 의해 판별된 결과를 수신하여, 상기 복원된 각각의 이미지들 간의 편차가 미리 설정된 기준치 미만이면, 상기 검출 대상의 이미지를 편집되지 않은 이미지로 판정하고, 상기 복원된 각각의 이미지들 간의 편차가 미리 설정된 기준치 이상이면, 상기 검출 대상의 이미지를 편집된 이미지로 판정하는 제어부를 포함하는 인공지능을 이용한 편집된 이미지 검출 시스템.
  8. 제7항에 있어서,
    상기 영역 설정/변환부가 상기 제1∼제N 영역을 각각 설정하고, 설정된 제1∼제N 영역을 특정 색으로 각각 변환함에 있어서, 상기 검출 대상의 이미지에서 제1 영역을 설정한 후, 설정된 제1 영역을 특정 색으로 변환하고, 상기 제1 영역과는 다른 제2 영역을 설정한 후, 설정된 제2 영역을 특정 색으로 변환하며, 상기 제1, 제2 영역과는 다른 제3 영역을 설정한 후, 설정된 제3 영역을 특정 색으로 변환하고, …, 제N 영역을 설정한 후, 설정된 제N 영역을 특정 색으로 변환하는 방식으로 일련의 작업을 N번 반복적으로 수행함에 의해 상기 제1∼제N 영역을 각각 설정하고, 설정된 제1∼제N 영역을 특정 색으로 각각 변환하는 인공지능을 이용한 편집된 이미지 검출 시스템.
  9. 제7항에 있어서,
    상기 영역 설정/변환부가 상기 제1∼제N 영역을 설정함에 있어서, 상기 검출 대상의 이미지가 사각형일 경우, 가로를 A등분, 세로를 B등분하여 A×B의 격자 형태로 분할하여 제1∼제N 영역의 총 N개의 영역을 설정하는 인공지능을 이용한 편집된 이미지 검출 시스템.
  10. 제9항에 있어서,
    상기 총 N개의 영역을 설정함에 있어서, 한꺼번에 종 N개의 영역을 설정하는 것이 아니라, 한 번에 한 개씩 영역을 설정하는 방식으로 각 영역을 설정하여 총 N회에 걸쳐 총 N개의 영역을 설정하는 인공지능을 이용한 편집된 이미지 검출 시스템.
  11. 제7항에 있어서,
    상기 이미지 복원부가 상기 제1∼제N 영역을 제거한 후, 제거된 제1∼제N 영역의 이미지를 각각 복원함에 있어서, 상기 제1 영역을 제거한 후, 이미지 복원(image inpainting) 알고리즘을 이용하여 상기 제거된 제1 영역에 채워 넣는 작업을 수행하여 제1 영역의 이미지를 복원하고, 상기 제2 영역을 제거한 후, 이미지 복원 알고리즘을 이용하여 상기 제거된 제2 영역에 채워 넣은 작업을 수행하여 제2 영역의 이미지를 복원하며, 상기 제3 영역을 제거한 후, 이미지 복원 알고리즘을 이용하여 상기 제거된 제3 영역에 채워 넣는 작업을 수행하여 제3 영역의 이미지를 복원하고, …, 상기 제N 영역을 제거한 후, 이미지 복원 알고리즘을 이용하여 상기 제거된 제N 영역에 채워 넣는 작업을 수행하여 제N 영역의 이미지를 복원하는 방식으로 총 N번의 반복 작업을 수행하여 상기 제1∼제N 영역의 이미지를 각각 복원하는 인공지능을 이용한 편집된 이미지 검출 시스템.
  12. 제7항에 있어서,
    상기 이미지 복원부는 이미지 복원 알고리즘을 사전에 학습한 인공지능으로 구성된 것을 특징으로 하는 인공지능을 이용한 편집된 이미지 검출 시스템.
  13. 제7항에 있어서,
    외부 기기와의 데이터 송/수신을 위한 통신부를 더 포함하는 인공지능을 이용한 편집된 이미지 검출 시스템.
KR1020210093967A 2020-07-20 2021-07-19 인공지능을 이용한 편집된 이미지 검출 방법 및 시스템 KR20220011099A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2021/009248 WO2022019590A1 (ko) 2020-07-20 2021-07-19 인공지능을 이용한 편집된 이미지 검출 방법 및 시스템

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200089538 2020-07-20
KR20200089538 2020-07-20

Publications (1)

Publication Number Publication Date
KR20220011099A true KR20220011099A (ko) 2022-01-27

Family

ID=80049589

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210093967A KR20220011099A (ko) 2020-07-20 2021-07-19 인공지능을 이용한 편집된 이미지 검출 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR20220011099A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180115725A (ko) 2016-02-08 2018-10-23 이마고 시스템즈, 인크. 이미지 내의 대상의 시각화와 특징화를 위한 시스템 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180115725A (ko) 2016-02-08 2018-10-23 이마고 시스템즈, 인크. 이미지 내의 대상의 시각화와 특징화를 위한 시스템 및 방법

Similar Documents

Publication Publication Date Title
Liu et al. Point cloud quality assessment: Dataset construction and learning-based no-reference metric
CN110188760B (zh) 一种图像处理模型训练方法、图像处理方法及电子设备
Jiang et al. Matching by linear programming and successive convexification
Kumar et al. Image inpainting through metric labeling via guided patch mixing
CN111861880B (zh) 基于区域信息增强与块自注意力的图像超分与融合方法
CN110689599A (zh) 基于非局部增强的生成对抗网络的3d视觉显著性预测方法
CN114758337B (zh) 一种语义实例重建方法、装置、设备及介质
CN113963409A (zh) 一种人脸属性编辑模型的训练以及人脸属性编辑方法
CN110135413B (zh) 一种字符识别图像的生成方法、电子设备和可读存储介质
CN113808005A (zh) 一种基于视频驱动的人脸姿态迁移方法及装置
CN113554742A (zh) 一种三维图像的重建方法、装置、设备及存储介质
KR20230073751A (ko) 레이아웃 기반의 동일 화풍 영상 생성 시스템 및 방법
CN114187165A (zh) 图像处理方法和装置
CN110546687B (zh) 图像处理装置及二维图像生成用程序
CN112802048B (zh) 具有不对称结构的图层生成对抗网络生成方法及装置
CN115984949B (zh) 一种带有注意力机制的低质量人脸图像识别方法及设备
CN115861401B (zh) 一种双目与点云融合深度恢复方法、装置和介质
KR20220011099A (ko) 인공지능을 이용한 편집된 이미지 검출 방법 및 시스템
US20090274394A1 (en) Image processing method, image processing apparatus, and computer readable storage medium
CN116681844A (zh) 一种基于亚米级立体像对卫星影像的建筑物白膜构建方法
CN115578574A (zh) 一种基于深度学习和拓扑感知的三维点云补全方法
Yang Super resolution using dual path connections
WO2022019590A1 (ko) 인공지능을 이용한 편집된 이미지 검출 방법 및 시스템
Jini et al. Image Inpainting Using Image Interpolation-An Analysis
CN112184884A (zh) 三维模型构建方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal