KR102525486B1 - Method and apparatus for discriminating between original image and forgery image based on out-of-distribution detection - Google Patents

Method and apparatus for discriminating between original image and forgery image based on out-of-distribution detection Download PDF

Info

Publication number
KR102525486B1
KR102525486B1 KR1020210050342A KR20210050342A KR102525486B1 KR 102525486 B1 KR102525486 B1 KR 102525486B1 KR 1020210050342 A KR1020210050342 A KR 1020210050342A KR 20210050342 A KR20210050342 A KR 20210050342A KR 102525486 B1 KR102525486 B1 KR 102525486B1
Authority
KR
South Korea
Prior art keywords
image
input image
forged
similarity
images
Prior art date
Application number
KR1020210050342A
Other languages
Korean (ko)
Other versions
KR20220144101A (en
Inventor
임재성
Original Assignee
스냅태그 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 스냅태그 주식회사 filed Critical 스냅태그 주식회사
Priority to KR1020210050342A priority Critical patent/KR102525486B1/en
Publication of KR20220144101A publication Critical patent/KR20220144101A/en
Priority to KR1020230051941A priority patent/KR102631954B1/en
Application granted granted Critical
Publication of KR102525486B1 publication Critical patent/KR102525486B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

본 발명은 위변조 이미지를 판정하는 방법 및 그 장치에 관한 것이다. 본 발명의 일 실시예에 따른 위변조 이미지 판정 방법은, 컴퓨팅 장치에 의해 수행되는 방법에 있어서, 입력 이미지에 임베딩된 워터마크를 감지하는 단계, 상기 워터마크가 감지되면, 복수의 원본 이미지를 포함하는 데이터베이스에 상기 입력 이미지와의 유사도가 기준치 이상인 원본 이미지가 존재하는지 여부를 판정하는 단계 및 상기 유사도의 판정 결과, 상기 입력 이미지와의 유사도가 기준치 이상인 원본 이미지가 존재하면, OOD(Out-Of-Distribution) 탐지를 수행하는 단계를 포함할 수 있다.The present invention relates to a method and apparatus for determining a forged image. A forgery image determination method according to an embodiment of the present invention is a method performed by a computing device, comprising the steps of detecting a watermark embedded in an input image, including a plurality of original images when the watermark is detected. Determining whether an original image having a similarity with the input image above a reference value exists in the database, and as a result of the determination of the similarity, if an original image having a similarity with the input image above the reference value exists, OOD (Out-Of-Distribution ) performing detection.

Description

OOD 탐지 기반 위변조 이미지 판정 방법 및 그 장치{METHOD AND APPARATUS FOR DISCRIMINATING BETWEEN ORIGINAL IMAGE AND FORGERY IMAGE BASED ON OUT-OF-DISTRIBUTION DETECTION}OOD detection based forgery image determination method and device thereof

본 발명은 위변조 이미지를 판정하는 방법 및 그 장치에 관한 것이다. 보다 구체적으로는, OOD(Out-Of-Distribuition) 탐지에 기반하여 위변조 이미지를 판정하는 방법 및 그 장치에 관한 것이다.The present invention relates to a method and apparatus for determining a forged image. More specifically, it relates to a method and apparatus for determining a forged image based on OOD (Out-Of-Distribuition) detection.

위변조 이미지, 예컨대 딥페이크 이미지로 인한 피해는 사물 인터넷 시대의 도래와 함께 빠른 속도로 증가하고 있다. 그 피해의 대상은 연예인부터 일반인까지 광범위하며, 디지털 성범죄, 불법 복제 및 저작권 침해 등 각종 범죄에 위변조 이미지가 이용되고 있다. 나아가, 동영상의 프레임 단위로 이미지를 위변조한 위변조 영상(e.g. 딥페이크 영상)으로 인한 피해 또한 컴퓨팅 장치의 발달에 따라 증가하고 있다.Damage caused by forged or altered images, such as deepfake images, is increasing rapidly with the advent of the Internet of Things (IoT) era. The victims range from entertainers to the general public, and forged images are used in various crimes such as digital sex crimes, illegal copying, and copyright infringement. Furthermore, damage due to forgery and falsification of images (e.g. deepfake images) in which images are forged and falsified on a frame-by-frame basis is also increasing with the development of computing devices.

발달된 인공 지능 기술을 이용하여 제작된 위변조 이미지 및 위변조 영상은 사람의 육안으로 위조 또는 변조된 것인지 여부를 판정하기 어려운 문제가 있다. 또한, 이러한 위조 또는 변조 기술은 인공 지능 기술의 발달과 함께 빠르게 진화하고 있는 문제가 있다.Forged images and forged images produced using advanced artificial intelligence technology have a problem in that it is difficult to determine whether or not they have been forged or altered with the naked eye of a person. In addition, such forgery or falsification technology has a problem in that it is rapidly evolving along with the development of artificial intelligence technology.

따라서, 위변조 이미지 및 위변조 영상으로 인한 피해를 예방하기 위해, 위변조 이미지 및 위변조 영상을 판정하기 위한 기술이 요구된다.Therefore, in order to prevent damage caused by forged images and forged images, a technique for determining forged images and forged images is required.

한국공개특허 제10-2020-0091799 호 (2019.01.23 공개)Korean Patent Publication No. 10-2020-0091799 (published on January 23, 2019)

본 발명의 몇몇 실시예를 통해 해결하고자 하는 기술적 과제는, 위변조 이미지를 판정하는 장치 및 그 장치에서 수행되는 방법을 제공하는 것이다.A technical problem to be solved through some embodiments of the present invention is to provide a device for determining a forged image and a method performed by the device.

본 발명의 몇몇 실시예를 통해 해결하고자 하는 다른 기술적 과제는, 위변조 영상을 판정하는 장치 및 그 장치에서 수행되는 방법을 제공하는 것이다.Another technical problem to be solved through some embodiments of the present invention is to provide a device for determining a forged image and a method performed by the device.

본 발명의 몇몇 실시예를 통해 해결하고자 하는 또 다른 기술적 과제는, 위변조 이미지 탐지 결과에 기초하여 원본 이미지에 대한 보안의 강도를 상향시키는 장치 및 그 장치에서 수행되는 방법을 제공하는 것이다.Another technical problem to be solved through some embodiments of the present invention is to provide a device for increasing the strength of security for an original image based on a forgery image detection result and a method performed by the device.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명의 기술 분야에서의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The technical problems of the present invention are not limited to the technical problems mentioned above, and other technical problems not mentioned will be clearly understood by those skilled in the art from the following description.

상기 기술적 과제를 해결하기 위한, 본 발명의 일 실시예에 따른 위변조 이미지 판정 방법은, 컴퓨팅 장치에 의해 수행되는 방법에 있어서, 입력 이미지에 임베딩된 워터마크를 감지하는 단계, 상기 워터마크가 감지되면, 복수의 원본 이미지를 포함하는 데이터베이스에 상기 입력 이미지와의 유사도가 기준치 이상인 원본 이미지가 존재하는지 여부를 판정하는 단계 및 상기 유사도의 판정 결과, 상기 입력 이미지와의 유사도가 기준치 이상인 원본 이미지가 존재하면, OOD(Out-Of-Distribution) 탐지를 수행하는 단계를 포함할 수 있다.In order to solve the above technical problem, a forgery image determination method according to an embodiment of the present invention is a method performed by a computing device, comprising: detecting a watermark embedded in an input image; , determining whether an original image having a similarity with the input image of a reference value or more exists in a database including a plurality of original images, and as a result of the determination of the similarity, if an original image with a similarity with the input image of a reference value or more exists, , performing out-of-distribution (OOD) detection.

일 실시예에서, 상기 워터마크는, 상기 복수의 원본 이미지 각각에 임베딩된 인비저블 워터마크(Invisible Watermark)와 동일한 워터마크일 수 있다.In one embodiment, the watermark may be the same as an invisible watermark embedded in each of the plurality of original images.

일 실시예에서, 상기 유사도가 기준치 이상인 원본 이미지가 존재하는지 여부를 판정하는 단계는, 상기 입력 이미지와 상기 복수의 원본 이미지 각각의 유사도를 산출하는 단계 및 상기 산출된 유사도가 최대인 원본 이미지의 유사도가 기준치 이상인지 판정하는 단계를 포함할 수 있다. 여기서, 상기 유사도를 산출하는 단계는, 상기 복수의 원본 이미지 각각의 히스토그램과 상기 입력 이미지의 히스토그램을 비교하여 상기 유사도를 산출하는 단계를 포함할 수 있다.In an embodiment, the determining whether an original image having a similarity equal to or greater than a reference value may include calculating a similarity between the input image and each of the plurality of original images, and a similarity of the original image having the maximum similarity. It may include determining whether is greater than or equal to a reference value. Here, calculating the degree of similarity may include calculating the degree of similarity by comparing a histogram of each of the plurality of original images with a histogram of the input image.

일 실시예에서, 상기 유사도가 기준치 미만이면, 상기 워터마크를 업데이트하는 단계를 더 포함할 수 있다.In one embodiment, if the degree of similarity is less than a reference value, the step of updating the watermark may be further included.

일 실시예에서, 상기 OOD 탐지를 수행하는 단계는, 상기 복수의 원본 이미지에 기초하여 결정된 복수의 클래스와 상기 입력 이미지와의 관련도가 기준 수치 이상인 클래스가 존재하는지 여부를 판정하는 단계를 포함할 수 있다. 여기서, 상기 관련도의 판정 결과, 상기 입력 이미지와의 관련도가 기준 수치 이상인 클래스가 존재하면, 상기 입력 이미지를 원본 이미지로 판정하는 단계를 더 포함하거나 상기 관련도의 판정 결과, 상기 입력 이미지와의 관련도가 기준 수치 이상인 클래스가 존재하지 않으면, 상기 입력 이미지를 위변조 이미지로 판정하는 단계를 더 포함할 수 있다. In one embodiment, the performing of the OOD detection may include determining whether a plurality of classes determined based on the plurality of original images and a class having a degree of relevance to the input image equal to or greater than a reference value exist. can Here, as a result of determining the degree of relevance, if a class having a degree of relevance with the input image equal to or greater than a reference value exists, the step of determining the input image as an original image is further included, or as a result of determining the degree of relevance, the class with the input image The method may further include determining the input image as a forged image if there is no class in which the degree of relevance of is greater than or equal to a reference value.

일 실시예에서, 상기 관련도가 기준 수치 이상인 클래스가 존재하는지 여부를 판정하는 단계는, 상기 입력 이미지와 상기 복수의 클래스 각각의 관련도를 산출하는 단계 및 상기 산출된 관련도가 최대인 클래스의 관련도가 기준 수치 이상인지 판정하는 단계를 포함할 수 있다. 여기서, 상기 관련도를 산출하는 단계는, Softmax 알고리즘을 이용하여, 상기 입력 이미지가 상기 복수의 클래스 각각에 속할 확률을 산출하는 단계를 포함하고, 상기 산출된 관련도가 최대인 클래스의 관련도는, 상기 산출된 확률이 최대인 클래스의 확률일 수 있다.In one embodiment, the step of determining whether a class having a degree of relevance equal to or greater than a reference value may include calculating a degree of relevance between the input image and each of the plurality of classes, and determining whether a class having the maximum degree of relevance is calculated. A step of determining whether the degree of relevance is greater than or equal to a reference value may be included. Here, the calculating of the degree of relevance includes calculating a probability that the input image belongs to each of the plurality of classes using a Softmax algorithm, and the degree of relevance of the class having the maximum degree of relevance calculated is , may be the probability of the class in which the calculated probability is maximum.

일 실시예에서, 상기 입력 이미지는, 딥페이크 영상의 스크린샷 이미지일 수 있다.In one embodiment, the input image may be a screenshot image of a deepfake video.

본 발명의 다른 실시예에 따른 위변조 이미지 판정 장치는, 프로세서, 네트워크 인터페이스, 메모리 및 상기 메모리에 로드(load)되고, 상기 프로세서에 의해 실행되는 컴퓨터 프로그램을 포함하되, 상기 컴퓨터 프로그램은, 입력 이미지에 임베딩된 워터마크를 감지하는 인스트럭션(Instruction), 상기 워터마크가 감지되면, 복수의 원본 이미지를 포함하는 데이터베이스에 상기 입력 이미지와의 유사도가 기준치 이상인 원본 이미지가 존재하는지 여부를 판정하는 인스트럭션 및 상기 유사도의 판정 결과, 상기 입력 이미지와의 유사도가 기준치 이상인 원본 이미지가 존재하면, OOD(Out-Of-Distribution) 탐지를 수행하는 인스트럭션을 포함할 수 있다. 여기서, 위변조 이미지 판정 장치는 카메라를 더 포함할 수 있다.An apparatus for determining a forged or altered image according to another embodiment of the present invention includes a processor, a network interface, a memory, and a computer program loaded into the memory and executed by the processor, wherein the computer program An instruction for detecting an embedded watermark, an instruction for determining whether or not an original image having a degree of similarity with the input image greater than or equal to a reference value exists in a database including a plurality of original images, when the watermark is detected, and the similarity degree As a result of the determination, if an original image having a similarity with the input image greater than or equal to a reference value exists, an instruction for performing OOD (Out-Of-Distribution) detection may be included. Here, the forgery image determination device may further include a camera.

도 1은 본 발명의 일 실시예에 따른 위변조 이미지 판정 장치가 적용될 수 있는 예시적인 환경을 도시한다.
도 2 및 도 3은 본 발명의 다른 실시예에 따른 위변조 이미지 판정 방법을 나타내는 예시적인 순서도이다.
도 4는 도 2를 참조하여 설명된 유사도 판정 동작을 보다 구체적으로 설명하기 위한 예시적인 순서도이다.
도 5는 도 2를 참조하여 설명된 OOD(Out-Of-Distribution) 탐지 동작을 보다 구체적으로 설명하기 위한 예시적인 순서도이다.
도 6은 도 5를 참조하여 설명된 관련도 판정 동작을 보다 구체적으로 설명하기 위한 예시적인 순서도이다.
도 7은 본 발명의 몇몇 실시예에서 참조될 수 있는 인비저블 워터마크(Invisible Watermark)를 설명하기 위한 예시적인 도면이다.
도 8은 본 발명의 몇몇 실시예에서 참조될 수 있는 OOD 탐지 동작을 보다 구체적으로 설명하기 위한 예시적인 도면이다.
도 9는 도 8을 참조하여 설명된 OOD 탐지 동작이 이미지에 적용되는 일례를 설명하기 위한 예시적인 도면이다.
도 10 및 도 11은 본 발명의 몇몇 실시예에서 참조될 수 있는 GAN 모델을 설명하기 위한 예시적인 도면이다.
도 12는 본 발명의 일 실시예에 따른 장치를 구현할 수 있는 예시적인 하드웨어 구성도이다.1 illustrates an exemplary environment to which a forgery image determination device according to an embodiment of the present invention can be applied.
2 and 3 are exemplary flow charts illustrating a forgery image determination method according to another embodiment of the present invention.
FIG. 4 is an exemplary flowchart for explaining the similarity determination operation described with reference to FIG. 2 in more detail.
FIG. 5 is an exemplary flowchart for more specifically describing an out-of-distribution (OOD) detection operation described with reference to FIG. 2 .
FIG. 6 is an exemplary flowchart for more specifically explaining the relevance determining operation described with reference to FIG. 5 .
7 is an exemplary diagram for explaining an invisible watermark that may be referred to in some embodiments of the present invention.
8 is an exemplary diagram for describing an OOD detection operation that may be referred to in some embodiments of the present invention in more detail.
FIG. 9 is an exemplary diagram for explaining an example in which the OOD detection operation described with reference to FIG. 8 is applied to an image.
10 and 11 are exemplary diagrams for explaining GAN models that may be referred to in some embodiments of the present invention.
12 is an exemplary hardware configuration diagram that can implement an apparatus according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명의 기술적 사상은 이하의 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명의 기술적 사상을 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 기술적 사상은 청구항의 범주에 의해 정의될 뿐이다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. Advantages and features of the present invention, and methods of achieving them, will become clear with reference to the detailed description of the following embodiments taken in conjunction with the accompanying drawings. However, the technical idea of the present invention is not limited to the following embodiments and can be implemented in various different forms, only the following embodiments complete the technical idea of the present invention, and in the technical field to which the present invention belongs It is provided to fully inform those skilled in the art of the scope of the present invention, and the technical spirit of the present invention is only defined by the scope of the claims.

각 도면의 구성 요소들에 참조부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.In adding reference numerals to components of each drawing, it should be noted that the same components have the same numerals as much as possible even if they are displayed on different drawings. In addition, in describing the present invention, if it is determined that a detailed description of a related known configuration or function may obscure the gist of the present invention, the detailed description will be omitted.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.Unless otherwise defined, all terms (including technical and scientific terms) used in this specification may be used in a meaning commonly understood by those of ordinary skill in the art to which the present invention belongs. In addition, terms defined in commonly used dictionaries are not interpreted ideally or excessively unless explicitly specifically defined. Terminology used herein is for describing the embodiments and is not intended to limit the present invention. In this specification, singular forms also include plural forms unless specifically stated otherwise in a phrase.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성 요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성 요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.In addition, in describing the components of the present invention, terms such as first, second, A, B, (a), and (b) may be used. These terms are only used to distinguish the component from other components, and the nature, order, or order of the corresponding component is not limited by the term. When an element is described as being “connected,” “coupled to,” or “connected” to another element, that element is or may be directly connected to the other element, but there is another element between the elements. It will be understood that elements may be “connected”, “coupled” or “connected”.

명세서에서 사용되는 "포함한다 (comprises)" 및/또는 "포함하는 (comprising)"은 언급된 구성 요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성 요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.As used herein, "comprises" and/or "comprising" means that a stated component, step, operation, and/or element is the presence of one or more other components, steps, operations, and/or elements. or do not rule out additions.

이하, 본 발명의 다양한 실시예들에 대하여 첨부된 도면에 따라 상세하게 설명한다.Hereinafter, various embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 위변조 이미지 판정 장치(100)가 적용될 수 있는 예시적인 환경을 도시한다. 도 1은 1개의 딥페이크 제작 장치(400)가 적용된 것을 도시하고 있으나, 이는 이해의 편의를 제공하기 위한 것일 뿐이고, 원본 이미지의 위변조를 수행하는 딥페이크 제작 장치(400)의 개수는 얼마든지 달라질 수 있다.1 shows an exemplary environment to which a forgery image determination device 100 according to an embodiment of the present invention can be applied. 1 shows that one deepfake production device 400 is applied, but this is only for convenience of understanding, and the number of deepfake production devices 400 that forgery and forge an original image may vary. can

또한, 도 1은 본 발명의 목적을 달성하기 위한 바람직한 실시예를 도시하고 있을 뿐이며, 필요에 따라 일부 구성 요소가 추가되거나 삭제될 수 있다. 나아가, 도 1에 도시된 예시적인 환경의 구성 요소들은 기능적으로 구분되는 기능 요소들을 나타낸 것으로써, 복수의 구성 요소가 실제 물리적 환경에서는 서로 통합되는 형태로 구현될 수도 있음에 유의해야 한다. 예를 들어, 위변조 이미지 판정 장치(100)와 데이터베이스(200)는 동일한 컴퓨팅 장치 내에 서로 다른 로직(logic)의 형태로 구현될 수도 있다.In addition, FIG. 1 only illustrates a preferred embodiment for achieving the object of the present invention, and some components may be added or deleted as necessary. Furthermore, it should be noted that components of the exemplary environment shown in FIG. 1 represent functionally differentiated functional elements, and a plurality of components may be implemented in a form integrated with each other in an actual physical environment. For example, the forgery image determination device 100 and the database 200 may be implemented in the form of different logics in the same computing device.

이하, 도 1에 도시된 개별 구성 요소들에 대해 보다 구체적으로 설명하기로 한다.Hereinafter, individual components shown in FIG. 1 will be described in more detail.

위변조 이미지 판정 장치(100)는 데이터베이스(200)에 저장된 원본 이미지를 데이터베이스(200)로부터 수신할 수 있다. 여기서, 원본 이미지는 위변조되지 않은 본래의 이미지를 의미할 수 있다. The forgery image determination device 100 may receive an original image stored in the database 200 from the database 200 . Here, the original image may mean an original image that is not forged or altered.

위변조 이미지 판정 장치(100)는 사용자 장치(300)로부터 이미지를 수신할 수 있다. 여기서, 사용자 장치(300)에 구비된 카메라 모듈을 통해 촬영된 이미지가 위변조 이미지 판정 장치(100)에 수신될 수 있고, 사용자 장치(300)에 저장된 이미지가 위변조 이미지 판정 장치(100)에 수신될 수도 있다. 이때, 위변조 이미지 판정 장치(100)는 사용자 장치(300)로부터 수신된 이미지의 위변조 여부를 판정할 수 있다. The forgery image determination device 100 may receive an image from the user device 300 . Here, an image photographed through a camera module provided in the user device 300 may be received by the forged image determining device 100, and an image stored in the user device 300 may be received by the forged image determining device 100. may be In this case, the forgery image determination device 100 may determine whether the image received from the user device 300 is forged or altered.

위변조 이미지 판정 장치(100)는 딥페이크 제작 장치(400)로부터 위변조 이미지를 수신할 수 있다. 즉, 딥페이크 제작 장치(400)의 딥페이크 제작 모듈(410)이 생성한 위변조 이미지가 수신될 수 있다. 이때, 위변조 이미지 판정 장치(100)는 딥페이크 제작 장치(400)로부터 수신된 이미지의 위변조 여부를 판정할 수 있다. The forged image determination device 100 may receive the forged image from the deepfake production device 400 . That is, a forged image generated by the deepfake production module 410 of the deepfake production device 400 may be received. In this case, the forgery image determination device 100 may determine whether the image received from the deepfake production device 400 is forged or altered.

상술한 위변조 이미지 판정 장치(100)는 하나 이상의 컴퓨팅 장치로 구현될 수 있다. 예를 들어, 위변조 이미지 판정 장치(100)의 모든 기능은 단일 컴퓨팅 장치에서 구현될 수 있다. 다른 예로써, 위변조 이미지 판정 장치(100)의 제1 기능은 제1 컴퓨팅 장치에서 구현되고, 제2 기능은 제2 컴퓨팅 장치에서 구현될 수도 있다. 여기서, 컴퓨팅 장치는, 노트북, 데스크톱(desktop), 랩탑(laptop) 등이 될 수 있으나, 이에 국한되는 것은 아니며 컴퓨팅 기능이 구비된 모든 종류의 장치를 포함할 수 있다. 다만, 위변조 이미지 판정 장치(100)에 위변조 이미지를 판정하기 위한 인공 신경망이 구현되어야 하는 환경이라면, 위변조 이미지 판정 장치(100)는 고성능의 서버급 컴퓨팅 장치로 구현되는 것이 바람직할 수 있다. 상술한 컴퓨팅 장치의 일 예에 대해서는 추후 도 12를 참조하여 설명하기로 한다. 또한, 위변조 이미지 판정 장치(100)가 입력 이미지의 위변조 여부 판정을 수행하는 구체적인 방법에 관해서는 추후 명세서의 기재를 통해 구체화될 것이다.The forgery image determination device 100 described above may be implemented with one or more computing devices. For example, all functions of the forgery image determination device 100 may be implemented in a single computing device. As another example, the first function of the forgery image determination device 100 may be implemented in a first computing device, and the second function may be implemented in a second computing device. Here, the computing device may be a notebook, a desktop, or a laptop, but is not limited thereto and may include any type of device equipped with a computing function. However, in an environment in which an artificial neural network for determining a forged image should be implemented in the forged image determination device 100, it may be preferable that the forgery image determination device 100 is implemented as a high-performance server-class computing device. An example of the aforementioned computing device will be described later with reference to FIG. 12 . In addition, a specific method for the forgery image determination device 100 to determine whether an input image is forged or altered will be embodied later through description in the specification.

다음으로, 데이터베이스(200)는 복수의 원본 이미지를 저장할 수 있다. 또한, 데이터 베이스(200)는 복수의 원본 이미지 중 적어도 일부 또는 전부를 위변조 이미지 판정 장치(100)에 전송할 수 있다. 여기서, 원본 이미지는 상술한 바와 같이 위변조되지 않은 본래의 이미지를 의미할 수 있다.Next, the database 200 may store a plurality of original images. In addition, the database 200 may transmit at least some or all of the plurality of original images to the forgery image determination device 100 . Here, the original image may refer to an original image that has not been forged or altered as described above.

원본 이미지와 관련된 몇몇 실시예에서, 원본 이미지는 인비저블 워터마크(Invisible Watermark)가 임베딩된 이미지일 수 있다. 여기서, 인비저블 워터마크는 사람의 육안으로 관찰되지 않는 워터마크를 의미하는 것으로, 컨텐츠에 인비저블 워터마크를 삽입함으로써, 컨텐츠의 보안이 강화될 수 있다. 예를 들어, 데이터베이스(200)에 원본 이미지에 임베딩되는 인비저블 워터마크 데이터를 암호화된 형태로 저장함으로써, 외부에 인비저블 워터마크 데이터 원본이 유출되는 것을 방지할 수 있다. 다른 예를 들어, 워터마크 임베딩 소프트웨어 실행 파일 내에 리소스(resource)의 형태로 워터마크 데이터를 포함시킴으로써, 외부에 워터마크 데이터 원본이 유출되는 것을 방지할 수도 있다. 즉, 워터마크 데이터 원본이 외부에 유출되는 것을 방지함으로써, 컨텐츠(e.g. 이미지)에서 워터마크가 감지되면 컨텐츠를 위변조되지 않은 컨텐츠로 판정할 수 있다.In some embodiments related to the original image, the original image may be an image in which an invisible watermark is embedded. Here, the invisible watermark means a watermark that is not observed by the human eye, and security of the content can be enhanced by inserting the invisible watermark into the content. For example, by storing the invisible watermark data embedded in the original image in the database 200 in an encrypted form, leakage of the original invisible watermark data to the outside can be prevented. For another example, by including watermark data in the form of a resource in a watermark embedding software executable file, leakage of original watermark data to the outside may be prevented. That is, by preventing the original watermark data from leaking to the outside, when a watermark is detected in the content (e.g. image), the content can be determined as non-forged content.

원본 이미지와 관련된 다른 몇몇 실시예예서, 데이터베이스(200)에 저장된 복수의 원본 이미지 각각에 동일한 워터마크를 임베딩할 수 있다. 또 다른 실시예에서, 데이터베이스(200)에 저장된 복수의 원본 이미지 각각마다 서로 다른 워터마크를 임베딩할 수 있다. 전자의 경우, 단일한 워터마크를 이용할 수 있다는 점에서 리소스를 절약할 수 있는 반면, 후자의 경우, 복수의 원본 이미지 각각마다 서로 다른 워터마크가 적용될 수 있다는 점에서 보안이 강화될 수 있다. 상술한 기재를 참조하면, 복수의 원본 이미지에 임베딩될 워터마크의 개수는 얼마든지 달라질 수 있음이 이해될 수 있다.In some other embodiments related to original images, the same watermark may be embedded in each of a plurality of original images stored in the database 200 . In another embodiment, different watermarks may be embedded for each of a plurality of original images stored in the database 200 . In the former case, resources can be saved in that a single watermark can be used, whereas in the latter case, security can be enhanced in that different watermarks can be applied to each of a plurality of original images. Referring to the above description, it can be understood that the number of watermarks to be embedded in a plurality of original images may vary.

다음으로, 사용자 장치(300)는 이미지를 촬영하여, 위변조 이미지 판정 장치(100)에 전송할 수 있다. 또한, 사용자 장치(300)는 저장된 이미지를 위변조 이미지 판정 장치(100)에 전송할 수도 있다. 다만, 상술한 예시들에 본 발명이 한정되는 것은 아니고, 사용자 장치(300)는 웹을 통해 재생하고 있는 컨텐츠를 위변조 이미지 판정 장치(100)에 전송하는 등 다양한 방식을 통해 위변조 이미지 판정 장치(100)에 컨텐츠를 전송할 수 있음을 유의해야 한다. 여기서, 컨텐츠는 이미지 및 영상을 포함할 수 있다. 예를 들어, 영상은 영상 그 자체로 위변조 이미지 판정 장치(100)에 전송될 수 있으나, 이에 한정되는 것은 아니고, 영상을 기준 규칙에 따라 스크린샷한 이미지가 위변조 이미지 판정 장치(100)에 전송될 수도 있다.Next, the user device 300 may capture an image and transmit it to the forgery image determination device 100 . In addition, the user device 300 may transmit the stored image to the forgery image determination device 100 . However, the present invention is not limited to the above-described examples, and the user device 300 transmits the content being reproduced through the web to the forged image determining device 100 through various methods such as the forgery image determining device 100 ). Here, the content may include images and videos. For example, the image itself may be transmitted to the forgery image determination device 100, but is not limited thereto, and an image obtained by taking a screenshot according to a standard rule is transmitted to the forgery image determination device 100. may be

사용자 장치(300)는 노트북, 데스크톱(Desktop, 300a), 랩탑(Laptop), 스마트폰(300b) 및 테블릿(Tablet, 300c) 등이 될 수 있으나, 이에 국한되는 것은 아니며 컴퓨팅 기능이 구비된 모든 종류의 장치를 포함할 수 있다.The user device 300 may be a laptop, a desktop (Desktop, 300a), a laptop (Laptop), a smart phone (300b), a tablet (Tablet, 300c), etc., but is not limited thereto, and is equipped with a computing function. It may contain a variety of devices.

다음으로, 딥페이크 제작 장치(400)는 원본 이미지를 위변조할 수 있다. 여기서, 딥페이크(Deepfake)란 인공 지능을 이용한 이미지 합성 기술을 의미할 수 있다. 도 1에 예시된 바와 같이, 딥페이크 제작 장치(400)의 딥페이크 제작 모듈(410)은 원본 이미지에 기초하여 위변조 이미지를 생성할 수 있고, 딥페이크 판정 모듈(420)은 딥페이크 제작 모듈(410)이 생성한 위변조 이미지 및 원본 이미지를 반복하여 판정할 수 있다. Next, the deepfake production device 400 may forge or alter the original image. Here, deepfake may mean image synthesis technology using artificial intelligence. As illustrated in FIG. 1 , the deepfake production module 410 of the deepfake production device 400 may generate a forged image based on an original image, and the deepfake determination module 420 may include a deepfake production module ( 410) may repeatedly determine the forged image and the original image.

딥페이크 제작 모듈(410)은 딥페이크 판정 모듈(420)이 생성된 위변조 이미지를 원본 이미지로 판정하도록 지속적으로 학습될 수 있고, 딥페이크 판정 모듈(420)은 위변조 이미지를 위변조 이미지로 판정하고, 원본 이미지를 원본 이미지로 판정하도록 지속적으로 학습될 수 있다. 즉, 대립적인 모델이 상호 견제를 통해 학습됨으로써, 딥페이크 제작 모듈(410) 및 딥페이크 판정 모듈(420) 각각의 성능의 향상이 극대화될 수 있다. 예를 들어, 딥페이크 제작 장치(400)는 GAN(Generative Adversarial Network) 모델을 통해 구현될 수 있으며, 이와 관련된 보다 구체적인 설명은 추후 도 10 및 도 11을 참조하여 설명하기로 한다.The deepfake production module 410 may continuously learn to determine the forgery image generated by the deepfake determination module 420 as the original image, the deepfake determination module 420 determines the forgery image as the forgery image, It can be continuously learned to determine an original image as an original image. That is, since the opposing models are learned through mutual check, the performance improvement of each of the deepfake production module 410 and the deepfake decision module 420 can be maximized. For example, the deepfake production device 400 may be implemented through a Generative Adversarial Network (GAN) model, and a more detailed description related thereto will be described with reference to FIGS. 10 and 11 later.

상술한 딥페이크 제작 장치(400)는 노트북, 데스크톱(desktop), 랩탑(laptop) 등이 될 수 있으나, 이에 국한되는 것은 아니며 컴퓨팅 기능이 구비된 모든 종류의 장치를 포함할 수 있다. 다만, 딥페이크 제작 장치(400)에 위변조 이미지를 생성하기 위한 인공 신경망 및 위변조 이미지를 판정하기 위한 구별되는 인공 신경망이 구현되어야 하는 환경이라면, 딥페이크 제작 장치(400)는 고성능의 서버급 컴퓨팅 장치로 구현되는 것이 바람직할 수 있다.The above-described deepfake production device 400 may be a laptop, a desktop, or a laptop, but is not limited thereto and may include all kinds of devices having a computing function. However, in an environment in which an artificial neural network for generating a forged image and a distinct artificial neural network for determining a forged image must be implemented in the deepfake production device 400, the deepfake production device 400 is a high-performance server-class computing device. implementation may be desirable.

한편, 도 1에 도시된 각 구성 요소는 소프트웨어(Software) 또는, FPGA(Field Programmable Gate Array)나 ASIC(Application-Specific Integrated Circuit)과 같은 하드웨어(Hardware)를 의미할 수 있다. 그렇지만, 구성 요소들은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 어드레싱(Addressing)할 수 있는 저장 매체에 있도록 구성될 수도 있고, 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 구성 요소들 안에서 제공되는 기능은 더 세분화된 구성 요소에 의하여 구현될 수 있으며, 복수의 구성 요소들을 합하여 특정한 기능을 수행하는 하나의 구성 요소로 구현될 수도 있다.Meanwhile, each component shown in FIG. 1 may mean software or hardware such as a Field Programmable Gate Array (FPGA) or an Application-Specific Integrated Circuit (ASIC). However, components are not meant to be limited to software or hardware, and may be configured to reside in an addressable storage medium or configured to execute one or more processors. Functions provided in the components may be implemented by more subdivided components, or may be implemented as a single component that performs a specific function by combining a plurality of components.

몇몇 실시예에서, 위변조 이미지 판정 장치(100)는 상술한 딥페이크 제작 장치(400)와 마찬가지로 GAN 모델 등을 통해 구현될 수도 있다. 즉, 위변조 이미지 판정 장치(100)는 GAN 모델의 식별기(Discriminator)로 구현될 수도 있다.In some embodiments, the forgery image determination device 100 may be implemented through a GAN model or the like like the above-described deepfake production device 400 . That is, the forgery image determination device 100 may be implemented as a discriminator of a GAN model.

몇몇 실시예에서, 위변조 이미지 판정 장치(100)는 네트워크를 통해 다른 구성요소들과 통신할 수 있다. 네트워크는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 이동 통신망(mobile radio communication network), Wibro(Wireless Broadband Internet) 등과 같은 모든 종류의 유/무선 네트워크로 구현될 수 있다.In some embodiments, the forgery image determination device 100 may communicate with other components through a network. The network may be implemented in all types of wired/wireless networks such as a Local Area Network (LAN), a Wide Area Network (WAN), a mobile radio communication network, and Wibro (Wireless Broadband Internet). there is.

지금까지 도 1을 참조하여 본 발명의 일 실시예에 따른 위변조 이미지 판정 장치(100)가 적용될 수 있는 예시적인 환경에 대하여 설명하였다. 이하에서는, 도 2 내지 도 11을 참조하여 본 발명의 다른 실시예에 따른 위변조 이미지 판정 방법에 대하여 설명하기로 한다.So far, with reference to FIG. 1 , an exemplary environment to which the forgery image determination device 100 according to an embodiment of the present invention can be applied has been described. Hereinafter, a method for determining a forged image according to another embodiment of the present invention will be described with reference to FIGS. 2 to 11 .

도 2 및 도 3은 본 발명의 다른 실시예에 따른 위변조 이미지 판정 방법을 나타내는 예시적인 흐름도이다. 단, 이는 본 발명의 목적을 달성하기 위한 바람직한 실시예일뿐이며, 필요에 따라 일부 단계가 추가되거나 삭제될 수 있음은 물론이다.2 and 3 are exemplary flowcharts illustrating a forgery image determination method according to another embodiment of the present invention. However, this is only a preferred embodiment for achieving the object of the present invention, and it goes without saying that some steps may be added or deleted as needed.

도 2 및 도 3에 도시된 방법의 각 단계는 컴퓨팅 장치에 의해 수행될 수 있다. 다시 말하면, 방법의 각 단계는 컴퓨팅 장치의 프로세서에 의해 실행되는 하나 이상의 인스트럭션들로 구현될 수 있다. 방법에 포함되는 모든 단계는 하나의 물리적인 컴퓨팅 장치에 의하여 실행될 수도 있을 것이나, 방법의 제1 단계들은 제1 컴퓨팅 장치에 의하여 수행되고, 방법의 제2 단계들은 제2 컴퓨팅 장치에 의하여 수행될 수도 있다. 이하에서는, 방법의 각 단계가 도 1에 예시된 위변조 이미지 판정 장치(100)에 의해 수행되는 것을 가정하여 설명을 이어가도록 한다. 다만, 설명의 편의상, 방법들에 포함되는 각 단계의 동작 주체는 그 기재가 생략될 수도 있다.Each step of the method shown in FIGS. 2 and 3 may be performed by a computing device. In other words, each step of the method may be implemented as one or more instructions executed by a processor of a computing device. All steps included in the method could be performed by one physical computing device, but first steps of the method could be performed by a first computing device and second steps of the method could be performed by a second computing device. there is. Hereinafter, description will be continued on the assumption that each step of the method is performed by the forgery and forged image determination device 100 illustrated in FIG. 1 . However, for convenience of description, the description of the subject of operation of each step included in the methods may be omitted.

도 2를 참조하면 단계 S100에서, 입력 이미지에 임베딩된 워터마크가 감지될 수 있다. 여기서, 입력 이미지는 도 1을 참조하여 설명된 바와 같이, 사용자 장치에 의해 수신된 이미지일 수 있고, 딥페이크 제작 장치에 의해 수신된 이미지일 수도 있다. 워터마크 임베딩과 관련된 보다 구체적인 설명을 위해 도 7을 참조하여 설명하기로 한다.Referring to FIG. 2 , in step S100 , a watermark embedded in an input image may be detected. Here, the input image may be an image received by the user device or an image received by the deepfake production device, as described with reference to FIG. 1 . For a more detailed explanation related to watermark embedding, it will be described with reference to FIG. 7 .

도 7은 본 발명의 몇몇 실시예에서 참조될 수 있는 인비저블 워터마크(Invisible Watermark)를 설명하기 위한 예시적인 도면이다. 도 7에 도시된 바와 같이, 워터마크가 임베딩된 이미지(30)는 오리지널 이미지(20)와 육안상으로 크게 다른 점이 없다는 점이 확인될 수 있다.7 is an exemplary diagram for explaining an invisible watermark that may be referred to in some embodiments of the present invention. As shown in FIG. 7 , it can be confirmed that the image 30 in which the watermark is embedded is not significantly different from the original image 20 to the naked eye.

워터마크 임베딩을 보다 구체적으로 설명하면, 워터마크가 임베딩된 이미지(30)는, FFT(Fast Fourier Transform) 알고리즘에 기초하여 변환된 오리지널 이미지(20)의 주파수 도메인에서 워터마크 데이터(10)를 삽입한 후 FFT의 역변환을 통해 생성될 수 있다. 도 1을 참조하여 설명한 바와 같이, 워터마크 데이터(10)는 시스템 내부에서 보안이 유지되어 관리되고, 임베딩 동작을 역으로 수행함으로써, 워터마크가 감지될 수 있다. 워터마크 임베딩(i.e. 인코딩) 및 워터마크 디코딩과 관련된 모든 공지 기술이 본 발명에 따른 몇몇 실시예들에 적용될 수 있음을 유의해야 한다. 다시 도 2를 참조하여 설명하기로 한다.In more detail, the watermark embedding is described in the watermark-embedded image 30, and the watermark data 10 is inserted in the frequency domain of the original image 20 transformed based on the FFT (Fast Fourier Transform) algorithm. After that, it can be generated through the inverse transform of the FFT. As described with reference to FIG. 1, the watermark data 10 is managed with security maintained inside the system, and the watermark can be detected by performing the embedding operation in reverse. It should be noted that all known techniques related to watermark embedding (i.e. encoding) and watermark decoding can be applied in some embodiments according to the present invention. It will be described with reference to FIG. 2 again.

입력 이미지에 워터마크가 감지되면(S200) 단계 S300에서, 데이터베이스에 저장된 복수의 원본 이미지 중 입력 이미지와의 유사도가 기준치 이상인 원본 이미지가 존재하는지 여부가 판정될 수 있다. 본 실시예에 따르면, 워터마크를 이용한 위변조 이미지 판정에 더해, 데이터베이스에 저장된 원본 이미지와 입력 이미지의 비교를 통해서 보다 정확하게 위변조 이미지를 판정할 수 있다. 보다 구체적인 설명을 위해 도 4를 참조하여 설명하기로 한다.When a watermark is detected in the input image (S200), in step S300, it may be determined whether an original image having a similarity to the input image greater than or equal to a reference value exists among a plurality of original images stored in the database. According to the present embodiment, in addition to determining the forged image using a watermark, the forged image can be more accurately determined through comparison between an original image stored in a database and an input image. For a more detailed explanation, it will be described with reference to FIG. 4 .

도 4를 참조하면, 단계 S310에서 입력 이미지와 데이터베이스에 저장된 복수의 원본 이미지 각각의 유사도가 산출될 수 있으며, 단계 S320에서 산출된 유사도가 최대인 원본 이미지의 유사도가 기준치 이상인지 판정될 수 있다.Referring to FIG. 4 , the similarity between the input image and each of the plurality of original images stored in the database may be calculated in step S310, and it may be determined whether the similarity of the original image having the maximum similarity calculated in step S320 is equal to or greater than a reference value.

단계 S310과 관련된 몇몇 실시예에서, 복수의 원본 이미지 각각의 히스토그램과 입력 이미지의 히스토그램을 비교함으로써, 입력 이미지와 복수의 원본 이미지 각각의 유사도가 산출될 수 있다. 다만, 각각의 이미지의 히스토그램을 비교하여 유사도를 산출하는 방법 외에도 이미지 사이의 유사도를 산출할 수 있는 모든 공지된 방법이 본 발명에 따른 몇몇 실시예에 적용될 수 있다. 예를 들어, ResNet(Residual Neural Network) 알고리즘이 적용될 수도 있다. 다시 도 2를 참조하여 설명하기로 한다.In some embodiments related to step S310, the similarity between the input image and each of the plurality of original images may be calculated by comparing the histogram of each of the plurality of original images with the histogram of the input image. However, in addition to the method of calculating the similarity by comparing the histogram of each image, all known methods capable of calculating the similarity between images may be applied to some embodiments according to the present invention. For example, a Residual Neural Network (ResNet) algorithm may be applied. It will be described with reference to FIG. 2 again.

유사도가 기준치 이상인 원본 이미지가 존재하면(S400), 단계 S500에서 입력 이미지에 대한 OOD(Out-Of-Distribution) 탐지가 수행될 수 있다. 여기서, OOD 탐지는, 원본 이미지의 분포를 In-Distribution 데이터로 정의하면, 그 외의 이미지의 분포를 Out-Of-Distribution 데이터로 판정하는 탐지 방법을 의미할 수 있다. 즉, OOD 탐지 방법은, 원본 이미지를 이용하여 다중 클래스 분류 모델을 학습시켜, 원본 이미지 외의 이미지를 위변조 이미지(i.e. Out-Of-Distribution)로 검출하는 다중 클래스 분류 모델을 이용하는 탐지 방법이다. 본 실시예에 따르면, 워터마크를 이용한 위변조 이미지 판정 및 데이터베이스에 저장된 이미지와의 유사도 산출을 이용한 위변조 이미지 판정에 더해, OOD 탐지를 통해서 보다 더 정확하게 위변조 이미지를 판정할 수 있다. 보다 구체적인 설명을 위해 도 8 및 도 9를 참조하여 설명하기로 한다.If an original image having a similarity equal to or greater than a reference value exists (S400), OOD (Out-Of-Distribution) detection may be performed on the input image in step S500. Here, OOD detection may refer to a detection method in which the distribution of the original image is defined as in-distribution data and the distribution of other images is determined as out-of-distribution data. That is, the OOD detection method is a detection method using a multi-class classification model that trains a multi-class classification model using an original image and detects an image other than the original image as a forged image (i.e. Out-Of-Distribution). According to the present embodiment, in addition to determining a forged image using a watermark and calculating a similarity with an image stored in a database, it is possible to more accurately determine a forged image through OOD detection. For a more detailed explanation, it will be described with reference to FIGS. 8 and 9 .

도 8은 본 발명의 몇몇 실시예에서 참조될 수 있는 OOD 탐지 동작을 보다 구체적으로 설명하기 위한 예시적인 도면이고, 도 9는 도 8을 참조하여 설명된 OOD 탐지 동작이 이미지에 적용되는 일례를 설명하기 위한 예시적인 도면이다.8 is an exemplary diagram for explaining an OOD detection operation that may be referred to in some embodiments of the present invention in more detail, and FIG. 9 illustrates an example in which the OOD detection operation described with reference to FIG. 8 is applied to an image. It is an exemplary drawing for doing.

예를 들어, 사용자가 마우스로 그린 이미지가 0 내지 9 중 어떤 숫자인지를 예측하는 모델이 있다고 가정할 때, 도 8에는 상술한 모델에 입력될 입력 이미지(40)의 일례를 나타내고 있다. 입력 이미지(40)는 0 내지 9의 숫자와 무관한 그림이므로, 이상적 모델(43)에 입력하면 "Unknown"으로 분류되는 것이 타당하다. 다만, 예시적인 CNN 모델(41)의 경우, 매우 높은 확률로 입력 이미지(40)를 "3"이라는 클래스로 분류했으며, 예시적인 MLP 모델(42)의 경우, 높은 확률로 입력 이미지(40)를 "0"이라는 클래스로 분류했다.For example, assuming that there is a model that predicts which number among 0 to 9 is an image drawn by a user with a mouse, FIG. 8 shows an example of an input image 40 to be input to the above-described model. Since the input image 40 is a picture unrelated to the numbers 0 to 9, it is reasonable to classify it as “Unknown” when inputting it to the ideal model 43. However, in the case of the exemplary CNN model 41, the input image 40 was classified into the class “3” with a very high probability, and in the case of the exemplary MLP model 42, the input image 40 was classified with a high probability. Classified as "0".

상술한 예시와 같이 입력 이미지가 특정 클래스에 속하지 않는 경우에 "Unknown"이라는 새로운 클래스를 추가하여 분류하는 방법이 있을 수 있겠으나, 이러한 방법은 학습된 인공 신경망을 클래스를 추가하여 다시 학습해야만 하는 문제가 있으며, "Unknown" 클래스에 포함될 학습 데이터들을 다양하게 취득해야만 하는 문제도 있다. 따라서, 새로운 클래스로의 분류 없이도 특정 클래스에 속하지 않는 경우를 판정해낼 수 있는 기술로써, OOD 탐지가 활용될 수 있다.As in the above example, if the input image does not belong to a specific class, there may be a method of classifying it by adding a new class called "Unknown", but this method is a problem in that the trained artificial neural network must be retrained by adding a class. There is, and there is also a problem of acquiring various learning data to be included in the "Unknown" class. Therefore, OOD detection can be utilized as a technique capable of determining cases that do not belong to a specific class without classification into a new class.

OOD 탐지에는 일종의 다중 클래스 분류 방법, 예를 들어, Softmax 알고리즘이 이용됨으로써, 신뢰도 높게 클래스가 분류될 수 있다. 보다 구체적으로 설명하면, Softmax 알고리즘은 입력 이미지가 복수의 클래스 각각에 속할 확률을 출력하고, 복수의 클래스 각각에 속할 확률 중 최대 확률(Maximum Softmax Probability)을 미리 정한 기준 수치와 비교함으로써, 미리 결정된 복수의 클래스 중 어느 한 클래스에 속하지 않는 경우를 판정해낼 수 있다. 이러한 판정의 근거는, 입력 데이터가 Out-Of-Distribution 데이터일 때의 최대 확률이 입력 데이터가 In-Distribution 데이터일 때의 최대 확률에 비해 일반적으로 작은 경향을 가지는 점에 기인한 것이다. 예를 들어, 최대 확률이 기준 수치보다 작을 경우, 입력 데이터를 Out-Of-Distribution 데이터(i.e. 위변조 이미지)로 판정할 수 있다. 다른 예를 들어, 최대 확률이 기준 수치보다 클 경우, 입력 데이터를 In-Distribution 데이터(i.e. 원본 이미지)로 판정할 수 있다.Classes can be classified with high reliability by using a kind of multi-class classification method, for example, the Softmax algorithm, for OOD detection. More specifically, the Softmax algorithm outputs the probability that an input image belongs to each of a plurality of classes, and compares the maximum probability (Maximum Softmax Probability) among the probabilities of belonging to each of a plurality of classes with a predetermined reference value to determine a plurality of predetermined It is possible to determine a case that does not belong to any one of the classes of . The reason for this determination is that the maximum probability when the input data is out-of-distribution data tends to be smaller than the maximum probability when the input data is in-distribution data. For example, when the maximum probability is smaller than the reference value, the input data may be determined as out-of-distribution data (i.e. forged or altered image). For another example, if the maximum probability is greater than the reference value, the input data may be determined as In-Distribution data (i.e. original image).

도 9에는 원본 이미지(50) 및 그 외의 이미지(51)가 도시된다. 이때, 원본 이미지(50)를 이용하여 다중 클래스 분류 모델을 학습시켜, 원본 이미지 외의 이미지(51)를 다중 클래스에 포함되지 않은 새로운 클래스인 위변조 이미지 클래스로 분류함으로써, 원본 이미지 외의 이미지(51)를 위변조 이미지로 분류할 수 있다. 도 8 및 도 9에서 설명된 구체적인 예시에 본 발명이 한정되는 것은 아니고, 본 발명의 몇몇 실시예에서 적용될 수 있는 다중 클래스 분류 방법은 공지된 모든 방법이 적용될 수 있음을 유의해야 한다. 단계 S500과 관련된 보다 구체적인 설명을 위해 도 5 및 도 6을 참조하여 설명하기로 한다.9 shows an original image 50 and other images 51 . At this time, by learning a multi-class classification model using the original image 50 and classifying the image 51 other than the original image into a forged image class, which is a new class not included in the multi-class, the image 51 other than the original image It can be classified as forged images. It should be noted that the present invention is not limited to the specific examples described in FIGS. 8 and 9 , and all known methods can be applied to the multi-class classification method that can be applied in some embodiments of the present invention. For a more specific description related to step S500, it will be described with reference to FIGS. 5 and 6.

도 5의 단계 S510에서, 원본 이미지를 기초로 결정된 복수의 클래스와 입력 이미지와의 관련도가 기준 수치 이상인 클래스가 존재하는지 여부가 판정될 수 있고, 관련도가 기준 수치 이상인 클래스가 존재하면(S520), 단계 S530에서 입력 이미지가 원본 이미지로 판정될 수 있다. 또한, 관련도가 기준 수치 이상인 클래스가 존재하지 않으면(S530), 입력 이미지가 위변조 이미지로 판정될 수 있다. 도 6을 참조하여 단계 S510을 보다 구체적으로 설명하면, 단계 S511에서 입력 이미지와 복수의 클래스 각각의 관련도가 산출되고, 단계 S512에서 산출된 관련도가 최대인 클래스의 관련도가 기준 수치 이상인지 판정된다.In step S510 of FIG. 5 , it may be determined whether a plurality of classes determined based on the original image and a class having a degree of relevance to the input image of a reference value or more exist, and if a class having a degree of relevance of a reference value or more exists (S520 ), the input image may be determined as an original image in step S530. In addition, if there is no class having a degree of relevance greater than or equal to the reference value (S530), the input image may be determined to be a forged image. Referring to step S510 in more detail with reference to FIG. 6 , the degree of relevance between the input image and each of the plurality of classes is calculated in step S511, and whether the degree of relevance of the class having the maximum degree of relevance calculated in step S512 is equal to or greater than a reference value. it is judged

단계 S511과 관련된 몇몇 실시예에서, 관련도는 Softmax 알고리즘을 이용하여, 입력 이미지가 복수의 클래스 각각에 속할 확률을 의미할 수 있고, 관련도가 최대인 클래스의 관련도는, 산출된 확률이 최대인 클래스의 확률을 의미할 수 있다.In some embodiments related to step S511, the degree of relevance may mean a probability that the input image belongs to each of a plurality of classes using a Softmax algorithm, and the degree of relevance of the class having the maximum degree of relevance is such that the calculated probability is the maximum. may mean the probability of a class of

다시 도 2를 참조하여 설명하기로 한다.It will be described with reference to FIG. 2 again.

유사도가 기준치 이상인 원본 이미지가 존재하지 않으면(S400), 단계 S600에서 데이터베이스에 존재하지 않은 원본 이미지에 워터마크 데이터가 임베딩된 것으로 판단되어, 워터마크가 업데이트될 수 있다. 즉, 워터마크 데이터가 유출된 것으로 판단함으로써, 원본 이미지에 대한 보안의 강도가 상향될 수 있다. 예를 들어, 워터마크가 업데이트될 수 있으며, 복수의 원본 이미지에 적용될 워터마크의 개수가 증가될 수도 있다. 본 실시예에 따르면, 위변조 이미지 판정의 결과에 기초하여 원본 이미지에 대한 보안의 강도가 상향됨으로써, 이미지의 위변조 공격에 보다 유연하게 대응할 수 있다.If there is no original image whose similarity is equal to or greater than the reference value (S400), it is determined that watermark data is embedded in the original image that does not exist in the database in step S600, and the watermark can be updated. That is, by determining that the watermark data has been leaked, the strength of security for the original image can be increased. For example, a watermark may be updated, and the number of watermarks to be applied to a plurality of original images may be increased. According to this embodiment, since the strength of security for the original image is increased based on the result of determining the forgery image, it is possible to more flexibly respond to an image forgery attack.

다음으로 도 3을 참조하면, 입력 이미지에 워터마크가 감지되지 않으면(S200) 단계 S210에서, 데이터베이스에 저장된 복수의 원본 이미지 중 입력 이미지와의 유사도가 기준치 이상인 원본 이미지가 존재하는지 여부가 판정된다. 단계 S210의 구체적인 동작은 단계 S300과 관련된 설명을 참조하면 이해될 수 있을 것이다.Next, referring to FIG. 3 , if a watermark is not detected in the input image (S200), in step S210, it is determined whether an original image having a similarity with the input image equal to or greater than a reference value exists among a plurality of original images stored in the database. The detailed operation of step S210 will be understood by referring to the description related to step S300.

유사도가 기준치 이상인 원본 이미지가 존재하면(S220), 단계 S230에서 OOD 탐지 결과, In-Distribution 데이터이면, 워터마크가 임베딩되지 않은 원본 이미지로 판정될 수 있다. 또한, OOD 탐지 결과, Out-Of-Distribution 데이터이면, 위변조 이미지로 판정될 수 있다.If an original image having a similarity equal to or higher than the reference value exists (S220), if the OOD detection result in step S230 is In-Distribution data, it may be determined as an original image without a watermark embedded therein. In addition, if the OOD detection result is out-of-distribution data, it can be determined as a forged image.

유사도가 기준치 이상인 원본 이미지가 존재하지 않으면(S220), 입력 이미지는 워터마크가 감지되지 않고, 원본 이미지와의 유사도도 낮은 이미지로 판단된 것으로써, 위변조 이미지 판정의 대상이 아닌 이미지로 결정될 수 있다.If there is no original image whose similarity is greater than the reference value (S220), the input image is judged to be an image with no watermark detected and a low similarity to the original image, so it can be determined as an image that is not subject to forgery image determination. .

이상, 도 2 및 도 3을 참조하여 설명한 본 발명의 다른 실시예에 따른 위변조 이미지 판정 방법에 따르면, 위변조 이미지가 신뢰도 높게 판정될 수 있다. 특히, 위변조 이미지와 관련된 다양한 시나리오에 대비하여, 위변조 이미지를 판정할 수 있다. 예를 들어, 딥페이크 제작 장치가 워터마크가 임베딩된 원본 이미지를 위변조하여 워터마크가 변형된 경우에는, 단계 S230을 참조하여 설명된 동작에 의해 위변조 이미지가 판정될 수 있다. 다른 예를 들어, 딥페이크 제작 장치가 워터마크를 추출하여 위변조 이미지에 그대로 워터마크를 임베딩한 경우라도, 단계 S500을 참조하여 설명된 동작에 의해 위변조 이미지가 판정될 수 있다. 나아가, 위변조 이미지 판정 결과에 기초하여, 워터마크의 유출을 스스로 판단하여 보안 강도를 상향시킴으로써, 위변조 이미지에 적응적으로 대응할 수도 있다.According to the method for determining a forged or altered image according to another embodiment of the present invention described above with reference to FIGS. 2 and 3 , a forged or altered image can be determined with high reliability. In particular, in preparation for various scenarios related to forgery images, forgery images may be determined. For example, when the deepfake production apparatus forges and alters the original image in which the watermark is embedded and the watermark is transformed, the forged image may be determined by the operation described with reference to step S230. For another example, even when the deepfake production apparatus extracts the watermark and embeds the watermark as it is in the forged image, the forged image may be determined by the operation described with reference to step S500. Furthermore, based on the forged image determination result, it is possible to adaptively respond to forged or altered images by self-determining leakage of the watermark and increasing security strength.

도 10 및 도 11은 본 발명의 몇몇 실시예에서 참조될 수 있는 GAN 모델을 설명하기 위한 예시적인 도면이다. 도 1을 참조하여 설명된 바와 같이, 딥페이크 제작 장치를 구현하기 위해 GAN 모델이 이용될 수 있다. 또한, 위변조 이미지 판정 장치를 구현하기 위해 GAN 모델의 식별기(Discriminator)가 이용될 수도 있다.10 and 11 are exemplary diagrams for explaining GAN models that may be referred to in some embodiments of the present invention. As described with reference to FIG. 1 , a GAN model may be used to implement a deepfake production device. In addition, a discriminator of a GAN model may be used to implement a forgery image determination device.

도 10 및 도 11에 도시된 GAN 모델을 구체적으로 설명하면, 생성기(Generator, 60)는 랜덤 노이즈(Z, 61)를 이용하여, 위변조 이미지(62)를 생성할 수 있고, 식별기(Discriminator, 70)는 원본 이미지(71) 및 위변조 이미지(62) 각각을 원본 이미지인지 또는 위변조 이미지인지 판정(72)할 수 있다. 도 10은 식별기(70)의 학습 과정을 나타낸 것으로써, 생성기(60)의 파라미터를 고정시키고 원본 이미지(71)와 위변조 이미지(62)를 식별기(70)에 입력함으로써, 식별기(70)의 학습이 진행된다. 도 11은 생성기(60)의 학습 과정을 나타낸 것으로써, 식별기(70)의 파라미터를 고정시키고, 위변조 이미지(62)를 식별기(70)에 입력한 판정(72)의 결과를 이용함으로써, 생성기(60)의 학습이 진행된다. 즉, 대립적인 모델이 상호 견제를 통해 학습됨으로써, 식별기(70) 및 생성기(60) 각각의 성능의 향상이 극대화될 수 있다. 다만, 위변조 이미지 판정을 위한 학습 방법으로써 GAN 모델에 본 발명이 한정되는 것은 아니고, GAN 모델 이외에도 GAN 모델의 성능을 향상시킨 WGAN(Wasserstein GAN) 및 WGAN-GP 등을 포함하는 모든 공지된 방법이 본 발명에 적용될 수 있음을 유의해야 한다. 10 and 11 are described in detail, the generator (Generator, 60) can generate a forged image (62) using random noise (Z, 61), and the discriminator (Discriminator, 70) ) may determine whether each of the original image 71 and the forged image 62 is an original image or a forged image (72). 10 shows the learning process of the identifier 70. The identifier 70 learns by fixing the parameters of the generator 60 and inputting the original image 71 and the forged image 62 into the identifier 70. this is going on 11 shows the learning process of the generator 60, by fixing the parameters of the identifier 70 and using the result of the decision 72 inputting the forged image 62 to the identifier 70, the generator ( 60) is in progress. That is, as the opposing models are learned through mutual check, improvement in performance of each of the discriminator 70 and the generator 60 can be maximized. However, the present invention is not limited to the GAN model as a learning method for determining forged images, and all known methods including WGAN (Wasserstein GAN) and WGAN-GP, etc. It should be noted that it can be applied to the invention.

이하, 도 12를 참조하여 본 발명의 일 실시예에 따른 위변조 이미지 판정 장치를 구현할 수 있는 예시적인 컴퓨팅 장치(1500)를 보다 구체적으로 설명하기로 한다.Hereinafter, with reference to FIG. 12 , an exemplary computing device 1500 capable of implementing a forgery image determination device according to an embodiment of the present invention will be described in more detail.

컴퓨팅 장치(1500)는 하나 이상의 프로세서(1510), 버스(1550), 통신 인터페이스(1570), 프로세서(1510)에 의하여 수행되는 컴퓨터 프로그램(1591)을 로드(load)하는 메모리(1530)와, 컴퓨터 프로그램(1591)을 저장하는 스토리지(1590)를 포함할 수 있다. 다만, 도 12에는 본 발명의 실시예와 관련 있는 구성 요소들 만이 도시되어 있다. 따라서, 본 발명이 속한 기술분야의 통상의 기술자라면 도 12에 도시된 구성 요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.The computing device 1500 includes one or more processors 1510, a bus 1550, a communication interface 1570, a memory 1530 for loading a computer program 1591 executed by the processor 1510, and a computer A storage 1590 for storing the program 1591 may be included. However, only components related to the embodiment of the present invention are shown in FIG. 12 . Accordingly, those skilled in the art to which the present invention pertains know that other general-purpose components may be further included in addition to the components shown in FIG. 12 .

프로세서(1510)는 컴퓨팅 장치(1500)의 각 구성의 전반적인 동작을 제어한다. 프로세서(1510)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다. 또한, 프로세서(1510)는 본 발명의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다. 컴퓨팅 장치(1500)는 하나 이상의 프로세서를 구비할 수 있다.The processor 1510 controls the overall operation of each component of the computing device 1500 . The processor 1510 includes a Central Processing Unit (CPU), a Micro Processor Unit (MPU), a Micro Controller Unit (MCU), a Graphic Processing Unit (GPU), or any type of processor well known in the art. It can be. Also, the processor 1510 may perform an operation for at least one application or program for executing a method according to embodiments of the present invention. Computing device 1500 may include one or more processors.

메모리(1530)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(1530)는 본 발명의 실시예들에 따른 방법을 실행하기 위하여 스토리지(1590)로부터 하나 이상의 프로그램(1591)을 로드 할 수 있다. 메모리(1530)는 RAM과 같은 휘발성 메모리로 구현될 수 있을 것이나, 본 발명의 기술적 범위가 이에 한정되는 것은 아니다.Memory 1530 stores various data, commands and/or information. Memory 1530 may load one or more programs 1591 from storage 1590 to execute a method according to embodiments of the present invention. The memory 1530 may be implemented as a volatile memory such as RAM, but the technical scope of the present invention is not limited thereto.

버스(1550)는 컴퓨팅 장치(1500)의 구성 요소 간 통신 기능을 제공한다. 버스(1550)는 주소 버스(Address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.The bus 1550 provides a communication function between components of the computing device 1500 . The bus 1550 may be implemented as various types of buses such as an address bus, a data bus, and a control bus.

통신 인터페이스(1570)는 컴퓨팅 장치(1500)의 유무선 인터넷 통신을 지원한다. 또한, 통신 인터페이스(1570)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 통신 인터페이스(1570)는 본 발명의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다.The communication interface 1570 supports wired and wireless Internet communication of the computing device 1500 . Also, the communication interface 1570 may support various communication methods other than Internet communication. To this end, the communication interface 1570 may include a communication module well known in the art.

몇몇 실시예들에 따르면, 통신 인터페이스(1570)는 생략될 수도 있다.According to some embodiments, communication interface 1570 may be omitted.

스토리지(1590)는 상기 하나 이상의 프로그램(1591)과 각종 데이터를 비임시적으로 저장할 수 있다. The storage 1590 may non-temporarily store the one or more programs 1591 and various data.

스토리지(1590)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.The storage 1590 may be a non-volatile memory such as read only memory (ROM), erasable programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), flash memory, or the like, a hard disk, a removable disk, or a device well known in the art. It may be configured to include any known type of computer-readable recording medium.

컴퓨터 프로그램(1591)은 메모리(1530)에 로드 될 때 프로세서(1510)로 하여금 본 발명의 다양한 실시예에 따른 방법/동작을 수행하도록 하는 하나 이상의 인스트럭션들을 포함할 수 있다. 즉, 프로세서(1510)는 상기 하나 이상의 인스트럭션들을 실행함으로써, 본 발명의 다양한 실시예에 따른 방법/동작들을 수행할 수 있다.Computer program 1591 may include one or more instructions that when loaded into memory 1530 cause processor 1510 to perform methods/operations in accordance with various embodiments of the invention. That is, the processor 1510 may perform methods/operations according to various embodiments of the present disclosure by executing the one or more instructions.

위와 같은 경우, 컴퓨팅 장치(1500)를 통해 본 발명의 일 실시예에 따른 위변조 이미지 판정 장치가 구현될 수 있다.In the above case, the forgery image determination device according to an embodiment of the present invention may be implemented through the computing device 1500 .

지금까지 도 1 내지 도 12를 참조하여 본 발명의 다양한 실시예들 및 그 실시예들에 따른 효과들을 언급하였다. 본 발명의 기술적 사상에 따른 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 명세서의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.So far, various embodiments of the present invention and effects according to the embodiments have been described with reference to FIGS. 1 to 12 . Effects according to the technical idea of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description of the specification.

지금까지 도 1 내지 도 12를 참조하여 설명된 본 발명의 기술적 사상은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체는, 예를 들어 이동형 기록 매체(CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크)이거나, 고정식 기록 매체(ROM, RAM, 컴퓨터 구비 형 하드 디스크)일 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 상기 다른 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 다른 컴퓨팅 장치에서 사용될 수 있다.The technical idea of the present invention described with reference to FIGS. 1 to 12 so far can be implemented as computer readable code on a computer readable medium. The computer-readable recording medium may be, for example, a removable recording medium (CD, DVD, Blu-ray disc, USB storage device, removable hard disk) or a fixed recording medium (ROM, RAM, computer-equipped hard disk). can The computer program recorded on the computer-readable recording medium may be transmitted to another computing device through a network such as the Internet, installed in the other computing device, and thus used in the other computing device.

이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명의 기술적 사상이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.In the above, even though all the components constituting the embodiment of the present invention have been described as being combined or operated as one, the technical spirit of the present invention is not necessarily limited to these embodiments. That is, within the scope of the object of the present invention, all of the components may be selectively combined with one or more to operate.

도면에서 동작들이 특정한 순서로 도시되어 있지만, 반드시 동작들이 도시된 특정한 순서로 또는 순차적 순서로 실행 되어야만 하거나 또는 모든 도시 된 동작들이 실행 되어야만 원하는 결과를 얻을 수 있는 것으로 이해되어서는 안 된다. 특정 상황에서는, 멀티태스킹 및 병렬 처리가 유리할 수도 있다. 더욱이, 위에 설명한 실시예들에서 다양한 구성들의 분리는 그러한 분리가 반드시 필요한 것으로 이해되어서는 안 되고, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키지 될 수 있음을 이해하여야 한다.Although actions are shown in a specific order in the drawings, it should not be understood that the actions must be performed in the specific order shown or in a sequential order, or that all depicted actions must be performed to obtain a desired result. In certain circumstances, multitasking and parallel processing may be advantageous. Moreover, the separation of the various components in the embodiments described above should not be understood as requiring such separation, and the described program components and systems may generally be integrated together into a single software product or packaged into multiple software products. It should be understood that there is

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 본 발명이 다른 구체적인 형태로도 실시될 수 있다는 것을 이해할 수 있다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명에 의해 정의되는 기술적 사상의 권리범위에 포함되는 것으로 해석되어야 할 것이다.Although the embodiments of the present invention have been described with reference to the accompanying drawings, those skilled in the art can implement the present invention in other specific forms without changing the technical spirit or essential features. can understand that there is Therefore, the embodiments described above should be understood as illustrative in all respects and not limiting. The protection scope of the present invention should be construed according to the claims below, and all technical ideas within the equivalent range should be construed as being included in the scope of the technical ideas defined by the present invention.

Claims (13)

컴퓨팅 장치에 의해 수행되는 방법에 있어서,
입력 이미지에 임베딩된 워터마크를 감지하는 단계;
상기 워터마크가 감지되면, 복수의 원본 이미지를 포함하는 데이터베이스에 상기 입력 이미지와의 유사도가 기준치 이상인 원본 이미지가 존재하는지 여부를 판정하는 단계;
상기 유사도의 판정 결과, 상기 입력 이미지와의 유사도가 기준치 이상인 원본 이미지가 존재하면, 상기 입력 이미지에 대한 OOD(Out-Of-Distribution) 탐지를 수행하는 단계; 및
상기 OOD 탐지의 수행 결과를 이용하여 상기 입력 이미지가 위변조 이미지인지의 여부를 판정하는 단계를 포함하는,
위변조 이미지 판정 방법.In a method performed by a computing device,
detecting a watermark embedded in an input image;
if the watermark is detected, determining whether an original image having a degree of similarity with the input image greater than or equal to a reference value exists in a database including a plurality of original images;
performing OOD (Out-Of-Distribution) detection on the input image when the original image having a similarity to the input image equal to or greater than a reference value exists as a result of the similarity determination; and
Including the step of determining whether the input image is a forged image by using a result of performing the OOD detection,
How to determine forged images. 제1 항에 있어서,
상기 워터마크는,
상기 복수의 원본 이미지 각각에 임베딩된 인비저블 워터마크(Invisible Watermark)와 동일한 워터마크인,
위변조 이미지 판정 방법.According to claim 1,
The watermark,
A watermark identical to an invisible watermark embedded in each of the plurality of original images,
How to determine forged images. 제1 항에 있어서,
상기 유사도가 기준치 이상인 원본 이미지가 존재하는지 여부를 판정하는 단계는,
상기 입력 이미지와 상기 복수의 원본 이미지 각각의 유사도를 산출하는 단계; 및
상기 산출된 유사도가 최대인 원본 이미지의 유사도가 기준치 이상인지 판정하는 단계를 포함하는,
위변조 이미지 판정 방법.According to claim 1,
In the step of determining whether an original image having a similarity equal to or greater than a reference value exists,
calculating a similarity between the input image and each of the plurality of original images; and
Determining whether the similarity of the original image having the maximum similarity calculated is greater than or equal to a reference value,
How to determine forged images. 제3 항에 있어서,
상기 유사도를 산출하는 단계는,
상기 복수의 원본 이미지 각각의 히스토그램과 상기 입력 이미지의 히스토그램을 비교하여 상기 유사도를 산출하는 단계를 포함하는,
위변조 이미지 판정 방법.According to claim 3,
The step of calculating the similarity is,
Comprising the step of calculating the similarity by comparing a histogram of each of the plurality of original images with a histogram of the input image,
How to determine forged images. 제1 항에 있어서,
상기 유사도가 기준치 미만이면, 상기 워터마크를 업데이트하는 단계를 더 포함하는,
위변조 이미지 판정 방법.According to claim 1,
If the degree of similarity is less than a reference value, further comprising updating the watermark.
How to determine forged images. 제1 항에 있어서,
상기 OOD 탐지를 수행하는 단계는,
상기 복수의 원본 이미지에 기초하여 결정된 복수의 클래스와 상기 입력 이미지와의 관련도가 기준 수치 이상인 클래스가 존재하는지 여부를 판정하는 단계를 포함하는,
위변조 이미지 판정 방법.According to claim 1,
The step of performing the OOD detection,
Determining whether a plurality of classes determined based on the plurality of original images and a class having a degree of relevance between the input image and the input image are equal to or greater than a reference value,
How to determine forged images. 제6 항에 있어서,
상기 OOD 탐지의 수행 결과를 이용하여 상기 입력 이미지가 위변조 이미지인지의 여부를 판정하는 단계는,
상기 관련도의 판정 결과, 상기 입력 이미지와의 관련도가 기준 수치 이상인 클래스가 존재하면, 상기 입력 이미지를 원본 이미지로 판정하는 단계를 포함하는,
위변조 이미지 판정 방법.According to claim 6,
The step of determining whether the input image is a forged image by using the result of performing the OOD detection,
As a result of determining the degree of relevance, if a class having a degree of relevance to the input image that is greater than or equal to a reference value exists, determining the input image as an original image.
How to determine forged images. 제6 항에 있어서,
상기 OOD 탐지의 수행 결과를 이용하여 상기 입력 이미지가 위변조 이미지인지의 여부를 판정하는 단계는,
상기 관련도의 판정 결과, 상기 입력 이미지와의 관련도가 기준 수치 이상인 클래스가 존재하지 않으면, 상기 입력 이미지를 위변조 이미지로 판정하는 단계를 포함하는,
위변조 이미지 판정 방법.According to claim 6,
The step of determining whether the input image is a forged image by using the result of performing the OOD detection,
As a result of determining the degree of relevance, if there is no class having a degree of relevance with the input image equal to or greater than a reference value, determining the input image as a forged image.
How to determine forged images. 제6 항에 있어서,
상기 관련도가 기준 수치 이상인 클래스가 존재하는지 여부를 판정하는 단계는,
상기 입력 이미지와 상기 복수의 클래스 각각의 관련도를 산출하는 단계; 및
상기 산출된 관련도가 최대인 클래스의 관련도가 기준 수치 이상인지 판정하는 단계를 포함하는,
위변조 이미지 판정 방법.According to claim 6,
In the step of determining whether a class having a degree of relevance equal to or greater than a reference value exists,
calculating a degree of relevance between the input image and each of the plurality of classes; and
Determining whether the degree of relevance of the class having the maximum degree of relevance calculated is greater than or equal to a reference value,
How to determine forged images. 제9 항에 있어서,
상기 관련도를 산출하는 단계는,
Softmax 알고리즘을 이용하여, 상기 입력 이미지가 상기 복수의 클래스 각각에 속할 확률을 산출하는 단계를 포함하고,
상기 산출된 관련도가 최대인 클래스의 관련도는,
상기 산출된 확률이 최대인 클래스의 확률인,
위변조 이미지 판정 방법.According to claim 9,
In the step of calculating the degree of relevance,
Calculating a probability that the input image belongs to each of the plurality of classes using a Softmax algorithm;
The degree of relevance of the class with the maximum degree of relevance calculated above is,
The probability of the class in which the calculated probability is maximum,
How to determine forged images. 제1 항에 있어서,
상기 입력 이미지는,
딥페이크 영상의 스크린샷 이미지인,
위변조 이미지 판정 방법.According to claim 1,
The input image,
A screenshot image of a deepfake video,
How to determine forged images. 프로세서;
네트워크 인터페이스;
메모리; 및
상기 메모리에 로드(load)되고, 상기 프로세서에 의해 실행되는 컴퓨터 프로그램을 포함하되,
상기 컴퓨터 프로그램은,
입력 이미지에 임베딩된 워터마크를 감지하는 인스트럭션(Instruction);
상기 워터마크가 감지되면, 복수의 원본 이미지를 포함하는 데이터베이스에 상기 입력 이미지와의 유사도가 기준치 이상인 원본 이미지가 존재하는지 여부를 판정하는 인스트럭션;
상기 유사도의 판정 결과, 상기 입력 이미지와의 유사도가 기준치 이상인 원본 이미지가 존재하면, 상기 입력 이미지에 대한 OOD(Out-Of-Distribution) 탐지를 수행하는 인스트럭션; 및
상기 OOD 탐지의 수행 결과를 이용하여 상기 입력 이미지가 위변조 이미지인지의 여부를 판정하는 인스트럭션을 포함하는,
위변조 이미지 판정 장치.processor;
network interface;
Memory; and
A computer program loaded into the memory and executed by the processor,
The computer program,
Instructions for detecting a watermark embedded in an input image;
if the watermark is detected, an instruction for determining whether an original image having a degree of similarity with the input image greater than or equal to a reference value exists in a database including a plurality of original images;
an instruction for performing OOD (Out-Of-Distribution) detection on the input image, if an original image having a similarity to the input image equal to or greater than a reference value exists as a result of the similarity determination; and
Including an instruction for determining whether the input image is a forged image by using a result of performing the OOD detection,
Counterfeit image determination device. 제12 항에 있어서,
카메라를 더 포함하는,
위변조 이미지 판정 장치.According to claim 12,
further comprising a camera,
Counterfeit image determination device.
KR1020210050342A 2021-04-19 2021-04-19 Method and apparatus for discriminating between original image and forgery image based on out-of-distribution detection KR102525486B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210050342A KR102525486B1 (en) 2021-04-19 2021-04-19 Method and apparatus for discriminating between original image and forgery image based on out-of-distribution detection
KR1020230051941A KR102631954B1 (en) 2021-04-19 2023-04-20 Method and apparatus for discriminating between original image and forgery image based on out-of-distribution detection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210050342A KR102525486B1 (en) 2021-04-19 2021-04-19 Method and apparatus for discriminating between original image and forgery image based on out-of-distribution detection

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020230051941A Division KR102631954B1 (en) 2021-04-19 2023-04-20 Method and apparatus for discriminating between original image and forgery image based on out-of-distribution detection

Publications (2)

Publication Number Publication Date
KR20220144101A KR20220144101A (en) 2022-10-26
KR102525486B1 true KR102525486B1 (en) 2023-05-02

Family

ID=83784321

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020210050342A KR102525486B1 (en) 2021-04-19 2021-04-19 Method and apparatus for discriminating between original image and forgery image based on out-of-distribution detection
KR1020230051941A KR102631954B1 (en) 2021-04-19 2023-04-20 Method and apparatus for discriminating between original image and forgery image based on out-of-distribution detection

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020230051941A KR102631954B1 (en) 2021-04-19 2023-04-20 Method and apparatus for discriminating between original image and forgery image based on out-of-distribution detection

Country Status (1)

Country Link
KR (2) KR102525486B1 (en)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8004576B2 (en) * 2008-10-31 2011-08-23 Digimarc Corporation Histogram methods and systems for object recognition
KR101178855B1 (en) * 2010-05-03 2012-09-03 남궁종 Method and apparatus for iris recognition and wireless communications devic security system using it
KR102286468B1 (en) 2019-01-23 2021-08-06 건국대학교 산학협력단 Method and system for integrity verification of fake video created through deep learning

Also Published As

Publication number Publication date
KR20220144101A (en) 2022-10-26
KR102631954B1 (en) 2024-01-31
KR20230066278A (en) 2023-05-15

Similar Documents

Publication Publication Date Title
KR102008290B1 (en) Method and apparatus for detecting action of object in viedio stream
US11106903B1 (en) Object detection in image data
US11762998B2 (en) System and method for protection and detection of adversarial attacks against a classifier
CN113360912A (en) Malicious software detection method, device, equipment and storage medium
US11301704B2 (en) Method and apparatus with image recognition
KR102099019B1 (en) Identifying method of user based on generative model for watermark and watermarking method based on generative model
CN115861675A (en) Object classification method and device
KR102525486B1 (en) Method and apparatus for discriminating between original image and forgery image based on out-of-distribution detection
Ziou et al. Efficient steganalysis of images: learning is good for anticipation
CN117197857A (en) Face counterfeiting attack detection and face recognition method, device and equipment
US20230005122A1 (en) Image forgery detection via pixel-metadata consistency analysis
KR102315605B1 (en) Deep learning based watermarking system for various kinds of content copyright protection and method therefor
KR102387061B1 (en) Apparatus and method for detecting deep learning based image in various kinds of content environment
Shibel et al. Deep learning detection of facial biometric presentation attack
KR102592718B1 (en) Method and apparatus for discriminating between original image and forgery image based on adding noise
KR20230066560A (en) Method and electronic device for detecting and removing artifacts/degradation in media
KR20220043340A (en) Apparatus and method for generating building defect image
KR20210123674A (en) Method for detecting out-of-distribution data using test-time augmentation and apparatus performing the same
CN114596638A (en) Face living body detection method, device and storage medium
KR20220154576A (en) Method and apparatus for learning of forgery image judgement model
KR102615055B1 (en) Adversarial example restoration system and adversarial example restoration method
KR102451552B1 (en) Content analysis system for authenticity verifying of content based on deep learning
KR102239771B1 (en) Apparatus and method for executing deep learning based watermark in various kinds of content environment
KR102665968B1 (en) Method and apparatus for blur estimation
KR102663350B1 (en) Adversarial perturbation image detection method and computer program stored in a recording medium to execute the method

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right