KR101229376B1 - 렌즈 왜곡 보정에 사용된 보간 패턴 검출을 통한 촬영 카메라 식별 방법 및 장치 - Google Patents

렌즈 왜곡 보정에 사용된 보간 패턴 검출을 통한 촬영 카메라 식별 방법 및 장치 Download PDF

Info

Publication number
KR101229376B1
KR101229376B1 KR1020120043028A KR20120043028A KR101229376B1 KR 101229376 B1 KR101229376 B1 KR 101229376B1 KR 1020120043028 A KR1020120043028 A KR 1020120043028A KR 20120043028 A KR20120043028 A KR 20120043028A KR 101229376 B1 KR101229376 B1 KR 101229376B1
Authority
KR
South Korea
Prior art keywords
pattern
image
interpolation
interpolation pattern
trimmed
Prior art date
Application number
KR1020120043028A
Other languages
English (en)
Inventor
황민구
하동환
김동민
Original Assignee
대한민국
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 대한민국 filed Critical 대한민국
Priority to KR1020120043028A priority Critical patent/KR101229376B1/ko
Application granted granted Critical
Publication of KR101229376B1 publication Critical patent/KR101229376B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0147—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation using an indication of film mode or an indication of a specific pattern, e.g. 3:2 pull-down pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/755—Deformable models or variational models, e.g. snakes or active contours
    • G06V10/7553—Deformable models or variational models, e.g. snakes or active contours based on shape, e.g. active shape models [ASM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 종래 기술들의 문제점을 극복하기 위해, 카메라 제조사 및 기종에 따라 다른 렌즈 왜곡 보정(Lens Distortion Correction)에 의한 보간 패턴의 특성을 검출하여 촬영 카메라를 식별하는 방법 및 장치 등을 제공한다. 그 촬영 카메라를 식별하는 방법은 이미지로부터 상기 이미지를 촬영하는 데 사용된 카메라의 렌즈 왜곡 보정에 사용된 보간 패턴을 검출하는 과정; 상기 검출 과정에서 검출된 보간 패턴을 카메라 기종별 보간 패턴을 저장하고 있는 패턴 라이브러리에 저장된 보간 패턴과 비교하는 과정; 및 상기 검출된 보간 패턴과 동일한 패턴을 갖거나 상기 검출된 보간 패턴을 일부분으로 갖는 보간 패턴을 찾아내어, 찾아진 상기 보간 패턴으로부터 상기 이미지를 촬영한 카메라 기종을 식별하는 과정을 포함한다. 또한 그 촬영 카메라를 식별하는 장치는 이미지를 입력받는 입력부; 상기 입력부가 입력받은 이미지로부터 촬영하는 데 사용된 카메라의 렌즈 왜곡 보정에 사용된 보간 패턴을 검출하는 연산부; 각 카메라 기종별 보간 패턴을 저장하고 있는 패턴 라이브러리부; 상기 패턴 라이브러리부에서 상기 연산부가 검출한 보간 패턴과 동일한 패턴을 갖거나 상기 검출된 보간 패턴을 일부분으로 하는 패턴을 찾아내는 검색부; 및 상기 검색부가 검색한 결과를 기초로 상기 이미지를 촬영한 카메라 기종을 결정하는 판단부를 포함한다.

Description

렌즈 왜곡 보정에 사용된 보간 패턴 검출을 통한 촬영 카메라 식별 방법 및 장치{Method and Apparatus for Identifying Source Camera by Detecting Interpolaton Pattern Used in Lens Distortion Correction}
본 발명은 디지털 사진의 출처가 되는 카메라를 식별하는 방법 및 장치에 관한 것으로, 더욱 상세하게는 렌즈 왜곡 보정에 사용된 보간 패턴 검출을 통해 디지털 사진의 촬영에 사용된 카메라의 기종을 식별하는 방법 및 장치에 관한 것이다.
속성정보라고 일컬어지는 메타데이터(Metadata)는 콘텐츠를 설명하는 정보이자 콘텐츠에 부속되는 정보이다. 디지털 카메라로 촬영한 이미지 데이터에도 메타데이터가 부수적으로 포함되어 있다. 이러한 메타데이터는 디지털 사진의 원형을 알 수 있기 때문에 사진의 출처를 확인할 수 있는 중요한 단서의 역할을 한다. 특히 촬영 메커니즘과 관련된 렌즈 화각, 센서 사이즈, 조리개 수치, 감도 등은 디지털 사진 생성의 출발점을 알 수 있는 중요한 데이터이다. 하지만 "Microsoft Photo InfoTM, "PhotoshopTM"과 같은 소프트웨어를 통하면 메타데이터를 얼마든지 삭제 또는 수정할 수 있어 디지털 사진이 가진 기초정보를 신뢰할 수 없다. 디지털 사진의 출처를 왜곡할 수 있는 이러한 문제점 때문에 법집행기관에서 사진을 통하여 사건을 분석하고 감정하는 데 혼선을 주고 있다. 특히 증거의 출처를 명시하는 법집행기관에 변형된 메타데이터를 가진 디지털 사진은 객관적 증거의 역할을 할 수 없다. 따라서 출처가 불분명한 디지털 사진에 대해 객관적 검증방법을 통해 디지털 사진의 출처를 명확하게 식별할 필요성이 대두되고 있다.
메타데이터 정보가 사라지거나 조작된 이미지로부터 촬영에 사용된 카메라의 종류를 분석하기 위한 방법들이 진행되어 왔다. 이러한 방법들은 촬영에 사용된 디지털 카메라의 종류를 식별하는 방법으로 서로 다른 기종간의 유사도 비교를 하였다. 즉, 하나의 카메라에서 측정된 CFA(Color Filter Array) 또는 CCD(Charge Coupled Device) 노이즈 패턴을 다른 카메라와 비교하여 유사 여부 및 그 정도를 확인하는 방법이다. 그러나 이러한 유사도 비교 방법에는 두 가지 문제점이 존재한다.
첫째, 지금까지의 방법들은 대부분 카메라 기종에 대한 고유의 성분을 확인하기 위해서 타 기종과의 유사도 비교를 하여 그 값에 따라 카메라의 기종을 식별하였다. 하지만 비교 대상 군은 동일 제조사의 제품일지라도 카메라의 종류에 따라서 유사도 차이가 있을 수 있으며, 모든 제품의 카메라와 유사도 매칭(matching)을 한다는 것은 제조사 기종에 따라서 변수가 상당히 많아져 효율적인 분석이 어렵다는 문제점이 있다.
둘째, 기존의 방법들은 원본이 편집되지 않았다는 전제 하에 연구가 진행되었기 때문에 트리밍(trimming) 등에 의해 이미지의 사이즈에 변화가 있게 되면, 유사도 수치는 최초보다 그 유사도의 차이가 많아져 효과적인 검출이 불가능한 문제점이 있다.
이와 같은 문제점을 극복하고 촬영 카메라의 식별에 대한 신뢰도를 높이기 위해서는 각 기종간의 유사도 비교가 아니라 카메라별로 나타나는 고유의 특정 패턴을 검출하는 것이 필요하다. 또한 트리밍된 이미지에 있어서도 유지될 수 있는 촬영 카메라의 특성을 검출하는 것이 필요하다.
도 1은 디지털 카메라 내부에서 수행되는 일반적인 이미지 프로세싱(Image Processing) 과정을 나타내는 흐름도이다. 디지털 카메라로 촬영된 최종 이미지는 도 1과 같이 카메라에 내장된 다양한 이미지 프로세싱 단계를 거쳐 생성된다. 기존에 선행되었던 CFA 보간을 검출하는 방법은 이 과정 중 CFA 컬러 보간(CFA Color Interpolation) 과정(101)을 기준으로 카메라별 특성을 검출하는 방법이다.
도 2는 렌즈 왜곡 보정을 위한 매핑 과정을 나타내는 예시도이다. 렌즈 왜곡 보정(Lens Distortion Correction) 과정(100)은 이미지 프로세싱 과정에서 최초로 이미지에 대한 보정이 들어가는 단계이다. 이미지 프로세싱에서 일반적으로 렌즈 왜곡 보정을 위해 사용되는 알고리즘은 도 2와 같은 매핑(Mapping)이다. 이미지 매핑은 입력 이미지의 모든 화소에 대하여 출력 이미지의 새로운 화소 위치를 계산하고, 입력 화소의 밝기 값을 출력 이미지의 새로운 위치에 복사하는 방법이다. 이를 수학적으로 표현하면 수학식 1과 같다.
Figure 112012032937056-pat00001
여기서, [u,v]쌍은 입력 이미지의 좌표, [x,y]쌍은 출력 이미지의 좌표, [U(),V()]는 출력이미지를 입력 이미지로 역방향 매핑하는 함수쌍이다.
알고리즘은 정방향 매핑(Forward Mapping), 역방향 매핑(Reverse Mapping) 및 보간(Interpolation)을 사용한다. 정방향 매핑은 변경된 새로운 위치에 입력 화소의 밝기 값을 복사하는 방법이다.
도 3은 정방향 매핑 과정에서 발생하는 홀 이미지와 이를 보정하기 위한 역방향 매핑을 나타내는 도면이다. 도 3과 같이 정방향 매핑 과정(300)에서 겹침 이미지(301, Overlap Image)나 홀 이미지(302, Hole Image)가 생성된다. 특히 홀 이미지(302)는 빈 화소로 나타나게 되어 전체 장면에서 의도하지 않은 빈 화소의 패턴을 만든다.
이러한 홀 이미지(302)를 제거하기 위해서 홀 이미지(302)의 위치를 역으로 추정할 수 있는 역방향 매핑(303)을 사용한다. 이러한 매핑 과정(300, 303)에서 픽셀 정보들이 임의의 좌표로 그 위치를 변형하기 때문에 위신호 인공물(Aliasing Artifact)과 복원 인공물(Reconstruction Artifact)로 인한 화질 저하가 발생하게 된다.
이러한 문제를 보완하기 위한 방법으로 역방향 매핑된 이미지(304)에 보간 방법을 적용하여 화질을 개선시킨다. 보간은 이미지의 크기 변화 및 특정 픽셀이 이동할 때 자연스러운 이미지를 만들기 위해서 인접픽셀을 복사하거나 새로운 픽셀을 생성하는 방법이다.
여기서, 카메라의 제조사 및 기종에 따라 장착되어 있는 렌즈의 왜곡률이 다르기 때문에 이를 처리하는 렌즈 왜곡 과정에서 적용되는 매핑 알고리즘이 다를 수 있다.
따라서 본 발명은 앞서 기술한 종래 기술들의 문제점을 극복하기 위해 이미지 프로세싱 과정 중 최초로 이미지에 대한 보정이 들어가는 단계인 렌즈 왜곡 보정 과정(Lens Distortion Correction)에 주목하여, 카메라 제조사 및 기종에 따라 다른 렌즈 왜곡 보정에 의한 보간 패턴을 검출하여 촬영 카메라를 식별하는 방법 및 장치를 제공하고자 한다. 또한 보간 패턴을 검출하여 이미지의 트리임 여부, 트리밍 방향을 판단하는 방법 및 장치를 제공하고자 한다.
본 발명에 따른 촬영된 이미지로부터 렌즈 왜곡 보정에 사용된 보간 패턴을 검출하는 방법은 상기 이미지와 상기 이미지에 재보간(Re-interpolation)을 적용한 결과 얻어진 재보간 이미지를 차분하여 산출된 차분 이미지로부터 상기 보간 패턴을 검출하는 것을 특징으로 한다.
또한 상기 재보간을 적용하는 데 있어서 적용되는 소정의 보간법은 Bicubic 보간법 또는 Bicubic 보간법보다 상기 이미지 화질에 손상을 적게 주는 보간법인 것을 특징으로 한다.
또한 상기 재보간은 이미지 리사이징(Image Resizing)을 이용하여 소정의 보간법을 적용하되, 상기 이미지 리사이징은 상기 이미지의 크기를 1/L배 및 L배로 스케일링(Scaling)하는 것을 특징으로 한다.
또한 L값은 상기 이미지의 가로 및 세로 전체 픽셀 값을 1 픽셀씩 축소 및 확대하는 값인 것을 특징으로 한다.
본 발명에 따른 촬영된 이미지로부터 상기 이미지를 촬영한 카메라를 식별하는 방법은 상기 이미지로부터 상기 이미지를 촬영하는 데 사용된 카메라의 렌즈 왜곡 보정에 사용된 보간 패턴을 검출하는 과정, 상기 검출 과정에서 검출된 보간 패턴을 카메라 기종별 보간 패턴을 저장하고 있는 패턴 라이브러리에 저장된 보간 패턴과 비교하는 과정 및 상기 검출된 보간 패턴과 동일한 패턴을 갖거나 상기 검출된 보간 패턴을 일부분으로 갖는 보간 패턴을 찾아내어, 찾아진 상기 보간 패턴으로부터 상기 이미지를 촬영한 카메라 기종을 식별하는 과정을 포함하는 것을 특징으로 한다.
본 발명에 따른 렌즈 왜곡 보정에 사용된 보간 패턴 검출을 통한 이미지의 트리밍 유무 및 트리밍된 방향을 판단하는 방법은 상기 이미지로부터 상기 이미지를 촬영하는 데 사용된 카메라의 렌즈 왜곡 보정에 사용된 보간 패턴을 검출하는 과정, 카메라 기종별 보간 패턴을 저장하고 있는 패턴 라이브러리에서 상기 검출된 보간 패턴과 동일한 패턴을 갖거나 상기 검출된 보간 패턴을 일부분으로 하는 보간 패턴을 찾아내는 과정, 상기 패턴 라이브러리에서 찾아진 보간 패턴의 중앙을 기준으로 상기 검출된 패턴이 어느 한쪽으로 치우쳐 있는지 여부를 판단하는 과정 및 상기 판단 결과를 기초로 하여 상기 이미지의 트리밍 유무 및 트리밍된 방향을 판단하는 과정을 포함하는 것을 특징으로 한다.
또한 상기 트리밍 유무 및 트리밍된 방향을 판단하는 과정은 상기 패턴 라이브러리에서 상기 검출된 보간 패턴을 일부분으로 하는 보간 패턴을 찾아낸 경우 상기 이미지가 트리밍된 것으로 판단한 다음, 상기 패턴 라이브러리에서 찾아진 보간 패턴의 중앙을 기준으로 상기 검출된 패턴이 치우쳐진 방향과 동일한 방향으로 상기 이미지가 트리밍 것으로 판단하는 것을 특징으로 한다.
본 발명에 따른 렌즈 왜곡 보정에 사용된 보간 패턴 검출을 통한 촬영 카메라를 식별하는 시스템은 상기 이미지를 입력받는 입력부, 상기 입력부가 입력받은 이미지로부터 촬영하는 데 사용된 카메라의 렌즈 왜곡 보정에 사용된 보간 패턴을 검출하는 연산부, 각 카메라 기종별 보간 패턴을 저장하고 있는 패턴 라이브러리부, 상기 패턴 라이브러리부에서 상기 연산부가 검출한 보간 패턴과 동일한 패턴을 갖거나 상기 검출된 보간 패턴을 일부분으로 하는 패턴을 찾아내는 검색부 및 상기 검색부가 검색한 결과를 기초로 상기 이미지를 촬영한 카메라 기종을 결정하는 판단부를 포함하는 것을 특징으로 한다.
본 발명에 따른 렌즈 왜곡 보정에 사용된 보간 패턴 검출을 통한 이미지의 트리밍 유무 및 트리밍된 방향을 판단하는 시스템은 상기 이미지를 입력받는 입력부, 상기 입력부가 입력받은 이미지로부터 촬영하는 데 사용된 카메라의 렌즈 왜곡 보정에 사용된 보간 패턴을 검출하는 연산부, 각 카메라 기종별 보간 패턴을 저장하고 있는 패턴 라이브러리부, 상기 패턴 라이브러리부에서 상기 연산부가 검출한 보간 패턴과 동일한 패턴을 갖거나 상기 검출된 보간 패턴을 일부분으로 하는 패턴을 찾아내는 검색부 및 상기 패턴 라이브러리에서 찾아진 보간 패턴의 중앙을 기준으로 상기 검출된 패턴이 어느 한쪽으로 치우쳐 있는지 여부를 판단하여 상기 이미지의 트리밍 유무 및 트리밍된 방향을 결정하는 판단부를 포함하는 것을 특징으로 한다.
또한 상기 트리밍 유무 및 트리밍된 방향을 결정하는 판단부는 상기 검색부가 상기 연산부에서 검출된 보간 패턴을 일부분으로 하는 보간 패턴을 상기 패턴 라이브러리에서 찾아낸 경우, 상기 이미지가 트리밍된 것으로 판단하고, 상기 검색부가 상기 패턴 라이브러리에서 찾아진 보간 패턴의 중앙을 기준으로 상기 검출된 패턴이 치우쳐진 방향과 동일한 방향으로 상기 이미지가 트리밍된 것으로 판단하는 것을 특징으로 한다.
본 발명에 의하면, 카메라 제조사 및 기종에 따라서 존재하는 렌즈 왜곡 보정(Lens Distortion Correction)에 의한 보간 패턴의 특성을 객관적으로 검출하여 식별할 수 있다.
또한 본 발명에 의하면, 카메라 제조사 및 기종에 따라서 존재하는 렌즈 왜곡 보정에 의한 보간 패턴의 특성을 객관적으로 검출할 수 있어 기존의 유사도 비교를 하지 않더라도 카메라를 식별할 수 있다.
또한 본 발명에 의하면, 이미지가 편집을 통해 트리밍 되어도 렌즈 왜곡 보정에 의한 보간 패턴 검출은 잘려 나간 영역 외에서도 그 패턴이 그대로 재현되고 있기 때문에, 트리밍이 적용된 이미지에 있어서도 촬영에 사용된 카메라의 식별도 가능하다.
또한 본 발명에 의하면, 보간 패턴의 대칭성에 근거하여 검출된 패턴의 대칭성 및 치우친 방향을 판단함으로써 이미지의 트리밍(Trimming) 여부 및 트리밍 방향을 알 수 있다.
도 1은 디지털 카메라 내부에서 수행되는 일반적인 이미지 프로세싱(Image Processing) 과정을 나타내는 흐름도이다.
도 2는 렌즈 왜곡 보정을 위한 매핑 과정을 나타내는 예시도이다.
도 3은 정방향 매핑 과정에서 발생하는 홀 이미지와 이를 보정하기 위한 역방향 매핑을 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 매핑에 사용된 보간을 검출하기 위한 알고리즘이다.
도 5는 본 발명의 실시예에 따른 렌즈 왜곡 보정에 사용된 보간 패턴 검출을 통하여 이미지의 트리밍 여부 및 트리밍 방향을 판단하기 위한 알고리즘이다.
도 6은 본 발명의 실시예에 따른 렌즈 왜곡 보정에 사용된 보간 패턴 검출을 통한 이미지의 촬영 카메라를 식별하는 시스템의 구성도이다.
도 7은 본 발명의 실시예에 따른 렌즈 왜곡 보정에 사용된 보간 패턴 검출을 통한 이미지의 트리밍 유무 및 트리밍 방향을 판단하는 시스템의 구성도이다.
도 8은 보간이 적용된 매핑과 역방향 매핑과의 히스토그램 분포도이다.
도 9는 매핑에 사용된 보간을 검출하기 위한 알고리즘의 흐름도를 나타내는 도면이다.
도 10은 도 9의 알고리즘을 이용한 이산 푸리에 변환 실험의 결과를 나타내는 도면이다.
도 11은 이산 푸리에 변환에서 검출한 두 영역간의 3차원 레벨값 비교 및 차분값의 결과를 나타내는 도면이다.
도 12는 실험 (3)에서 사용된 카메라 기종의 목록이다.
도 13은 그레이 카드 및 실제장면을 촬영한 이미지에서 검출한 카메라 기종별 보간 패턴을 나타내는 도면이다.
도 14는 인터넷에서 임의로 얻어진 출처를 알 수 없는 사진으로부터 본 발명의 실시예에 따른 보간 패턴 검출방법에 의해 검출된 보간 패턴을 나타내는 도면이다.
도 15는 트리밍된 이미지에 보간 패턴 알고리즘을 적용하여 검출한 보간 패턴을 나타내는 도면이다.
이하에서는 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 '포함'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 '…부', '과정' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 한편, 사용되는 용어들은 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다.
도 4는 본 발명의 실시예에 따른 렌즈 왜곡 보정에 사용된 보간 패턴 검출을 통하여 촬영카메라를 식별하기 위한 알고리즘이며, 알고리즘에 따르면 대상 이미지는 재보간(Re-interpolation) 과정(S400), 차분 과정(S402), 패턴 이미지 비교 과정(S404) 및 촬영 카메라 기종 결정 과정(S406)을 거쳐 촬영에 사용된 카메라 기종과 매칭된다.
먼저, 촬영에 사용된 카메라 기종을 식별하고자 하는 대상 이미지는 재보간 과정(S400)을 거치게 된다. 과정 S400에서 적용되는 보간법은 Nearest Neighbor 보간법, Bilinear 보간법, Bicubic 보간법, Lanczos 보간법, Hermite 보간법 등 다양한 보간법들 중에서 임의로 선택 가능하다. 적용되는 보간법은 대상 이미지의 생성시 적용된 카메라의 렌즈 왜곡 보정 과정에서 사용된 보간법과 반드시 동일한 방법일 필요는 없다.
다만, 재보간시 고주파 성분이 일정 부분 유지될 수 있으며, 대상 이미지의 화질에 영향을 적게 주는 보간법을 사용하는 것이 바람직하다. 대상 이미지에 과다한 보간이 적용되면 고주파 성분이 상당량 사라지게 되어 렌즈 왜곡 보정 과정에 따른 보간과 재보간을 통한 2차 보간간의 특정 주파수 성분을 구분하기 어렵기 때문이다. 실시예에 따라 재보간은 원본 이미지의 크기를 1/L배 및 L배로 스케일링(Scaling)하는 이미지 리사이징(Image Resizing)을 통한 보간 적용 방법을 적용할 수 있다. L값은 원본 이미지의 화질에 영향을 적게 주기 위해 원본 이미지의 가로, 세로 전체 픽셀값을 1 픽셀씩 축소 및 확대하는 값으로 선정하는 것이 바람직하다.
과정 S402는 차분 과정으로, 대상 이미지와 대상 이미지에 재보간 과정을 거쳐 얻어진 이미지(이하 재보간 이미지라 한다)를 차분하여 차분 이미지를 산출한다.
여기서 대상 이미지는 촬영한 카메라의 렌즈 왜곡 보정 과정에 따른 보간(1차 보간)의 영향만을 받은 상태이고, 재보간 이미지는 1차 보간뿐만 아니라, 재보간 과정에 따른 2차 보간의 영향도 받은 상태이다. 그 결과 재보간 이미지에는 고주파 성분이 상당 부분 사라지게 되어 대상 이미지에 비해 고주파 성분에 있어 차이가 나타난다. 따라서 차분 이미지에는 재보간 이미지와 대상 이미지 사이의 고주파 성분의 차이가 패턴으로 나타난다고 할 수 있다.
산출된 차분 이미지에는 대상 이미지의 화상 정보로 인한 결과뿐만 아니라 대상 이미지의 화상 정보와는 무관한 특정 패턴이 함께 검출된다. 이 특정 패턴은 대상 이미지의 촬영시 사용된 보간의 흔적으로서, 촬영 카메라 기종에 고유한 보간 패턴이라고 할 수 있다.
이 때 차분 이미지에서 검출된 특정 패턴, 즉 보간 패턴은 보통 대칭성을 갖는데, 이미지의 중심을 기준으로 대칭된 이미지일 수도 있고, 이미지 상에서 대칭의 중심이 어느 한쪽으로 치우친 이미지일 수도 있다. 이런 보간 패턴의 대칭성을 통해 대상 이미지의 화상 정보에 따른 정보값과 촬영 카메라 기종에 고유한 보간 패턴을 구별할 수 있다.
과정 S404는 보간 패턴 이미지 비교 과정으로, 차분 이미지에서 검출된 보간 패턴과 동일한 보간 패턴을 갖거나 검출된 보간 패턴을 일부분으로 하는 보간 패턴을 보간 패턴 라이브러리(Pattern Library)를 이용하여 검색한다.
대상 이미지가 촬영 카메라에서 생성된 원본 이미지로부터 트리밍(trimming)된 이미지일 경우, 검출된 보간 패턴은 패턴 라이브러리에 저장된 카메라 기종별 보간 패턴의 일부분과 매칭된다.
패턴 라이브러리는 각 카메라 기종별 렌즈 왜곡 보정 과정에 따른 보간 패턴 정보를 저장하고 있다. 패턴 라이브러리에 저장된 카메라 기종별 보간 패턴은 과정 S400의 재보간시 적용된 보간법과 동일한 보간법을 통해 얻어진 보간 패턴인 것이 바람직하다. 실시예에 따라 패턴 라이브러리에 저장된 각 카메라 기종별 보간 패턴은 실제 이미지의 다양한 화상 정보와 쉽게 구분할 수 있도록 그레이 카드를 촬영한 이미지로부터 검출한 보간 패턴일 수 있다.
S406은 촬영 카메라 기종 결정 과정으로, 과정 S404에서 검색된 결과를 바탕으로 차분 이미지에서 검출된 보간 패턴과 동일한 보간 패턴을 갖거나 검출된 보간 패턴을 일부분으로 하는 보간 패턴을 갖는 카메라 기종을 대상 이미지의 촬영 카메라로 결정한다.
도 5는 본 발명의 실시예에 따른 렌즈 왜곡 보정에 사용된 보간 패턴 검출을 통하여 이미지의 트리밍 여부 및 트리밍 방향을 판단하기 위한 알고리즘이며, 재보간 과정(S500), 차분 과정(S502), 패턴 이미지 비교 과정(S504) 및 트리밍 여부 및 트리밍 방향 결정 과정(S506)으로 구성된다.
과정 S500, 과정 S502, 과정 S504는 각각 도 4의 과정 S400, 과정 S402, 과정 S404와 동일한 과정이므로 구체적인 내용 설명은 생략한다. 이하 과정 S506에 대하여 설명하기로 한다.
과정 S506은 트리밍 여부 및 트리밍 방향 결정 과정으로, 과정 S504에서 차분 이미지에서 검출된 보간 패턴과 동일한 보간 패턴을 패턴 라이브러리에서 찾아낸 경우 대상 이미지는 트리밍되지 않은 것으로 판단한다. 과정 S504에서 차분 이미지에서 검출된 보간 패턴을 일부분으로 하는 보간 패턴을 패턴 라이브러리에서 찾은 경우 대상 이미지는 트리밍된 것으로 판단한다.
또한 과정 S506은 대상 이미지가 트리밍된 것으로 판단한 경우, 패턴 라이브러리에서 찾아진 보간 패턴의 중앙을 기준으로 상기 검출된 패턴이 치우쳐진 방향과 동일한 방향으로 상기 이미지가 트리밍된 것으로 트리밍 방향을 판단한다.
실시예에 따라 트리밍되지 않은 이미지로부터 검출된 보간 패턴이 차분 이미지의 중앙을 중심으로 대칭인 점을 이용하여, 과정 S504를 거치지 않고 대상이미지로부터 검출된 보간 패턴으로부터 트리밍 유무 및 트리밍 방향을 판단할 수도 있다. 다만, 대상 이미지가 중앙을 중심으로 대칭으로 트리밍된 이미지인 경우 그 판단이 어렵다는 점에서 과정 S504를 거치는 것이 바람직하다.
도 6은 본 발명의 실시예에 따른 렌즈 왜곡 보정에 사용된 보간 패턴 검출을 통한 이미지의 촬영 카메라를 식별하는 시스템의 구성도로, 입력부(600), 연산부(602), 패턴 라이브러리부(604), 검색부(606) 및 판단부(608)를 포함한다.
입력부(600)는 촬영에 사용된 카메라 기종을 식별하고자 하는 대상 이미지를 입력받는다.
연산부(602)는 입력부(600)가 입력받은 대상 이미지로부터, 대상 이미지를 촬영하는 데 사용된 카메라의 렌즈 왜곡 보정에 사용된 보간 패턴을 검출한다.
일 실시예에 따르면 연산부(602)는 입력부(600)가 입력받은 대상 이미지와 해당 대상 이미지에 재보간을 적용한 결과 얻어진 이미지를 차분하여 산출된 차분 이미지로부터 보간 패턴을 검출할 수 있다.
연산부(602)가 재보간시 적용하는 보간법은 Nearest Neighbor 보간법, Bilinear 보간법, Bicubic 보간법, Lanczos 보간법, Hermite 보간법 등 다양한 보간법들 중에서 임의로 선택 가능하다. 적용되는 보간법은 대상 이미지의 생성시 적용된 카메라의 렌즈 왜곡 보정 과정에서 사용된 보간법과 반드시 동일한 방법일 필요는 없다.
다만, 재보간시 고주파 성분이 일정 부분 유지될 수 있으며, 대상 이미지의 화질에 영향을 적게 주는 보간법을 사용하는 것이 바람직하다. 대상 이미지에 과다한 보간이 적용되면 고주파 성분이 상당량 사라지게 되어 렌즈 왜곡 보정 과정에 따른 보간과 재보간을 통한 2차 보간간의 특정 주파수 성분을 구분하기 어렵기 때문이다. 실시예에 따라 재보간은 원본 이미지의 크기를 1/L배 및 L배로 스케일링(Scaling)하는 이미지 리사이징(Image Resizing)을 통한 보간 적용 방법을 사용할 수 있다. L값은 원본 이미지의 화질에 영향을 적게 주기 위해 원본 이미지의 가로, 세로 전체 픽셀값을 1 픽셀씩 축소 및 확대하는 값으로 선정하는 것이 바람직하다.
패턴 라이브러리(604)는 각 카메라 기종별 고유의 보간 패턴을 저장하고 있다.
검색부(606)는 연산부(602)가 검출한 보간 패턴과 동일한 패턴을 갖거나 검출된 보간 패턴을 일부분으로 하는 패턴을 패턴 라이브러리부(604)에서 검색한다. 특히 대상 이미지가 원본 이미지에서 트리밍된 이미지일 경우 검출된 보간 패턴은 패턴 라이브러리부(604)에 저장된 카메라 기종별 보간 패턴의 일부분으로 매칭된다.
판단부(608)는 검색부(606)가 차분 이미지에서 검출된 보간 패턴과 동일한 보간 패턴을 갖거나 검출된 보간 패턴을 일부분으로 하는 보간 패턴을 갖는 카메라 기종을 대상 이미지의 촬영 카메라로 결정한다.
도 7은 본 발명의 실시예에 따른 렌즈 왜곡 보정에 사용된 보간 패턴 검출을 통한 이미지의 트리밍 유무 및 트리밍 방향을 판단하는 시스템의 구성도로, 입력부(700), 연산부(702), 패턴 라이브러리부(704), 검색부(706) 및 판단부(708)를 포함한다. 입력부(700), 연산부(702), 패턴 라이브러리부(704) 및 검색부(706)의 기능은 각각 도 6의 입력부(600), 연산부(602), 패턴 라이브러리부(604) 및 검색부(606)와 동일하므로 구체적인 내용 설명을 생략한다. 이하 판단부(708)에 대하여 설명하기로 한다.
판단부(708)는 검색부(706)가 차분 이미지에서 검출된 보간 패턴과 동일한 보간 패턴을 패턴 라이브러리부(704)에서 찾아낸 경우 대상 이미지는 트리밍되지 않은 것으로 판단한다. 판단부(708)는 검색부(706)가 차분 이미지에서 검출된 보간 패턴을 일부분으로 하는 보간 패턴을 패턴 라이브러리부(704)에서 찾은 경우 대상 이미지는 트리밍된 것으로 판단한다.
또한 판단부(708)는 대상 이미지가 트리밍된 것으로 판단한 경우, 패턴 라이브러리부(704)에서 찾아진 보간 패턴의 중앙을 기준으로 상기 검출된 패턴이 치우쳐진 방향과 동일한 방향으로 상기 이미지가 트리밍된 것으로 트리밍 방향을 판단한다.
이하에서는 본 발명에 따른 매핑에 의한 보간의 흔적을 찾는 방법 및 촬영 카메라 식별 방법 등의 실현가능성 검증하기 위해 실시한 실험 및 그 결과를 제시하기로 한다.
실험 (1) - 보간이 적용된 매핑과 역방향 매핑의 비교 분석
본 실험은 렌즈 왜곡 보정 과정에서 행해진 알고리즘 중 어느 단계에서 보간 패턴이 형성되는지를 판단하기 위한 실험이다. 본 실험에서는 픽셀값 0과 255를 갖는 격자 패턴 이미지를 대상으로 하여, 보간이 적용된 매핑(즉, 정방향 매핑, 역방향 매핑 및 보간 적용)과 보간이 제외된 역방향 매핑 결과를 얻고 각각의 히스토그램 분포를 확인하였다. 매핑시 카메라 렌즈의 정보는 AdobeTM에서 제공하는 렌즈 보정값(Lens Correction Value)을 이용하였다.
도 8은 보간이 적용된 매핑과 역방향 매핑과의 히스토그램 분포도이다. 도 8의 실험 결과는 왜곡률을 극대화하기 위해서 광각 계열인 Canon EF 15mm로 설정한 결과이다.
도 8을 참조하면 원본 이미지의 격자형 패턴(800)이 매핑을 통해 방사형의 형태(801, 802)로 변화된다. 보간의 적용 유무에 관계없이 출력된 패턴의 형태가 유사하다. 다만 출력된 이미지의 픽셀값에 있어서, 보간이 적용된 매핑의 경우에는 보간에 의해서 픽셀값이 중간값들로 바뀌어 히스토그램에서 픽셀간의 그라데이션(Gradation)이 나타나는 데 반해(803 참조), 보간이 적용되지 않은 역방향 매핑에서는 픽셀 간의 위치만 바뀌었을 뿐 입력 픽셀값 0 및 255가 동일하게 출력되고 있다(804 참조).
위 결과로부터 렌즈 왜곡 보정 과정에서 역방향 매핑에 의해 고유의 패턴이 발생하고, 역방향 매핑의 패턴 위에 보간이 적용되는데, 이때 보간은 역방향 매핑에 의해 생성된 패턴 형태에는 큰 영향을 끼치지 않으면서 픽셀의 정보값만을 변화시킨다고 할 수 있다.
따라서 렌즈 왜곡 보정 과정을 거친 이미지로부터 보간의 패턴을 검출한다면 간접적으로 카메라의 매핑 특성(특히 역방향 매핑에 의한 특성)을 파악할 수 있을 것이다.
실험 (2) - 매핑에 의한 보간 패턴을 검출하기 위한 재보간 알고리즘의 검증
본 발명에서는 매핑에 의한 보간의 패턴을 찾기 위해 재보간 알고리즘을 제안하였다. 이러한 보간 패턴 검출 방법이 효과적인지 확인하기 위해 아래와 같은 실험을 설계하였다.
도 9는 매핑에 사용된 보간을 검출하기 위한 알고리즘의 흐름도를 나타내는 도면이다. 본 실험에서는 픽셀값 0과 255를 갖는 격자 패턴 이미지(S900)를 대상으로 하여 렌즈 왜곡 보정 과정(S902)의 매핑 알고리즘을 적용하여 렌즈 왜곡 보정된 이미지(S904)를 생성하였다. 여기서 매핑시 카메라 렌즈의 정보는 AdobeTM에서 제공하는 렌즈 보정값(Lens Correction Value)을 이용하였다.
이후 생성된 렌즈 왜곡 보정된 이미지(S904)를 대상으로 재보간을 적용한 재보간된 이미지(S906)를 얻고, 이 재보간 이미지(S906)와 재보간을 거치지 않은 렌즈 왜곡 보정된 이미지(S904) 간에 어떠한 차이가 나타나는지 확인하기 위해 차분 이미지를 얻었다.
재보간 과정(S906)은 이미지 리사이징을 통한 보간 적용방법을 선택하였다. 재보간 과정(S906)에서 원본 이미지 화질의 손상을 가능한 줄이기 위해 다른 보간법에 비해 원본 이미지의 화질에 영향을 적게 주는 Bicubic 보간법을 사용하였다. 또한 리사이징 과정 중 L값은 이미지의 가로, 세로 전체 픽셀값을 -1 픽셀씩 축소(S906-1)했다가 +1 픽셀만큼 확대(S906-2)하여 원본 이미지의 크기가 유지되도록 설정하였다.
또한 본 실험에서 두 이미지 간에 발생하는 고유 특성을 분석하기 위해서 이산 푸리에 변환(DFT. Discrete Fourier Transform) 알고리즘을 사용하였다. 이산 푸리에 변환은 2차원 이미지에 대한 주파수 성분을 분류할 수 있어 보간에 따른 고주파와 저주파의 변화를 확인할 수 있는 효과적인 알고리즘이다. 2차원 이산 푸리에 변환(2-Dimensional DFT)의 수식은 아래의 수학식 2 및 수학식 3과 같다. 렌즈 왜곡 보정된 이미지는 I(x,y)로 표기하며, N은 픽셀의 넓이, M은 픽셀의 높이를 나타낸다. 렌즈 왜곡 보정된 이미지에 재보간을 적용한 재보간된 이미지는 IR(x,y) 표기하며, 원본 이미지에 재보간이 적용된 결과물에 이산 푸리에 변환을 적용한 결과물 A는 FR(u,v), 재보간을 적용하지 않은 이미지에 이산 푸리에 변환을 적용한 결과물 B는 FI(u,v)으로 표기한다. 마지막으로 두 영역간의 특성의 차이를 확인하기 위해서 주파수간의 차분값을 계산하여 출력된 이미지에 이산 푸리에 변환을 적용한 결과물은 FD(u,v)로 표기한다.
Figure 112012032937056-pat00002
Figure 112012032937056-pat00003
도 10은 도 9의 알고리즘을 이용한 이산 푸리에 변환 실험의 결과를 나타내는 도면이다. 격자 패턴 이미지(1000)에 매핑만 적용된 이미지(1001)와 재보간이 적용된 이미지(1002)를 DFT로 비교한 결과, 최종 검출 패턴(1003, 1004) 사이에 주파수 영역에서 차이가 발생하는 것을 확인할 수 있다. 위 두 DFT 결과의 차분 이미지(1005)를 참조하면 그 차이를 명확히 알 수 있다.
도 11은 이산 푸리에 변환에서 검출한 두 영역간의 3차원 레벨값 비교 및 차분값의 결과를 나타내는 도면이다. 도 11에서 볼 수 있듯이 두 DFT 결과의 3차원 그래프(1100, 1101) 및 그 차분에 의한 3차원 그래프(1102)를 참조하면 주파수 성분 중 고주파 성분에서 차이를 보이는 것을 분명히 확인할 수 있다.
따라서 본 실험 결과에 의하면, 매핑에 의해 만들어진 보간 패턴에 재보간을 적용하면 보간의 고주파수 성분이 상당량 사라지게 되어 재보간을 적용하지 않은 렌즈 보정 왜곡된 이미지와의 고주파 성분에 차이가 발생되고, 이 차이를 검출하기 위해 재보간된 이미지와 최초 매핑된 이미지간의 차분값을 계산함으로써 카메라의 렌즈 보정 왜곡 과정에 따른 보간 패턴을 보여주는 차분 이미지를 얻을 수 있음을 알 수 있다.
실험 (3) - 카메라 기종별 매핑에 의한 보간 패턴 구별 가능 여부 검증
본 발명의 알고리즘을 통해 이미지로부터 검출한 보간 패턴을 이용하여 해당 이미지의 촬영에 사용된 카메라 기종을 식별하기 위해서는 그 전제조건으로 카메라의 제조사 및 기종에 따라 검출되는 보간 패턴에 차이가 존재하여야 한다.
이를 검증하기 위해 코닥사에서 제공하는 그레이 카드(Gray Card)를 이용하여 이분한 영상을 카메라마다 촬영하여 비교하였다. 또한 실제 장면에 본 발명의 실시예에 따른 재보간 알고리즘을 적용하여 그레이 카드에서 검출된 보간 패턴과 동일한 보간 패턴을 유지하고 있는지 확인하였다.
촬영에 사용된 카메라 기종은 도 12와 같고 촬영된 이미지에 대한 알고리즘 적용 결과는 도 13과 같다.
도 13을 참고하면 그레이 카드와 실제 장면에서 검출된 보간 패턴이 각 제조사 및 기종에 따라서 구별되는 것을 확인할 수 있다. 또한 SamsungTM의 ST550과 WB550의 검출 결과로부터, 동일한 제조사라 하더라도 기종에 따라서 보간 패턴이 서로 다름을 있음을 알 수 있다.
이는 카메라의 제조사 및 기종에 따라 장착되어 있는 렌즈의 왜곡률이 다르며, 그 렌즈의 왜곡을 처리하는 렌즈 왜곡 보정 과정에서의 매핑의 방법이 다르기 때문이라고 할 수 있다.
따라서 본 실험 결과에 의하면 촬영에 사용된 카메라 기종에 따라서 검출되는 보간 패턴에 모두 차이가 있어, 이미지로부터 본 발명에 따른 재보간 알고리즘을 통해 검출된 보간 패턴을 비교함으로써 촬영에 사용된 카메라의 기종을 식별할 수 있음을 알 수수 있다.
실험 (4) - 출처를 알 수 없는 임의의 이미지에 본 발명의 일 실시예에 따른 카메라 식별 실험
본 실험에서는 인터넷에서 임의로 얻어진 출처를 알 수 없는 사진(1400)을 선택하여 본 발명의 일 실시예에 따른 알고리즘을 적용하여 분석하였다.
분석한 결과 도 14의 우측 이미지(1401)와 같은 보간 패턴이 검출되었다. 이 보간 패턴(1401)은 도 12에서 SamsungTM ST550의 보간 패턴(1300)과 동일한 패턴임을 알 수 있다. 따라서 본 발명의 일 실시예에 따른 알고리즘의 적용 결과에 의하면, 위 이미지의 촬영에 사용된 카메라 기종은 SamsungTM ST550이라고 결론내릴 수 있다.
실험 (5) - 트리밍된 이미지로부터 보간 패턴 검출 실험
본 실험에서는 트리밍된 이미지에 본 발명의 일 실시예에 따른 보간 패턴 검출 알고리즘을 적용하여 분석해 보았다.
도 15는 트리밍된 이미지에 보간 패턴 알고리즘을 적용하여 검출한 보간 패턴을 나타내는 도면이다. 보간 패턴 검출을 위해 촬영 카메라는 니콘 쿨픽스 S640(Nikon COOLPIXTM S640)을 사용하였으며, 3000*4000인 원본 이미지(1500, 1504)를 좌상 방향으로 1000 픽셀씩 트리밍하여 얻어진 트리밍된 이미지(1501, 1505)를 사용하였다.
도 15를 참고하면 트리밍된 이미지(1501, 1505)로부터 검출된 보간 패턴(1503, 1507)이 원본 이미지(1500, 1504)로부터 검출된 보간 패턴(1502, 1506)의 일부분에 매칭됨을 알 수 있다. 이는 트리밍된 이미지로부터 검출한 보간 패턴을 일부로 하는 카메라 기종별 보간 패턴을 찾아냄으로써, 트리밍된 이미지의 촬영 카메라의 기종 및 트리밍 여부를 판단할 수 있음을 의미한다.
또한 영상의 중앙을 기준으로 좌우 대칭되는 보간의 패턴을 기준으로 보았을 때, 트리밍된 이미지(1501, 1505)로부터 검출된 보간 패턴(1503, 1507)이 좌상 방향으로 치우쳐 있는데, 그 방향은 트리밍된 이미지(1501, 1505)의 트리밍 방향과 동일하다. 이는 트리밍된 이미지의 트리밍 방향을 판단할 수 있음을 의미한다.
따라서 본 실험 결과에 의하면, 본 발명의 알고리즘을 적용하여 검출된 보간 패턴을 통해 트리밍된 이미지에 대한 촬영 카메라 식별이 가능하며, 이미지의 트리밍 유무 및 트리밍된 방향을 부가적으로 판단할 수 있음을 알 수 있다.
이상 본 발명의 실시예로 설명하였으나 본 발명의 기술적 사상이 상기 실시예로 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범주에서 다양한 렌즈 왜곡 보정에 사용된 보간 패턴 검출을 통한 촬영 카메라를 식별하는 방법 및 시스템으로 구현할 수 있다.
600은 입력부
602는 연산부
604는 패턴 라이브러리부
606은 검색부
608은 판단부
700은 입력부
702는 연산부
704는 패턴 라이브러리부
706은 검색부
708은 판단부

Claims (19)

  1. 촬영된 이미지로부터 상기 이미지를 생성한 카메라에서 수행되는 이미지 프로세싱 과정 중 렌즈 왜곡 보정(Lens Distortion Correction) 과정에 사용된 보간(Interpolation) 패턴을 검출하는 방법에 있어서,
    상기 이미지와 상기 이미지에 재보간(Re-interpolation)을 적용한 결과 얻어진 재보간 이미지를 차분하여 산출된 차분 이미지로부터 상기 보간 패턴을 검출하는 것을 특징으로 하는 렌즈 왜곡 보정에 사용된 보간 패턴을 검출하는 방법.
  2. 제1항에 있어서,
    상기 재보간은 이미지 리사이징(Image Resizing)을 이용하여 소정의 보간법을 적용하되, 상기 이미지 리사이징은 상기 이미지의 크기를 1/L배 및 L배로 스케일링(Scaling)하는 것을 특징으로 하는 렌즈 왜곡 보정에 사용된 보간 패턴을 검출하는 방법.
  3. 제2항에 있어서,
    상기 L값은 상기 이미지의 가로 및 세로 전체 픽셀값을 1 픽셀씩 축소 및 확대하는 값인 것을 특징으로 하는 렌즈 왜곡 보정에 사용된 보간 패턴을 검출하는 방법.
  4. 제1항에 있어서,
    상기 재보간을 적용하는 데 있어서 적용되는 소정의 보간법은 Bicubic 보간법 또는 Bicubic 보간법보다 상기 이미지 화질에 손상을 적게 주는 보간법인 것을 특징으로 하는 렌즈 왜곡 보정에 사용된 보간 패턴을 검출하는 방법.
  5. 촬영된 이미지로부터 상기 이미지를 촬영한 카메라를 식별하는 방법에 있어서,
    상기 이미지로부터 상기 이미지를 촬영하는 데 사용된 카메라의 렌즈 왜곡 보정에 사용된 보간 패턴을 검출하는 과정;
    상기 검출 과정에서 검출된 보간 패턴을 카메라 기종별 보간 패턴을 저장하고 있는 패턴 라이브러리에 저장된 보간 패턴과 비교하는 과정; 및
    상기 검출된 보간 패턴과 동일한 패턴을 갖거나 상기 검출된 보간 패턴을 일부분으로 갖는 보간 패턴을 찾아내어, 찾아진 상기 보간 패턴으로부터 상기 이미지를 촬영한 카메라 기종을 식별하는 과정
    을 포함하는 것을 특징으로 하는 렌즈 왜곡 보정에 사용된 보간 패턴 검출을 통하여 촬영 카메라를 식별하는 방법.
  6. 제5항에 있어서,
    상기 보간 패턴을 검출하는 과정은,
    제1항 내지 제4항 중 어느 한 항의 보간 패턴을 검출하는 방법을 사용하는 것을 특징으로 하는 렌즈 왜곡 보정에 사용된 보간 패턴 검출을 통한 촬영 카메라를 식별하는 방법.
  7. 촬영된 이미지로부터 이미지의 트리밍(Trimming) 유무 및 트리밍된 방향을 판단하는 방법에 있어서,
    상기 이미지로부터 상기 이미지를 촬영하는 데 사용된 카메라의 렌즈 왜곡 보정에 사용된 보간 패턴을 검출하는 과정;
    카메라 기종별 보간 패턴을 저장하고 있는 패턴 라이브러리에서 상기 검출된 보간 패턴과 동일한 패턴을 갖거나 상기 검출된 보간 패턴을 일부분으로 하는 보간 패턴을 찾아내는 과정;
    상기 패턴 라이브러리에서 찾아진 보간 패턴의 중앙을 기준으로 상기 검출된 패턴이 어느 한쪽으로 치우쳐 있는지 여부를 판단하는 과정; 및
    상기 판단 결과를 기초로 하여 상기 이미지의 트리밍 유무 및 트리밍된 방향을 판단하는 과정
    을 포함하는 것을 특징으로 하는 렌즈 왜곡 보정에 사용된 보간 패턴 검출을 통한 이미지의 트리밍 유무 및 트리밍된 방향을 판단하는 방법.
  8. 제7항에 있어서,
    상기 보간 패턴을 검출하는 과정은
    제1항 내지 제4항 중 어느 한 항의 보간 패턴을 검출하는 방법을 사용하는 것을 특징으로 하는 렌즈 왜곡 보정에 사용된 보간 패턴 검출을 통한 이미지의 트리밍 유무 및 트리밍된 방향을 판단하는 방법.
  9. 제7항에 있어서,
    상기 트리밍 유무 및 트리밍된 방향을 판단하는 과정은,
    상기 패턴 라이브러리에서 상기 검출된 보간 패턴을 일부분으로 하는 보간 패턴을 찾아낸 경우 상기 이미지가 트리밍된 것으로 판단한 다음, 상기 패턴 라이브러리에서 찾아진 보간 패턴의 중앙을 기준으로 상기 검출된 패턴이 치우쳐진 방향과 동일한 방향으로 상기 이미지가 트리밍 것으로 판단하는 것을 특징으로 하는 렌즈 왜곡 보정에 사용된 보간 패턴 검출을 통한 이미지의 트리밍 유무 및 트리밍된 방향을 판단하는 방법.
  10. 촬영된 이미지로부터 촬영 카메라를 식별하는 시스템에 있어서,
    상기 이미지를 입력받는 입력부;
    상기 입력부가 입력받은 이미지로부터 촬영하는 데 사용된 카메라의 렌즈 왜곡 보정에 사용된 보간 패턴을 검출하는 연산부;
    각 카메라 기종별 보간 패턴을 저장하고 있는 패턴 라이브러리부;
    상기 패턴 라이브러리부에서 상기 연산부가 검출한 보간 패턴과 동일한 패턴을 갖거나 상기 검출된 보간 패턴을 일부분으로 하는 패턴을 찾아내는 검색부; 및
    상기 검색부가 검색한 결과를 기초로 상기 이미지를 촬영한 카메라 기종을 결정하는 판단부
    를 포함하는 것을 특징으로 하는 렌즈 왜곡 보정에 사용된 보간 패턴 검출을 통한 촬영 카메라를 식별하는 시스템.
  11. 제10항에 있어서,
    상기 연산부는 입력받은 이미지로부터 촬영하는 데 사용된 보간 패턴을 검출하는 데 있어서,
    제1항 내지 제4항 중 어느 한 항의 보간 패턴을 검출하는 방법을 사용하는 것을 특징으로 하는 렌즈 왜곡 보정에 사용된 보간 패턴 검출을 통한 촬영 카메라를 식별하는 시스템.
  12. 촬영된 이미지로부터 이미지의 트리밍(Trimming) 유무 및 트리밍된 방향을 판단하는 시스템에 있어서,
    상기 이미지를 입력받는 입력부;
    상기 입력부가 입력받은 이미지로부터 촬영하는 데 사용된 카메라의 렌즈 왜곡 보정에 사용된 보간 패턴을 검출하는 연산부;
    각 카메라 기종별 보간 패턴을 저장하고 있는 패턴 라이브러리부;
    상기 패턴 라이브러리부에서 상기 연산부가 검출한 보간 패턴과 동일한 패턴을 갖거나 상기 검출된 보간 패턴을 일부분으로 하는 패턴을 찾아내는 검색부; 및
    상기 패턴 라이브러리에서 찾아진 보간 패턴의 중앙을 기준으로 상기 검출된 패턴이 어느 한쪽으로 치우쳐 있는지 여부를 판단하여 상기 이미지의 트리밍 유무 및 트리밍된 방향을 결정하는 판단부
    를 포함하는 것을 특징으로 하는 렌즈 왜곡 보정에 사용된 보간 패턴 검출을 통한 이미지의 트리밍 유무 및 트리밍된 방향을 판단하는 시스템.
  13. 제12항에 있어서,
    상기 연산부는 입력받은 이미지로부터 촬영하는 데 사용된 보간 패턴을 검출하는 데 있어서,
    제1항 내지 제4항 중 어느 한 항의 보간 패턴을 검출하는 방법을 사용하는 것을 특징으로 하는 렌즈 왜곡 보정에 사용된 보간 패턴 검출을 통한 이미지의 트리밍 유무 및 트리밍된 방향을 판단하는 시스템.
  14. 제12항에 있어서,
    상기 트리밍 유무 및 트리밍된 방향을 결정하는 판단부는,
    상기 검색부가 상기 연산부에서 검출된 보간 패턴을 일부분으로 하는 보간 패턴을 상기 패턴 라이브러리에서 찾아낸 경우, 상기 이미지가 트리밍된 것으로 결정하고, 상기 검색부가 상기 패턴 라이브러리에서 찾아진 보간 패턴의 중앙을 기준으로 상기 검출된 패턴이 치우쳐진 방향과 동일한 방향으로 상기 이미지가 트리밍 것으로 판단하는 것을 특징으로 하는 렌즈 왜곡 보정에 사용된 보간 패턴 검출을 통한 이미지의 트리밍 유무 및 트리밍된 방향을 판단하는 시스템.
  15. 촬영된 이미지로부터 상기 이미지를 촬영한 카메라를 식별하는 데 있어서,
    상기 이미지로부터 상기 이미지를 촬영하는 데 사용된 카메라의 렌즈 왜곡 보정에 사용된 보간 패턴을 검출하는 과정;
    상기 검출 과정에서 검출된 보간 패턴을 카메라 기종별 보간 패턴을 저장하고 있는 패턴 라이브러리에 저장된 보간 패턴과 비교하는 과정; 및
    상기 검출된 보간 패턴과 동일한 패턴을 갖거나 상기 검출된 보간 패턴을 일부분으로 갖는 보간 패턴을 찾아내어, 찾아진 상기 보간 패턴으로부터 상기 이미지를 촬영한 카메라 기종을 식별하는 과정
    을 실행시키기 위한 프로그램을 기록한 컴퓨터 해독 가능 기록매체.
  16. 제15항에 있어서,
    상기 보간 패턴을 검출하는 과정은
    제1항 내지 제4항 중 어느 한 항의 보간 패턴을 검출하는 방법을 사용하는 것을 특징으로 하는 프로그램을 기록한 컴퓨터 해독 가능 기록매체.
  17. 촬영된 이미지로부터 상기 이미지의 트리밍(trimming) 유무 및 트리밍된 방향을 판단하는 데 있어서,
    상기 이미지로부터 상기 이미지를 촬영하는 데 사용된 카메라의 렌즈 왜곡 보정에 사용된 보간 패턴을 검출하는 과정;
    카메라 기종별 보간 패턴을 저장하고 있는 패턴 라이브러리에서 상기 검출된 보간 패턴과 동일한 패턴을 갖거나 상기 검출된 보간 패턴을 일부분으로 하는 보간 패턴을 검색하는 과정;
    상기 패턴 라이브러리에서 검색된 보간 패턴의 중앙을 기준으로 상기 검출된 패턴이 어느 한쪽으로 치우쳐 있는지 여부를 판단하는 과정; 및
    상기 판단 결과를 기초로 하여 상기 이미지의 트리밍 유무 및 트리밍된 방향을 판단하는 과정
    을 실행시키기 위한 프로그램을 기록한 컴퓨터 해독 가능 기록매체.
  18. 제17항에 있어서,
    상기 보간 패턴을 검출하는 과정은
    제1항 내지 제4항 중 어느 한 항의 보간 패턴을 검출하는 방법을 사용하는 것을 특징으로 하는 프로그램을 기록한 컴퓨터 해독 가능 기록매체.
  19. 제17항에 있어서,
    상기 트리밍 유무 및 트리밍된 방향을 판단하는 과정은,
    상기 패턴 라이브러리에서 상기 검출된 보간 패턴을 일부분으로 하는 보간 패턴을 찾아낸 경우 상기 이미지가 트리밍된 것으로 판단한 다음, 상기 패턴 라이브러리에서 찾아진 보간 패턴의 중앙을 기준으로 상기 검출된 패턴이 치우쳐진 방향과 동일한 방향으로 상기 이미지가 트리밍 것으로 판단하는 것을 특징으로 하는 프로그램을 기록한 컴퓨터 해독 가능 기록매체.
KR1020120043028A 2012-04-25 2012-04-25 렌즈 왜곡 보정에 사용된 보간 패턴 검출을 통한 촬영 카메라 식별 방법 및 장치 KR101229376B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120043028A KR101229376B1 (ko) 2012-04-25 2012-04-25 렌즈 왜곡 보정에 사용된 보간 패턴 검출을 통한 촬영 카메라 식별 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120043028A KR101229376B1 (ko) 2012-04-25 2012-04-25 렌즈 왜곡 보정에 사용된 보간 패턴 검출을 통한 촬영 카메라 식별 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101229376B1 true KR101229376B1 (ko) 2013-02-05

Family

ID=47898810

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120043028A KR101229376B1 (ko) 2012-04-25 2012-04-25 렌즈 왜곡 보정에 사용된 보간 패턴 검출을 통한 촬영 카메라 식별 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101229376B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102337140B1 (ko) * 2020-09-17 2021-12-08 성균관대학교산학협력단 영상 복원 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001216500A (ja) 2000-02-03 2001-08-10 Minolta Co Ltd 画像処理装置
KR20070068409A (ko) * 2004-09-24 2007-06-29 코닌클리케 필립스 일렉트로닉스 엔.브이. 이미지 보간
KR20080113611A (ko) * 2007-06-25 2008-12-31 중앙대학교 산학협력단 디지털 이미지의 위·변조 분석기 및 그 방법
KR20110048919A (ko) * 2009-11-03 2011-05-12 중앙대학교 산학협력단 보간 검출 장치, 보간 영역 검출 장치 및 그 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001216500A (ja) 2000-02-03 2001-08-10 Minolta Co Ltd 画像処理装置
KR20070068409A (ko) * 2004-09-24 2007-06-29 코닌클리케 필립스 일렉트로닉스 엔.브이. 이미지 보간
KR20080113611A (ko) * 2007-06-25 2008-12-31 중앙대학교 산학협력단 디지털 이미지의 위·변조 분석기 및 그 방법
KR20110048919A (ko) * 2009-11-03 2011-05-12 중앙대학교 산학협력단 보간 검출 장치, 보간 영역 검출 장치 및 그 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102337140B1 (ko) * 2020-09-17 2021-12-08 성균관대학교산학협력단 영상 복원 장치 및 방법
US11653099B2 (en) 2020-09-17 2023-05-16 Research & Business Foundation Sungkyunkwan University Apparatus and method with imaging reconstruction

Similar Documents

Publication Publication Date Title
JP4772839B2 (ja) 画像識別方法および撮像装置
Zhao et al. Detecting digital image splicing in chroma spaces
US9070042B2 (en) Image processing apparatus, image processing method, and program thereof
CN110349086B (zh) 一种非同心成像条件的图像拼接方法
KR101811718B1 (ko) 영상 처리 방법 및 장치
US9569831B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium for extracting information embedded in a printed material
JPWO2004051575A1 (ja) 特徴領域抽出装置、特徴領域抽出方法および特徴領域抽出プログラム
Zhao et al. Computationally efficient demosaicing filter estimation for forensic camera model identification
CN110909750B (zh) 图像差异检测方法及装置、存储介质、终端
KR20130112311A (ko) 고밀도 삼차원 영상 재구성 장치 및 방법
JP2014522065A (ja) 映像を比較するための方法および装置
US20130170756A1 (en) Edge detection apparatus, program and method for edge detection
CN110598795A (zh) 图像差异检测方法及装置、存储介质、终端
EP2536123B1 (en) Image processing method and image processing apparatus
CN112204957A (zh) 白平衡处理方法和设备、可移动平台、相机
Liu et al. Splicing forgery exposure in digital image by detecting noise discrepancies
Julliand et al. Automated image splicing detection from noise estimation in raw images
CN110120012A (zh) 基于双目摄像头的同步关键帧提取的视频拼接方法
JP2000121319A5 (ja) 画像処理装置および画像処理方法、並びに記録媒体
KR101915843B1 (ko) 복굴절 매질을 이용한 영상 깊이 추정 방법 및 장치
KR101229376B1 (ko) 렌즈 왜곡 보정에 사용된 보간 패턴 검출을 통한 촬영 카메라 식별 방법 및 장치
JP2016053763A (ja) 画像処理装置、画像処理方法及びプログラム
Chandrakar et al. Study and comparison of various image edge detection techniques
Fan et al. Image tampering detection using noise histogram features
JP6055307B2 (ja) 対応点探索装置およびカメラ姿勢推定装置ならびにこれらのプログラム

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant