KR20200016443A - 콘텐츠의 영상 데이터 복원방법 및 장치 - Google Patents

콘텐츠의 영상 데이터 복원방법 및 장치 Download PDF

Info

Publication number
KR20200016443A
KR20200016443A KR1020180091565A KR20180091565A KR20200016443A KR 20200016443 A KR20200016443 A KR 20200016443A KR 1020180091565 A KR1020180091565 A KR 1020180091565A KR 20180091565 A KR20180091565 A KR 20180091565A KR 20200016443 A KR20200016443 A KR 20200016443A
Authority
KR
South Korea
Prior art keywords
point
image
value
content
reference vector
Prior art date
Application number
KR1020180091565A
Other languages
English (en)
Inventor
문지섭
박민수
이동영
김소원
이태윤
Original Assignee
주식회사 마크애니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 마크애니 filed Critical 주식회사 마크애니
Priority to KR1020180091565A priority Critical patent/KR20200016443A/ko
Priority to US16/533,732 priority patent/US11138708B2/en
Publication of KR20200016443A publication Critical patent/KR20200016443A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
    • G06T1/0064—Geometric transfor invariant watermarking, e.g. affine transform invariant
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G06T3/608—Rotation of whole images or parts thereof by skew deformation, e.g. two-pass or three-pass rotation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0065—Extraction of an embedded watermark; Reliable detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0081—Image watermarking whereby both original and watermarked images are required at decoder, e.g. destination-based, non-blind, non-oblivious

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 일 양태는 콘텐츠의 영상 데이터에 대한 복원 방법을 개시하고 있다. 상기 방법은, 제 1 콘텐츠의 제 1 영상에서 제 1 포인트(point) 및 제 2 포인트를 선택하는 단계, 제 2 콘텐츠의 제 2 영상에서 제 3 포인트 및 제 4 포인트를 선택하는 단계(상기 제 2 영상은 상기 제 1 영상에 대응되는 영상이며, 상기 제 3 포인트와 상기 제 4 포인트는 상기 제 1 포인트 및 상기 제 2 포인트와 각각 대응되는 영상 내 포인트임), 상기 제 1 포인트 및 상기 제 2 포인트를 이용하여 제 1 기준벡터를 생성하는 단계, 상기 제 3 포인트 및 상기 제 4 포인트를 이용하여 제 2 기준벡터를 생성하는 단계, 상기 제 1 기준벡터 및 상기 제 2 기준벡터를 이용하여 상기 제 1 영상으로부터 상기 제 2 영상으로의 RST(Rotation, Scale and Transformation) 값을 산출하는 단계, 및 상기 산출된 RST 값을 이용하여 상기 제 2 콘텐츠를 복원하는 단계를 포함

Description

콘텐츠의 영상 데이터 복원방법 및 장치{CONTENT IMAGE DATA RECONSTRUCTION METHOD AND APPARATUS}
본 발명은 영상 및 비디오 데이터를 복원하는 방법에 관한 것으로, 보다 상세하게는, 초고화질 콘텐츠에서 해상도 및 화질 열화가 발생한 콘텐츠의 영상데이터를 복원하는 방법에 관한 것이다.
최근 SNS(Social Network Service) 등 콘텐츠공유 채널이 다양화되면서, 콘텐츠의 저작권을 관리하는 것은 더 어려워졌고, 공유과정에서 캡쳐(capture) 및 캠코딩(camcoding)을 통해 콘텐츠에 대한 변형 및 열화가 다수 발생하기에, 원본콘텐츠를 알아보기 어렵고, 이러한 열화된 콘텐츠를 원본콘텐츠로 다시 복원하는 것 또한 쉽지 않다.
도 1은 원본 콘텐츠가 공유과정에서 열화된 상태에서 영상 특징정보를 추출하는 상황을 나타낸 도면이다.
도 1을 참조하면, 공유과정에서 해상도 및 화질에 열화가 발생한 동영상 콘텐츠(보통의 경우, 해상도가 떨어지거나 영상이 찌그러지는 형태로 변형된 경우가 존재)에 대해 동영상 DNA 정보인 특성정보 변화량(CFC: Continuous Feature Code)을 추출하면 추출자체도 쉽지 않을 뿐더러, 추출되었다 하더라도, 추출된 정보가 원본콘텐츠의 그것과 대응되지 않아 쓸모없는 정보가 되는 경우가 많다. 또한, 열화된 콘텐츠에 삽입된 워터마크 역시 쉽게 검출이 되지 않아, 원본콘텐츠로의 효율적인 복원이 시급히 요구되는 실정이다.
상술한 문제점을 해결하기 위한 본 발명의 일 양태에 따른 목적은, 해상도 및 화질 열화가 발생한 타겟 콘텐츠(target content)와 원본콘텐츠의 특정 영상에서 기준벡터를 추출한 후, 추출된 기준벡터를 기반으로 영상보정을 위한 RST(Rotation, Scale and Transformation) 값을 산출하고, 산출된 RST 값을 이용하여 타겟 콘텐츠를 복원하는 방법 및 장치를 제공하는 것이다.
상기한 목적을 달성하기 위한 본 발명의 일 양태에 따른 콘텐츠의 영상 데이터에 대한 복원 방법은, 제 1 콘텐츠의 제 1 영상에서 제 1 포인트(point) 및 제 2 포인트를 선택하는 단계, 제 2 콘텐츠의 제 2 영상에서 제 3 포인트 및 제 4 포인트를 선택하는 단계(상기 제 2 영상은 상기 제 1 영상에 대응되는 영상이며, 상기 제 3 포인트와 상기 제 4 포인트는 상기 제 1 포인트 및 상기 제 2 포인트와 각각 대응되는 영상 내 포인트임), 상기 제 1 포인트 및 상기 제 2 포인트를 이용하여 제 1 기준벡터를 생성하는 단계, 상기 제 3 포인트 및 상기 제 4 포인트를 이용하여 제 2 기준벡터를 생성하는 단계, 상기 제 1 기준벡터 및 상기 제 2 기준벡터를 이용하여 상기 제 1 영상으로부터 상기 제 2 영상으로의 RST(Rotation, Scale and Transformation) 값을 산출하는 단계, 및 상기 산출된 RST 값을 이용하여 상기 제 2 콘텐츠를 복원하는 단계를 포함할 수 있다.
상기 제 1 포인트, 상기 제 2 포인트는 상기 제 1 영상 내의 객체를 특징짓는 특징점을 포함하고, 상기 제 3 포인트 및 상기 제 4 포인트는 상기 제 2 영상 내의 객체를 특징짓는 특징점을 포함할 수 있다.
상기 제 1 콘텐츠의 제 1 영상에서 제 1 포인트(point) 및 제 2 포인트를 선택하는 단계 및 제 2 콘텐츠의 제 2 영상에서 제 3 포인트 및 제 4 포인트를 선택하는 단계는, 상기 제 1 영상 및 상기 제 2 영상에서 복수 개의 특징점들을 검출하는 단계 및 상기 검출된 복수 개의 특징점들 중 상기 제 1 영상 및 상기 제 2 영상에서 매칭이 되는 복수 개의 특징점들을 선별하는 단계 및 상기 선별된 복수 개의 특징점들 중에서 상기 제 1 포인트, 상기 제 2 포인트, 상기 제 3 포인트 및 상기 제 4 포인트를 선택하는 단계를 포함할 수 있다.
상기 선별된 복수 개의 특징점들 중에서 상기 제 1 포인트, 상기 제 2 포인트, 상기 제 3 포인트 및 상기 제 4 포인트를 선택하는 단계는, 상기 선별된 복수 개의 특징점들 중, 상기 제 1 영상 및 상기 제 2 영상 각각에서 가장 거리가 멀리 떨어진 두 개의 특징점들을 상기 제 1 포인트, 상기 제 2 포인트, 상기 제 3 포인트 및 상기 제 4 포인트로 선택하는 단계를 포함할 수 있다.
상기 RST 값을 산출하는 단계는, 상기 제 1 기준벡터 및 상기 제 2 기준벡터를 기반으로 스칼라 곱 연산을 이용하여 회전값(R: Rotation)을 산출하는 단계를 포함할 수 있다.
상기 회전값은
Figure pat00001
를 이용하여 산출되되, θ는 상기 제 1 기준벡터와 상기 제 2 기준벡터의 사잇각을, xorg는 상기 제 1 기준벡터의 x 값을, yorg는 상기 제 1 기준벡터의 y 값, xtrg는 상기 제 2 기준벡터의 x 값, ytrg는 상기 제 2 기준벡터의 y 값을 나타낼 수 있다.
상기 RST 값을 산출하는 단계는, 상기 제 1 영상으로부터 상기 제 2 영상으로의 회전값(R 값)을 기반으로 상기 제 2 기준벡터를 보정하는 단계 및 상기 제 1 기준벡터와 상기 보정된 제 2 기준벡터의 x 좌표계의 크기 및 y 좌표계의 크기를 기반으로 스케일링 값(S: Scale)을 산출하는 단계를 포함할 수 있다.
상기 스케일링 값은
Figure pat00002
를 이용하여 산출되되, Sx는 x축에서의 스케일링 값을 나타내고, Sy는 y축에서의 스케일링 값을 나타내며, xorg는 상기 제 1 기준벡터의 x 값을, yorg는 상기 제 1 기준벡터의 y 값, xtrg는 상기 보정된 제 2 기준벡터의 x 값, ytrg는 상기 보정된 제 2 기준벡터의 y 값을 나타낼 수 있다.
상기 RST 값을 산출하는 단계는, 상기 제 1 영상으로부터 상기 제 2 영상으로의 회전값(R 값) 및 스케일링값(S 값)을 기반으로 상기 제 2 기준벡터를 보정하는 단계 및 상기 보정된 제 2 기준벡터와, 상기 제 1 영상에 존재하는 특징점의 좌표값과 상기 특징점과 대응되는 제 2 영상 내의 특징점의 좌표값을 기반으로 변형값(T: Transfomation)을 산출하는 단계를 포함할 수 있다.
상기 변형값은 하기 수학식의 Tx 및 Ty 값을 포함하며,
Figure pat00003
를 이용하여 산출되되, Tx 및 Ty는 T 팩터의 x 및 y 좌표계의 값을, θ는 상기 제 1 기준벡터와 상기 제 2 기준벡터 사이의 사잇값을, Sx는 x축에서의 스케일링 값을 나타내고, Sy는 y축에서의 스케일링 값을 나타내며, x, y 값은 제 1 영상의 특징점의 좌표값, x', y' 값은 상기 제 2 영상의 특징점의 좌표값을 나타낼 수 있다.
상기 제 2 콘텐츠를 복원하는 단계는, 상기 제 2 콘텐츠의 식별정보 검출 및 상기 제 2 콘텐츠에 포함된 워터마크 검출 중 적어도 하나와 연관하여 상기 제 2 콘텐츠를 복원하는 단계를 포함할 수 있다.
상기 RST 값을 산출하는 단계는, 상기 복수 개의 영상에서 복수 개의 기준벡터 후보를 생성하는 단계, 상기 생성된 복수의 복수 개의 기준벡터 후보를 기반으로 복수 개의 RST 값을 각각 산출하는 단계, 및 상기 산출된 RST 값들 중 가장 중복이 많이 되는 값을 RST 최종 결과값으로 결정하는 단계를 포함할 수 있다.
상기 복원 방법은 상기 복원된 제 2 콘텐츠에서 워터마크를 검출하는 단계를 더 포함할 수 있다.
상기 복원 방법은 상기 복원된 제 2 콘텐츠에서 CFC(Continuous Feature Code)를 추출하는 단계를 더 포함하는 콘텐츠의 영상 데이터에 대한 복원방법.
상기 제 1 영상 및 상기 제 2 영상은 특징점이 기준값보다 많은 영상을 포함할 수 있다.
상기 제 1 영상 및 상기 제 2 영상은 해상도가 기준값보다 높은 영상을 포함할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 다른 양태에 따른 콘텐츠의 영상 데이터에 대한 복원 장치는, 제 1 콘텐츠의 제 1 영상에서 제 1 포인트(point) 및 제 2 포인트를 선택하고, 제 2 콘텐츠의 제 2 영상에서 제 3 포인트 및 제 4 포인트를 선택하는 포인트 선택부(상기 제 2 영상은 상기 제 1 영상에 대응되는 영상이며, 상기 제 3 포인트와 상기 제 4 포인트는 상기 제 1 포인트 및 상기 제 2 포인트와 각각 대응되는 영상 내 포인트임), 상기 제 1 포인트 및 상기 제 2 포인트를 이용하여 제 1 기준벡터를 생성하고, 상기 제 3 포인트 및 상기 제 4 포인트를 이용하여 제 2 기준벡터를 생성하는 기준벡터 생성부, 상기 제 1 기준벡터 및 상기 제 2 기준벡터를 이용하여 상기 제 1 영상으로부터 상기 제 2 영상으로의 RST(Rotation, Scale and Transformation) 값을 산출하는 RST 값 산출부 및 상기 산출된 RST 값을 이용하여 상기 제 2 콘텐츠를 복원하는 콘텐츠 복원부를 포함할 수 있다.
상기 포인트 선택부는, 상기 제 1 영상 및 상기 제 2 영상에서 복수 개의 특징점들을 검출하여, 상기 검출된 복수 개의 특징점들 중 상기 제 1 영상 및 상기 제 2 영상에서 매칭이 되는 복수 개의 특징점들을 선별하고, 상기 선별된 복수 개의 특징점들 중에서 상기 제 1 포인트, 상기 제 2 포인트, 상기 제 3 포인트 및 상기 제 4 포인트를 선택하되, 상기 선별된 복수 개의 특징점들 중, 상기 제 1 영상 및 상기 제 2 영상 각각에서 가장 거리가 멀리 떨어진 두 개의 특징점들을 상기 제 1 포인트, 상기 제 2 포인트, 상기 제 3 포인트 및 상기 제 4 포인트로 선택할 수 있다.
상기 RST 값 산출부는, 상기 복수 개의 영상에서 생성된 복수 개의 기준벡터 후보를 기반으로 복수 개의 RST 값을 각각 산출하여, 상기 산출된 RST 값들 중 가장 중복이 많이 되는 값을 RST 최종 결과값으로 결정할 수 있다.
본 발명의 콘텐츠의 영상 데이터에 대한 복원 방법에 따르면, 효율적으로 해상도 및 화질 등에서 열화가 발생한 콘텐츠를 복원함으로써 실시간 콘텐츠를 보호할 수 있고 효율적인 파일 기반의 검색 서비스를 가능케 하는 효과가 있다.
도 1은 도 1은 원본 콘텐츠가 공유과정에서 열화된 상태에서 영상 특징정보를 추출하는 상황을 나타낸 도면,
도 2는 본 발명의 일 실시예에 따른 콘텐츠의 영상 데이터에 대한 복원 방법을 개략적으로 나타낸 흐름도,
도 3은 원본콘텐츠와 타겟콘텐츠에서 특징점을 이용하여 기준벡터를 생성하는 방법을 설명하기 위한 개념도,
도 4는 본 발명의 일 실시예에 따른 콘텐츠의 영상 데이터에 대한 복원 방법의 RST 값 산출 방법을 구체적으로 나타낸 상세흐름도,
도 5는 RST 변형 매트릭스(RST Transform Matrix)를 나타낸 도면,
도 6은 R 팩터(factor)를 계산하는 방법을 설명하기 위한 개념도,
도 7은 S 팩터(factor)를 계산하는 방법을 설명하기 위한 개념도,
도 8은 산출된 RST 값을 기반으로 열화된 타겟 콘텐츠를 복원하는 과정을 예시적으로 설명하기 위한 예시도,
도 9는 본 발명의 다른 실시예에 따라 기준벡터를 복수 개 생성하고 RST 값의 오차를 보정하는 방법을 설명하기 위한 개념도,
도 10은 본 발명의 일 실시예에 따른 콘텐츠의 영상 데이터에 대한 복원 장치를 개략적으로 나타낸 블록도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 2는 본 발명의 일 실시예에 따른 콘텐츠의 영상 데이터에 대한 복원 방법을 개략적으로 나타낸 흐름도이다.
도 2를 참조하면, 콘텐츠의 영상데이터를 복원하는 복원징치는 원본콘텐츠와 타겟콘텐츠를 입력받아, 원본콘텐츠의 하나의 영상에서 두 개의 포인트를, 타겟 콘텐츠의 하나의 영상에서도 역시 두 개의 포인트를 추출한다(S210, S220). 여기서, 원본콘텐츠는 콘텐츠 고유의 상태를 가지고 있는 콘텐츠를 의미하고, 타겟콘텐츠를 복원의 대상이 되는 콘텐츠로써, 원본콘텐츠로부터 해상도 및/또는 화질 등에서 열화가 일어나거나 변형이 일어난 콘텐츠를 의미한다. 원본콘텐츠와 타겟콘텐츠는 확보되어 있고, 특히, 양 콘텐츠는 온전한 상태로 가지고 있을 필요는 없다. 원본콘텐츠도 전체가 아닌 일부만 있을 수 있고, 타겟콘텐츠도 전체가 아닌 일부만 존재할 수 있다. 예컨대, 원본콘텐츠는 전체 2000장의 프레임 중 100 내지 200 프레임만 존재하고, 타겟콘텐츠는 500 내지 1000 프레임만 존재하는 상황에서도 본 발명의 일 실시예에 따른 복원방법을 활용할 수 있다. 다만, 본 발명의 일 실시예에 따른 복원방법을 활용하는 데에는, 원본콘텐츠와 타겟콘텐츠 중에 대응되는 프레임이 있는 것이 바람직할 수 있다. 또한, 콘텐츠는 비디오(video)와 영상을 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 복원장치는 단말은 이동국(MS), 사용자 장비(UE; User Equipment), 사용자 터미널(UT; User Terminal), 무선 터미널, 액세스 터미널(AT), 터미널, 고정 또는 이동 가입자 유닛(Subscriber Unit), 가입자 스테이션(SS; Subscriber Station), 셀룰러 전화, 무선 기기(wireless device), 무선 통신 디바이스, 무선송수신유닛(WTRU; Wireless Transmit/Receive Unit), 이동 노드, 모바일, 모바일국, 개인 휴대 정보 단말(personal digital assistant; PDA), 스마트폰, 랩톱, 넷북, 개인용 컴퓨터, 무선 센서, 소비자 전자기기(CE) 또는 다른 용어들로서 지칭될 수 있다. 복원 장치의 다양한 실시예들은, 셀룰러 전화기, 무선 통신 기능을 가지는 스마트 폰, 무선 통신 기능을 가지는 개인 휴대용 단말기(PDA), 무선 모뎀, 무선 통신 기능을 가지는 휴대용 컴퓨터, 영상처리 기능을 가지는 디지털 카메라와 같은 촬영장치, 게이밍 장치, 음악저장 및 재생 가전제품, 인터넷 가전제품뿐만 아니라 그러한 기능들의 조합들을 통합하고 있는 휴대형 유닛 또는 단말기들을 포함할 수 있으나, 이에 한정되는 것은 아니다.
단계(S210, S220)에서 추출되는 대상이 되는 원본콘텐츠 내의 영상과 타겟콘텐츠 내의 영상은 서로 대응되는 영상인 것이 바람직하다. 즉, 동일한 프레임 인덱스(frame index)를 갖는 영상을 선택하여 해당 영상에서 대응되는 포인트를 추출하는 것이 바람직하다. 여기서 포인트는 해당 영상에서의 픽셀 또는 픽셀의 좌표를 나타낼 수 있다. 추출되는 포인트 역시, 원본콘텐츠와 타겟콘텐츠의 각 영상에서 서로 대응되는 포인트인 것이 바람직하다. 즉, 원본콘텐츠의 영상에서 제 1 포인트는 타겟콘텐츠의 영상에서 제 3 포인트와 대응되고, 원본콘텐츠의 영상에서 제 2 포인트는 타겟콘텐츠의 영상에서 제 4 포인트와 대응되도록 제 1 포인트 내지 제 4 포인트를 원본콘텐츠와 타겟콘텐츠로부터 획득하는 것이 바람직하다.
그리고는, 각 콘텐츠로부터 추출된 두 개의 포인트를 기반으로 각각 한 개의 기준벡터, 총 두 개의 기준벡터를 생성한다(S230). 기준벡터는 원본콘텐츠로부터 타겟콘텐츠로 얼마나 변형이 되었는지를 가늠하기 위한 기준이 되는 벡터로써, 변형정도를 나타내는 RST 값 산출에 있어서 매우 중요한 요소이다. 위의 실시예의 내용을 참조하면, 원본콘텐츠의 영상으로부터 획득된 제 1 포인트와 제 2 포인트를 기반으로 제 1 기준벡터를 생성하고, 타겟콘텐츠의 영상으로부터 획득된 제 3 포인트와 제 4 포인트를 기반으로 제 2 기준벡터를 생성할 수 있다.
그리고는, 획득된 두 개의 기준벡터, 즉, 제 1 기준벡터와 제 2 기준벡터를 기반으로 RST 값을 산출한다. RST 값은 기하학적인 변형이 이루어진 콘텐츠를 보정하기 위한 값이다. 이때, R 값은 얼마나 회전이 일어났는지를 나타내는 값이고, S 값은 얼마나 스케일링(scaling)이 되었는지를 나타내는 값이며, T 값은 실제 특정 포인트가 좌표계 상에서 얼마나 변형되었는지를 산출하기 위한 값일 수 있다.
RST 값을 산출하고 나면, RST 변형에 대한 영상을 복원할 수 있다(S250). 그리고는, 복원된 영상에서 워터마크 메시지 정보 이미지가 삽입되어 있는 정확한 위치를 알아낸 후 워터마크 메시지 정보 이미지를 추출할 수 있다. 그리고 추출된 메시지 이미지의 패턴을 분석하여 '0' 또는 '1' 정보로 디코딩할 수 있다. 이때, 메시지 정보는 검출된 정보의 신뢰성을 높이기 위해 ECC(error correction code)등을 포함할 수 있다. 또한, 복원된 영상에서 특성정보 변화량(CFC)를 추출하여 해당 콘텐츠의 DNA 정보를 획득할 수 있다.
도 3은 원본콘텐츠와 타겟콘텐츠에서 특징점을 이용하여 기준벡터를 생성하는 방법을 설명하기 위한 개념도이다.
도 3을 참조하면, 장치는 먼저, 원본콘텐츠와 타겟콘텐츠에서 대응되는 프레임이 있는지 확인한다. 원본콘텐츠와 타겟콘텐츠가 단일 영상이라면, 별도의 대응관계를 찾는 수고를 덜 수 있다. 서로 동일한 영상인지만 확인하면 된다. 비디오의 경우, 복수 개의 프레임이 존재하므로, 프레임 인덱스가 같은, 즉, 동일한 내용을 나타내고 있는, 대응되는 프레임을 선별할 필요가 있다.
그리고는, 대응되는 원본콘텐츠의 영상과 타겟콘텐츠의 영상에서, 특징점을 선별한다. 특징점은 나머지 점과 구별되는 특징 속성을 나타내는 모든 점의 집합을 나타낼 수 있다. 이는 방사측정 또는 기하학적인 정보들을 가지고 있을 수 있다. 예컨대, 특정 객체의 윤곽선이 특징점이 될 수 있다.
그리고는, 특징점 중 각 영상에서 매칭되는지 여부를 판단한다. 즉, 어느 하나의 영상에만 존재하는 특징점, 예컨대, 한쪽 영상은 열화되거나 변형되어 보이지 않는 특징점은 서로 매칭이 되지 않기 때문에, 이 과정에서 낙오시킨다. 그리고는, 양 영상에서 매칭되는 특징점만을 골라낸다. 매칭되는 특징점은 모두 기준벡터를 생성하기 위한 후보들이 될 수 있다. 따라서, 매칭되는 특징점 중 임의의 두 점을 취해서, 각각의 영상에서 하나의 기준벡터씩 생성하면 된다. 다만, 이때, 계산오차가 적은 기준벡터를 생성하기 위해서는, 매칭되는 특징점 중 가장 멀리 떨어진 두 점을 택하여 기준벡터를 생성하는 것이 바람직하다.
도 3의 실시예에서, 원본콘텐츠에서 제 1 특징점(310-1)과 제 2 특징점(310-2)를 추출할 수 있다. 또한, 타겟콘텐츠에서도 마찬가지로, 제 3 특징점(320-1)과 제 4 특징점(320-2)을 추출할 수 있다. 4개의 특징점(310-1, 310-2, 320-1, 320-2)은 각 영상에서 매칭되는 특징점 중 가장 멀리 떨어진 특징점들이다. 즉, 제 1 특징점(310-1)과 제 2 특징점(310-2)은 원본콘텐츠 영상에서 가장 멀리 떨어진 특징점들이고, 제 3 특징점(320-1) 및 제 4 특징점(320-2)은 타겟콘텐츠에서 가장 멀리 떨어지 특징점들이다.
제 1 특징점(310-1)과 제 2 특징점(310-2)이 이루는 벡터를 제 1 기준벡터(312: vorg), 그리고, 제 3 특징점(320-1)과 제 4 특징점(320-2)이 이루는 벡터를 제 2 기준벡터(322: vtrg)가 될 수 있다. 기준벡터들(312, 322)은 방향성을 가지며, 방향성을 고려하여 양 벡터를 비교하는 것이 바람직하다.
도 4는 본 발명의 일 실시예에 따른 콘텐츠의 영상 데이터에 대한 복원 방법의 RST 값 산출 방법을 구체적으로 나타낸 상세흐름도이다.
도 4를 참조하면, 위와 같은 방식으로 생성된 두 개의 기준벡터들을 이용하여 RST 값을 산출할 수 있다.
도 5는 RST 변형 매트릭스(RST Transform Matrix)를 나타낸 도면이다.
도 5에 도시된 바와 같이, 두 개의 기준벡터를 이용하여 원본콘텐츠에서 타겟콘텐츠로 적용된 RST 변형 매트릭스(RST Transform Matrix)의 각각의 성분을 구하는 것이 바람직하다. R 값은 양 기준벡터 사이의 사잇각(θ)을 이용하여 cosθ, sinθ를 항으로 하는 행렬값으로 표현될 수 있다. S 값은 x 및 y 좌표계에서의 스케일 관련 비례관계를 나타내는 Sx, Sy를 항으로 하는 행렬값으로 표현될 수 있다. 마지막으로 T 값과 관련하여, 단위행렬에 최우측 첫번째 항과 최우측 두번째 항을 Tx와 Ty로 하는 행렬값으로 표현될 수 있다. 이는 원본콘텐츠의 특징점(이는 기준벡터를 이루는 특징점을 포함하나, 반드시 기준벡터의 특징점으로 한정되는 것은 아며 영상 내의 다른 특징점을 활용할 수 있음)의 좌표값과 타겟콘텐츠의 매칭되는 특징점(이 역시, 기준벡터를 이루는 특징점을 포함하나, 마찬가지로 반드시 이에 한정되는 것은 아님)의 좌표값을 기반으로 산출될 수 있다. 이와 같은 3개의 행렬을 이용하여 RST 값이 정의될 수 있다.
다시 도 4로 돌아가서, 먼저, 장치는 기준벡터를 이용하여 R 값을 산출한다(S410). R 값은 기준벡터를 이용하여 스칼라곱 연산을 응용하여 양 벡터 간의 사잇각을 산출하는 방식으로 계산된다.
그리고는, 산출된 R 값을 이용하여 타겟콘텐츠의 기준벡터를 보정하여 1차 보정된 기준벡터를 생성한 후, 원본콘텐츠의 기준벡터 및 상기 1차 보정된 기준벡터를 이용하여 S 값을 산출한다(S420). S 값은 두 기준벡터의 x 좌표계와 y 좌표계에서의 크기비교를 통해 산출될 수 있다.
다음으로, 1차 보정된 타겟콘텐츠의 기준벡터에 산출된 S 값을 이용하여 2차 보정을 수행한 후, 생성된 2차 보정된 기준벡터와 원본 및 타겟 콘텐츠에서의 매칭되는 특징점 쌍의 좌표를 이용하여 T 값을 산출한다(S430). T 값은 원본콘텐츠의 기준벡터를 이루는 특징점의 좌표값과 타겟콘텐츠의 기준벡터를 이루는 특징점(원본콘텐츠의 특징점과 매칭되는 특징점)의 좌표값에 대해 2차 보정된 기준벡터 만큼의 보정을 수행했음에도, 양 좌표간의 발생하는 차이값을 기반으로 산출될 수 있다.
도 6은 R 팩터(factor)를 계산하는 방법을 설명하기 위한 개념도이다.
도 6을 참조하면, 장치는 앞서 생성된 두 기준벡터(612, 622)의 일 종단을 연결하여 사잇각(θ: 630)을 산출한다. 이때, 벡터는 방향성을 갖기 때문에, 방향성을 고려하여, 화살표가 없는 종단을 서로 붙이고, 그 사잇각(630)을 산출하는 것이 바람직하다. 이때, 양 기준벡터(612, 622)의 스칼라곱 연산이 응용될 수 있고, 양 기준벡터(612, 622)의 스칼라 곱과 cosθ값을 연산한 값이 양 기준벡터(612, 622)의 x 값을 곱한 값과 양 기준벡터(612, 622)의 y 값을 곱한 값의 합으로 도출되는 방정식을 이용하여 사잇각(θ)을 산출한다.
결과적으로, 다음의 수학식을 이용하여 사잇각 θ 값이 산출된다.
Figure pat00004
여기서, θ는 사잇각(630)을, xorg는 원본콘텐츠 기준벡터(612)의 x 값을, yorg는 원본콘텐츠 기준벡터(612)의 y 값, xtrg는 타겟콘텐츠 기준벡터(622)의 x 값, ytrg는 타겟콘텐츠 기준벡터(622)의 y 값을 나타낸다.
도 7은 S 팩터(factor)를 계산하는 방법을 설명하기 위한 개념도이다.
도 7을 참조하면, 장치는, 계산된 θ값을 이용하여 타겟콘텐츠의 기준벡터의 방향을 보정한 기준벡터(722)를 이용하여 S 팩터 값을 산출할 수 있다. 즉, θ 값을 이용하여 양 기준벡터(712, 722)를 평행하게 보정한 후, 기준벡터 간의 크기 비교를 통해 x 축에서의 비례관계와 y 축에서의 비례관계를 산출할 수 있다.
x 축에서의 비례관계(Sx)는 원본콘텐츠의 기준벡터(712)의 x 값과 타겟콘텐츠의 1차 보정된 기준벡터(722)의 x 값 간의 비율로 산출되고, y 축에서의 비례관계(Sy)는 원본콘텐츠의 기준벡터(712)의 y 값과 타겟콘텐츠의 1차 보정된 기준벡터(722)의 y 값 간의 비율로 산출될 수 있다. 이를 수학식으로 나타내면 다음과 같다.
Figure pat00005
S 팩터 값을 산출하고 나면, 1차 보정된 타겟콘텐츠의 기준벡터(722)에 산출된 S 팩터 값을 이용하여 2차보정을 수행한다. 그리고는, 2차보정된 타겟콘텐츠의 기준벡터(미도시)를 이용하여 Tx 및 Ty 값을 산출한다. 이는, 전술한 바와 같이, 기 산출된 R 행렬과 S 행렬에, 원본콘텐츠의 기준벡터를 이루는 특징점의 좌표값과 타겟콘텐츠의 기준벡터를 이루는 특징점의 좌표값을 이용하여 산출될 수 있다.
이는 다음의 수학식을 이용하여 산출된다.
Figure pat00006
여기서, Tx 및 Ty는 T 팩터의 x 및 y 좌표계의 값을, x, y 값은 원본 콘텐츠의 특징점의 좌표값, x', y' 값은 타겟 콘텐츠와 매칭된 특징점의 좌표값을 나타낸다.
도 8은 산출된 RST 값을 기반으로 열화된 타겟 콘텐츠를 복원하는 과정을 예시적으로 설명하기 위한 예시도이다.
도 8을 참조하면, 도 8의 상단의 좌측 도면에서와 같이, 원본콘텐츠와 타겟콘텐츠의 대응되는 영상의 매칭되는 특징점을 이용하여 도 8의 하단과 같은 RST 값 산출 프로그램을 기반으로 타겟콘텐츠에 행해진 RST 공격과 관련된 값들을 산출한다. 그리고는, 도 8의 우측도면과 같이, 타겟콘텐츠의 프레임 전부 또는 일부를 산출된 RST 값을 역으로 이용하여 복원한다.
도 9는 본 발명의 다른 실시예에 따라 기준벡터를 복수 개 생성하고 RST 값의 오차를 보정하는 방법을 설명하기 위한 개념도이다.
도 9를 참조하면, 보다 정답에 근접한 RST 행렬 값을 예측하기 위해, 본 발명의 다른 실시예에 있어서, 장치는 원본 콘텐츠와 타겟 콘텐츠의 기준벡터를 다양하게 생성하고 RST값을 측정하고, 그 중 가장 중복이 많이되는 값을 결과값으로 예측하는 방법을 고려할 수 있다. 즉, 원본콘텐츠에서 복수 개의 기준벡터(912-1~912-4)를 생성하고, 타겟콘텐츠에서도 그와 대응되는 복수 개의 기준벡터(922-1~922-4)를 생성한 후, 각각의 대응되는 기준벡터 쌍을 기반으로 RST 값을 산출한다. 제 1 기준벡터 쌍(912-1, 922-1)을 가지고 산출된 RST 값은 RST1으로, 제 2 기준벡터 쌍(912-2, 922-2)을 가지고 산출된 RST 값은 RST2로, 제 3 기준벡터 쌍(912-3, 922-3)을 가지고 산출된 RST 값은 RST3으로, 제 4 기준벡터 쌍(912-4, 922-4)을 가지고 산출된 RST 값은 RST4로 각각 정의하여 산출한 뒤, RST1, RST2, RST3 및 RST 4에서 가장 중복되어 많이 나온 값을 정답으로 활용하는 것이다.
도 10은 본 발명의 일 실시예에 따른 콘텐츠의 영상 데이터에 대한 복원 장치를 개략적으로 나타낸 블록도이다. 도 10에 도시된 바와 같이, 본 발명의 일 실시예에 따른 콘텐츠 영상 데이터 복원 장치는, 콘텐츠 획득부(1010), 포인트 선택부(1020), 기준벡터 생성부(1030), RST 값 산출부(1040), 콘텐츠 복원부(1050), 워터마크 검출부(1060) 및 식별정보 추출부(1070)를 포함할 수 있다. 각각의 구성요소는 기능블록별로 각각 마이크로프로세서와 같이 하드웨어로 구현될 수 있고, 기능블록이 조합되어 하나 또는 복수 개의 마이크로 프로세서로 구현될 수 있다. 또한, 각 기능블록에서 수행하는 프로세스와 연관된 명령어는 메모리(미도시)에 저장되어 있을 수 있다.
도 10을 참조하면, 콘텐츠 획득부(1010)는 원본콘텐츠와 타겟콘텐츠를 입력받는다. 그리고는, 입력된 원본콘텐츠 및 타겟콘텐츠를 포인트 선택부(1020)로 제공한다.
포인트 선택부(1020)는 원본콘텐츠의 하나의 영상에서 두 개의 포인트를, 타겟 콘텐츠의 하나의 영상에서도 역시 두 개의 포인트를 추출한다. 포인트 선택부(1020)는 먼저, 두 콘텐츠에서 대응되는 영상이 존재하는지 확인한다. 그리고는, 그 중 하나를 선택한다. 이때, 화질이 가장 좋은 한 쌍의 영상을 선택하는 것이 바람직하다. 그리고/또는, 매칭되는 특징점이 가장 많이 존재하는 한 쌍의 영상을 선택하는 것이 바람직하다.
그리고는, 한 쌍의 영상 내에 존재하는 특징점들 중 양 영상에 모두 존재하여 매칭되는 특징점을 추출한다. 그리고는, 그 중 가장 먼 위치에 존재하는 특징점의 쌍을 각 영상에서 추출한다. 추출된 특징점들의 정보는 기준벡터 생성부(1030)로 제공된다.
기준벡터 생성부(1030)는 양 콘텐츠로부터 추출된 두 개의 포인트를 기반으로 각각 한 개의 기준벡터, 총 두 개의 기준벡터를 생성한다. 기준벡터는 원본콘텐츠로부터 타겟콘텐츠로 얼마나 변형이 되었는지를 가늠하기 위한 기준이 되는 벡터로써, 변형정도를 나타내는 RST 값 산출에 활용된다.
RST 값 산출부(1040)는 상기 기준벡터 생성부(1030)에서 생성된 두 개의 기준벡터를 기반으로 RST 값을 산출한다. RST 값은 기하학적인 변형이 이루어진 콘텐츠를 보정하기 위한 값이다. 이때, R 값을 먼저 산출하고, S 값을 그 다음, 그리고, T 값을 가장 마지막에 산출하는 것이 바람직하다. 그리고, 산출된 팩터는 다음 팩터 산출 전에 타겟 콘텐츠의 기준벡터에 역으로 적용하여 보정을 하는 것이 보다 정확한 팩터값 산출을 위한 바람직한 방안이다.
RST 값 산출부(1040)는 양 기준벡터 사이의 사잇각(θ)을 이용하여 cosθ, sinθ를 항으로 하는 행렬값으로 표현되는 R 값을 산출한다. 이때, 스칼라곱 연산을 응용하여 양 벡터 간의 사잇각을 산출하는 방식으로 계산할 수 있다. S 값은 x 및 y 좌표계에서의 스케일 관련 비례관계를 나타내는 Sx, Sy를 항으로 하는 행렬값으로 표현될 수 있으며, 1차 보정된 타겟콘텐츠의 기준벡터의 x 좌표계와 y 좌표계와 원본콘텐츠의 기준벡터의 x 좌표계와 y 좌표계 정보를 기반으로 양자의 크기비교를 통해 산출될 수 있다.
마지막으로, T 값은 원본콘텐츠의 기준벡터를 이루는 특징점의 좌표값과 타겟콘텐츠의 기준벡터를 이루는 특징점의 좌표값을 기반으로 산출될 수 있다.
콘텐츠 복원부(1050)는 RST 변형과 관련하여 RST 값 산출부(1040)에서 산출한 행렬을 이용하여 타겟콘텐츠의 모든 또는 적어도 일부의 영상을 원래대로 복원할 수 있다. 그리고는, 복원된 영상은 각각 워터마크 검출부(1060) 및/또는 식별정보 추출부(1070)로 제공될 수 있다.
워터마크 검출부(1060)는 복원된 영상으로부터, 워터마크 메시지 정보 이미지가 삽입되어 있는 정확한 위치를 알아낸 후, 워터마크 메시지 정보 이미지를 추출하여, 추출된 메시지 이미지의 패턴을 분석하여 '0' 또는 '1' 정보로 디코딩함으로써 해당 콘텐츠에 포함된 워터마크를 검출할 수 있다. 이때, 메시지 정보는 검출된 정보의 신뢰성을 높이기 위해 ECC(error correction code)등을 포함할 수 있다.
또한, 식별정보 추출부(1070)는 복원된 영상에서 특성정보 변화량(CFC)를 추출하여 해당 콘텐츠의 DNA 정보를 획득할 수 있다.
이상 도면 및 실시예를 참조하여 설명하였지만, 본 발명의 보호범위가 상기 도면 또는 실시예에 의해 한정되는 것을 의미하지는 않으며 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (19)

  1. 콘텐츠의 영상 데이터에 대한 복원 방법에 있어서,
    제 1 콘텐츠의 제 1 영상에서 제 1 포인트(point) 및 제 2 포인트를 선택하는 단계;
    제 2 콘텐츠의 제 2 영상에서 제 3 포인트 및 제 4 포인트를 선택하는 단계, 상기 제 2 영상은 상기 제 1 영상에 대응되는 영상이며, 상기 제 3 포인트와 상기 제 4 포인트는 상기 제 1 포인트 및 상기 제 2 포인트와 각각 대응되는 영상 내 포인트임;
    상기 제 1 포인트 및 상기 제 2 포인트를 이용하여 제 1 기준벡터를 생성하는 단계;
    상기 제 3 포인트 및 상기 제 4 포인트를 이용하여 제 2 기준벡터를 생성하는 단계, ;
    상기 제 1 기준벡터 및 상기 제 2 기준벡터를 이용하여 상기 제 1 영상으로부터 상기 제 2 영상으로의 RST(Rotation, Scale and Transformation) 값을 산출하는 단계;
    상기 산출된 RST 값을 이용하여 상기 제 2 콘텐츠를 복원하는 단계를 포함하는 콘텐츠의 영상 데이터에 대한 복원방법.
  2. 제 1 항에 있어서,
    상기 제 1 포인트, 상기 제 2 포인트는 상기 제 1 영상 내의 객체를 특징짓는 특징점을 포함하고,
    상기 제 3 포인트 및 상기 제 4 포인트는 상기 제 2 영상 내의 객체를 특징짓는 특징점을 포함하는 콘텐츠의 영상 데이터에 대한 복원방법.
  3. 제 1 항에 있어서, 제 1 콘텐츠의 제 1 영상에서 제 1 포인트(point) 및 제 2 포인트를 선택하는 단계 및 제 2 콘텐츠의 제 2 영상에서 제 3 포인트 및 제 4 포인트를 선택하는 단계는,
    상기 제 1 영상 및 상기 제 2 영상에서 복수 개의 특징점들을 검출하는 단계; 및
    상기 검출된 복수 개의 특징점들 중 상기 제 1 영상 및 상기 제 2 영상에서 매칭이 되는 복수 개의 특징점들을 선별하는 단계; 및
    상기 선별된 복수 개의 특징점들 중에서 상기 제 1 포인트, 상기 제 2 포인트, 상기 제 3 포인트 및 상기 제 4 포인트를 선택하는 단계를 포함하는 콘텐츠의 영상 데이터에 대한 복원방법.
  4. 제 3 항에 있어서, 상기 선별된 복수 개의 특징점들 중에서 상기 제 1 포인트, 상기 제 2 포인트, 상기 제 3 포인트 및 상기 제 4 포인트를 선택하는 단계는,
    상기 선별된 복수 개의 특징점들 중, 상기 제 1 영상 및 상기 제 2 영상 각각에서 가장 거리가 멀리 떨어진 두 개의 특징점들을 상기 제 1 포인트, 상기 제 2 포인트, 상기 제 3 포인트 및 상기 제 4 포인트로 선택하는 단계를 포함하는 콘텐츠의 영상 데이터에 대한 복원방법.
  5. 제 1 항에 있어서, 상기 RST 값을 산출하는 단계는,
    상기 제 1 기준벡터 및 상기 제 2 기준벡터를 기반으로 스칼라 곱 연산을 이용하여 회전값(R: Rotation)을 산출하는 단계를 포함하는 콘텐츠의 영상 데이터에 대한 복원방법.
  6. 제 5 항에 있어서,
    상기 회전값은
    Figure pat00007
    를 이용하여 산출되되, θ는 상기 제 1 기준벡터와 상기 제 2 기준벡터의 사잇각을, xorg는 상기 제 1 기준벡터의 x 값을, yorg는 상기 제 1 기준벡터의 y 값, xtrg는 상기 제 2 기준벡터의 x 값, ytrg는 상기 제 2 기준벡터의 y 값을 나타내는 콘텐츠의 영상 데이터에 대한 복원방법.
  7. 제 1 항에 있어서, 상기 RST 값을 산출하는 단계는,
    상기 제 1 영상으로부터 상기 제 2 영상으로의 회전값(R 값)을 기반으로 상기 제 2 기준벡터를 보정하는 단계; 및
    상기 제 1 기준벡터와 상기 보정된 제 2 기준벡터의 x 좌표계의 크기 및 y 좌표계의 크기를 기반으로 스케일링 값(S: Scale)을 산출하는 단계를 포함하는 콘텐츠의 영상 데이터에 대한 복원방법.
  8. 제 7 항에 있어서,
    상기 스케일링 값은
    Figure pat00008
    를 이용하여 산출되되, Sx는 x축에서의 스케일링 값을 나타내고, Sy는 y축에서의 스케일링 값을 나타내며, xorg는 상기 제 1 기준벡터의 x 값을, yorg는 상기 제 1 기준벡터의 y 값, xtrg는 상기 보정된 제 2 기준벡터의 x 값, ytrg는 상기 보정된 제 2 기준벡터의 y 값을 나타내는 콘텐츠의 영상 데이터에 대한 복원방법.
  9. 제 1 항에 있어서, 상기 RST 값을 산출하는 단계는,
    상기 제 1 영상으로부터 상기 제 2 영상으로의 회전값(R 값) 및 스케일링값(S 값)을 기반으로 상기 제 2 기준벡터를 보정하는 단계; 및
    상기 보정된 제 2 기준벡터와, 상기 제 1 영상에 존재하는 특징점의 좌표값과 상기 특징점과 대응되는 제 2 영상 내의 특징점의 좌표값을 기반으로 변형값(T: Transfomation)을 산출하는 단계를 포함하는 콘텐츠의 영상 데이터에 대한 복원방법.
  10. 제 1 항에 있어서,
    상기 변형값은 하기 수학식의 Tx 및 Ty 값을 포함하며,
    Figure pat00009
    를 이용하여 산출되되, Tx 및 Ty는 T 팩터의 x 및 y 좌표계의 값을, θ는 상기 제 1 기준벡터와 상기 제 2 기준벡터 사이의 사잇값을, Sx는 x축에서의 스케일링 값을 나타내고, Sy는 y축에서의 스케일링 값을 나타내며, x, y 값은 제 1 영상의 특징점의 좌표값, x', y' 값은 상기 제 2 영상의 특징점의 좌표값을 나타내는 콘텐츠의 영상 데이터에 대한 복원방법.
  11. 제 1 항에 있어서,
    상기 제 2 콘텐츠를 복원하는 단계는, 상기 제 2 콘텐츠의 식별정보 검출 및 상기 제 2 콘텐츠에 포함된 워터마크 검출 중 적어도 하나와 연관하여 상기 제 2 콘텐츠를 복원하는 단계를 포함하는 콘텐츠의 영상 데이터에 대한 복원방법.
  12. 제 1 항에 있어서, 상기 RST 값을 산출하는 단계는,
    상기 복수 개의 영상에서 복수 개의 기준벡터 후보를 생성하는 단계;
    상기 생성된 복수의 복수 개의 기준벡터 후보를 기반으로 복수 개의 RST 값을 각각 산출하는 단계;
    상기 산출된 RST 값들 중 가장 중복이 많이 되는 값을 RST 최종 결과값으로 결정하는 단계를 포함하는 콘텐츠의 영상 데이터에 대한 복원방법.
  13. 제 1 항에 있어서,
    상기 복원된 제 2 콘텐츠에서 워터마크를 검출하는 단계를 더 포함하는 콘텐츠의 영상 데이터에 대한 복원방법.
  14. 제 1 항에 있어서,
    상기 복원된 제 2 콘텐츠에서 CFC(Continuous Feature Code)를 추출하는 단계를 더 포함하는 콘텐츠의 영상 데이터에 대한 복원방법.
  15. 제 1 항에 있어서,
    상기 제 1 영상 및 상기 제 2 영상은 특징점이 기준값보다 많은 영상을 포함하는 콘텐츠의 영상 데이터에 대한 복원방법.
  16. 제 1 항에 있어서,
    상기 제 1 영상 및 상기 제 2 영상은 해상도가 기준값보다 높은 영상을 포함하는 콘텐츠의 영상 데이터에 대한 복원방법.
  17. 콘텐츠의 영상 데이터에 대한 복원 장치에 있어서,
    제 1 콘텐츠의 제 1 영상에서 제 1 포인트(point) 및 제 2 포인트를 선택하고, 제 2 콘텐츠의 제 2 영상에서 제 3 포인트 및 제 4 포인트를 선택하는 포인트 선택부, 상기 제 2 영상은 상기 제 1 영상에 대응되는 영상이며, 상기 제 3 포인트와 상기 제 4 포인트는 상기 제 1 포인트 및 상기 제 2 포인트와 각각 대응되는 영상 내 포인트임;
    상기 제 1 포인트 및 상기 제 2 포인트를 이용하여 제 1 기준벡터를 생성하고, 상기 제 3 포인트 및 상기 제 4 포인트를 이용하여 제 2 기준벡터를 생성하는 기준벡터 생성부;
    상기 제 1 기준벡터 및 상기 제 2 기준벡터를 이용하여 상기 제 1 영상으로부터 상기 제 2 영상으로의 RST(Rotation, Scale and Transformation) 값을 산출하는 RST 값 산출부;
    상기 산출된 RST 값을 이용하여 상기 제 2 콘텐츠를 복원하는 콘텐츠 복원부를 포함하는 콘텐츠의 영상 데이터에 대한 복원장치.
  18. 제 17 항에 있어서, 상기 포인트 선택부는,
    상기 제 1 영상 및 상기 제 2 영상에서 복수 개의 특징점들을 검출하여, 상기 검출된 복수 개의 특징점들 중 상기 제 1 영상 및 상기 제 2 영상에서 매칭이 되는 복수 개의 특징점들을 선별하고, 상기 선별된 복수 개의 특징점들 중에서 상기 제 1 포인트, 상기 제 2 포인트, 상기 제 3 포인트 및 상기 제 4 포인트를 선택하되,
    상기 선별된 복수 개의 특징점들 중, 상기 제 1 영상 및 상기 제 2 영상 각각에서 가장 거리가 멀리 떨어진 두 개의 특징점들을 상기 제 1 포인트, 상기 제 2 포인트, 상기 제 3 포인트 및 상기 제 4 포인트로 선택하는 콘텐츠의 영상 데이터에 대한 복원장치.
  19. 제 17 항에 있어서, 상기 RST 값 산출부는,
    상기 복수 개의 영상에서 생성된 복수 개의 기준벡터 후보를 기반으로 복수 개의 RST 값을 각각 산출하여, 상기 산출된 RST 값들 중 가장 중복이 많이 되는 값을 RST 최종 결과값으로 결정하는 콘텐츠의 영상 데이터에 대한 복원장치.

KR1020180091565A 2018-08-07 2018-08-07 콘텐츠의 영상 데이터 복원방법 및 장치 KR20200016443A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180091565A KR20200016443A (ko) 2018-08-07 2018-08-07 콘텐츠의 영상 데이터 복원방법 및 장치
US16/533,732 US11138708B2 (en) 2018-08-07 2019-08-06 Method and apparatus for reconstructing content image data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180091565A KR20200016443A (ko) 2018-08-07 2018-08-07 콘텐츠의 영상 데이터 복원방법 및 장치

Publications (1)

Publication Number Publication Date
KR20200016443A true KR20200016443A (ko) 2020-02-17

Family

ID=69406071

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180091565A KR20200016443A (ko) 2018-08-07 2018-08-07 콘텐츠의 영상 데이터 복원방법 및 장치

Country Status (2)

Country Link
US (1) US11138708B2 (ko)
KR (1) KR20200016443A (ko)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6266452B1 (en) * 1999-03-18 2001-07-24 Nec Research Institute, Inc. Image registration method
US9652821B2 (en) * 2010-09-03 2017-05-16 Digimarc Corporation Signal processors and methods for estimating transformations between signals with phase deviation
US8797414B2 (en) * 2010-12-23 2014-08-05 Samsung Electronics Co., Ltd. Digital image stabilization device
EP2648157A1 (en) * 2012-04-04 2013-10-09 Telefonaktiebolaget LM Ericsson (PUBL) Method and device for transforming an image
CN104699842B (zh) * 2015-03-31 2019-03-26 百度在线网络技术（北京）有限公司 图片展示方法和装置
CN106503491A (zh) * 2016-11-17 2017-03-15 陕西玉航电子有限公司 一种三重特征码水印的电子***检测技术

Also Published As

Publication number Publication date
US20200051227A1 (en) 2020-02-13
US11138708B2 (en) 2021-10-05

Similar Documents

Publication Publication Date Title
US9436981B2 (en) Dictionary creation device, image processing device, image processing system, dictionary creation method, image processing method, and program
US8274602B2 (en) Image processing apparatus and image processing method with redundant frame detection
JP2007502053A (ja) 動き推定方法及び装置
US11055816B2 (en) Image processing device, image processing method, and image processing program
WO2021082562A1 (zh) 活体检测方法、装置、电子设备、存储介质及程序产品
CN111339897B (zh) 活体识别方法、装置、计算机设备和存储介质
CN109361927A (zh) 图像处理方法及装置
CN113989156A (zh) 脱敏方法的可靠性验证的方法、装置、介质、设备和程序
CN113569070A (zh) 图像检测方法和装置、电子设备、存储介质
CN110473136B (zh) 基于surf-dct混合的图像处理方法及装置
CN109274950B (zh) 图像处理方法、装置及电子设备
CN111369557A (zh) 图像处理方法、装置、计算设备和存储介质
CN116823599B (zh) 一种基于图片隐写的操作记录可回溯方法
CN112149568A (zh) 短视频定位方法、装置、电子设备及计算机可读存储介质
Wang et al. Enhancing Matrix Completion Using a Modified Second‐Order Total Variation
KR20200016443A (ko) 콘텐츠의 영상 데이터 복원방법 및 장치
WO2021000495A1 (zh) 一种图像处理方法以及装置
CN111583345A (zh) 一种相机参数的获取方法、装置、设备及存储介质
CN113505765B (zh) 基于用户头像的年龄预测方法、装置及电子设备
JP2020003879A (ja) 情報処理装置、情報処理方法、透かし検出装置、透かし検出方法、及びプログラム
CN115424001A (zh) 场景相似度估计方法、装置、计算机设备和存储介质
CN115063280A (zh) 一种水印叠加、恢复方法及装置
CN111243046B (zh) 图像质量检测方法、装置、电子设备及存储介质
CN113191376A (zh) 图像处理方法、装置、电子设备和可读存储介质
CN113421241A (zh) 异常事件上报方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application