KR20010012245A - 워터마크 검출 방법 및 장치 - Google Patents

Abstract

본 발명은 정보 신호에서 워터마크를 검출하기 위한 방법 및 장치에 관한 것이다. 본 방법은 상기 정보 신호에 대해 상기 워터마크(W_i)와 상기 워터마크의 복수의 위치(k)에 대한 상기 정보 신호(예를 들어, 이미지(Q))의 상관(d_k)을 계산하는 단계(24-28,30), 및 각각의 상관값의 적어도 하나가 주어진 임계값을 초과하는지를 검출하는 단계(29)를 포함한다. 검출 단계(29)는 각각의 상관값(d_k)의 표준 편차(σ_d)를 결정하는 단계, 및 임계치를 상기 표준 편차의 주어진 배수(T)로 설정하는 단계로 구성된다. 배수(T)는 소정의 오류 경보 비율(없을 때 워터마크가 검출되고, 있을 때 워터마크가 검출되지 않음)로부터 얻어진다.

Description

워터마크 검출 방법 및 장치{Watermark detection}

서두에서 정의한 선행 기술의 방법은 국제 특허 출원 WO-A-98/03014에 기재되어 있다. 워터마크는 적용된 워터마크 패턴과 예측 정보 신호(suspect information signal)의 상관(correlation)을 계산하고, 그 상관을 미리 결정된 임계값(threshold)과 비교하는 것에 의해 검출된다. 만약, 상관이 임계값보다 크다면, 워터마크는 존재한다고하고, 그렇지 않으면, 부재한다고 한다.

본 발명은 워터마크 패턴(watermark pattern)의 (시간적 혹은 공간적으로) 일치하는 값에 따라 정보 신호의 값을 변경하여 워터마크될 수 있는 정보 신호에서 워터마크를 검출하는 방법에 관한 것이다. 또한, 본 발명은 워터마크를 검출하기 위한 장치에 관한 것이다.

도1은 워터마크를 신호에 삽입하기 위한 장치의 개략도.

도2 및 도3은 도1에 나타난 삽입기의 작동을 설명하기 위한 다이아그램.

도4는 삽입된 워터마크를 검출하기 위한 장치의 개략도.

도5 내지 도6b는 도4에 도시한 검출기의 작동을 설명하기 위한 다이아그램.

도7은 삽입된 워터마크와 함께 비디오 비트 스트림을 재생하기 위한 장치의 개략도.

도8은 삽입된 워터마크를 검출하기 위한 장치의 바람직한 실시예의 개략도.

도9a 및 도9b는 도8에 나타난 검출기의 작동을 설명하기 위한 다이아그램.

도10은 삽입된 워터마크를 검출하기 위한 장치의 다른 실시예의 개략도.

본 발명의 목적은 임계값을 설정하기 위한 적절한 기준(suitable criterion)을 제공하는 것이다.

상기 목적을 위하여, 본 발명은 정보 신호에서 주어진 워터마크를 검출하는 방법을 제공하는데, 상기 방법은 상기 정보 신호에 관한 상기 워터마크의 복수의 위치들을 위해 상기 정보 신호 및 상기 워터마크의 상관을 계산하는 단계, 및 적어도 하나의 각각의 상관값이 주어진 임계값을 초과하는지 검출하는 단계를 포함하는데, 상기 방법은 각각의 상관값의 표준 편차를 결정하는 단계를 포함하고, 상기 주어진 임계값은 상기 표준 편차의 주어진 배수인 것을 특징으로 한다.

본 발명은 워터마크 검출기가 실제로 정보 신호(예를 들어, 이미지)에 관한 워터마크의 복수의 위치(시간적 혹은 공간적)들에 대한 상관값을 계산하는 것을 필요로 한다는 점을 이용하는데, 그 이유는 이미지에 관한 워터마크의 위치는 완전히 알 수 없고, 또는, 정보가 하나 이상의 워터마크 패턴의 쉬프트에 삽입되기 때문이다. 그래서, 검출은 일련의 상관값을 얻고, 이는 완전한 상관값보다 다소 흥미로운 그러한 시리즈에 있는 상관적인 피크(peaks)들의 발생이다.

편리함을 위하여, 본 발명에 따른 워터 마킹 스킴(scheme)은 보이지 않는 라벨을 비디오 내용물에 부가하기 위한 시스템으로서 기술될 것이지만, 가르침은 오디오 및 멀티 미디어를 포함하는 다른 내용물에 명백히 적용될 것이다. 지금부터 우리는 이 방법을 JAWS(Just Another Watermarking System)으로 인용 할 것이다.

도1은 배경 정보를 제공하기 위해 워터마크 삽입기의 실질적인 실시예를 보여준다. 삽입기는 이미지(P)를 발생하는 이미지 소스(11)와, 이미지(P)에 워터마크(W)를 더하는 가산기(12)를 포함한다. 워터마크(W)는 이미지와 같은 크기, 예를 들어, 수평으로 N₁픽셀 및 수직으로 N₂픽셀을 갖는 노이즈 패턴이다. 워터마크(W)는, 예를 들어 수신 단부에서 검색되는 멀티-비트 코드인 키(K)를 나타낸다.

워터마크 검출 과정에서 큰 N₁x N₂스페이스에 대해 워터마크(W)를 검색할 필요성을 피하기 위하여, 워터마크는 이미지의 범위에 대해 "타일(tiles)"[W(K)]이라 불리는 작은 유닛들을 필요 하다면, 잘라 냄으로서 생성된다.

타일링 처리(15)는 도2에 나타난다. 타일[W(K)]은 고정 크기(M_XM)를 갖는다. 타일 크기(M)는 너무 작아서는 않되는데, 그 이유는 타일 크기(M)가 작을 수록 W(K)에서 보다 대칭이 되어, 큰 보안 위험이 따르게 되기 때문이다. 한편, M이 너무 크면 안되는데, 그 이유는 큰 값의 M은 검출기에 대해 큰 탐색 스페이스가 필연적으로 수반되고, 그 결과 큰 복잡성이 수반되기 때문이다. JAWS에 있어서는, 적당한 절충안으로서 M=128을 선택한다.

그러면, 지역 깊이 맵(local depth map)이나 시야 마스크(visibility mask)λ(P)가 계산(16)된다. 각각의 픽셀 위치에서, λ(P)는 부가적인 노이즈의 시야를 위한 치수를 제공한다. 맵 λ(P)은 1에 동등한 평균값을 가지기 위해 구축된다. 확장된 순서 W(K)는 그후에 λ(P)와 변조(17) 된다. 즉, 각각의 위치에서 타일 된 워터마크[W(K)]의 값은 그 위치에서 λ(P)의 시야값에 의해 배가된다. 그러면, 결과 노이즈 순서 W(K,P)는 키(K)와 (P)의 이미지 내용물에 의존한다. 그것은 이미지(P)에 적응하는 것으로서, W(K,P)를 적응적인 워터마크로 참고한다.

마지막으로, 최종 워터마크의 세기는 W(K,P)의 글로벌 스케일링(18)을 제공하는 글로벌 깊이 파라미터(d)에 의해 결정된다. 파라미터(d)의 큰 값은 강하지만 아마 보이는 워터마크에 대응한다. 작은 값은 거의 인식할 수 없지만 약한 워터마크에 대응한다. 파라미터(d)의 실제 선택은 강함과 인식 가능한 요구들 사이의 절충안이될 것이다. 워터마크된 이미지(Q)는 W = d_XW(K,P)를 (P)에 가산(12)하고, 정수 픽셀값을 라운딩(rounding)하고, 허용된 픽셀값 범위를 클리핑(clipping)하여 얻어진다.

워터마크(W)에 멀티-비트 코드(W)를 삽입하기 위해, 모든 타일[W(K)]은 다음 식에 따라, 상관되지 않은 기본 또는 초기 타일들{W₁..W_n}의 제한된 세트와 쉬프트된 버전으로부터 형성된다.

여기서, "shift()"는 주기적으로 감싸면서 벡터()위로 기초 M_XM 타일(W_i)의 공간적인 쉬프트를 나타낸다. 표시 s∈{-1,+1}와 쉬프트(k)는 인코드 하는 작용(E)(13)를 경유하여 키(K)에 의존한다. 표시(s_i)와 쉬프트(k_i)를 회복한 후 (K)를 재형성하는 것은 검출기의 태스크이다. 각각의 기초 타일(W_i)이 몇 번 동안 발생할지 모른다는 것을 주의해야 한다. 도1에서, 인코더(13)는 W(K)=W₁+W₂-W₂`를 발생하는데, W<sub>2</sub>`는 W₂의 쉬프트된 버전이다. 이러한 동작은 도3에 도시 되어있다.

도4는 본 발명에 따라 워터마크 검출기의 개략도를 나타낸다. 워터마크 검출기는 아마 워터마크된 이미지(Q)를 수신한다. JAWS 에서 워터마크 검출은 모든 단일 프레임에 대해 실행되지 않고, 프레임들의 그룹에 대해 실행된다. 수많은 프레임들을 축적(21)하여, 검출의 통계는 개선되고, 그로인해 검출의 신뢰도도 개선된다. 축적된 프레임들은 이어서 M_XM(M=128) 크기의 불록들로 분할(22)되고, 모든 불록들은 M_XM 크기의 버퍼(q)에 쌓인다(23). 이러한 동작은 폴딩(folding)으로 알려져 있다. 폴딩의 동작은 도5에 나타난다.

검출 과정의 다음 단계는 특정한 노이즈 패턴이 버퍼(q)에 존재함을 확인 하는것이다. 버퍼(q)가 특정 워터마크 패턴(W)을 포함하는지 아닌지를 검출하기 위해, 버퍼 내용 및 상기 워터마크 패턴은 상관처리된다. 워터마크 패턴(w)과 예측 정보 신호(q)의 상관을 계산하는 것은 워터마크 패턴의 대응하는 값과 정보 신호값의 내적[d=〈q,w〉]을 계산하는 것을 포함한다. 1차원 정보 신호 q={q_n} 및 워터마크 패턴 w={w_n}에 대해서는 수학적 표기로 다음과 같은 식으로 기록될 수 있다.

2차원 M_XM 이미지 q={q_ij} 및 워터마크 패턴 W={w_ij}에 대해서, 내적은 다음 식과 같다.

대체로, 타일(W_i)은 쉬프트시킨 벡터(k_i)는 다른 벡터(k)를 갖는 W_i를 검출기에 연속적으로 인가하고, 상관이 가장 효과적인 k을 결정함으로서 알수 있다. 그러나, 억지 탐색 알고리즘(brute force searching algorithm)은 시간을 소비한다. 더욱이, 이미지(Q)는 워터마크 검출 이전에 여러 형태로 처리[예를 들어, 번역이나 크로핑(cropping)같은]될 수 있기 때문에, 검출기는 이미지(Q)에 관한 기본 워터마크 패턴(W_i)의 공간적인 위치를 알수 없다.

억지 탐색 대신에, JAWS는 패턴[W(K)]의 구조를 이용한다. 버퍼(q)는 그들 초기 패턴들, 즉, 그들 부호 및 쉬프트의 존재에 대해 검사된다. 벡터(k)(수평으로 k_x픽셀 및 수직으로 k_y픽셀)에 의해 쉬프트되는 최기 패턴(w) 및 이미지(Q)의 상관(d_k)은 다음 식과 같이된다.

기본 패턴(W_i)의 모든 가능한 쉬프트 벡터(k)에 대한 상관값(d_k)은 고속 퓨리어 변환(Fast Fourier Transform)을 사용하여 동시에 계산된다. 도4에 도시된것 처럼, 기본 워터마크 패턴(W_i)과 버퍼(q)의 내용은 변환 회로(24 및 25)에서 고속 퓨리어 변환(FFT)처리 된다. 이들 동작은 다음 식을 얻는다.

여기서,및는 복소수의 세트이다.

상관을 계산하는 것은 q의 콘벌루션(convolution)과 W_i의 공액(conjugate)을 계산하는 것과 유사하다. 변환 도메인에 있어서는 다음 식에 대응한다.

여기서, 심볼()은 포인트 방식 곱셈(pointwise multiplication)을 나타내고, conj()은 인수(argument)의 허수부의 부호의 반전을 나타낸다. 도4에 있어서,의 공액은 공액 회로(26)에 의해 수행되고, 포인트 방식 곱셈은 곱셈기(27)에 의해 수행된다. 상관값[d={d_k}]의 세트는 상기 곱셈의 결과를 역 퓨리어 변환하여 다음 식과 같이 얻어진다.

상기는 도4에서 역 FFT 회로(28)에 의해 수행된다. 상관값(d_k)이 주어진 임계값보다 큰 경우에, 워터마크 패턴(W_i)은 존재한다고 검출된다.

도6a는 이미지(Q)에서 워터마크 패턴(W₁)(도1 및 도3 참고)의 존재가 확인된 경우에, 상관값(d_k)의 그래프를 도시한다. 피크(61)는 (W₁)가 실제로 발견되었음을 나타낸다. 이 피크의 위치(0,0)는 검출기에 인가된 패턴(W₁)이 삽입기에 인가된 패턴(W₁)으로서 이미지(Q)에 관하여 동일한 공간적 위치를 갖도록 하는 것을 나타낸다. 도6b는 워터마크 패턴(W₂)이 검출기에 인가된 경우의 상관값의 그래프를 나타낸다. 이제, 두 개의 피크들이 발견된다. 위치(0,0)에서 포지티브 피크(62)는 워터마크(W₂)의 존재를 나타내고, 위치(48,80)에서 네가티브 피크(63)는 워터마크(-W₂`)의 존재를 나타낸다. 피크(62)[혹은, 유사한 것, 피크(61)]에 관한 네가티브 피크(63)의 상관적인 위치는 (W<sub>2</sub>)에 관하여 (W<sub>2</sub>`)의 상대적인 위치(픽셀에서) 즉, 쉬프트 벡터(k)를 나타낸다. 그로 인해 발견된 벡터로부터 삽입된 데이터(K)가 유도된다.

삽입된 정보는 예를 들어, 카피-라이터 홀드(copy-right holder)나 내용의 기술(description)을 식별 할 수 있다. DVD 카피-방지에 있어서는, 자료에 '한번 카피','카피 불가','무제한','더이상 카피 불가'등등의 라벨을 하도록 할 수 있다. 도7은 디스크(71)에 기록된 MPEG 비트 스트림을 재생하기 위한 DVD 드라이브를 나타낸다. 기록된 신호는 스위치(72)를 경유하여 출력 단자(73)에 인가된다. 출력 단자는 외부 MPEG 디코더 및 디스플레이 장치(도시하지 않음)에 연결된다. 본 발명에 관련되지 않는 다른 조건들이 달성되지 않는 한, DVD 드라이브는 예정되어 삽입된 워터마크와 함께 비디오 신호를 재생할 수 없는 것으로 가정한다. 예를 들어, 디스크(71)가 주어진 "워블(wobble)"키를 포함한다면, 워터마크된 신호는 단지 재생만될 것이다. 워터마크를 검출하기 위해, DVD 드라이브는 상술한 것처럼 워터마크 검출기(74)를 포함한다. 이 검출기는 기록된 신호를 수신하고, 워터마크가 검출되었는지 아닌지에 응답하여 스위치(72)를 제어한다.

퓨리어 계수()들은 복소수 즉, 실수부와 허수부 또는, 크기와 위상을 갖는 복소수이다. 발명자들은 크기 정보가 낭비되고, 위상만이 고려되는 경우에, 검출기의 신뢰성은 크게 개선된다는 점을 알고 있다. 도8은 검출기의 상관 회로 소자의 바람직한 실시예를 나타낸다. 이 실시예는 크기의 표준화 회로(30)가 곱셈기(27)와 역 퓨리어 변환 회로(28)사이에 삽입된다는 점에서 도4에 도시된 것과 다르다. 표준화 회로의 동작은 각각의 계수를 크기로 포인트 방식 분할하는 것을 포함한다. 수학적 표기로는 다음 식(1)과 같다.

(1)

여기서, Φ는 포인트 방식 분할을 나타내고, abs()는 다음 식(2)과 같이 나타낸다.

(2)

여기서, R() 및 I()는 인수의 실수부 및 허수부를 각각 나타낸다.

상기 크기의 표준화는 SPOMF(Symmetrical Phase Only Matched Filtering)에서 설명한다. 도9a 및 도9b는 SPOMF 상관 효과를 도해한다. 더욱 특별히 도9a는 선형 상관을 사용할 때, 즉, 크기 표준화 회로(30)없이 사용 할 때의 상관값(d_k)을 나타낸다. 전체 매트릭스의 표준 편차의 유닛 안에서 표현된 상관값(d₀)은 9.79에 달한다. 도9b는 SPOMF 상관을 사용할 때의 상관값을 나타낸다. 상관값(d₀)은 이제 표준 편차의 62.77배이다. 도9b의 피크는 도9a의 피크보다 신뢰성 있게 검출될 수 있음을 알게된다.

의 크기를 표준화하는 것은및의 크기를 표준화하는 것과 동일하기 때문에, 도8의 표준화 회로(30)는 FFT 회로(24 및 25)뒤에 두 개의 표준화 회로에 의해 교체될 수 있다. 그러나, 삽입된 워터마크는 바람직한 백색[플랫(flat)] 주파수 스펙트럼을 이미 가지게 되는데, 이는 실제로 상기 워터마크가 의사-랜덤 노이즈 패턴이기 때문이며, 여기서 각 샘플이 정규 분포로부터 독립적이고 동일하게 도출된다. 이점에 있어서, 정보 신호의 크기만을 표준화하는 것으로 충분함을 알수 있다. 도10은 그러한 실시예를 나타낸다. 크기 표준화 회로(30)는 이제 FFT 회로(24)와 곱셈기(27) 사이에 위치한다. 이 실시예에서,의 크기는 정확하게 같지는 않으나 실질적으로는 같다.

FFT와 적용된 워터마크(W_i)의 공액(도4, 8 및 도10의 회로 25, 26 각각 참조) 뿐만 아니라,의 크기의 임의의 표준화는 미리 계산되어 메모리에 저장될 수 있음을 주의해야 한다.

본 발명은 피크가될 상관값(d_k)에 대한 기준을 결정하는 측면을 다룬다. 이때문에, 확률론적인 변수로서 결정 변수(d_k)를 고려한다. d_k의 "큼(largeness)"을 공식화하는 방법은 d의 표준 편차(σ_d)와의 비교에 의한다. 어느 적절히 선택된 임계치(T)에 대해 특정양(d_k)가 Tσ_d보다 크다면, 우리는 d_k를 통계적인 분리물(statistical outlier)이라고 말한다. 이것은 워터마크가 존재하는 것으로 해석된다.

실험은 d가 정규 분포로서 매우 양호한 근사치로 모델링될 수 있음을 보여준다. 이것은 선형 상관뿐만 아니라 SPOMF 상관에 대해서도 마찬가지이다. 따라서 임계치(T)에 오류 양성 비율을 연계시킬 수 있다. 특히, 양(d_k)이 Tσ_d보다 클 확률은 오류 함수, 즉 erfc(T)로서 계산될 수 있다.

임계값 T=5는 일반적으로 안전한 것으로 간주되고, 2.8 x 10^-7의 오류 경보 확률과 일치한다.

각각의 d_k값은 고정된 워터마크{Wj}와 이미지(q^k)의 상관 관계로서 보여 질 수 있고, 여기서 q^k은 q의 쉬프트된 버전(주기적으로 감쌈)이다. 그러므로, 매트릭스(d_k)를 확률론적인 과정(d)의 예증의 매트릭스로 볼 수 있다. d는 정규 분포로서 매우 양호한 근사치로 모델링될 수 있음을 실험으로부터 알 수 있다. 이것은 선형 상관뿐만 아니라 SPOMF 상관에 대해서도 마찬가지다. 따라서, 우리가 임계치(T)에 오류 양성 비율을 연계시킬수 있다. 특히, 양(d_k)이 Tσ_d보다 클 확률은 오류 함수, 즉 erfc(T)로서 계산될 수 있다.

임계값 T=5는 일반적으로 안전한 것으로 간주되고, 2.8 x 10^-7의 오류 경보 확률과 일치한다. 실제의 오류 경보 비율은 워터마크 정보(K)가 부호와 피크 위치의 조합으로서 인코드되는 방법 때문에 낮아진 크기의 순서들이다. T=5인 동안 피크들 및 부호들의 합법적인 조합이 우연히 발생할 확률은 매우 작다.

실제의 오류 경보 비율은 워터마크 정보(K)가 부호와 피크 위치의 조합으로서 인코드되는 방법 때문에 낮아진 크기의 순서들이다. T=5인 동안 피크들 및 부호들의 합법적인 조합이 우연히 발생할 확률은 매우 작다.

위에서 설명된 선형 상관의 경우에, σ_d는 이미지(q)의 표준 편차(σ_q) 및 워터마크(w)의 표준 편차(σ_w)에 의해 직접적으로 표현될 수 있다.

실제로, 이식은 σ_d가 고정된 소정의 값을 가지도록 가정될 수 있다는 것을 암시한다.

σ_d의 값도 매트릭스{d_k}로부터 직접 추정될 수 있으며, 식은 다음과 같다.

σ_d을 계산하는 후자의 방법은 상관값들이 SPOMF를 사용하여 계산될때 특별히 유용한데, 이것은 SPOMF 상관관계의 경우에, σ_d을 위한 쉬운 이론적 공식이 없기 때문이다. SPOMS 검출과 함께, d_k의 피크 높이들은 이 측정된 표준 편차와 비교되고, 만약 5σ_d보다 크다면 적절한 것으로 판정된다.

요약 하자면 정보 신호에서 워터마크를 검출하기 위한 방법 및 장치가 공개된다. 이 방법은 상기 정보 신호에 대해 상기 워터마크(W_i)와 상기 워터마크의 복수의 위치(k)에 대한 상기 정보 신호(예를 들어, 이미지(Q))의 상관(d_k)을 계산하는 단계(24-28,30), 및 각각의 상관값의 적어도 하나가 주어진 임계값을 초과하는지를 검출하는 단계(29)로 구성된다. 검출 단계(29)는 각각의 상관값(d_k)의 표준 편차(σ_d)를 결정하는 단계, 및 임계치를 상기 표준 편차의 주어진 배수(T)로 설정하는 단계로 구성된다. 배수(T)는 올바른 오류 경보 비율(없을 때 워터마크가 검출되고, 있을 때 워터마크가 검출되지 않음)로부터 구해진다.

Claims (5)

1. 정보 신호에 관한 워터마크의 복수의 위치(k)를 위한 상기 워터마크 및 상기 정보 신호의 상관(d_k)을 계산하는 단계;

   각각의 상관값의 적어도 하나가 주어진 임계값을 초과하는지를 검출하는 단계를 포함하는 정보 신호(q)내의 주어진 워터마크(w)를 검출하는 방법에 있어서,

   각각의 상관값(d_k)의 표준 편차(σ_d)를 결정하는 단계를 포함하고, 상기 주어진 임계값은 상기 표준 편차의 주어진 배수(T)인 것을 특징으로 하는 워터마크 검출 방법.
2. 제 1 항에 있어서, k가 상관값의 수이고,

   에 따라 상관값(d_k)으로부터 상기 표준 편차(σ_d)를 계산하는 단계를 포함하는 워터마크 검출 방법.
3. 제 1 항에 있어서, 상기 표준 편차는 예정된 고정값을 갖도록 가정된 워터마크 검출 방법.
4. 제 1 항에 있어서, 상기 배수(T)는 다음식 p=erfc(T)에 따라 소정의 오류 검출 확률(p)로부터 유도되고,

   여기서, erfc(T)는 오류 함수인 워터마크 검출 방법.
5. 정보 신호에 관한 워터마크의 복수의 위치(k)를 위한 상기 워터마크 및 상기 정보 신호의 상관(d_k)을 계산하기 위한 수단(24-28);

   각각의 상관값의 적어도 하나가 주어진 임계값을 초과하는지를 검출하기 위한 수단(29)을 포함하는 정보 신호(q)내의 주어진 워터마크(w)를 검출하기 위한 장치에 있어서,

   상기 검출 수단은 각각의 상관값(d_k)의 표준 편차(σ_d)를 결정하기 위한 수단을 포함하고, 상기 주어진 임계값은 상기 표준 편차의 주어진 배수(T)인 것을 특징으로 하는 워터마크 검출 장치.