KR20030027062A - 모션 이미지 신호에서 워터마크의 삽입 및 검출 - Google Patents

Abstract

극장들에서 큰 프로젝터 스크린들상에 이용되는 바와 같이, 디지털 시네마 포맷용으로 설계된 비디오 워터마킹 방식이 개시되어 있다. 워터마크는 비디오 품질에 최소의 영향을 미치지만, 소형 카메라(handheld camera)로 캡처링하고 예를 들면 VHS, CD-Video 또는 DVD 포맷에 대한 변환한 후에 여전히 검출 가능한 방식으로 설계되어 있다. 제안된 워터마킹 시스템은 단지 시간축만을 이용한다. 이것은 캡처링의 방식에 의해 일반적으로 야기되는 기하학적 왜곡들을 극복할 수 있게 한다. 워터마크는 워터마크의 샘플들에 따라 프레임의 글로벌 속성(예를 들면, 평균 휘도)을 변조함으로써 삽입된다. 삽입 깊이는 각 프레임내에서 각각의 이미지의 국부적 통계치들에 바람직하게 국부적으로 적응된다. 워터마크 검출은 프레임들의 시퀀스의 추출된 평균 휘도값들과 워터마크 시퀀스를 상관시킴으로써 실행된다.

Description

모션 이미지 신호에서 워터마크의 삽입 및 검출{Embedding and detection of watermark in a motion image signal}

모션 이미지 신호에 워터마크를 삽입하는 종래 기술의 방법이 국제 특허 출원 제 WO-A-99/45705호에 개시되어 있다. 이러한 종래 기술의 방법에서, 워터마크 샘플들의 2차원 시퀀스는 완전히, 그리고 복수 번, 비디오 신호의 이미지에 삽입된다.

워터마크 삽입은 복사 방지 방책들(copy protection strategies)의 중요한 양상이다. 대부분의 복사 방지 방식들이 전자적으로 분배된 컨텐트들(방송, 저장 미디어)의 보호를 다루지만, 복사 방지는 또한 극장들에서 상영되는 영화들에 대해서도 바람직하다. 소형 비디오 카메라에 의한 시네마에서의 불법 복사는 이미 공공연히 행해지고 있다. 품질은 통상적으로 매우 낮지만 불법의 VHS 테이프들, CD-비디오들 및 DVD들의 경제적인 영향은 클 수 있다.

수 년후에, 디지털 시네마 포맷인, 1920 ×1080 ×24 ×36(픽셀들/라인 × 라인들/프레임 × 프레임들/s × 비트들/픽셀)이 극장들에 도입될 것이다. 이러한 매우 고품질의 디지털 포맷을 도입함으로써, 소형 비디오 카메라들에 의한 불법 복사의 위협은 더욱 커질 것이다. 이러한 이유로 인해, 시네마 소유주들은 그들 전제들에 대한비디오 카메라들의 근접을 막아야 한다. 이러한 규칙을 지키지 않는 것은 컨텐트의 미래의 유용성에 대한 금지가 재가될 수 있다. 그 관점에서, 상영 시간 동안 워터마크를 추가하는 것이 계획된다. 워터마크는 시네마, 상영 시간, 오퍼레이터, 등을 식별하는 것이다.

개시부에 언급된 것을 포함하여 대부분의 워터마크 방식들은 검출시에 에러들을 정렬하기 쉽다. 기하학적 변형들의 어떤 분류(class)에 대해 불변하는 도메인에 워터마크를 삽입하거나 검출 동안 정렬을 되돌아 발견할 수 있는 해결책들이 공표되었다. 이들 방법들의 단점은 일반적으로, 제한된 수의 기하학적 변형들 (geometrical transformations)만을 극복할 수 있다는 점이다. 더욱이, 이들 방법들은 통상적으로 다른 공격들에 대한 견고성을 감소시킨다.

임의의 다른 워터마킹 방식에 대해서와 유사하게, 디지털 시네마 워터마크에 대한 필요 조건들은 (i) 견고성, (ⅱ) 미세성(imperceptibility) 및 (ⅲ) 낮은 거짓 포지티브 레이트(a low false positive rate)이다. 충분한 견고성을 성취하는 것이 가장 도전적인 필요 조건이다. 소형 카메라는 필터링(스크린에서 카메라로의 광 경로, 테이프에 이전 등)함으로써 비디오를 심각하게 열화시킬 뿐만 아니라, 비디오를 심각하게 기하학적으로 왜곡시킬 것이다(시프팅, 스케일링, 회전, 전단, 원근법에서의 변화, 등). 그 외에도, 이들 기하학적 왜곡들은 프레임간에 변화될 수 있다.

본 발명은 모션 이미지 신호에 워터마크를 삽입하기 위한 방법 및 장치에 관한 것이다. 또한, 본 발명은 상기 워터마크를 검출하기 위한 방법 및 장치에 관한 것이다.

도 1은 본 발명에 따른 워터마크 삽입기의 개략도.

도 2는 본 발명에 따른 워터마크 검출기의 개략도.

본 발명의 목적은 특히 기하학적 왜곡들에 대한 견고성에 대해 상기 언급된 필요 조건들을 이행하는 모션 이미지 신호에 워터마크를 삽입하기 위한 방법에 관한 것이다.

이를 위해, 본 발명에 따른 방법은 각 이미지에 대해, 상기 이미지를 구성하는 픽셀들의 글로벌 속성을 결정하는 단계, 및 대응하는 워터마크 샘플에 따라 이미지들의 시퀀스의 각 이미지의 글로벌 속성을 변경하는 단계를 포함한다. 양호한 실시예에 있어서, 상기 글로벌 속성은 이미지의 평균 휘도이다.

워터마크를 구성하는 워터마크 샘플들의 시퀀스가 대응하는 이미지들의 시퀀스에 분배되고, 한 워터마크 샘플이 이미지마다 삽입되는 본 발명으로 성취된다. 따라서, 상기 방법은 시간축을 따라 워터마크를 삽입하고 모든 기하학적 왜곡들에 대해 고유하게 견고하다.

인간 시각 시스템(Human Visual System)이 낮은 공간 주파수들에서 깜박거리기 쉽기 때문에, 워터마킹된 신호는 특히 이동하지 않는 평평한 영역들에서의 아티팩트들(artifacts)로부터 손상 받을 수 있다. 고정된 수의 연속적인 프레임들에 동일한 워터마크 샘플을 삽입함으로써 워터마크의 깜박임 주파수가 낮을 때, 이들 아티팩트들이 충분히 감소될 수 있다. 더욱이, 적응적 방식을 이용하는 것이 제안되는데, 픽셀에 대한 휘도에서의 변화는 모든 픽셀에 대해 결정되는 국부적 스케일링 인자(local scaling factor)에 의존된다. 국부적 스케일링 인자는 이동하는 거친 영역들(moving textured areas)에서 커야 하고 이동하지 않는 평평한 영역들(non-moving flat areas)에서 낮아야 한다.

삽입된 워터마크는 검출 종료시에 글로벌 속성들을 결정하고, 기준 워터마크 샘플들의 시퀀스와 글로벌 속성들의 시퀀스를 상관시키며, 상관값이 예정된 문턱값을 초과한다면 출력 신호를 생성함으로써 검출된다.

도 1은 본 발명에 따른 워터마크 삽입기의 개략도를 도시한 것이다. 삽입기는 프래임 n의 공간적 위치에서의 휘도 F(,n)를 갖는 HDTV 비디오 신호의 형태로 시네마 영화를 수신한다. 또한, 삽입기는 길이 N의 의사-랜덤 시퀀스 w(n)의 형태로 워터마크를 수신하며, 여기에서 w(n)∈[-1,1]이다. 이러한 응용에 대한 N의 적절한 값은 N = 1024이다.

워터마크 삽입기의 가장 단순한 실시예에서, 시퀀스 w(n)는 모든 프레임에하나의 워터마크 샘플을 삽입하는 삽입단(1)에 직접 인가된다. 양호한 실시예에서, 이것은 워터마크 샘플 w(n)=+1이면 1씩 프레임 n의 모든 픽셀의 휘도를 증가시키고, w(n)=-1이면 1씩 감소시킴으로써 실행된다. 따라서, 프레임들의 시퀀스의 평균 휘도는 워터마크에 의해 변조된다. 워터마크는 N개의 프레임들마다 반복한다.

워터마크에 의해 변조될 수 있는 프레임 파라미터들의 다른 예들은 화상 히스토그램들(화상에서 휘도값들의 상대 주파수들의 리스트), 또는 고차 모멘트들(high order moment)과 같은 그로부터 유도된 특징들(전력 k에 대한 휘도값들의 평균)이다. 휘도 평균은 후자의 특정예이다(k=1).

인간 시각 시스템(HVS)이 낮은 공간 주파수들에서 깜박거리기 쉽기 때문에, 이러한 단순한 실시예는 특히 이동하지 않는 평평한 영역에서의 아티팩트들로부터 손상될 수 있다. 이들 아티팩트들은 워터마크의 깜박임 주파수를 낮춤으로써 충분히 감소될 수 있다. 이것은, 예정된 수 T의 연속적인 이미지들 동안 각 워터마크 샘플을 반복하는 반복단(2)에 의해 실행될 수 있다. 따라서, 동일한 워터마크 샘플은 다수의 연속적인 프레임들에 삽입된다.

도 1에 도시된 삽입기의 양호한 실시예는 이미지 컨텐트들에 의존하여 삽입 깊이를 더 적응시킨다. 이를 위해, 삽입기는 국부적 스케일링 인자 v(,n)와 각 워터마크 샘플을 곱하는 곱셈기(3)를 포함한다. 국부적 스케일링 인자는 이동하는 거친 영역들에서 크고 이동하지 않는 평평한 영역들에서 작다. 이를 성취하기 위해, 국부적 스케일링 인자 v(,n)는 공간 스케일링 인자 λ(,n)와 모션 스케일링 인자 μ(,n)의 최소이다. 더욱이, 그것이 최대의 허용 가능한 휘도 변화 v_max를 초과한다면 결과가 클리핑된다. 이 동작은 선택기(11)에 의해 실행된다.

공간 적응성은, 라플라시안 필터(4), 곱셈기(5), 및 평균 계산 절대값(absolute value calculating means)(6)을 포함하는 공간 적응단에 의해 실현된다. 공간 적응단은,

에 따라 휘도값들 F(,n)를 수신하고, 라플라시안 필터의 응답의 절대값과 글로벌 인자 s와의 곱셈을 이용하여 국부적 스케일링 인자 λ(,n)를 생성한다. 글로벌 스케일링 인자는 가시성과 견고성 사이에서의 트레이드 오프(trade-off)이다.

모션 스케일링 인자 μ(,n)는 프레임 메모리(7), 감산기(8), 및 평균 계산 절대값(9)을 포함하는 모션 검출기에 의해 생성된다. 검출기는 이전 프레임과의 절대차(absolute difference)를 결정함으로써 모든 픽셀에 대한 모션 스케일링 인자 μ를 계산한다. 이동하지 않는 시퀀스에 워터마크를 삽입할 수 있기 위해, 작은 오프셋 μ_min은 가산기(10)에 의해 절대 프레임차에 가산된다.

워터마킹된 프레임 F_w(,n)은 원래의 프레임 F(,n)에 결과로서 생긴 워터마크 W(,n)을 가산함으로써 얻어진다. 시네마 스크린상에 투사되는 것이 이러한 워터마킹된 신호 F_w(,n)이다.

도 2는 본 발명에 따른 워터마크 검출기의 개략도이다. 원래의 신호가 검출 동안 이용 가능할지라도, 검출기는 원래의 신호에 대한 어떠한 지식도 이용하지 않는다. 검출기는 워터마킹된 신호 F_w(,n)의 기록된 버전 F'_w(,n)을 수신한다. 장치는, 모든 이미지 n의 평균 휘도 Y(n)를 계산하는 휘도 추출 수단(21)을 포함한다. N·T개의 이미지들의 추출된 휘도값들 Y(n)가 T개의 버퍼들 221, 222, ...에 분배되는데, 상기 기술한 바와 같이, T는 동일한 워터마크가 삽입되는 연속적인 이미지들의 수이다. 각 버퍼는 N개의 평균 휘도값들을 저장한다. 워터마크 길이 N 및 워터마크 샘플 당 프레임들 T의 전형적인 값들은 각각 1024 및 5이다. 따라서, 제 1 버퍼(221)는 평균 휘도값들 Y(1), Y(6), Y(11), .., 제 2 버퍼(222)는 평균 휘도값들 Y(2), Y(7), Y(12), .., 등이다. 이것은 워터마크 검출의 세분성(granularity)이 PAL 비디오 당 대략 3분 25초인 것을 암시한다. 검출을 후원하기 위해, 버퍼 컨텐트들은 FIR 필터[-1 2 -1]로 필터링 될 수 있고, 버퍼들에서 데이터를 동등화하기 위해 -10과 +10 사이에서 실질적으로 클리핑된다. 상기 필터링 및 동등화 단계는 도면에 도시하지 않았다.

워터마크는 하나 또는 아마도 그 이상의 기준 워터마크들 w(n)와 각 버퍼 컨텐트의 유사성을 결정함으로써 검출된다. 각 워터마크는 이를테면 한 극장을 식별할 수 있다. 유사성의 잘 알려진 예는 교차 상관이지만 다른 척도들도 가능하다. 각 버퍼의 컨텐트들은 각각의 상관기들 231, 232,...에서 기준 워터마크와 교차 상관된다. 상관은 Symmetrical Phase Only Matched Filtering(SPOMF)을 이용하여 바람직하게 실행된다. SPOMF의 설명에 대해, 기준은 국제 특허 출원 제 WO 99/45/45706호에서 만들어졌다. 상기 문서에서, 상관은 2차원 공간 도메인에서 실행된다. N × N 이미지 픽셀들의 블록들은 N × N 기준 워터마크와 상관된다. SPOMF 동작의 결과는 워터마크가 삽입되었다면 하나 또는 그 이상의 피크들을 나타내는 상관값들의 N × N 패턴이다.

T개의 상관기 231, 232, ..는 1차원 시간 도메인에서 동작한다. 각 상관기의 출력은, T개의 버퍼들 241, 242, ... 중의 대응하는 것에 저장되는 N개의 상관값들의 시리즈이다. 피크 검출기(25)는 T개의 버퍼들에서 가장 큰 상관값을 검색하고 문턱값 회로(26)에 상기 피크값을 인가한다. 버퍼들 중 적어도 하나의 피크값이 주어진 문턱값보다 더 크다면, 워터마크가 존재하는 것으로 결정된다. 그렇지 않다면, 컨텐트는 워터마킹되지 않은 것으로 분류된다. 적당한 문턱값은 5 표준 편차들인 것으로 발견되었으며, 그것은 1.43·10^-6의 거짓 경보 확률(false alarm probability)에 대응한다.

페이로드(payload)는 개시부에 이미 언급된 국제 특허 출원 제 WO-A-99/45705호에 개시되어 있는 것과 유사한 방식으로 워터마크 w(n)의 시프팅된 버전들을 삽입함으로써 신호에 엔코딩될 수 있다. T개의 병렬 상관기들이 도 2에 도시되었지만 시간 시퀀스의 방식으로 각각의 동작들이 실행되는 것이 이로울 수 있다는 것을 더 주지해야 한다.

극장들에서 큰 프로젝터 스크린들상에 이용되는 바와 같이, 디지털 시네마포맷용으로 설계된 비디오 워터마킹 방식이 개시되어 있다. 워터마크는 비디오 품질에 최소의 영향을 미치지만, 소형 카메라(handheld camera)로 캡처링하고 예를 들면 VHS, CD-Video 또는 DVD 포맷에 대한 변환한 후에 여전히 검출 가능한 방식으로 설계되어 있다. 제안된 워터마킹 시스템은 단지 시간축만을 이용한다. 이것은 캡처링의 방식에 의해 일반적으로 야기되는 기하학적 왜곡들을 극복할 수 있게 한다. 워터마크는 워터마크의 샘플들에 따라 프레임의 글로벌 속성(예를 들면, 평균 휘도)을 변조함으로써 삽입된다. 삽입 깊이는 각 프레임내에서 각각의 이미지의 국부적 통계치들에 바람직하게 국부적으로 적응된다. 워터마크 검출은 프레임들의 시퀀스의 추출된 평균 휘도값들과 워터마크 시퀀스를 상관시킴으로써 실행된다.

Claims (12)

1. 모션 이미지 신호에 워터마크를 삽입하는 방법에 있어서,

   워터마크 샘플들의 시퀀스에 의해 상기 워터마크를 표현하는 단계,

   대응하는 이미지들의 시퀀스의 각 이미지에 대해, 상기 이미지를 구성하는 픽셀들의 글로벌 속성을 결정하는 단계, 및

   상기 대응하는 워터마크 샘플에 따라 상기 이미지들의 시퀀스의 각 이미지의 상기 글로벌 속성을 변경하는 단계를 포함하는 워터마크 삽입 방법.
2. 제 1 항에 있어서,

   상기 변경하는 단계는 상기 동일한 워터마크 샘플에 따라 연속적인 이미지들의 예정된 수의 시리즈를 변경하는 단계를 포함하는, 워터마크 삽입 방법.
3. 제 1 항에 있어서,

   상기 글로벌 속성은 이미지를 구성하는 상기 픽셀들의 평균 휘도인, 워터마크 삽입 방법.
4. 제 1 항에 있어서,

   상기 변경하는 단계는 상기 이미지내의 공간 활동에 의존하여 이미지의 상기 픽셀들을 적응적으로 변경하는 단계를 포함하는, 워터마크 삽입 방법.
5. 제 1 항에 있어서,

   상기 변경하는 단계는 연속적인 이미지들 사이에서 검출된 모션에 의존하여 이미지의 상기 픽셀들을 적응적으로 변경하는 단계를 포함하는, 워터마크 삽입 방법.
6. 모션 이미지 신호에서 워터마크를 검출하는 방법에 있어서,

   기준 워터마크 샘플들의 시퀀스로서 기준 워터마크를 제공하는 단계,

   대응하는 이미지들의 시퀀스의 각 이미지에 대해, 상기 이미지를 구성하는 픽셀들의 글로벌 속성을 결정하는 단계,

   상기 글로벌 속성들의 대응하는 시퀀스와 상기 기준 워터마크 샘플들의 시퀀스를 상관시키는 단계, 및

   상기 상관시키는 단계가 예정된 문턱값을 초과하는 상관값을 산출한다면 출력 신호를 생성하는 단계를 포함하는 워터마크 검출 방법.
7. 제 6 항에 있어서,

   글로벌 속성들의 인터리빙된 시퀀스들의 시리즈들을 제공하는 단계를 더 포함하며, 상기 상관시키는 단계는 상관값들의 시리즈를 얻기 위해 상기 글로벌 속성들의 인터리빙된 시퀀스들의 각각의 것과 상기 기준 워터마크 샘플들의 시퀀스를 상관시키는 단계를 포함하고, 상기 출력 신호를 생성하는 단계는 상기 상관값들의최대가 예정된 문턱값을 초과한다면 상기 출력 신호를 생성하는 단계를 포함하는, 워터마크 검출 방법.
8. 제 6 항에 있어서, 상기 글로벌 속성은 이미지 프레임을 구성하는 상기 픽셀들의 평균 휘도인, 워터마크 검출 방법.
9. 모션 이미지 신호에 워터마크를 삽입하는 장치에 있어서,

   워터마크 샘플들의 시퀀스로서 상기 워터마크를 제공하는 수단,

   대응하는 이미지들의 시퀀스의 각 이미지에 대해, 상기 이미지를 구성하는 픽셀들의 글로벌 속성을 결정하는 수단, 및

   상기 대응하는 워터마크 샘플에 따라 상기 이미지들의 시퀀스의 각 이미지의 상기 글로벌 속성을 변경하는 수단을 포함하는 워터마크 삽입 장치.
10. 모션 이미지 신호에 워터마크를 검출하는 장치에 있어서,

    기준 워터마크 샘플들의 시퀀스로서 기준 워터마크를 제공하는 수단,

    대응하는 이미지들의 시퀀스의 각 이미지에 대해, 상기 이미지를 구성하는 픽셀들의 글로벌 속성을 결정하는 수단,

    대응하는 상기 글로벌 속성들의 시퀀스와 상기 기준 워터마크 샘플들의 시퀀스를 상관시키는 수단, 및

    상기 상관시키는 단계가 예정된 문턱값을 초과하는 상관값을 산출한다면 출력 신호를 생성하는 수단을 포함하는 워터마크 검출 장치.
11. 워터마크 샘플들의 시퀀스에 의해 표현된 삽입된 워터마크를 가진 모션 이미지 신호로서, 이미지들의 시퀀스의 각 이미지에 대해, 상기 이미지를 구성하는 상기 픽셀들의 글로벌 속성은 상기 대응하는 워터마크 샘플들의 시퀀스의 각각의 워터마크 샘플에 따라 변경된, 모션 이미지 신호.
12. 청구항 11에 청구된 바와 같은 모션 이미지 신호를 기록한 저장 매체.