KR100873947B1 - Ｈ.264/ａｖｃ 표준용 워터마크 삽입 방법 및 시스템 - Google Patents

Ｈ.264/ａｖｃ 표준용 워터마크 삽입 방법 및 시스템 Download PDF

Info

Publication number
KR100873947B1
KR100873947B1 KR1020070052406A KR20070052406A KR100873947B1 KR 100873947 B1 KR100873947 B1 KR 100873947B1 KR 1020070052406 A KR1020070052406 A KR 1020070052406A KR 20070052406 A KR20070052406 A KR 20070052406A KR 100873947 B1 KR100873947 B1 KR 100873947B1
Authority
KR
South Korea
Prior art keywords
watermark
video
avc
data
embedding
Prior art date
Application number
KR1020070052406A
Other languages
English (en)
Other versions
KR20080105184A (ko
Inventor
원치선
김성민
김상범
홍유표
Original Assignee
주식회사 엠엠칩스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엠엠칩스 filed Critical 주식회사 엠엠칩스
Priority to KR1020070052406A priority Critical patent/KR100873947B1/ko
Priority to PCT/KR2008/003058 priority patent/WO2008147142A2/en
Publication of KR20080105184A publication Critical patent/KR20080105184A/ko
Application granted granted Critical
Publication of KR100873947B1 publication Critical patent/KR100873947B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/913—Television signal processing therefor for scrambling ; for copy protection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
    • H04N21/23892—Multiplex stream processing, e.g. multiplex stream encrypting involving embedding information at multiplex stream level, e.g. embedding a watermark at packet level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/913—Television signal processing therefor for scrambling ; for copy protection
    • H04N2005/91307—Television signal processing therefor for scrambling ; for copy protection by adding a copy protection signal to the video signal
    • H04N2005/91335—Television signal processing therefor for scrambling ; for copy protection by adding a copy protection signal to the video signal the copy protection signal being a watermark
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/87—Regeneration of colour television signals
    • H04N9/8715—Regeneration of colour television signals involving the mixing of the reproduced video signal with a non-recorded signal, e.g. a text signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 H.264/AVC 용 워터마크 삽입 방법 및 시스템에 관한 것으로서, 상기 압축된 비트스트림의 각 비디오 시퀀스에 포함된 하나 이상의 4x4 블록별로 Sign of Trailing Ones를 추출하는 단계와, 상기 하나 이상의 4x4 블록별로 추출된 Sign of Trailing Ones와 하나 이상의 워터마크 비트를 순서대로 대응시키는 단계와, 상기 각 Sign of Trailing Ones를 대응하는 워터마크 비트에 따라 조작하는 단계를 포함하는 H.264/AVC 압축 비트스트림에 워터마크를 삽입하는 방법 및 이를 수행하는 시스템이 제공된다.
본 발명에 따르면, 워터마크 후의 비디오 비트율을 전혀 변화시키지 않기 때문에 방송용 컨텐츠의 실시간 워터마킹에 용이하게 적용가능하다. 또한, 본 발명의 워터마킹 기법은 비디오 부호화기내에서도 별도의 복잡한 회로없이 아주 간단하게 워터마크 모듈을 추가할 수 있는 효과가 있다.
H.264/AVC, 워터마크, 비트율, 압축 비트스트림

Description

Ｈ.264/ＡＶＣ 표준용 워터마크 삽입 방법 및 시스템{Method and System of inserting watermark for H.264/AVC video stream}
도 1은 H.264/AVC 부호화기 구성을 도시한 블록도.
도 2는 H.264/AVC 부호화 과정 및 비디오 데이터의 구성을 설명하기 위한 도면.
도 3은 본 발명의 일 실시예에 따라 H.264/AVC 부호화기내에 워터마크 삽입기가 포함되어 구성된 워터마크 삽입 시스템의 블록도.
도 4는 본 발명의 다른 일 실시예에 따라 H.264/AVC 부호화기내에 워터마크 삽입기가 포함되어 구성된 워터마크 삽입 시스템의 블록도.
도 5는 본 발명의 또 다른 일 실시에에 따라 H.264/AVC 부호화기와 독립적으로 구성된 워터마크 삽입 시스템을 도시한 블록도.
도 6은 H.264/AVC의 각 비디오 시퀀스의 구성 및 본 발명에 따른 워터마크 삽입 위치를 도시한 도면.
본 발명은 H.264/AVC(Advanced Video Coding) 비디오 압축표준으로 부호화된 비디오 데이터에 워터마크를 삽입하는 방법 및 장치에 관한 것으로서, 구체적으로는 워터마크 삽입 전과 삽입 후에 비디오 데이터의 비트율 변화가 없는 워터마크 삽입 방법 및 장치에 관한 것이다.
멀티미디어 데이터중 많은 부분을 차지하는 비디오 데이터는 매우 높은 데이터률을 요구하기 때문에, 실제 사용 가능한 채널의 대역폭에서 신호를 전송할 수 있는 수준으로 데이터를 압축하는 것이 매우 중요하다.
이를 고려하여 디지털 멀티미디어 방송(DMB)에서는 H.264/AVC 동영상 압축을 표준으로 정하고 있다. H.264/AVC는 이전 방식에 비해 현저히 큰 압축률을 제공하는 새로운 비디오 압축 표준으로 MPEG-4 AVC 라고도 불리고 있다. H.264 표준은 기존의 MPEG-4 ASP보다 두 배정도 더 많은 압축률과, 보다 개선된 인식 품질을 제공할 수 있다. 또한, H.264 표준은 1 Mbps 이하의 속도에서 DVD 수준의 고품질 비디오를 제공할 수 있고, 무선이나 위성 및 ADSL 인터넷 접속을 통해 동작을 완벽하게 재생하는 비디오를 제공할 수 있다.
상기 H.264/AVC의 강화된 압축과 인식 품질은, 시간적 중첩성을 최소화는 동작 추정, 공간적 중첩성을 최소화하는 내부 추정, 동작 추정 및 내부 추정을 주파수 영역으로 변환하는 기술, 압축 구조의 단순화, 그리고 자주 출현하는 부호에 적은 수의 비트를 할당하고 가끔 출현하는 부호에는 더 많은 수의 비트를 할당하는 엔트로피 부호화 기술 등을 통해 이루어진다.
이 규격에 따른 DMB 비디오 부호화기는 효율적인 데이터 비트 할당을 위해 두 가지 가변장 부호화(Variable Length Coding) 방식을 사용하고 있다.
이 규격에 의하면, 변환된 영상 데이터 계수를 제외한 데이터에 대해서는 UVLC(Universal Variable Length Coding) 방식을 사용하고, 변환된 영상 데이터는 CAVLC(Context-based Adaptive Variable Length Coding) 방식의 가변장 부호화 방식을 사용하고 있다.
가변장 부호화 방식이란 신호의 통계적인 특성을 이용하여 신호의 발생 빈도의 통계적 특성에 따라 각 신호의 심볼에 서로 다른 길이의 비트 수를 할당하는 방식으로 기존의 영상 압축 방식에 지속적으로 사용되는 방식이다.
H.264/AVC 표준 규격에서 정하고 있는 상기 CAVLC 방식은 변환된 영상 데이터 계수의 특성에 따른 TotalCoeff, Trailing Ones, total_zero, run_before 등의 변수에 해당하는 테이블을 사용하여 신호를 복호화하는 방식을 채택하고 있다.
이러한 가변장 복호화를 수행하는 종래 방식을 보면 상기 가변장 복호화 테이블에 정의된 코드의 길이에 해당하는 만큼의 코드를 비트스트림으로부터 읽어, 상기 가변장 복호화 테이블의 코드와 비교하는 방식을 사용하고 있다.
한편 디지털 워터마킹이란, 일종의 정보 은닉기술로써 원 데이터에 특정 정보를 포함시키는 것을 말한다. 여기서, 특정 정보란 해당 데이터를 설명하는 정보일 수도 있고 제작자를 구별하는 신호일 수도 있으며, 목적에 따라 다양한 정보가 포함될 수 있다. 특히, 워터마킹 기술은 데이터의 저작권 보호 혹은 데이터 복제 방지를 위해 사용될 수 있다. 즉, 데이터에 사람이 인지할 수 없는 저작자의 신호를 삽입하고, 추후에 이 워터마크를 추출함으로써 저작권 문제를 해결하도록 한다.
이와 같이 워터마크를 삽입할 경우 몇 가지 요구 조건이 존재한다.
첫째, 삽입된 워터마크는 사람의 눈으로 판별할 수 없는 비인식성을 가져야 한다. 즉, 워터마크의 삽입으로 인한 원 영상의 화질 저하가 발생하지 않아야 하며, 발생하더라도 거의 발생하지 않아야 한다.
둘째, 워터마크는 견고성을 가져야 한다. 즉, 삽입된 워터마크는 여러 가지 영상 처리나, 워터마크를 삭제하려는 타인의 고의적인 공격을 받더라도 삭제되지 않아야 한다. 삽입된 워터마크를 삭제할 수 있는 영상처리에는 여러 가지가 있는데, JPEG과 같은 손실 압축 기법, 영상의 블러링(Blurring), 샤프닝(Sharpening), 아날로그/디지털 변환, 디지털/아날로그 변환 등 다양한 방법이 있다. 삽입된 워터마크는 이러한 여러 가지 공격에 견고해야만 한다.
셋째, 워터마크는 비모호성을 가져야 한다. 비모호성이란, 삽입된 워터마크가 누구의 것인지 정확히 밝힐 수 있어야 하는 성질을 말한다. 즉, 삽입되지 않은 워터마크를 삽입되었다고 판별하거나, 삽입된 워터마크를 타인의 워터마크로 오인하는 등의 문제가 없어야만 한다.
이와 같이 원저작자가 제작한 영상 내에 사람이 볼 수 없는 저작자의 고유한 워터마크를 삽입하면, 추후에 타인이 이 영상에 대해 저작권을 주장하거나 이 영상을 불법으로 사용하였을 때, 삽입된 원 저작자의 워터마크를 추출하여 저작권 문제를 해결할 수 있다.
또한 영상을 판매할 경우, 구매자의 워터마크를 영상에 삽입하여 판매하면, 추후에 구매자가 이 영상을 불법 유통시킬 때 유통되는 영상의 워터마크를 추출함으 로써 영상을 불법 유통시킨 구매자를 판별해 낼 수 있다. 이렇듯이 워터마크는 디지털 영상의 저작권 보호와 데이터 복제 방지를 위하여 유용하게 사용될 수 있으며, 또한 사용 제어 정보를 표시하는 수단으로 이용될 수도 있다.
본 발명에서 대상으로 하고 있는 비디오 데이터는 여러 개의 정지영상(frame)들로 이루어져 있으며, 인접한 프레임들은 서로 상당한 유사성을 가지고 있다. 또한, 인접한 정지영상(프레임)들은 짧은 시간 내에 사용자에게 재생되므로 워터마크 신호를 잘못 삽입하면 각 프레임에서는 보이지 않던 노이즈들이 동영상 재생시에 눈에 보이게 된다. 이러한 현상은 보통 깜빡임 현상(flickering)으로 나타나게 되며, 이 현상을 감소시키려면 동영상 워터마킹 방법은 정지영상 워터마킹 방법보다 좀 더 세심한 처리를 하여야 한다.
동영상 워터마킹 방법으로서, C.-T. Hsu, J.-L Wu가 발표한 "Digital watermarking for video", Proc. of DSP'97, 1997. 논문이 있다. 본 논문에서는 8x8 크기의 블록 단위로 워터마크를 삽입하되, 현재 프레임의 블록과 같은 위치의 다음 프레임의 블록과의 DCT 계수값의 관계를 워터마크 신호에 따라 일정한 형태로 유지시키는 방식을 취하였다.
종래의 다른 논문으로서, M.Swanson, B.Zhu, A.H.Tewfik가 발표한 "Multiresolution scene-based video watermarking using perceptual model," IEEE J. Select. Areas commun. V.16, pp.540-550. 논문이 있다. 이 논문에서는 비디오 데이터를 씬(scene) 별로 구분하고, 각 프레임들을 시간축에 따라 웨이블릿 변환을 통 하여 변환한 후 워터마크를 삽입하는 방법을 제안하였다.
그런데, 비디오 워터마킹은 크게 비디오 공간영역에서의 워터마킹과 비디오 압축영역에서의 워터마킹으로 나눌 수 있다. 비디오 공간영역에서의 워터마킹은 기존의 정지영상에 적용되었던 여러 워터마킹 기법들이 그대로 적용될 수 있기 때문에 여러 공격에 강인하게 설계할 수 있지만, 대부분의 비디오는 압축된 상태로 저장, 전송되기 때문에 비디오 콘텐츠에 기존의 정지영상에 사용되었던 워터마킹 기법들을 사용하는 것은 적합하지 않으며, 압축영역의 워터마킹 기법은 비트율 증가 및 심각한 화질 열화라는 두 가지 문제를 가진다.
한편, 종래의 압축영역의 워터마킹 기법들은 워터마킹 후에 비디오 비트율이 변하기 때문에 오디오와의 싱크문제가 발생할 수 있으며, 이를 해결하기 위해서 오디오 및 비디오를 재 패킷화 해야 하므로 많은 연산량을 요구하게 된다.
특히 H.264/AVC의 경우 압축효율이 기존 MPEG-2보다 2배이상 좋기 때문에 압축 영역에서 워터마크가 삽입될 공간이 훨씬 줄어들었으며, 부호화 방식 또한 매우 복잡하기 때문에 기존 MPEG-2 압축영역에서의 워터마킹기법이 그대로 적용되면, 비트율 변화 및 화질열화가 매우 심각해진다.
전술한 문제점을 해결하기 위하여, 본 발명은 H.264/AVC 압축영역 비디오에 대한 워터마킹함에 있어서, 워터마킹 전과 후의 비디오 비트율이 변하지 않아 오디오/비디오의 동기화 문제를 고려하지 않아도 되며, 계산량이 매우 작아 워터마크 삽입 의 실시간을 보장하기 때문에 방송 콘텐츠에 대한 저작권 인증, 부가 정보 삽입 및 방송 모니터링들에 이용될 수 있는 워터마크 삽입 방법 및 장치를 제공하는 것을 목적으로 한다.
전술한 목적을 이루기 위하여 본 발명은 H.264/AVC 압축 비트스트림에 워터마크를 삽입하는 방법으로서, 상기 압축된 비트스트림의 각 비디오 시퀀스에 포함된 하나 이상의 4x4 블록별로 Sign of Trailing Ones를 추출하는 단계와, 상기 하나 이상의 4x4 블록별로 추출된 Sign of Trailing Ones와 하나 이상의 워터마크 비트를 순서대로 대응시키는 단계와, 상기 각 Sign of Trailing Ones를 대응하는 워터마크 비트에 따라 조작하는 단계를 포함하는 H.264/AVC 압축 비트스트림에 워터마크를 삽입하는 방법을 제공한다.
추출되어 조작되는 Trailing Ones는 각 4x4 블록의 첫 번째 Sign of Trailing Ones인 것이 바람직하다.
본 발명의 다른 면에 따라, H.264/AVC 비디오 데이터에 워터마크를 삽입하는 방법으로서, 상기 비디오 데이터를 양자화하는 단계와, 상기 양자화된 데이터를 지그재그 스캔하는 단계와, 상기 지그재그 스캔 단계에서의 가장 마지막 Sign of Tailing Ones를 워터마크 비트에 따라 조작하는 단계와, 상기 조작된 데이터를 엔트로피 부호화하는 단계를 포함하는 H.264/AVC 비디오 데이터에 워터마크를 삽입하는 방법이 제공된다.
본 발명의 또 다른 일 특징에 따라, H.264/AVC 비디오 데이터에 워터마크를 삽입하는 방법으로서, 상기 비디오 데이터를 양자화하는 단계와, 상기 양자화된 데이터를 지그재그 스캔하는 단계와, 상기 지그재그 스캔 단계에서의 가장 마지막 Sign of Tailing Ones를 워터마크 비트에 따라 조작하는 단계와, 상기 조작된 데이터를 역 양자화하는 단계와, 상기 역 양자화된 데이터를 피드백하여 변환하고 양자화한 후, 엔트로피 부호화하는 단계를 포함하는 H.264/AVC 비디오 데이터에 워터마크를 삽입하는 방법이 제공된다.
본 발명의 또 다른 면에 따라, H.264/AVC 용 워터마크 삽입 시스템으로서, 주파수 변환된 비디오 데이타를 양자화하는 양자화기와, 후속 비디오 프레임에 대한 예측정보 생성을 위하여 상기 양자화된 데이터를 역 양자화하는 역 양자화기와, 상기 양자화된 데이터를 엔트로피 부호화하는 엔트로피 코더와, 매 비디오 시퀀스에 포함되는 4x4 블럭 단위로 첫 번째 Sign of Trailing Ones를 조작하여 워터마크를 삽입하는 워터마크 삽입기를 포함하는 H.264/AVC 용 워터마크 삽입 시스템이 제공된다.
상기 워터마크 삽입기는 상기 양자화기와 상기 엔트로피 코더 사이에 위치하여 상기 양자화된 데이터에 대하여 워터마크를 삽입하거나, 또는 상기 양자화기와 상기 역 양자화기 사이에 위치하여 상기 양자화된 데이터에 대하여 워터마크를 삽입하도록 구성될 수 있다.
또는 워터마크 삽입기가 엔트로피 코더 후단에 위치하여 압축된 비디오 스트림에 대한 워터마크 삽입을 행할 수도 있다. 이 경우, 압축된 비디오 스트림을 파싱하는 파서와, 파싱된 비디오 스트림을 결합하는 콤포져를 더 포함하게 된다.
이하, 본 발명의 구성을 바람직한 실시예와 첨부도면을 참조하여 상세히 설명 한다. 이하의 설명은 본 기술 분야의 당업자가 본 발명을 실시하고 사용할 수 있도록 해주려는 목적으로 출원 및 그 특허요건에 맞도록 제공된다. 따라서, 바람직한 실시예에 대한 여러 변경이 당업자에게는 명백할 것이며 본 명세서의 일반적인 원리가 다른 실시예에 적용될 수 있음은 물론이다. 따라서, 본 발명은 예시된 실시예에 제한되지 않으며 본 명세서에서 기술되는 원리 및 특징과 일치하는 최대 범위에 미친다.
도 1은 통상의 H.264/AVC 부호화기의 구성을 도시한 블록도이다.
부호화기(10)에서, 각 비디오 데이터는 프레임 타입에 따라 적절한 예측을 거쳐 주파수영역으로 변환되며 양자화기(11)와 엔트로피 코더(12)를 통해 압축 비트스트림을 생성하여 출력한다. 이때, 양자화된 데이터는 다시 역 양자화기(13)를 거쳐 복호되게 되며 다음 비디오 프레임에 대한 예측정보로 이용된다.
도 2는 통상의 H.264/AVC 부호화 과정 및 본 발명에 따른 워터마크 삽입 위치를 설명하기 위한 도면이다.
도시된 바와 같이, H.264/AVC의 비디오 부호화 과정에서 비디오 시퀀스는 복수 개의 매크로 블록을 포함하고, 각 매크로 블록은 다시 16개의 4x4 블록 단위 데이터들로 구성된다. 각 4x4 블록 단위의 데이터들은 주파수영역으로 변환되고 양자화기(11)를 거치게 되고, 양자화된 신호는 지그재그 스캔되고, 지그재그 스캔된 데이터는 역순으로 엔트로피 코더(12)에 의하여 부호화된다. 이때, 지그재그 스캔된 데이터(32)는 도 2의 테이블에 도시된 바와 같이 각각 Coeff_Token, Sign of Trailing Ones(T1), Level, Total_zeros, 그리고 Run_before로 나누어져 엔트로피 인코딩된다.
여기서, Sign of Trailing Ones는 Trailing Ones의 부호를 의미하며, 0 또는 1의 값을 가진다. Trailing Ones는 양자화 이후에 4x4블록에 포함된 1의 계수 중에서, 지그재그 스캔 순서로 볼 때 마지막 3개 계수를 의미한다. 양자화된 4x4 블록에서 절대값이 1인 계수가 하나도 포함되지 않을 수 있고, 또는 4개 이상일 수도 있다. 따라서 Trailing Ones의 수(k)는 0 내지 3의 값을 가지게 된다. 한편, 현재는 Sign of Trailing Ones의 국문 용어가 정립되기 전이므로, 본 명세서의 발명의 상세한 설명에는 원어를 차용하여 Sign of Trailing Ones라고 기재를 하되, 특허청구범위에는 표현의 간결성 및 명료화를 위하여 STO라는 약어를 이용하여 기재할 것이다.
도 2를 참조하면, 도면 좌하단에 도시된 4x4 블록은 지그재그 스캔의 순서로 볼 때 0, 3, 0, 1, -1, -1, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0의 계수가 포함되는데, 지그재그 스캔된 데이터는 역순으로 부호화되므로, 마지막으로 지그재그 스캔된 절대값 1인 계수(Trailing Ones)의 부호가 첫 번째 Sign of Trailing Ones이다. 즉, 위 배열의 끝에서부터, 즉 지그재그 스캔의 역순으로 절대값이 1인 3개의 계수를 선택하면, 8번째, 6번째 및 5번째 계수가 각각 1, -1, -1 임을 알 수 있으며, 따라서 도 2에 도시된 4x4 블록의 Sign of Trailing Ones는 도 2의 우하단에 도시된 테이블에서 나타나는 바와 같이, +, -, - 가 된다.
한편, 위 배열에서 4번째 원소의 절대값 역시 1이지만, 지그재그 스캔 순서의 역순으로 볼 때 4번째 나타나는 1의 값을 가지고 있는 원소이므로 Trailing Ones에 포함되지 아니하므로, Sign of Trailing Ones와는 무관하다.
본 발명에서는 도 2의 우하단에 도시된 테이블에서의 첫 번째 Sign of Trailing Ones의 부호, 즉 지그재그 스캔시 절대값이 1인 마지막 계수의 부호를 조작하여 워터마크를 삽입하는 것이다.
즉, i번째 4x4 블록의 첫 번째 Trailing One의 부호를 Si1이라고 하고, 해당 블록에 삽입하려는 워터마크 비트를 bi라고 하면, 본 발명의 바람직한 실시예에서 워터마크 삽입을 위하여 Trailing Ones의 부호가 조작되는 규칙은 다음의 수학식 1과 같다.
Figure 112007039507847-pat00001
위 수학식 1에서 S i1 W 는 워터마크 삽입 조작 후의 첫 번째 Sign of Trailing One위치의 코드값이며, k는 4x4블록에서의 절대값이 1인 계수(즉, Trailing Ones)의 개수를 의미한다. 또한,
Figure 112007039507847-pat00002
는
Figure 112007039507847-pat00003
의 2의 보수에 해당되는 값이다. 임의의 4x4 블록에서 절대값이 1인 계수가 존재하지 않을 수도 있으며, 또한 Trailing Ones는 1의 절대값을 가지는 마지막 3개의 계수이므로, k는 0 이상 3 이하의 값을 가진다.
위에서 살펴본 바와 같이, 본 발명에 따라 워터마크를 삽입할 경우, 워터마크 삽입 전과 후에 있어서의 비트율 차이가 없게 되며, 또한 본 발명에 따르면 공간적으로 가장 고주파 영역에 워터마크가 삽입되는 효과가 있어서 화질에 대한 영향이 적다.
본 발명에 따른 워터마크 삽입은 부호화 과정에 이루어질 수도 있고, 부호화되고 압축된 비트스트림에 대해 수행될 수도 있는데, 부호화 과정에 전술한 워터마크 삽입을 수행하는 경우에는 부호화 과정에서 발생하는 Sign of Trailing Ones(T1)신호 를 이용하기 때문에 용이하게 워터마크삽입 원소를 추출할 수 있고, 또한 압축된 비트스트림에 대하여 워터마크를 삽입하는 경우에도, 각 4x4 블럭의 첫 번째 Sign of Trailing Ones만을 파싱하여 조작하면 되므로 적은 연산량으로 신속하게 워터마크를 삽입할 수 있다.
이하, 도 3 내지 도 5를 참조하여 본 발명에 따른 워터마크 삽입 시스템의 구성을 설명한다.
도 3 및 도 4에 도시된 실시예에서는 부호화기(10', 10'') 내부에 워터마크 삽입기(14)가 포함되어 부호화 과정에서 워터마크가 삽입되며, 도 5에는 부호화기(10)와 외부에 위치하는 독립된 장치(20)에 의하여 부호화되고 압축된 비트스트림에 대하여 워터마크 삽입이 수행된다.
도 3의 실시예에서는 워터마크 삽입기(14)가 양자화기(11)와 엔트로피 코더(12)사이에 위치한다. 이러한 경우 워터마크후의 비디오 비트율이 통상의 부호화기(도 1의 10)를 이용하여 생성된 비디오의 비트율과 같게 되므로, 전송 효율에 영향을 미치지 않으며 오디오 데이터와의 동기화 관련 문제도 없다. 다만, 워터마크로 인한 미세한 화질 열화가 발생할 수 있다.
도 4의 실시예에서는 워터마크 삽입기(14)가 양자화기(11)와 역 양자화기(13)사이에 위치한 경우를 나타낸다. 이러한 경우의 장점은 워터마크로 인한 화질열화가 최종 출력 비디오에서 전혀 발생하지 않는다.
하지만, 워터마크된 데이터는 역 양자화기(13)를 거쳐 피드백 되는 과정을 거치면서 영상에 대한 일종의 잡음으로 간주될 수 있기 때문에, 원래의 비디오 비트율 보다 워터마크가 삽입되어 출력된 비디오는 약간 높은 비트율을 갖게 된다.
도 5는 부호화기(10)와 독립적으로 이루어진 경우를 나타낸다. 즉, 압축된 H.264/AVC 비디오 비트스트림이 스트림 파서(21)에 의하여 부분적으로 파싱되어 워터마크에 필요한 부호화 원소만 추출하여 워터마크를 삽입한 후 스트림 콤포저(23)로전달되고, 나머지 비디오 신호는 그대로 스트림 콤포져(23)로 보내져서 워터마크가 포함된 비트스트림을 형성하게 된다. 이때 워터마크에 필요한 비트스트림 정보는, 전술한 바와 같이 CAVLC(Context Adaptive Varialble Length Coding)에 이용되는 Trailing Ones(T1) 신호이다.
도 5에서 워터마크 신호는 별도의 워터마크 생성기(30)으로부터 공급되는 것으로 도시되어 있는데, 이와는 달리 워터마크 생성기는 워터마크 삽입기(30)에 포함되도록 구성할 수 있음은 물론이며, 도 3 및 도 4에서는 설명의 편의상 워터마크 생성기(30)를 도시하지 아니하였다.
도 5에 도시된 실시예에서 부호화기와 독립적으로 워터마크 삽입이 이루어지는 워터마크 시스템은 전체 H.264/AVC 비디오 비트스트림중 일부만을 파싱하기 때문에 매우 빠르고, 워터마크 후에 비트율이 변하지 않는 장점을 갖게 된다.
도 6을 참조하여 보다 구체적으로 H.264/AVC 압축 비트스트림에 대한 워터마크 삽입에 대하여 설명한다.
도시된 바와 같이, H.264/AVC 압축 비트스트림은 각 비디오 시퀀스당 하나의 SPS (Sequence Parameter Set)(41), 각 픽쳐당 하나의 PPS(Picture Parameter Set)(42), 각 슬라이스당 하나의 SH(Slice Header)(43), 그리고 각 슬라이스에 포함 되어 있는 매크로블록(44)이 순서대로 부호화되어 있다.
각 매크로 블록은 다시 16개의 4x4 블록으로 나누어지며, 각 4x4 블록의 부호화 원소는 coefficients_token, Sign of Trailing Ones(T1), level, zero, run 으로 이루어져 있다.
이중, 워터마크에 이용되는 원소는 각 4x4 블록 원소들 중 첫 번째 Trailing Ones(T1)(45)이다. 따라서, 다른 모든 비디오 비트스트림내의 부호화 원소들은 그대로 유지되며, 오직 4x4 블록의 첫 번째 Trailing Ones(T1)(45)만 부분적 파싱된다.
한편, 본 발명에 따라 워터마킹된 H.264/AVC 비트스트림은 역시 비트스트림 상에서 워터마크를 추출할 수 있다. H.264/AVC 비트스트림은 워터마크 삽입과정과 마찬가지로 부분적 파싱되어 railing Ones(T1)을 추출하게 되며, 이때 추출된 Si1 의 비트값(0 또는 1)은 삽입된 워터마크 신호 bi와 일치하게 된다.
따라서, 추출된 Si1과 bi가 아래의 수학식 2에 정의된 규칙에 부합되느냐의 여부를 판단하여 H.264/AVC 비디오의 위변조를 파악할 수 있다.
Figure 112007039507847-pat00004
이상, 본 발명의 바람직한 실시예를 통해 본 발명의 구성에 대하여 상세히 설명하였다. 그러나 전술한 실시예는 예시에 불과한 것으로서, 본 발명의 권리범위를 제한하지 아니한다. 본 발명의 기술분야에 통상의 지식을 가진 자라면 본 명세서의 교시와 시사로부터 본 발명의 기술적 사상의 범주내의 다양한 변형과 변경이 가능할 것이다. 따라서, 본 발명의 보호범위는 이하의 특허청구범위의 기재에 의하여 정하여짐이 마땅하다.
본 발명에 따르면, H.264/AVC 비디오에 워터마크를 삽입함에 있어서 워터마킹 전과 후의 데이터 비트율의 변화가 없고, 적용된 워터마크는 깨지기 쉬운(fragile watermarking)특성을 가지고 있어서, 부가정보 전송, 데이터 인증 및 비디오 모니터링등의 응용분야에 용이하게 적용될 수 있다.
아울러, 본 발명의 워터마킹 기법은 별도의 복잡한 회로없이 간단하게 워터마크 시스템을 구현할 수 있는 현저한 효과를 발휘한다.

Claims (10)

  1. H.264/AVC 압축 비트스트림에 워터마크를 삽입하는 방법으로서,
    상기 압축된 비트스트림의 각 비디오 시퀀스에 포함된 하나 이상의 4x4 블록별로 STO(Sign of Trailing Ones)를 추출하는 단계와,
    상기 하나 이상의 4x4 블록별로 추출된 STO와 하나 이상의 워터마크 비트를 순서대로 대응시키는 단계와,
    상기 각 STO를 대응하는 워터마크 비트에 따라 조작하는 단계
    를 포함하는 H.264/AVC 압축 비트스트림에 워터마크를 삽입하는 방법.
  2. 제1항에 있어서, 상기 STO를 추출하는 단계는,
    상기 각 4x4 블록의 첫 번째 STO를 추출하는 것인 H.264/AVC 압축 비트스트림에 워터마크를 삽입하는 방법.
  3. 제1항에 있어서, 상기 STO를 조작하는 단계는,
    상기 각각의 대응하는 워터마크 비트와 동일한 값으로 상기 각각의 STO의 값을 변경시키는 단계를 포함하는 것인 H.264/AVC 압축 비트스트림에 워터마크를 삽입하는 방법.
  4. H.264/AVC 비디오 데이터에 워터마크를 삽입하는 방법으로서,
    상기 비디오 데이터를 양자화하는 단계와,
    상기 양자화된 데이터를 지그재그 스캔하는 단계와,
    상기 지그재그 스캔 단계에서의 가장 마지막 Trailing Ones의 부호를 워터마크 비트에 따라 조작하는 단계와,
    상기 조작된 데이터를 엔트로피 부호화하는 단계
    를 포함하는 H.264/AVC 비디오 데이터에 워터마크를 삽입하는 방법.
  5. H.264/AVC 비디오 데이터에 워터마크를 삽입하는 방법으로서,
    상기 비디오 데이터를 양자화하는 단계와,
    상기 양자화된 데이터를 지그재그 스캔하는 단계와,
    상기 지그재그 스캔 단계에서의 가장 마지막 Trailing Ones의 부호를 워터마크 비트에 따라 조작하는 단계와,
    상기 조작된 데이터를 역 양자화하는 단계와,
    상기 역 양자화된 데이터를 피드백하여 변환하고 양자화한 후, 엔트로피 부호화하는 단계
    를 포함하는 H.264/AVC 비디오 데이터에 워터마크를 삽입하는 방법.
  6. 제4항 또는 제5항에 있어서, 상기 Trailing Ones의 부호를 조작하는 단계는
    상기 워터마크 비트와 동일한 값으로 상기 Trailing Ones의 부호값을 변경시 키는 단계를 포함하는 것인 H.264/AVC 비디오 데이터에 워터마크를 삽입하는 방법.
  7. H.264/AVC 용 워터마크 삽입 시스템으로서,
    주파수 변환된 비디오 데이타를 양자화하는 양자화기와,
    후속 비디오 프레임에 대한 예측정보 생성을 위하여 상기 양자화된 데이터를 역 양자화하는 역 양자화기와,
    상기 양자화된 데이터를 엔트로피 부호화하는 엔트로피 코더와,
    매 비디오 시퀀스에 포함되는 4x4 블럭 단위로 첫 번째 STO를 조작하여 워터마크를 삽입하는 워터마크 삽입기와,
    상기 엔트로피 코더로부터의 비디오 스트림을 파싱하는 파서와,
    상기 파싱된 비디오 스트림을 결합하는 콤포져
    를 포함하고,
    상기 워터마크 삽입기는 상기 파서와 상기 콤포져 사이에 위치하여, 상기 엔트로피 코더에 의하여 부호화된 비디오 스트림을 상기 파서가 파싱한 후에, 매 비디오 시퀀스에 포함되는 4x4 블럭 단위로 첫 번째 STO를 조작하여 워터마크를 삽입하는 것인 H.264/AVC 용 워터마크 삽입 시스템.
  8. 제7항에 있어서,
    상기 워터마크 삽입기는 상기 양자화기와 상기 엔트로피 코더 사이에 위치하여 상기 양자화된 데이터에 대하여 워터마크를 삽입하는 것인 H.264/AVC 용 워터마크 삽입 시스템.
  9. 제7항에 있어서,
    상기 워터마크 삽입기는 상기 양자화기와 상기 역 양자화기 사이에 위치하여 상기 양자화된 데이터에 대하여 워터마크를 삽입하는 것인 H.264/AVC 용 워터마크 삽입 시스템.
  10. 삭제
KR1020070052406A 2007-05-30 2007-05-30 Ｈ.264/ａｖｃ 표준용 워터마크 삽입 방법 및 시스템 KR100873947B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020070052406A KR100873947B1 (ko) 2007-05-30 2007-05-30 Ｈ.264/ａｖｃ 표준용 워터마크 삽입 방법 및 시스템
PCT/KR2008/003058 WO2008147142A2 (en) 2007-05-30 2008-05-30 Method and system of inserting watermark for h.264/avc video stream

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070052406A KR100873947B1 (ko) 2007-05-30 2007-05-30 Ｈ.264/ａｖｃ 표준용 워터마크 삽입 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20080105184A KR20080105184A (ko) 2008-12-04
KR100873947B1 true KR100873947B1 (ko) 2008-12-12

Family

ID=40075669

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070052406A KR100873947B1 (ko) 2007-05-30 2007-05-30 Ｈ.264/ａｖｃ 표준용 워터마크 삽입 방법 및 시스템

Country Status (2)

Country Link
KR (1) KR100873947B1 (ko)
WO (1) WO2008147142A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100990210B1 (ko) 2009-04-30 2010-10-29 이진흥 Ｈ.264 비디오 콘텐츠의 무결성 인증 및 저작권 보호 방법

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101145110B1 (ko) * 2011-04-21 2012-05-15 아스텔 주식회사 연성 워터마크 삽입/추출 장치 및 방법
FR2982447A1 (fr) * 2011-11-07 2013-05-10 France Telecom Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
FR2982446A1 (fr) 2011-11-07 2013-05-10 France Telecom Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
KR20130112313A (ko) * 2012-04-03 2013-10-14 삼성전자주식회사 영상에 관련된 정보를 영상에 임베딩하기 위한 방법 및 장치
CN103854248B (zh) * 2012-12-05 2017-06-20 中国传媒大学 基于内容解析和感知分层的水印嵌入方法及装置
CN103826168B (zh) * 2014-02-25 2017-11-24 深圳市掌网科技股份有限公司 一种给视频添加水印的方法和***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980064833A (ko) * 1996-12-25 1998-10-07 가네코히사시 디지탈 데이터용 식별 데이터 삽입 및 검출 시스템
KR19990028002A (ko) * 1997-09-30 1999-04-15 윤종용 동화상 데이타 복제 방지장치
KR20060027814A (ko) * 2003-06-25 2006-03-28 톰슨 라이센싱 압축된 비디오 비트스트림에 워터마크를 삽입하기 위한인코딩 방법 및 장치
KR20060081180A (ko) * 2005-01-07 2006-07-12 주식회사 마크애니 Ｊｐｅｇ 압축 데이터에 워터마크를 삽입 및 추출하는방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980064833A (ko) * 1996-12-25 1998-10-07 가네코히사시 디지탈 데이터용 식별 데이터 삽입 및 검출 시스템
KR19990028002A (ko) * 1997-09-30 1999-04-15 윤종용 동화상 데이타 복제 방지장치
KR20060027814A (ko) * 2003-06-25 2006-03-28 톰슨 라이센싱 압축된 비디오 비트스트림에 워터마크를 삽입하기 위한인코딩 방법 및 장치
KR20060081180A (ko) * 2005-01-07 2006-07-12 주식회사 마크애니 Ｊｐｅｇ 압축 데이터에 워터마크를 삽입 및 추출하는방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100990210B1 (ko) 2009-04-30 2010-10-29 이진흥 Ｈ.264 비디오 콘텐츠의 무결성 인증 및 저작권 보호 방법

Also Published As

Publication number Publication date
KR20080105184A (ko) 2008-12-04
WO2008147142A2 (en) 2008-12-04
WO2008147142A3 (en) 2009-01-22

Similar Documents

Publication Publication Date Title
US8144923B2 (en) Watermarking encoded content
US6037984A (en) Method and apparatus for embedding a watermark into a digital image or image sequence
KR100873947B1 (ko) Ｈ.264/ａｖｃ 표준용 워터마크 삽입 방법 및 시스템
US6208745B1 (en) Method and apparatus for imbedding a watermark into a bitstream representation of a digital image sequence
CN1108063C (zh) Mpeg2 活动图像编码/解码***
Liao et al. Efficient information hiding in H. 264/AVC video coding
US20070064937A1 (en) Method and apparatus for encoding or decoding a bitstream
KR101631280B1 (ko) 스킵 모드에 기초한 영상을 복호화하는 방법 및 장치
EP1001604B1 (en) Embedding a watermark into a compressed image signal
RU2434356C2 (ru) Создание водяных знаков в кодированном информационном наполнении
US7418110B2 (en) Method and apparatus for compressed-domain watermarking
JP2000151973A (ja) 情報処理装置およびその方法、並びに、記憶媒体
Seki et al. Quantization-based image steganography without data hiding position memorization
EP1904970B1 (en) A method for embedding data
KR101631274B1 (ko) 모드 정보를 부호화, 복호화하는 방법 및 장치
Houria et al. Hybrid watermark fingerprint algorithm for h. 264 compressed video authentication
Pranata et al. Improved bit rate control for real-time MPEG watermarking
Kiya et al. A method of inserting binary data into MPEG bitstreams
Berger II et al. Watermarking in JPEG bitstream
Jin et al. A data hiding method for JPEG 2000 coded images using modulo arithmetic
Su et al. Information embedding in JPEG-2000 compressed images
KR20220082578A (ko) 비밀 분산 기술이 적용된 포렌식 마킹 장치 및 방법
Shahid Protection of Scalable Video by Encryption and Watermarking
Park et al. Low complexity lossless image compression using efficient context modeling
Yang et al. Secure Information Delivery through High Bitrate Data Embedding within Digital Video and its Application to Audio/Video Synchronization

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee