KR101756759B1 - 화질 손상을 방지하는 동영상 스트림에 대한 부가 데이터 삽입 방법 및 장치 - Google Patents

화질 손상을 방지하는 동영상 스트림에 대한 부가 데이터 삽입 방법 및 장치 Download PDF

Info

Publication number
KR101756759B1
KR101756759B1 KR1020160002257A KR20160002257A KR101756759B1 KR 101756759 B1 KR101756759 B1 KR 101756759B1 KR 1020160002257 A KR1020160002257 A KR 1020160002257A KR 20160002257 A KR20160002257 A KR 20160002257A KR 101756759 B1 KR101756759 B1 KR 101756759B1
Authority
KR
South Korea
Prior art keywords
picture
additional data
transformed
data
frame
Prior art date
Application number
KR1020160002257A
Other languages
English (en)
Inventor
김소원
박민수
문지섭
김근태
장의선
Original Assignee
주식회사 마크애니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 마크애니 filed Critical 주식회사 마크애니
Priority to KR1020160002257A priority Critical patent/KR101756759B1/ko
Priority to US15/156,293 priority patent/US10757433B2/en
Application granted granted Critical
Publication of KR101756759B1 publication Critical patent/KR101756759B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/467Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 동영상 스트림에 대해 부가 데이터를 삽입하는 방법을 개시하고 있다. 상기 방법은 부호화된 원본 비트 스트림을 입력받는 단계, 상기 비트 스트림에서 부가 데이터를 삽입할 제 1 픽처(picture: PA)를 선택하는 단계, 상기 선택된 제 1 픽처에 대해 상기 부가 데이터를 삽입하여 부가 데이터가 삽입된 제 1 픽처(PA')를 생성하는 단계, 상기 제 1 픽처를 직접 참조하는 제 2 픽처를 선택하는 단계, 상기 선택된 제 2 픽처(PB)를 변형 부호화하여, 상기 부가 데이터가 삽입된 제 1 픽처(PA')를 참조하여 상기 변형 부호화된 제 2 픽처(PB')를 복호화한 복호화 결과 값이 원본 제 2 픽처(PB)가 되도록 하는 상기 변형 부호화된 제 2 픽처(PB')를 생성하는 단계 및 상기 부가 데이터가 삽입된 제 1 픽처(PA')와 상기 변형 부호화된 제 2 픽처(PB')를 기반으로 데이터 시퀀스를 생성하는 단계를 포함한다.

Description

화질 손상을 방지하는 동영상 스트림에 대한 부가 데이터 삽입 방법 및 장치{ADDITIONAL DATA INSERTION METHOD AND APPARATUS FOR MOVING IMAGE STREAM TO PREVENT QUALITY DAMAGE}
본 발명은 부가 데이터 삽입 방법 및 장치에 관한 것으로, 보다 상세하게는, MPEG(Moving Picture Expert Group) 비트스트림에 대해 워터마크와 같은 부가 데이터 삽입을 통한 일부 스트림 교체시 과도한 부호화를 방지하고 화질 손상을 방지하기 위한 방법 및 장치에 관한 것이다.
디지털 기술이 발전하면서 엄청난 양의 디지털 멀티미디어 데이터가 손쉽게 이용 가능해졌다. 디지털 정보는 아날로그 정보와는 달리 품질 손상이 없어 저렴한 비용으로 대량 복사될 수 있는 특징이 있다. 디지털 정보의 이러한 특징은 저작권 보호라는 관점에서 볼 때에 문제점이 될 수 있다. 이러한 디지털 콘텐츠에 대한 저작권 문제를 해결하기 위한 기술 중 하나가 워터마크(watermark)와 같은 부가 데이터를 부호화된 비디오 스트림에 삽입하는 기술이다.
부가 데이터 삽입 기법은 디지털 콘텐츠에 사용자의 ID(Identification)나 자신만의 정보와 같은 데이터를 삽입함으로써 불법적인 복제를 막고, 디지털 콘텐츠에 대한 저작권을 보호할 수 있도록 하기 위한 기술이다.
다만, 이러한 부가 데이터를 비디오 데이터에 삽입하는 경우, 다음과 같은 문제점이 있을 수 있다. HEVC(High Efficiency Video Coding)과 같은 동영상 코덱 기술은 부호화를 수행할 때, 이전에 부호화된 픽처 또는 슬라이스를 참조하는 인터(inter) 예측을 사용하여 부호화 효율을 높이는데, 이때, 부가 데이터를 삽입한 픽처 또는 슬라이스에 의해 이를 참조하는 픽처들은 연쇄적으로 다시 부호화를 해야하는 부담이 존재한다. 특히, 이러한 문제는 이미 부호화가 완료된 이후 부가 데이터가 삽입되는 경우 더 큰 문제점을 야기할 수 있다.
도 1은 종래 비디오 부호화시 부가 데이터의 삽입에 따른 비트스트림의 처리방식을 설명하기 위한 개념도이다.
도 1을 참조하면, 비트스트림 (100)은 I 프레임(Intra-coded frame), 단방향 인터 예측을 수행하는 P 화상(Predictive-coded picture) 및 양방향 인터예측을 B 화상(Bidirectional-coded picture)를 포함할 수 있다.
비트스트림(100)은 부가 데이터의 삽입 대상인 픽처(110: PA), PA를 참조하는 픽처(120: PB) 및 PA 픽처(110)와 PB 픽처(120)가 아닌 픽처(130: PC)를 포함할 수 있다. 이때, 부가 데이터 삽입 대상인 PA 픽처(110)에 부가 데이터가 삽입되게 되면, 이를 수신하는 복호화기 입장에서는 일반적인 복호화를 통해 PA 픽처(110)를 명확하게 복호화할 수 없다. 복호화하는 경우, 화질 손상이 일어나게 된다. 또한, 이러한 PA 픽처(110)를 직간접적으로 참조하는 PB 및 PC 픽처들(120, 130)도 역시 화질 손상이 일어나게 된다. 다시 말해, PA를 참조하는 PB 픽처(120)는 부가 데이터가 삽입된 PA' 픽처를 참조하여 다시 부호화가 수행되어야 하고, 새로 부호화된 PB를 참조하는 PC 픽처(130) 중 일부 또는 전부 역시 재차 부호화가 수행되어야 하므로, 연속적인 부호화를 통해 부호화 효율이 떨어지고, 부가 데이터를 삽입하는 것은 전체 비디오 부호화 동작 수행에 있어서 큰 부담이 되는 문제점이 있다.
상술한 문제점을 해결하기 위한 본 발명의 목적은 비디오 데이터에 부가 데이터 삽입 시 부호화 효율이 개선되면서 화질 손상 또한 방지할 수 있는 부가 데이터 삽입 방법 및 장치를 제공하는 것이다.
상기한 목적을 달성하기 위한 본 발명의 동영상 스트림에 대해 부가 데이터를 삽입하는 방법은 부호화된 원본 비트스트림을 입력받는 단계, 상기 비트스트림에서 부가 데이터를 삽입할 제 1 픽처(picture: PA)들을 선택하는 단계, 상기 선택된 제 1 픽처들에 대해 상기 부가 데이터를 삽입하여 부가 데이터가 삽입된 제 1 픽처(PA')를 생성하는 단계, 상기 제 1 픽처들을 직접 참조하는 제 2 픽처들을 선택하는 단계, 상기 선택된 제 2 픽처들(PB)을 변형 부호화하여, 상기 부가 데이터가 삽입된 제 1 픽처들(PA')을 참조하여 상기 변형 부호화된 제 2 픽처들(PB')을 복호화한 복호화 결과 값이 원본 제 2 픽처들(PB)이 되도록 하는 상기 변형 부호화된 제 2 픽처(PB')를 생성하는 단계 및 상기 부가 데이터가 삽입된 제 1 픽처들(PA')과 상기 변형 부호화된 제 2 픽처들(PB')을 기반으로 데이터 시퀀스를 생성하는 단계를 포함할 수 있다.
상기 변형 부호화된 제 2 픽처(PB') 생성 단계는 상기 부가 데이터가 삽입된 제 1 픽처들(PA')과 상기 제 1 픽처들(PA)을 기반으로 상기 변형 부호화된 제 2 픽처(PB')를 생성하는 단계를 포함할 수 있다.
상기 비트스트림에서 상기 제 1 픽처들(PA) 및 상기 제 2 픽처들(PB)을 제외한 다른 픽처들(PC)은 상기 제 1 픽처들(PA)에 대한 부가 데이터 삽입에 따른 별도 부호화를 수행하지 않을 수 있다.
상기 선택된 제 2 픽처들(PB)은 상기 제 1 픽처들(PA)을 직접 참조하는 B 픽처 또는 P 프레임을 포함할 수 있다.
상기 부가 데이터는 워터마크 데이터일 수 있다.
상기 변형 부호화된 제 2 픽처(PB') 생성 단계는 로스-리스(loss-less) 코딩 방식을 통해 수행될 수 있다.
상기 변형 부호화된 제 2 픽처(PB') 생성 단계는 가중치 예측(weighted prediction)과 관련된 구성을 오프시키는 단계를 포함할 수 있다.
상기 변형 부호화된 제 2 픽처(PB') 생성 단계는 상기 변형 부호화된 제 2 픽처(PB')의 최초 프레임을 I 프레임으로 부호화하는 단계를 포함할 수 있다.
상기 삽입되는 부가 데이터의 형태에 따라 서로 다르게 생성된 n(n은 자연수)개 형태의 부가 데이터가 삽입된 제 1 픽처(PA')에 대해, m(m은 n과 같거나 다른 자연수)개 형태의 변형 부호화된 제 2 픽처(PB')가 대응될 수 있다.
상기 변형 부호화된 제 2 픽처(PB')가 로스-리스 방식으로 변형 부호화된 경우, 복수 개의 형태의 부가 데이터가 삽입된 제 1 픽처(PA')를 참조가능하고, 상기 변형 부호화된 제 2 픽처(PB')가 인트라 부호화 방식으로 부호화된 경우, 하나의 형태의 제 2 픽처(PB')로써 상기 n개 형태의 부가 데이터가 삽입된 제 1 픽처(PA')에 대응될 수 있다.
상기한 목적을 달성하기 위한 본 발명의 동영상 스트림에 대해 부가 데이터를 삽입하는 장치는 부호화된 원본 비트스트림을 입력받는 비트스트림 입력부, 상기 비트스트림에서 부가 데이터를 삽입할 제 1 픽처(picture: PA)들을 선택하는 제 1 픽처 선택부, 상기 선택된 제 1 픽처들에 대해 상기 부가 데이터를 삽입하여 부가 데이터가 삽입된 제 1 픽처(PA')를 생성하는 부가 데이터 삽입부, 상기 제 1 픽처들을 직접 참조하는 제 2 픽처들을 선택하는 제 2 픽처 선택부, 상기 선택된 제 2 픽처들(PB)을 변형 부호화하여, 상기 부가 데이터가 삽입된 제 1 픽처들(PA')을 참조하여 상기 변형 부호화된 제 2 픽처들(PB')을 복호화한 복호화 결과 값이 원본 제 2 픽처들(PB)이 되도록 하는 상기 변형 부호화된 제 2 픽처(PB')를 생성하는 변형 부호화부 및 상기 부가 데이터가 삽입된 제 1 픽처들(PA')과 상기 변형 부호화된 제 2 픽처들(PB')을 기반으로 데이터 시퀀스를 생성하는 데이터 시퀀스 생성부를 포함할 수 있다.
상기 변형 부호화부는 상기 부가 데이터가 삽입된 제 1 픽처들(PA')과 상기 원본 제 1 픽처(PA)를 기반으로 상기 변형 부호화된 제 2 픽처(PB')를 생성할 수 있다.
상기 비트스트림에서 상기 제 1 픽처들(PA) 및 상기 제 2 픽처들(PB)을 제외한 다른 픽처들(PC)은 상기 제 1 픽처들(PA)에 대한 부가 데이터 삽입에 따른 별도 부호화를 수행하지 않을 수 있다.
상기 선택된 제 2 픽처들(PB)은 상기 제 1 픽처들(PA)을 직접 참조하는 B 프레임 또는 P 프레임을 포함할 수 있다.
상기 부가 데이터는 워터마크 데이터일 수 있다.
상기 변형 부호화부는 로스-리스(loss-less) 코딩 방식을 통해 수행될 수 있다.
상기 변형 부호화부는 가중치 예측(weighted prediction)과 관련된 구성을 오프시킬 수 있다.
상기 변형 부호화부는 상기 변형 부호화된 제 2 픽처(PB')의 최초 프레임을 I 프레임으로 부호화할 수 있다.
상기 삽입되는 부가 데이터의 형태에 따라 서로 다르게 생성된 n(n은 자연수)개 형태의 부가 데이터가 삽입된 제 1 픽처(PA')에 대해, m(m은 n과 같거나 다른 자연수)개 형태의 변형 부호화된 제 2 픽처(PB')가 대응될 수 있다.
상기 변형 부호화된 제 2 픽처(PB')가 로스-리스 방식으로 변형 부호화된 경우, 복수 개의 형태의 부가 데이터가 삽입된 제 1 픽처(PA')를 참조가능하고, 상기 변형 부호화된 제 2 픽처(PB')가 인트라 부호화 방식으로 부호화된 경우, 하나의 형태의 제 2 픽처(PB')로써 상기 n개 형태의 부가 데이터가 삽입된 제 1 픽처(PA')에 대응될 수 있다.
본 발명의 화질 손상을 방지하는 동영상 스트림에 대한 부가 데이터 삽입 방법 및 장치에 따르면, 특정 픽처에 부가 데이터 삽입시 그에 따른 추가 부호화 작업을 최소화할 수 있어 부호화기의 부호화 효율이 제고시키는 효과가 있다.
또한, 워터마크와 같은 부가 데이터의 경우, 부가 데이터의 크기에 크게 영향을 받지 않고 부호화할 수 있으므로, 그에 따라 삽입되는 워터마크의 크기 또는 형태에 대한 제한이 줄어들어, 디지털 콘텐츠의 보호 측면에서도 효율을 높이는 효과가 있다.
도 1은 종래 비디오 부호화시 부가 데이터의 삽입에 따른 비트스트림의 처리방식을 설명하기 위한 개념도,
도 2는 본 발명의 일 실시예에 따른 부가 데이터 삽입 방법을 개략적으로 나타낸 흐름도,
도 3a는 본 발명의 일 실시예에 따른 부가 데이터 삽입 방법에 따라 변경된 비트 스트림의 처리방식을 설명하기 위한 개념도,
도 3b는 서로 다른 부가 데이터가 포함된 PA' 픽처와 PB' 픽처와의 참조 관계를 나타내기 위한 도면,
도 3c는 서로 다른 부가 데이터 PA' 픽처와 인트라 부호화된 PB' 픽처 및 PC 픽처와의 관계를 나타낸 도면,
도 4는 본 발명의 일 실시예에 따른 부가 데이터 삽입 방법에 있어서, 변형 부호화되는 PB 픽처의 처리를 위한 구성을 설명하기 위한 블록도,
도 5는 본 발명의 일 실시예에 따른 부가 데이터 삽입 방법의 변형 부호화시 고려할 수 있는 옵션(option)들을 나타낸 도면,
도 6은 변형 부호화시 lossless 방식에 따른 각 구성요소의 동작을 나타낸 도면,
도 7은 변형 부호화시 가중치 예측에 따른 고려사항을 설명하기 위한 동작을 설명하기 위한 도면,
도 8은 변형 부호화시 PB 픽처에 I 프레임 또는 I 슬라이스를 삽입하는 방식을 설명하기 위한 도면,
도 9는 본 발명의 일 실시예에 따른 부가 데이터 삽입 장치를 개략적으로 나타낸 블록도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 2는 본 발명의 일 실시예에 따른 부가 데이터 삽입 방법을 개략적으로 나타낸 흐름도이다.
도 2를 참조하면, 먼저 부가 데이터 삽입 장치(미도시)는 정보를 넣을 비트스트림 데이터를 입력받는다. 비트 스트림 데이터는 부호화 전 데이터일 수 있도 있고, 이미 부호화된 데이터일 수 있다. 만약, 비트 스트림 데이터가 이미 부호화된 데이터라면, 부호화된 데이터에 부가 데이터를 삽입할 때, 복호화기 측면에서 이를 화질 손상없이 복호화하기 위해 부호화기에서의 재부호화가 필요할 수 있다. 왜냐하면, 재부호화 없이 부가 데이터가 삽입된 비트 스트림을 전송할 경우, PA 픽처들은 직접적인 부가 데이터의 삽입으로 화질 손상이 일어나게 되고, 이를 직간접적으로 참조하는 PB 및 PC 픽처들 역시 화질 손상이 일어난 PA 픽처를 참조하기 때문에 연쇄적으로 화질 손상이 일어나게 되기 때문이다. 이를 방지하기 위해 부가 데이터가 직접 삽입되는 픽처들은 부가 데이터 삽입 이후 재부호화가 될 수 있다. 또한, 그외 픽처들의 부호화에 있어서, 최소한의 픽처들만을 재부호화시키는 것이 바람직하므로 이를 위해 다음의 방식으로 재부호화기 수행될 수 있다. 본 명세서에 있어서, 픽처는 슬라이스(slice), 프레임 등과 대체되어 사용될 수 있다. 본 발명의 명세서 상에서, PA, PB, PC 픽처 또는 픽처들의 표현은 하나의 픽처, 슬라이스 또는 프레임을 나타낼 수 있고, 또는 둘 이상의 픽처를 포함하는 픽처 그룹 또는 세트, 슬라이스 그룹 또는 세트 및 프레임 그룹 또는 세트 중 적어도 하나를 나타낼 수도 있다.
본 발명의 실시예에 따르면, 화질 손상을 방지하기 위한 재부호화를 위해 입력되는 비트 스트림 데이터는 GOP(Group of Picture) 단위로 입력될 수 있다. GOP는 적어도 1장의 I 프레임(Intra-coded frame)을 포함하는 영상들의 집합이다. 이는 화상 편집 단위로 사용될 수 있고, 이러한 화상들이 일정한 패턴으로 조합될 수 있다. GOP는 인트라 예측에 의해 다른 픽처를 참조하지 않고 복호화되는 I 프레임과 상기 I 프레임을 포함하여 다른 픽처들을 참조하여 복호화되는 P 프레임 및 B 프레임을 포함할 수 있다. 여기서, P 프레임은 단방향 픽처를 참조하는 프레임 및 B 프레임은 양 방향의 픽처를 참조하는 프레임일 수 있다.
부가 데이터 삽입 장치가 비트 스트림을 입력받으면, 장치는 비트 스트림 중에서 부가 데이터가 삽입될 대상인 PA 픽처를 선택한다(S210). 여기서, 부가 데이터는 워터마크, 사용자 ID, 저작권 관련 정보, 또는 기타 암호화 데이터 등을 포함할 수 있다. PA를 선택하면 PA 픽처에 대해서는 정보를 삽입한다(S220). 정보의 삽입은 워터마크와 같은 부가 데이터(디지털 형태일 수 있음)를 픽처 또는 슬라이스 내의 사용자가 선택하는 특정 위치에 적절히 삽입함으로써 이루어질 수 있다. 정보가 삽입된 픽처는 PA'가 될 수 있다.
부가 데이터 삽입 장치는 PA 픽처 선택 이후, 비트 스트림 중에서 PA 픽처를 직접 참조하는 PB를 선택한다(S230). 여기에는, P 프레임뿐만 아니라 B 프레임도 포함될 수 있다. B 프레임의 경우, 하나의 참조가 PA 픽처일 수 있고, 다른 하나는 PC 픽처(PA 및 PB가 아닌 픽처)를 참조할 수 있다. 이러한 두 경우 모두에 대해, 적어도 하나의 직접 참조 픽처에 PA가 포함되는 경우, PB 픽처로 선택할 수 있다. B 프레임은 PA 픽처에 포함된 픽처를 제외하면 PC 픽처를 참조할 수 있다.
선택된 PB 픽처에 대해, 부가 데이터 정보가 삽입된 PA'를 참조하여 그 복호화 결과값이 PB가 나올 수 있도록 하는 변형 부호화된 PB'를 생성한다(S240). 즉, 참조 픽처는 PA'이며, 이에 대한 복호화 출력값은 원본 PB 픽처 값이 되어야 하므로, 참조 픽처와 결과 복호화 값을 가지고 H.265(HEVC), H.264 및 H.263 등의 코딩기법을 이용하여 변형 부호화된 PB' 픽처를 생성할 수 있다. 본 발명의 일 실시예에 따르면, lossless 방식을 사용하여 PB로 선택된 픽처들을 부가 데이터(예컨대, 워터마크)가 삽입된 PA' 픽처와 원본 PA 픽처를 기반으로 변형 부호화된 PB' 픽처를 생성할 수 있다. 또는, 가중치 예측 모드를 오프(off)한 상태로 변형 부호화될 수 있다. 더욱이, 본 발명의 다른 실시예에 따르면, PB로 선택된 픽처는 최초 픽처에 대해 I 프레임으로 부호화하고, 이후 픽처는 참조 관계를 변경하여 PA나 PA' 픽처를 참조하지 않고 새로 부호화된 I 프레임을 참조하는 형태로 참조 관계가 변경되어 부호화될 수 있다.
생성된 PB' 픽처는 이후 부가 데이터 삽입 대상 PA 픽처와 PB 픽처가 아닌 비트 스트림 내 다른 모든 픽처의 별도 부호화를 상쇄시킬 수 있고, PA에 삽입되는 부호화에 의한 화질 손상을 방지할 수 있어 손상 방지 픽처라고 불릴 수 있다.
부가 데이터가 삽입된 PA' 픽처 및 변형 부호화된 PB' 픽처를 획득하고 나면, 나머지 PC 픽처들의 경우 복호화기 측면에서 PB' 픽처를 참조하여 복호화하여도 화질 손상이 일어나지 않기 때문에, 부호화기에서는 PC 픽처의 데이터 스트림에 대해서 특별한 교체 없이 전송없이 전송한다. 즉, 별도 작업이 필요치 않을 수 있다. 따라서 실제 다시 부호화된 PA' 및 PB' 픽처들을 모아 데이터 시퀀스를 생성할 수 있다(S250). 전체적으로 데이터를 교체할 때는 원본 비트 스트림에 새로 부호화된 PA' 픽처 및 PB' 픽처 시퀀스만 변경한다.
도 3a는 본 발명의 일 실시예에 따른 부가 데이터 삽입 방법에 따라 변경된 비트 스트림의 처리방식을 설명하기 위한 개념도이다.
도 3a를 참조하면, 정보 픽처들(310)은 앞서 설명한 PA 픽처로써, 부가 데이터를 삽입하여 PA' 픽처가 되어 프레임 버퍼(미도시)에 저장될 수 있다. 또한, 손상 방지 픽처들(320)은 PA' 픽처를 참조할 수도 있고, 참조하지 않을 수 있다. 예컨대, 손상 방지 픽처(320)가 I 프레임으로 부호화되는 경우 또는 B 또는 P 프레임이 인터 부호화가 아닌 인트라 부호화가 되는 경우에는 PA' 픽처를 참조하지 않을 수 있다. 만약, 손상 방지 픽처가 인터 부호화되는 경우에는 정보 픽처들(310)을 참조할 수 있다. 손상 방지 픽처(320) 중 B 프레임의 경우, PA에 대한 참조는 PA'를 참조하는 형태로 유지되고, 그외 변경되지 않은 원본 픽처들(330)에 대해서는 원본 픽처(original)를 참조할 수 있다.
전체 비트 스트림 중에서 빗금 표시가 있는 정보 픽처들(310) 및 손상 방지 픽처들(320)만 변경하면 부가 데이터의 삽입에 따른 별도 처리가 요구되지 않을 수 있어 부호화 효율 측면뿐만 아니라 부가 데이터의 활용 측면에서도 좋을 수 있다.
도 3b는 서로 다른 부가 데이터가 포함된 PA' 픽처와 PB 픽처와의 참조 관계를 나타내기 위한 도면이다.
도 3b를 참조하면, PA'는 부가되는 정보(예컨대, 0 내지 n(여기서, n은 자연수 일 수 있음))에 따라 PA0', PA1' 내지 PAn' 픽처가 될 수 있다. 이렇게 생성되는 PA0', PA1' 내지 PAn'는 픽처 하나일 수도 있고, 복수 개의 픽처들로 구성된 픽처 그룹일 수도 있다. 부가데이터가 각각 다르게 생성된 PA0', PA1' 내지 PAn' 픽처는 손상 방지 픽처인 PB 픽처와의 관계에서, 반드시 동일한 수의 PB 픽처들과 대응되지 않을 수 있다. 예컨대, PB0 픽처는 0의 부가데이터가 삽입된 PA0' 및 1의 부가데이터가 삽입된 PA1' 픽처 둘 모두를 참조할 수 있다. 이러한 참조관계는 반드시 2개로 제한되는 것도 아니고, 반드시 1:1 대응으로 제한 되는 것이 아니다. 즉, 1 대 다수의 참조 관계를 가질 수 있다. 특히, lossless 부호화의 경우, 하나의 PB 픽처는 복수 개의 PA' 픽처(예컨대, PA0' 내지 PAn')를 참조할 수 있다.
이는 PA 픽처에 부가되는 데이터의 종류의 수에 따라 변형 부호화가 필요한 PB 픽처의 선택에 영향을 미칠 수 있다. 0~n개의 부가 데이터 종류에 따른 PA' 픽처에 대응하여, 0~m(m은 자연수일 수 있으며, n과 다른 값일 수 있음)개의 손상방지 PB 픽처가 선택되어 변형부호화될 수 있다. 다시 말해, PA에 부가되는 데이터의 수와 동일한 수의 손상 방지 픽처의 PB 픽처가 선택되어야 하는 것은 아니다. 이때, PC 픽처는 추가적인 변형 부호화가 요구되지 않으나, 복수 개의 PB 픽처를 참조할 수 있다. 따라서, PA 픽처에 부가데이터 값과, PB 픽처의 수 및 PC 픽처의 수는 각각 서로 다를 수 있다.
도 3c는 서로 다른 부가 데이터 PA' 픽처와 인트라 부호화된 PB' 픽처 및 PC 픽처와의 관계를 나타낸 도면이다.
도 3c를 참조하면, PB' 픽처는 I 프레임 인코딩될 수 있다. 또는, 전술한 바와 같이, B 또는 P 프레임이 인트라 부호화될 수도 있다. 이때, PB' 픽처는 참조관계를 갖지 않을 수 있고, 아무리 많은 형태(예컨대, 0 내지 n)의 부가 데이터가 PA에 부가되더라도, 인트라 부호화로 변형 부호화된 PB' 픽처와 PC 픽처는 항상 참조관계를 배제하고, 항상 인트라 부호화로 변형 부호화된 PB' 픽처와 PC 픽처와 조합되어 비트 스트림을 형성할 수 있다.
도 4는 본 발명의 일 실시예에 따른 부가 데이터 삽입 방법에 있어서, 변형 부호화되는 PB 픽처의 처리를 위한 구성을 설명하기 위한 블록도이다. 도 4에 도시된 바와 같이, 본 발명의 일 실시예에 따른 변형 부호화를 위한 구성요소는 픽처 분할부(410), 인터 예측부(420), 인트라 예측부(425), 변환부(430), 양자화부(435), 역양자화부(440), 역변환부(445), 필터부(450), 메모리(455), 재정렬부(460) 및 엔트로피 부호화부(465)를 포함할 수 있다.
픽처 분할부(410)는 입력된 현재 픽처(예컨대, PB 픽처)를 하나 이상의 부호화 단위로 분할할 수 있다. 부호화 블록(Coding Block: CB, 이하 "CB"라 함)은 비디오 부호화기에서 부호화가 수행되는 하나의 단위로서, 쿼드 트리 구조(Quad Tree Structure)를 기초로 깊이(depth) 정보를 가지고 계층적으로 분할될 수 있다. CB는 8X8, 16X16, 32X32, 64X64 등 다양한 크기를 가질 수 있다. 가장 큰 크기의 CB는 LCB(Largest Coding Block)로 불릴 수 있으며, 가장 작은 크기의 CB는 SCB(Smallest Coding Block)로 불릴 수 있다.
또한 픽처 분할부(410)는 CU를 분할하여 예측 블록(Prediction Block: PB, 이하 "PB"라 함)과 변환 블록(Transdorm Block: TB, 이하 "TB"라 함)을 생성할 수 있다. PB는 CB보다 작거나 같은 블록일 수 있고, 반드시 정방형일 필요는 없으며, 직사각형 형태의 블록일 수도 있다.
통상 인트라 예측은 2N*2N 또는 N*N 크기의 블록 단위로 수행될 수 있다. 여기서 N은 자연수로서 픽셀의 수를 나타내며, 2N*2N 및 N*N은 PB의 크기(및/또는 분할 모드)를 나타낼 수 있다. 그러나, SDIP(Short Distance Intra Prediction: 단거리 인트라 예측) 방법에서는, 인트라 예측의 효율을 높이기 위해 2N*2N의 예측 블록 외에 이를 더 세분화한 예측 블록 크기로서 hN*2N/2N*hN이 사용될 수 있다(여기서 h=1/2임). hN*2N/2N*hN의 크기의 예측 단위가 사용되는 경우, 블록 내의 경계면의 방향성이 보다 잘 반영될 수 있으며, 따라서 결과적으로 예측 오차 신호의 에너지가 감소되어 부호화에 필요한 비트량이 절감되어 부호화 효율이 증가할 수 있다.
또한, 인터 예측은 2N*2N, 2N*N, N*2N 또는 N*N 크기의 블록 단위로 수행될 수 있다. 여기서 N은 자연수로서 픽셀의 수를 나타내며, 2N*2N, 2N*N, N*2N 및 N*N은 PB의 크기(및/또는 분할 모드)를 나타낼 수 있다. 또한, 인터 예측에서는 인터 예측의 효율을 높이기 위해 2N*2N, 2N*N, N*2N 또는 N*N의 예측 블록 외에 2NxnU, 2NxnD, nLx2N 또는 nRx2N의 예측 블록 단위로 예측이 수행될 수도 있다. 여기서, 2NxnU, 2NxnD, nLx2N 및 nRx2N는 PB의 크기(및/또는 분할 모드)를 나타낼 수 있다. 2NxnU 및 2NxnD의 분할 모드에서는 PB의 크기가 2Nx(1/2)N 또는 2Nx(3/2)N일 수 있고, nLx2N 및 nRx2N의 분할 모드에서는 PB의 크기가 (1/2)Nx2N 또는 (3/2)Nx2N일 수 있다.
인터 예측(Inter Prediction) 모드에 있는 경우, 인터 예측부(420)는 움직임 추정(ME: Motion Estimation) 및 움직임 보상(MC: Motion Compensation)을 수행할 수 있다. 인터 예측부(420)는 현재 픽처의 이전 픽처 또는 이후 픽처 중 적어도 하나의 픽처 정보를 기초로 예측 블록을 생성할 수 있다. 이때, 이전 픽처는 부가 데이터가 삽입된 PA'이 될 수 있다. 또는 경우에 따라 PA와의 비교를 수행하기 위해 참조 픽처로써 PA 픽처 역시 제공될 수 있다.
인터 예측부(420)는 분할된 예측 대상 블록 및 메모리부(455)에 저장된 적어도 하나의 참조 블록(예컨대, PA' 픽처의 참조 블록)을 기반으로 움직임 추정을 수행할 수 있다. 즉, 메모리부(455)에는 새롭게 부가 데이터가 삽입된 PA' 픽처 관련 데이터가 저장되어 있을 수 있다. 인터 예측부(420)는 움직임 추정의 결과로서 움직임 벡터(MV: Motion Vector), 참조 블록 인덱스 및 예측 모드 등을 포함한 움직임 정보(motion information)를 생성할 수 있다.
또한 인터 예측부(420)는 상기 움직임 정보 및 참조 블록을 이용하여 움직임 보상을 수행할 수 있다. 이 때, 인터 예측부(420)는 상기 참조 블록으로부터 입력 블록에 대응하는 예측 블록을 생성하여 출력할 수 있다.
인트라 예측(Intra Prediction) 모드의 경우, 인트라 예측부(425)는 현재 픽처 내의 픽셀 정보를 기초로 예측 블록을 생성할 수 있다. 인트라 예측 모드의 경우, 인트라 예측부(425)는 예측 대상 블록과 이전에 변환 및 양자화된 후 복원된 복원 블록을 기반으로 현재 블록에 대한 예측을 수행할 수 있다. 상기 복원 블록은 필터부(450)를 거치기 전의 복원된 영상일 수 있다. 본 발명의 실시예에 따르면, 인트라 예측부(425)는 PB 픽처의 최초 프레임을 I 프레임으로 인트라 예측을 통해 부호화할 수 있다. 이때, I 프레임으로 부호화되는 최초 프레임 외의 PB 픽처들은 기존 PA 픽처를 참조하는 것에서, 새로 부호화된 I 프레임을 직간접적으로 참조하도록 참조 관계가 변경될 수 있다.
상술한 바와 같이 인터 모드 또는 인트라 모드에서는 예측 대상 블록에 대한 예측이 수행되고 예측 블록이 생성될 수 있다. 이 때, 예측 대상 블록 및 생성된 예측 블록의 차분에 의해 잔차 블록이 생성될 수 있다.
변환부(430)는 TB 별로 잔차 블록에 대해 변환을 수행하여 변환 계수를 생성할 수 있다. TB는 최대 크기와 최소 크기의 범위 내에서 트리 구조(tree structure)를 가질 수 있다. TB 별로 현재 블록이 하위 블록(sub-block)으로 나누어지는지는 지시자(flag)를 통해 지시될 수 있다. 변환부(430)는 DCT(Discrete Cosine Transform) 및/또는 DST(Discrete Sine Transform) 등을 기반으로 변환을 수행할 수 있다.
양자화부(435)는 변환부(430)에서 변환된 값들을 양자화할 수 있다. 블록에 따라 또는 영상의 중요도에 따라 양자화 계수는 변할 수 있다. 양자화된 변환 계수 값은 재정렬부(460) 및 역양자화부(440)에 제공될 수 있다.
재정렬부(460)는, 엔트로피 부호화의 효율을 높이기 위해, 스캔(scan)을 통하여 상기 양자화된 2차원 블록 형태의 변환 계수를 1차원 벡터 형태의 변환 계수로 정렬할 수 있다. 이때, 재정렬부(460)는 확률적 통계를 기초로 스캔 순서를 달리 하여 엔트로피 부호화 효율을 높일 수 있다.
엔트로피 부호화부(465)는 재정렬부(460)에서 얻어진 값들을 엔트로피 부호화할 수 있다. 엔트로피 부호화 과정에서는 발생 빈도가 높은 구문 요소 값에 더 적은 비트수의 코드워드가 할당될 수 있고, 발생 빈도가 낮은 구문 요소 값에 더 많은 비트수의 코드워드가 할당될 수 있다. 따라서, 부호화 대상 심볼들에 대한 비트열의 크기가 감소되어 영상 부호화 압축 성능이 높아질 수 있다. 엔트로피 부호화를 위해서는 지수 골룸(exponential golomb), CAVLC(Context-Adaptive Variable Length Coding) 및/또는 CABAC(Context-Adaptive Binary Arithmetic Coding) 등과 같은 부호화 방법이 사용될 수 있다. 부호화된 정보들은 압축된 비트 스트림을 형성하여 네트워크 추상 계층(NAL: Network Abstraction Layer)을 통해 전송되거나 저장될 수 있다.
역양자화부(440)는 양자화부(435)에서 양자화된 변환 계수를 역양자화할 수 있고, 역변환부(445)는 역양자화된 변환 계수를 역변환해서 복원된 잔차 블록을 생성할 수 있다. 복원된 잔차 블록은 인터 예측부(420) 또는 인트라 예측부(425)에서 생성된 예측 블록과 합쳐져 복원 블록이 생성될 수 있다. 복원 블록은 인트라 예측부(425) 및 필터부(450)에 제공될 수 있다.
필터부(450)는 복원된 잔차 블록에 디블록킹 필터(Deblocking Filter), SAO(Sample Adaptive Offset) 및/또는 ALF(Adaptive Loop Filter) 등을 적용할 수 있다. 디블록킹 필터는 부호화 및 복호화 과정에서 발생하는 블록 경계 사이의 왜곡을 제거하기 위해, 복원 블록을 필터링할 수 있다. SAO는 디블록킹 필터가 적용된 잔차 블록에 대하여, 픽셀 단위로 원본 영상과의 오프셋 차이를 복원해주는 루프 필터 처리 과정이다. SAO를 통해서 적용되는 오프셋으로는 밴드 오프셋(Band Offset), 에지 오프셋(Edge Offset) 등이 있을 수 있다. 밴드 오프셋은 픽셀을 세기(intensity)에 따른 32개의 밴드로 구분하고, 32 개 밴드를 가장 자리의 16개 밴드와 중심부 16개 밴드의 두 밴드 그룹으로 나누어 오프셋을 적용할 수 있다. ALF는 예측 대상 블록과 최종 복원 블록 사이의 에러를 최소화하기 위해 필터링을 수행할 수 있다. ALF는 디블록킹 필터를 통해 필터링된 복원 블록과 현재의 예측 대상 블록을 비교한 값을 기초로 필터링을 수행할 수 있으며, ALF의 필터 계수 정보는 슬라이스 헤더(slice header)에 실려 부호화기로부터 복호화기로 전송될 수 있다.
메모리(455)는 필터부(450)를 거친 최종 복원 블록을 저장할 수 있고, 저장된 최종 복원 블록은 인터 예측을 수행하는 인터 예측부(420)에 제공될 수 있다.
본 발명에 따르면, 위와 같은 부호화 구성요소에 있어서, 인터 예측부(420)는 부가 데이터가 삽입된 PA'를 참조하여 PB 픽처와의 인터 예측을 수행하고, 이때 생성되는 잔여블럭을 통해 전체적으로 PA' 픽처를 참조하여 복호화 결과값이 원본 PB 픽처가 되는 변형 부호화된 PB' 픽처를 생성할 수 있으며, 생성된 잔여 블럭은 변환부(430), 양자화부(435), 재절렬부(460) 및 엔트로피 부호화부(465)를 거쳐 NAL 유닛(Network Abstraction Layer Unit) 형태로 생성될 수 있다.
도 5는 본 발명의 일 실시예에 따른 부가 데이터 삽입 방법의 변형 부호화시 고려할 수 있는 옵션(option)들을 나타낸 도면이다.
도 5를 참조하면, 본 발명의 제 1 실시예에 따르면, PB 픽처의 변형 부호화시 lossless 코딩 모드를 사용할 수 있다. 이를 통해 보다 화질 손상 없는 PB' 픽처를 생성할 수 있다.
또한, 본 발명의 제 2 실시예에 따르면, PB 픽처는 가중치 예측(Weighted prediction)을 오프하여 변형부호화된 PB' 픽처를 생성할 수 있다. 이를 통해 부호화시 화질 손상을 심화시킬 수 있는 가중치에서의 곱셈 연산을 배제시킬 수 있다.
더욱이, 본 발명의 제 3 실시예에 따르면, PB 픽처 세트의 첫 번째 픽처를 I 프레임 또는 I 슬라이스로 부호화하여 PB 픽처의 부호화 효율을 제고시키는 방법을 사용할 수 있다.
도 6은 변형 부호화시 lossless 방식에 따른 각 구성요소의 동작을 나타낸 도면이다. 도 6에 도시된 바와 같이, lossless 방식의 변형 부호화를 위한 구성요소는 도 4의 구성요소와 기본적으로 대응될 수 있고, 그 기능 역시 대응될 수 있다.
도 6을 참조하면, PB 픽처의 PB' 픽처로의 변형 부호화에 있어서, lossless 코딩을 사용하는 것이 바람직할 수 있다. lossless 코딩은 부호화기에서 변환 및 양자화를 바이패스하는 것이다. 또한, 변환과 양자화 없이 SAP(SAMPLE BASED ANGULAR INTRA PREDICTION)이 lossless 모드의 효율을 개선하기 위해 추가될 수 있다. SAP는 일반적인 앵귤라(angular) 인트라 에측 방식으로 대체될 수 있다. 즉, 도 6의 변환부(630), 양자화부(635), 역양자화부(640) 및 역변환부(645)의 기능을 모두 통과하여 잔여블록을 생성한 후, 바로 엔트로피 부호화가 수행되어 PB'를 구성할 수 있다.
또한, lossless 모드가 적용되는 때, 필터부(650)에서의 모든 인-루프 필터링 동작이 모두 바이패스될 수 있다. lossless 모드에서 재구성되는 프레임 내에 존재하는 왜곡이 없을 수 있으므로, 인-루프 필터링 동작은 픽처 품질 또는 부호화 효율 중 어느 것에도 도움이 되지 않는다.
즉, 전체 부호화 루프에서, 변환, 양자화, 역변환과 역양자화, 그리고 인-루프 필터링 부분 전체 또는 일부를 우회하여 PB 픽처로의 복원이 완전할 수 있도록 하는 것이 바람직할 수 있다.
도 7은 변형 부호화시 가중치 예측에 따른 고려사항을 설명하기 위한 동작을 설명하기 위한 도면이다.
원본 PB 픽처의 변형 부호화는 P 프레임 또는 B 프레임에서 이루어질 수 있는데, 가중치 예측은 동영상 부호화 방식의 밝기를 예측하기 위한 알고리즘이다. 즉, 페이드 아웃/페이드 인(fade out/fade in)과 같이 밝기가 시간적으로 변화하는 영상을 부호화할 때 영상의 화질 영화를 방지하기 위한 것이다.
이때, 하나의 LO 프레임만 존재하는 P 프레임의 경우, 예측 신호(Y0)에 가중치 계수(WO)를 곱하고 이에 오프셋 가중치(D)를 더하여 전송한다.
B 프레임의 경우, 도 7에 도시된 바와 같이, Y0 및 Y1 예측신호에 가중치 계수 WO 및 W1을 곱하고 이에 오프셋 가중치(D)를 더하여 밝기를 보정하여 정확한 예측을 수행하는 방식이 사용될 수 있다.
다만, 본 발명의 실시예에 따르면, PB 픽처에 대한 PB' 픽처로의 변형 부호화시 가중치 예측 모드를 오프시켜 가중치 예측시 곱셈 연산 수행에 따른 화질 손실 또는 오차 범위가 확대되는 것을 방지하면서, 손상 방지 픽처를 생성할 수 있다. 즉, 곱셈 연산 부분은 덧셈 연산으로 전환하여 가중치 계수를 곱하는 부분을 제거하는 것이 바람직할 수 있다.
도 8은 변형 부호화시 PB 픽처에 I 프레임 또는 I 슬라이스를 삽입하는 방식을 설명하기 위한 도면이다.
도 8을 참조하면, PA' 픽처들(810)을 기반으로 변형 부호화된 PB' 픽처(820)를 생성함에 있어서, PB' 픽처의 최초 픽처 또는 슬라이스(825)를 I 프레임 또는 I 슬라이스로 부호화할 수 있다. PB'에서 I 프레임으로 생성되는 프레임의 수는 반드시 1개일 필요는 없으며, 1 내지 n(n은 자연수)개의 프레임이 I 프레임으로 부호화될 수 있다.
이는 새롭게 변형 부호화되는 PB' 픽처들(820)의 부호화 효율을 높이기 위한 것으로, 최초 픽처(825)(또는 최초 픽처 이후의 복수 개의 픽처들)를 I 프레임으로 인트라 예측부(도 4 및 도 6의 425 및 625 참조)를 통해 부호화하는 것이 바람직할 수 있다.
I 프레임을 생성한 이후에는, PB' 안의 P 및 B 프레임들이 새롭게 생성된 I 프레임을 직간접적으로 참조하도록 참조 관계가 변경되어 부호화될 수 있다.
또한, 본 발명의 다른 실시예에 따르면, PB 픽처에 포함된 B 또는 P 프레임의 일부 영역(예컨대, 일부 CB(부호화 블록))을 인트라 부호화하는 것도 가능하다. 즉, 반드시 전체를 인트라 부호화하여 I 프레임으로 생성하는 것 뿐만 아니라, B 또는 P 프레임의 일부 영역(예컨대, 일부 CB)만을 선택하여 인트라 부호화하는 것도 가능하다.
도 9는 본 발명의 일 실시예에 따른 부가 데이터 삽입 장치를 개략적으로 나타낸 블록도이다. 도 9에 도시된 바와 같이, 본 발명의 일 실시예에 따른 부가 데이터 삽입 장치는 비트 스트림 입력부(910), 제 1 픽처 선택부(920), 부가 데이터 삽입부(925), 제 2 픽처 선택부(930), 변형 부호화부(940), 및 데이터 시퀀스 생성부(950)를 포함할 수 있다.
도 9를 참조하면, 비트 스트림 입력부(910)는 정보를 넣을 비트스트림 데이터를 입력받는다. 앞서 설명한 바와 같이, 비트 스트림 데이터는 부호화 전 데이터일 수 있도 있고, 이미 부호화된 데이터일 수 있다. 만약, 비트 스트림 데이터가 이미 부호화된 데이터라면, 부호화된 데이터에 부가 데이터를 삽입하는 경우, 최소한의 재부호화를 하는 것이 바람직하다. 본 발명의 실시예에 따르면, 이러한 부가 데이터의 삽입 및 이에 따른 재부호화는 GOP 단위로 수행될 수 있다. 즉, 비트 스트림 입력부(910)는 부가 데이터 삽입 대상을 GOP 단위로 잘라 입력시킬 수 있다.
제 1 픽처 선택부(920)는 비트 스트림 중에서 부가 데이터가 삽입될 대상인 PA 픽처를 선택한다. 부가 데이터는 워터마크, 사용자 ID, 저작권 관련 정보, 또는 기타 암호화 데이터 등을 포함할 수 있다.
부가 데이터 삽입부(925)는 제 1 픽처 선택부(920)에서 선택된 PA 픽처를 입력으로 받아, 워터마크와 같은 부가 데이터를 PA 픽처에 삽입할 수 있다. 부가 데이터 삽입부(925)는 미리 설정된 디폴트 설정 또는 사용자 인터페이스에 의해 결정된 위치에 부가 데이터를 삽입할 수 있다. 정보가 삽입된 픽처는 PA'가 될 수 있다.
제 2 픽처 선택부(930)는 제 1 픽처 선택부(920)에서 선택된 PA 픽처에 관한 데이터를 수신하여 입력되는 비트 스트림 중에서 PA 픽처를 직접 참조하는 PB 픽처를 선택한다. PB 픽처는 P 프레임뿐만 아니라 B 프레임도 포함할 수 있다. B 프레임은 PA'에 포함된 한 개를 제외하면 PA 및 PB 픽처가 아닌 제 3 의 픽처, PC 픽처를 참조할 수 있다.
변형 부호화부(940)는 제 2 픽처 선택부(930)에서 선택된 PB 픽처에 대해, 부가 데이터 정보가 삽입된 PA'를 참조하여 그 복호화 결과값이 원본 PB 픽처가 나올 수 있도록 하는 변형 부호화된 PB'를 생성한다. 변형 부호화부(940)는 참조 픽처는 PA'이며, 이에 대한 복호화 출력값은 원본 PB 픽처 값이 되어야 하므로, 참조 픽처와 결과 복호화 값을 가지고 H.265, H.264 및 H.263 등의 코딩기법을 이용하여 변형 부호화된 PB' 픽처를 생성할 수 있다. 변형 부호화부(940)는 lossless 방식을 사용하여 PB로 선택된 픽처들을 부가 데이터가 삽입된 PA' 픽처와 원본 PA 픽처를 기반으로 변형 부호화된 PB' 픽처 생성할 수 있다. 또는, 가중치 예측을 위한 구성요소를 오프시키고, 곱셈 연산을 덧셈 연산으로 바꾸어 변형 부호화를 수행할 수 있다. 더욱이, 변형 부호화부(940)는 변형 부호화된 PB' 픽처 세트의 최초 프레임 또는 슬라이스를 I 프레임 또는 I 슬라이스로 인트라 예측을 통해 부호화할 수 있다. I 프레임 또는 I 슬라이스로의 인트라 부호화 이후에는, 나머지 PB 픽처들의 참조관계를 I 프레임 또는 I 슬라이스를 직간접적으로 참조하도록 할 수 있다.
이렇게 생성된 PB' 픽처는 이후 부가 데이터 삽입 대상 PA 픽처와 PB 픽처가 아닌 비트 스트림 내 다른 모든 픽처(예컨대, PC 픽처)의 별도 부호화를 상쇄시킬 수 있고, PA에 삽입되는 부호화에 의한 화질 손상 및 부호화 효율 감소를 방지할 수 있다.
부가 데이터가 삽입된 PA' 픽처 및 변형 부호화된 PB' 픽처를 획득하고, 나머지 PC 픽처들은 이미 부호화가 완료되었다면, 특별한 교체 없이 전송하면 되기 때문에, 별도 작업이 필요치 않다. 따라서 데이터 시퀀스 생성부(950)는 변형 부후화부(940) 및 부가 데이터 삽입부(925)에서 실제 다시 부호화된 PA' 및 PB' 픽처들을 모아 데이터 시퀀스를 생성할 수 있다. 전체적으로 데이터를 교체할 때는 원본 비트 스트림에 새로 부호화된 PA' 픽처 및 PB' 픽처 시퀀스만 변경하면 된다.
다시 말해, 이렇게 생성된 데이터 시퀀스는 기존에 가지고 있던 데이터(예컨대, PA 픽처 및 PB 픽처를 제외한 다른 픽처 세트(PC 픽처)에 대한 비트 스트림 데이터)와 통합하여 수신측으로 전송할 수 있다.
이상 도면 및 실시예를 참조하여 설명하였지만, 본 발명의 보호범위가 상기 도면 또는 실시예에 의해 한정되는 것을 의미하지는 않으며 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (20)

  1. 동영상 스트림에 대해 부가 데이터를 삽입하는 방법에 있어서,
    부호화된 원본 비트 스트림을 입력받는 단계;
    상기 비트 스트림에서 부가 데이터를 삽입할 제 1 픽처(picture: PA)를 선택하는 단계;
    상기 선택된 제 1 픽처에 대해 상기 부가 데이터를 삽입하여 부가 데이터가 삽입된 제 1 픽처(PA')를 생성하는 단계;
    상기 제 1 픽처를 직접 참조하는 제 2 픽처를 선택하는 단계;
    상기 선택된 제 2 픽처(PB)를 변형 부호화하여, 상기 부가 데이터가 삽입된 제 1 픽처(PA')를 참조하여 상기 변형 부호화된 제 2 픽처(PB')를 복호화한 복호화 결과 값이 원본 제 2 픽처(PB)가 되도록 하는 상기 변형 부호화된 제 2 픽처(PB')를 생성하는 단계; 및
    상기 부가 데이터가 삽입된 제 1 픽처(PA')와 상기 변형 부호화된 제 2 픽처(PB')를 기반으로 데이터 시퀀스를 생성하는 단계를 포함하는 것을 특징으로 하는 동영상 스트림에 대한 부가 데이터 삽입 방법.
  2. 제 1 항에 있어서,
    상기 변형 부호화된 제 2 픽처(PB') 생성 단계는 상기 부가 데이터가 삽입된 제 1 픽처(PA')와 상기 제 1 픽처(PA)를 기반으로 상기 변형 부호화된 제 2 픽처(PB')를 생성하는 단계를 포함하는 것을 특징으로 하는 동영상 스트림에 대한 부가 데이터 삽입 방법.
  3. 제 1 항에 있어서,
    상기 비트 스트림에서 상기 제 1 픽처(PA) 및 상기 제 2 픽처(PB)를 제외한 다른 픽처(PC)는 상기 제 1 픽처(PA)에 대한 부가 데이터 삽입에 따른 별도 부호화를 수행하지 않는 것을 특징으로 하는 동영상 스트림에 대한 부가 데이터 삽입 방법.
  4. 제 1 항에 있어서,
    상기 선택된 제 2 픽처(PB)는 상기 제 1 픽처(PA)를 직접 참조하는 B 프레임 또는 P 프레임을 포함하는 것을 특징으로 하는 동영상 스트림에 대한 부가 데이터 삽입 방법.
  5. 제 1 항에 있어서,
    상기 부가 데이터는 워터마크 데이터인 것을 특징으로 하는 동영상 스트림에 대한 부가 데이터 삽입 방법.
  6. 제 1 항에 있어서,
    상기 변형 부호화된 제 2 픽처(PB') 생성 단계는 로스-리스(loss-less) 코딩 방식을 통해 수행되는 것을 특징으로 하는 동영상 스트림에 대한 부가 데이터 삽입 방법.
  7. 제 1 항에 있어서,
    상기 변형 부호화된 제 2 픽처(PB') 생성 단계는 가중치 예측(weighted prediction)과 관련된 구성을 오프시키는 단계를 포함하는 것을 특징으로 하는 동영상 스트림에 대한 부가 데이터 삽입 방법.
  8. 제 1 항에 있어서,
    상기 변형 부호화된 제 2 픽처(PB') 생성 단계는 상기 변형 부호화된 제 2 픽처(PB')의 최초 프레임을 I 프레임으로 부호화하는 단계를 포함하는 것을 특징으로 하는 동영상 스트림에 대한 부가 데이터 삽입 방법.
  9. 제 1 항에 있어서,
    삽입되는 부가 데이터의 형태에 따라 서로 다르게 생성된 n(n은 자연수)개 형태의 부가 데이터가 삽입된 제 1 픽처(PA')에 대해, m(m은 n과 같거나 다른 자연수)개 형태의 변형 부호화된 제 2 픽처(PB')가 대응되는 것을 특징으로 하는 동영상 스트림에 대한 부가 데이터 삽입 방법.
  10. 제 9 항에 있어서,
    상기 변형 부호화된 제 2 픽처(PB')가 로스-리스 방식으로 변형 부호화된 경우, 복수 개의 형태의 부가 데이터가 삽입된 제 1 픽처(PA')를 참조가능하고,
    상기 변형 부호화된 제 2 픽처(PB')가 인트라 부호화 방식으로 부호화된 경우, 하나의 형태의 제 2 픽처(PB')로써 상기 n개 형태의 부가 데이터가 삽입된 제 1 픽처(PA')에 대응되는 것을 특징으로 하는 동영상 스트림에 대한 부가 데이터 삽입 방법.
  11. 동영상 스트림에 대해 부가 데이터를 삽입하는 장치에 있어서,
    부호화된 원본 비트 스트림을 입력받는 비트 스트림 입력부;
    상기 비트 스트림에서 부가 데이터를 삽입할 제 1 픽처(picture: PA)를 선택하는 제 1 픽처 선택부;
    상기 선택된 제 1 픽처에 대해 상기 부가 데이터를 삽입하여 부가 데이터가 삽입된 제 1 픽처(PA')를 생성하는 부가 데이터 삽입부;
    상기 제 1 픽처를 직접 참조하는 제 2 픽처를 선택하는 제 2 픽처 선택부;
    상기 선택된 제 2 픽처(PB)를 변형 부호화하여, 상기 부가 데이터가 삽입된 제 1 픽처(PA')를 참조하여 상기 변형 부호화된 제 2 픽처(PB')를 복호화한 복호화 결과 값이 원본 제 2 픽처(PB)가 되도록 하는 상기 변형 부호화된 제 2 픽처(PB')를 생성하는 변형 부호화부; 및
    상기 부가 데이터가 삽입된 제 1 픽처(PA')와 상기 변형 부호화된 제 2 픽처(PB')를 기반으로 데이터 시퀀스를 생성하는 데이터 시퀀스 생성부를 포함하는 것을 특징으로 하는 동영상 스트림에 대한 부가 데이터 삽입 장치.
  12. 제 11 항에 있어서,
    상기 변형 부호화부는 상기 부가 데이터가 삽입된 제 1 픽처(PA')와 상기 원본 제 1 픽처(PA)를 기반으로 상기 변형 부호화된 제 2 픽처(PB')를 생성하는 것을 특징으로 하는 동영상 스트림에 대한 부가 데이터 삽입 장치.
  13. 제 11 항에 있어서,
    상기 비트 스트림에서 상기 제 1 픽처(PA) 및 상기 제 2 픽처(PB)를 제외한 다른 픽처(PC)는 상기 제 1 픽처(PA)에 대한 부가 데이터 삽입에 따른 별도 부호화를 수행하지 않는 것을 특징으로 하는 동영상 스트림에 대한 부가 데이터 삽입 장치.
  14. 제 11 항에 있어서,
    상기 선택된 제 2 픽처(PB)는 상기 제 1 픽처(PA)를 직접 참조하는 B 픽처 또는 P 프레임을 포함하는 것을 특징으로 하는 동영상 스트림에 대한 부가 데이터 삽입 장치.
  15. 제 11 항에 있어서,
    상기 부가 데이터는 워터마크 데이터인 것을 특징으로 하는 동영상 스트림에 대한 부가 데이터 삽입 장치.
  16. 제 11 항에 있어서,
    상기 변형 부호화부는 로스-리스(loss-less) 코딩 방식을 통해 수행되는 것을 특징으로 하는 동영상 스트림에 대한 부가 데이터 삽입 장치.
  17. 제 11 항에 있어서,
    상기 변형 부호화부는 가중치 예측(weighted prediction)과 관련된 구성을 오프시키는 것을 특징으로 하는 동영상 스트림에 대한 부가 데이터 삽입 장치.
  18. 제 11 항에 있어서,
    상기 변형 부호화부는 상기 변형 부호화된 제 2 픽처(PB')의 최초 프레임을 I 프레임으로 부호화하는 것을 특징으로 하는 동영상 스트림에 대한 부가 데이터 삽입 장치.
  19. 제 11 항에 있어서,
    삽입되는 부가 데이터의 형태에 따라 서로 다르게 생성된 n(n은 자연수)개 형태의 부가 데이터가 삽입된 제 1 픽처(PA')에 대해, m(m은 n과 같거나 다른 자연수)개 형태의 변형 부호화된 제 2 픽처(PB')가 대응되는 것을 특징으로 하는 동영상 스트림에 대한 부가 데이터 삽입 장치.
  20. 제 11 항에 있어서,
    상기 변형 부호화된 제 2 픽처(PB')가 로스-리스 방식으로 변형 부호화된 경우, 복수 개의 형태의 부가 데이터가 삽입된 제 1 픽처(PA')를 참조가능하고,
    상기 변형 부호화된 제 2 픽처(PB')가 인트라 부호화 방식으로 부호화된 경우, 하나의 형태의 제 2 픽처(PB')로써 상기 n개 형태의 부가 데이터가 삽입된 제 1 픽처(PA')에 대응되는 것을 특징으로 하는 동영상 스트림에 대한 부가 데이터 삽입 장치.
KR1020160002257A 2016-01-07 2016-01-07 화질 손상을 방지하는 동영상 스트림에 대한 부가 데이터 삽입 방법 및 장치 KR101756759B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160002257A KR101756759B1 (ko) 2016-01-07 2016-01-07 화질 손상을 방지하는 동영상 스트림에 대한 부가 데이터 삽입 방법 및 장치
US15/156,293 US10757433B2 (en) 2016-01-07 2016-05-16 Method and apparatus for inserting additional data into video stream without degrading picture quality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160002257A KR101756759B1 (ko) 2016-01-07 2016-01-07 화질 손상을 방지하는 동영상 스트림에 대한 부가 데이터 삽입 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101756759B1 true KR101756759B1 (ko) 2017-07-12

Family

ID=59276103

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160002257A KR101756759B1 (ko) 2016-01-07 2016-01-07 화질 손상을 방지하는 동영상 스트림에 대한 부가 데이터 삽입 방법 및 장치

Country Status (2)

Country Link
US (1) US10757433B2 (ko)
KR (1) KR101756759B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108347602B (zh) * 2017-01-22 2021-07-30 上海澜至半导体有限公司 用于无损压缩视频数据的方法和装置
RU2688202C1 (ru) * 2018-07-03 2019-05-21 Закрытое акционерное общество "Перспективный мониторинг" Способ скрытой маркировки потока данных цифрового телевизионного сигнала

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002330434A (ja) 2001-04-27 2002-11-15 Pioneer Electronic Corp 復号化装置及び復号化方法、再符号化装置及び再符号化方法、情報記録媒体並びに復号化プログラム及び再符号化プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6804301B2 (en) * 2001-08-15 2004-10-12 General Instrument Corporation First pass encoding of I and P-frame complexity for compressed digital video
US8812852B2 (en) * 2003-03-19 2014-08-19 Sony Corporation Method and system for marking digital content
KR100556848B1 (ko) * 2003-05-13 2006-03-10 엘지전자 주식회사 디지털 워터마킹을 이용한 동영상 부호화/복호화 장치 및방법
KR100643273B1 (ko) 2004-05-27 2006-11-10 삼성전자주식회사 비디오 워터마킹 방법 및 장치와, 비디오 워터마킹을 이용한 비디오 콘텐츠 보호방법 및 장치
US7738676B1 (en) * 2006-11-02 2010-06-15 Qurio Holdings, Inc. Client-side watermarking using hybrid I-frames
KR101501106B1 (ko) 2010-10-29 2015-03-10 에스케이플래닛 주식회사 비디오 인코딩 장치 및 방법, 비디오 디코딩 장치 및 방법
KR101490686B1 (ko) 2010-10-29 2015-02-06 에스케이플래닛 주식회사 비디오 인코딩 장치 및 방법
WO2012172668A1 (ja) * 2011-06-15 2012-12-20 株式会社 東芝 動画像符号化方法及び装置並びに動画復号化方法及び装置
US20140355665A1 (en) * 2013-05-31 2014-12-04 Altera Corporation Adaptive Video Reference Frame Compression with Control Elements

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002330434A (ja) 2001-04-27 2002-11-15 Pioneer Electronic Corp 復号化装置及び復号化方法、再符号化装置及び再符号化方法、情報記録媒体並びに復号化プログラム及び再符号化プログラム

Also Published As

Publication number Publication date
US10757433B2 (en) 2020-08-25
US20170201764A1 (en) 2017-07-13

Similar Documents

Publication Publication Date Title
KR102165340B1 (ko) 색차 성분 양자화 매개 변수 결정 방법 및 이러한 방법을 사용하는 장치
JP6672226B2 (ja) 大型マクロ・ブロックを用いたビデオ・コーディング
CN106170092B (zh) 用于无损编码的快速编码方法
KR101534416B1 (ko) 인트라-예측을 이용한 비디오 코딩
KR101572535B1 (ko) 합성 비디오에서의 무손실 코딩 및 관련 시그널링 방법
KR101732767B1 (ko) 비디오 코딩에서의 양자화된 펄스 코드 변조
JP5763210B2 (ja) 改良されたループ型フィルタリング処理のための方法と装置
KR101538832B1 (ko) 다중-레벨 유효성 맵 스캐닝
US10701362B2 (en) High throughput significance map processing for CABAC in HEVC
KR101919394B1 (ko) 무손실 인트라 hevc 코딩을 위한 지수-골룸 이진화에 대한 파라미터 결정
US20160191951A1 (en) Secondary boundary filtering for video coding
KR20180044969A (ko) 이미지 및 비디오 코딩에서 구문 요소에 대한 컨텍스트 모델링의 방법 및 장치
KR20160047486A (ko) 인트라 블록 복사를 수행할 경우의 지역들의 결정
WO2013009896A1 (en) Pixel-based intra prediction for coding in hevc
WO2013049309A1 (en) Coefficient coding for sample adaptive offset and adaptive loop filter
WO2020151753A1 (en) Method and apparatus of transform coefficient coding with tb-level constraint
KR101960470B1 (ko) 오프라인 cabac을 지원하는 비디오 코딩 프로세스의 비트 예측 기반 비트 레이트 컨트롤 방법 및 그 장치
US11051017B2 (en) Adaptive loop filter (ALF) index signaling
WO2015008478A1 (en) Modified coding for a transform skipped block for cabac in hevc
JP7047777B2 (ja) 画像データ符号化及び復号化
KR20140018873A (ko) 영상 정보 부호화 방법 및 복호화 방법
US20070217516A1 (en) Uni-modal based fast half-pel and fast quarter-pel refinement for video encoding
KR20130053645A (ko) 적응적 루프 필터를 이용한 비디오 부호화/복호화 방법 및 장치
KR101756759B1 (ko) 화질 손상을 방지하는 동영상 스트림에 대한 부가 데이터 삽입 방법 및 장치
CN116489344A (zh) 一种编解码方法、装置及其设备

Legal Events

Date Code Title Description
GRNT Written decision to grant