KR20150094619A - 송신 장치, 송신 방법, 수신 장치 및 수신 방법 - Google Patents

송신 장치, 송신 방법, 수신 장치 및 수신 방법 Download PDF

Info

Publication number
KR20150094619A
KR20150094619A KR1020157014745A KR20157014745A KR20150094619A KR 20150094619 A KR20150094619 A KR 20150094619A KR 1020157014745 A KR1020157014745 A KR 1020157014745A KR 20157014745 A KR20157014745 A KR 20157014745A KR 20150094619 A KR20150094619 A KR 20150094619A
Authority
KR
South Korea
Prior art keywords
image data
information
banding
banding suppression
unit
Prior art date
Application number
KR1020157014745A
Other languages
English (en)
Inventor
이쿠오 츠카고시
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20150094619A publication Critical patent/KR20150094619A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명에 의하면, 수신측에 있어서 밴딩 억제 처리가 적절히 행해지도록 한다. 부호화 화상 데이터를 포함하는 비디오 스트림을 갖는 소정 포맷의 컨테이너를 송신한다. 이 비디오 스트림에, 화상 데이터의 밴딩 억제 처리에 관한 정보를 삽입한다. 이 정보에는, 예를 들어 화상 데이터에 밴딩 억제 처리가 실시되어 있는지를 나타내는 정보, 화상 데이터에 밴딩 억제 처리를 해야 하는지를 나타내는 정보 등이 포함된다. 수신측에서는, 송신측으로부터 보내져 오는 밴딩 억제 처리에 관한 정보에 기초하여 밴딩 억제 처리를 제어할 수 있어, 밴딩 억제 처리를 적절히 행하는 것이 가능해진다.

Description

송신 장치, 송신 방법, 수신 장치 및 수신 방법 {TRANSMISSION DEVICE, TRANSMISSION METHOD, RECEPTION DEVICE, AND RECEPTION METHOD}
본 기술은 송신 장치, 송신 방법, 수신 장치 및 수신 방법에 관한 것이며, 특히 한정된 계조 수로 양자화가 행해진 화상 데이터를 송신하는 송신 장치 등에 관한 것이다.
화상 데이터의 처리 장치에는, N비트의 화상 데이터를, 그보다도 계조 수가 낮은 M비트의 화상 데이터로 변환하는, 소위 계조 변환을 행하는 것이 있다. 이러한 계조 변환은, 예를 들어 N비트의 화소 데이터에 있어서의 하위 N-M비트의 값을 단순히 잘라 버리고, M비트의 화소 데이터로 양자화함으로써 행해진다. 그러나 이 경우에는, 화상 중의 그라데이션 부분과 같이 화소값이 완만하게 변화되는 영역에 있어서, 양자화 오차의 영향으로 띠형 모양, 즉, 밴딩(banding)이 지각(知覺)되어 버린다는 문제가 있다.
종래, 이러한 밴딩을 억제하는 밴딩 억제 처리로서 다양한 방법(종류), 예를 들어 랜덤 디더링법, 조직적 디더링법, 오차 확산법 등이 알려져 있다(예를 들어 특허문헌 1 참조).
도 22의 (a)는 랜덤 디더링법에 의한 밴딩 억제 처리를 실시하는 계조 변환 장치의 일례를 도시하고 있다. 이 계조 변환 장치는 연산부(311), 랜덤 노이즈 출력부(312) 및 양자화부(313)로 구성된다.
연산부(311)에는, 계조 변환의 대상의 화상 데이터(계조 변환 전의 화상)로서, 예를 들어 16비트의 화상 데이터의 각 화소(x,y)의 화소값 IN(x,y)이 래스터 스캔 순으로 공급된다. 또한 화소(x,y)는, 좌측에서 x번째이고 위에서 y번째의 화소를 나타낸다. 또한 이 연산부(311)에는, 랜덤 노이즈를 발생시켜 출력하는 랜덤 노이즈 출력부(312)로부터의 랜덤 노이즈가 공급된다.
연산부(311)는 화소값 IN(x,y)과 랜덤 노이즈를 가산하고, 그 결과 얻어지는 가산값을 양자화부(313)에 공급한다. 양자화부(313)는 연산부(311)로부터의 가산값을, 예를 들어 8비트로 양자화하고, 그 결과 얻어지는 8비트의 양자화 값을, 계조 변환 후의 화상 데이터의 각 화소(x,y)의 화소값 OUT(x,y)으로서 출력한다.
도 22의 (b)는 조직적 디더링법에 의한 밴딩 억제 처리를 실시하는 계조 변환 장치의 일례를 도시하고 있다. 이 계조 변환 장치는 연산부(321) 및 양자화부(322)로 구성된다.
연산부(321)에는, 계조 변환의 대상 화상으로서, 예를 들어 16비트의 화상 데이터의 각 화소(x,y)의 화소값 IN(x,y)이 래스터 스캔 순으로 공급된다. 또한 이 연산부(321)에는 디더링 매트릭스가 공급된다. 연산부(321)는 화소값 IN(x,y)과, 그 화소값 IN(x,y)을 갖는 화소(x,y)의 위치에 대응한, 디더링 매트릭스의 값을 가산하고, 그 결과 얻어지는 가산값을 양자화부(322)에 공급한다.
양자화부(322)는 연산부(321)로부터의 가산값을, 예를 들어 8비트로 양자화하고, 그 결과 얻어지는 8비트의 양자화 값을, 계조 변환 후의 화상 데이터의 화소(x,y)의 화소값 OUT(x,y)으로서 출력한다.
도 22의 (c)는 오차 확산법에 의한 밴딩 억제 처리를 실시하는 계조 변환 장치의 일례를 도시하고 있다. 이 계조 변환 장치는 연산부(331), 양자화부(332), 연산부(333) 및 2차원 필터(334)로 구성된다.
연산부(331)에는, 계조 변환의 대상 화상으로서, 예를 들어 16비트의 화상 데이터의 각 화소(x,y)의 화소값 IN(x,y)이 래스터 스캔 순으로 공급된다. 또한 이 연산부(331)에는 2차원 필터(334)의 출력이 공급된다. 연산부(331)는 화소값 IN(x,y)과 2차원 필터(334)의 출력을 가산하고, 그 결과 얻어지는 가산값을 양자화부(332) 및 연산부(333)에 공급한다.
양자화부(332)는 연산부(331)로부터의 가산값을, 예를 들어 8비트로 양자화하고, 그 결과 얻어지는 8비트의 양자화 값을, 계조 변환 후의 화상 데이터의 각 화소(x,y)의 화소값 OUT(x,y)으로서 출력한다.
또한 양자화부(332)가 출력하는 화소값 OUT(x,y)은 연산부(333)에도 공급된다. 연산부(333)는 연산부(331)로부터의 가산값으로부터, 양자화부(332)로부터의 화소값 OUT(x,y)을 감산하여, 양자화부(332)에서의 양자화에 의하여 발생하는 양자화 오차-Q(x,y)를 구하고, 2차원 필터(334)에 공급한다.
2차원 필터(334)는 신호를 필터링하는 2차원의 필터이며, 연산부(333)로부터의 양자화 오차-Q(x,y)를 필터링하고, 그 필터링의 결과를 연산부(331)에 출력한다.
연산부(331)에서는, 이상과 같이 하여, 2차원 필터(334)가 출력하는, 양자화 오차-Q(x,y)의 필터링의 결과와, 화소값 IN(x,y)이 가산된다. 이 경우, 양자화 오차-Q(x,y)가 2차원 필터(334)를 통하여 입력측(연산부(331))에 피드백되고 있으며, 2차원의 ΔΣ 변조기가 구성되어 있다.
이 2차원의 ΔΣ 변조기에 의하면, 양자화 오차-Q(x,y)가 수평 방향(x 방향) 및 수직 방향(y 방향) 중 어느 것에 대해서도, 공간 주파수의 고역으로 확산된다. 그로 인하여 이 오차 확산법은 랜덤 디더링법이나 조직적 디더링법과 비교하여, 계조 변환 후의 화상으로서 양호한 화질의 화상을 얻을 수 있다.
도 23은 밴딩과, 상술한 디더링이나 오차 확산의 관계를 도시하고 있다. 여기서는, N=16, M=8인 경우, 즉, 16비트의 화상 데이터를 8비트의 화상 데이터로 양자화하여 계조 변환을 행하는 예이다. 이 경우, 입력되는 16비트의 데이터의 하위 8비트를 잘라 버림으로써 양자화가 행해진다.
오리지날의 16비트의 화상 데이터로서, 도 23의 (a)에 도시한 바와 같은 그라데이션 화상이 입력되었을 경우를 생각한다. 이 16비트의 화상 데이터를 8비트의 화상 데이터로 양자화하는 경우에 있어서, 디더링이나 오차 확산을 행하지 않은 경우에는, 도 23의 (b)에 도시한 바와 같이 계조의 불연속성, 즉, 밴딩이 발생한다. 이는, 16비트의 경우보다도 8비트의 경우 쪽이, 분해능이 저하됨으로써, 도 23의 (b)의 우측에 나타낸 바와 같이 동일한 화소값이 연속되는 평탄 부분이 발생해 버리는 것에 기인한다.
디더링이나 오차 확산을 행한 경우에는, 도 23의 (c)의 우측에 나타낸 바와 같이 화소값의 평탄화가 완화되고, 그 결과, 도 23의 (c)의 좌측에 도시된 바와 같이 오리지날의 16비트 화상 데이터에 보다 근접한 계조 표현이 실현되게 된다. 이와 같이 디더링이나 오차 확산은, 도트 밀도로 계조를 표현하는 것으로 파악할 수 있다.
일본 특허 공개 제2009-207113호 공보
화상 송수신 시스템에 있어서, 상술한 밴딩 억제 처리는, 송신측에서 행하는 것도 가능하고, 수신측에서 행하는 것도 가능하다. 수신측에서는, 송신측에서 밴딩 억제 처리가 행해지고 있는 경우에는 밴딩 억제 처리는 불필요하고, 한편, 송신측에서 밴딩 억제 처리가 행해지고 있지 않은 경우에는 밴딩 억제 처리를 행하는 것이 기대된다.
본 기술의 목적은, 수신측에 있어서 밴딩 억제 처리가 적절히 행해지도록 하는 데 있다.
본 기술의 개념은,
부호화 화상 데이터를 포함하는 비디오 스트림을 갖는 소정 포맷의 컨테이너를 송신하는 송신부와,
상기 비디오 스트림에, 상기 화상 데이터의 밴딩 억제 처리에 관한 정보를 삽입하는 정보 삽입부를 구비하는
송신 장치에 있다.
본 기술에 있어서, 송신부에 의하여, 부호화 화상 데이터를 포함하는 비디오 스트림을 갖는 소정 포맷의 컨테이너가 송신된다. 예를 들어 송신부는, 수신측으로부터의 요구에 응답하여 소정 포맷의 컨테이너를 송신하도록 되어도 된다. 예를 들어 컨테이너는, 디지털 방송 규격에서 채용되고 있는 트랜스포트 스트림(MPEG-2 TS)이어도 된다. 또한 예를 들어 컨테이너는, 인터넷의 배신 등에서 사용되는 MP4, 또는 그 이외의 포맷의 컨테이너여도 된다.
정보 삽입부에 의하여, 비디오 스트림에, 화상 데이터의 밴딩 억제 처리에 관한 정보가 삽입된다. 예를 들어 정보 삽입부는, 밴딩 억제 처리에 관한 정보를 비디오 스트림에 픽처 단위 또는 씬 단위로 삽입하도록 되어도 된다.
예를 들어 밴딩 억제 처리에 관한 정보에는, 화상 데이터에 밴딩 억제 처리가 실시되어 있는지를 나타내는 정보가 포함되도록 되어도 된다. 그리고 이 경우, 밴딩 억제 처리에 관한 정보에는, 화상 데이터에 실시되는 밴딩 억제 처리의 종류를 나타내는 정보가 포함되도록 되어도 된다.
또한 예를 들어 밴딩 억제 처리에 관한 정보에는, 화상 데이터에 밴딩 억제 처리를 해야 하는지를 나타내는 정보가 포함되도록 되어도 된다. 또한 예를 들어 밴딩 억제 처리에 관한 정보에는, 화상 데이터에 계조 수 저하 처리가 실시되어 있는지를 나타내는 정보가 포함되도록 되어도 된다. 그리고 이 경우, 밴딩 억제 처리에 관한 정보에는, 계조 수 저하 처리 전의 계조 수를 나타내는 정보가 포함되도록 되어도 된다.
이와 같이 본 기술에 있어서는, 비디오 스트림에, 화상 데이터의 밴딩 억제 처리에 관한 정보가 삽입되는 것이다. 그로 인하여 수신측에 있어서는, 이 밴딩 억제 처리에 관한 정보에 기초하여 밴딩 억제 처리를 적절히 행하는 것이 가능해진다. 예를 들어 송신측에서 밴딩 억제 처리가 행해지고 있지 않은 경우에만 밴딩 억제 처리가 행해지도록 제어할 수 있다. 또한 예를 들어 밴딩 억제 처리를 해야 하는 화상 데이터에만 밴딩 억제 처리가 행해지도록 제어할 수 있다.
또한 본 기술에 있어서, 예를 들어 컨테이너의 레이어에, 비디오 스트림에 밴딩 억제 처리에 관한 정보가 삽입되어 있는지를 나타내는 식별 정보를 삽입하는 식별 정보 삽입부를 더 구비하도록 되어도 된다. 이 경우, 예를 들어 컨테이너는 트랜스포트 스트림이고, 식별 정보 삽입부는, 식별 정보를, 트랜스포트 스트림에 포함되는 프로그램 맵 테이블의 비디오 엘리멘터리 루프의 관리 하에 삽입하도록 되어도 된다. 이 경우, 수신기는, 비디오 스트림을 디코딩하지 않더라도 이 비디오 스트림에 밴딩 억제 처리에 관한 정보가 삽입되어 있는지 여부를 알 수 있어, 이 정보의 추출을 적절히 행할 수 있다.
또한 본 기술의 다른 개념은,
부호화 화상 데이터를 포함하고, 화상 데이터의 밴딩 억제 처리에 관한 정보가 삽입되어 있는 비디오 스트림을 갖는 소정 포맷의 컨테이너를 수신하는 수신부와,
상기 비디오 스트림을 디코딩하여 화상 데이터를 얻는 디코딩부와,
상기 디코딩 후의 화상 데이터에 대하여 밴딩 억제 처리를 실시하는 처리부와,
상기 비디오 스트림에 삽입되어 있는 밴딩 억제 처리에 관한 정보에 기초하여 상기 처리부를 제어하는 제어부를 구비하는
수신 장치에 있다.
본 기술에 있어서, 수신부에 의하여, 비디오 스트림을 갖는 소정 포맷의 컨테이너가 수신된다. 이 비디오 스트림에는, 부호화 화상 데이터가 포함되어 있음과 함께, 화상 데이터의 밴딩 억제 처리에 관한 정보가 삽입되어 있다. 디코딩부에 의하여 비디오 스트림이 디코딩되어 화상 데이터가 얻어진다. 처리부에 의하여, 디코딩 후의 화상 데이터에 대하여 밴딩 억제 처리가 실시된다. 그리고 제어부에 의하여, 비디오 스트림에 삽입되어 있는 밴딩 억제 처리에 관한 정보에 기초하여 처리부가 제어된다.
예를 들어 밴딩 억제 처리에 관한 정보에는, 화상 데이터에 밴딩 억제 처리를 해야 하는지를 나타내는 정보, 및 화상 데이터에 밴딩 억제 처리가 실시되어 있는지를 나타내는 정보가 포함되어 있고, 제어부는, 화상 데이터가 밴딩 억제 처리를 해야 하는 화상 데이터이며, 화상 데이터에 대하여 밴딩 억제 처리가 실시되어 있지 않을 때, 제어부에서 디코딩 후의 화상 데이터에 대하여 밴딩 억제 처리가 실시되도록 제어하도록 되어도 된다.
이와 같이 본 기술에 있어서는, 비디오 스트림에 삽입되어 있는 화상 데이터의 밴딩 억제 처리에 관한 정보에 기초하여, 디코딩 후의 화상 데이터에 대한 밴딩 억제 처리가 제어되는 것이다. 그로 인하여, 밴딩 억제 처리를 적절히 행하는 것이 가능해진다.
또한 본 기술의 다른 개념은,
부호화 화상 데이터를 포함하는 비디오 스트림을 갖는 소정 포맷의 컨테이너를 수신하는 수신부와,
상기 비디오 스트림을 디코딩하여 화상 데이터를 얻는 디코딩부와,
상기 디코딩 후의 화상 데이터에 대하여 밴딩 억제 처리를 실시하는 처리부와,
상기 디코딩 후의 화상 데이터에 의한 화상을 표시하는 표시부에 있어서의 표시 가능 계조 수와, 상기 비디오 스트림에 있어서의 화상 데이터의 비트 수가 상이할 때, 상기 디코딩 후의 화상 데이터에 대하여 밴딩 억제 처리가 실시되도록 상기 처리부를 제어하는 제어부를 구비하는
수신 장치에 있다.
본 기술에 있어서, 수신부에 의하여, 부호화 화상 데이터를 포함하는 비디오 스트림을 갖는 소정 포맷의 컨테이너가 수신된다. 디코딩부에 의하여 비디오 스트림이 디코딩되어 화상 데이터가 얻어진다. 처리부에 의하여, 디코딩 후의 화상 데이터에 대하여 밴딩 억제 처리가 실시된다.
그리고 제어부에 의하여 처리부가 제어된다. 이 경우, 디코딩 후의 화상 데이터에 의한 화상을 표시하는 표시부에 있어서의 표시 가능 계조 수와, 비디오 스트림에 있어서의 화상 데이터의 비트 수가 상이할 때, 디코딩 후의 화상 데이터에 대하여 밴딩 억제 처리가 실시되도록 제어된다. 이것에 의하여 밴딩 억제 처리가 적절히 행해진다.
본 기술에 의하면, 수신측에 있어서 밴딩 억제 처리를 적절히 행할 수 있다.
도 1은 실시 형태로서의 화상 송수신 시스템의 구성예를 도시하는 블록도이다.
도 2는 화상 송수신 시스템을 구성하는 송신 장치의 구성예를 도시하는 블록도이다.
도 3은 송신 장치를 구성하는 밴딩 억제 처리부의 구성예를 도시하는 블록도이다.
도 4는 픽처 프로세싱 SEI 메시지(picture processing SEI message)가 액세스 유닛의 "SEIs"의 부분에 삽입되는 것을 설명하기 위한 도면이다.
도 5는 「picture processing SEI message」의 구조예(Syntax)를 나타내는 도면이다.
도 6은 「Picture processing_sei()」의 구조예(Syntax)를 나타내는 도면이다.
도 7은 「Picture processing_sei()」의 구조예에 있어서의 주요한 정보의 내용(Semantics)을 나타내는 도면이다.
도 8은 픽처 프로세싱 디스크립터(picture_processing descriptor)의 구조예(Syntax) 및 그 주요한 정보의 내용(Semantics)을 나타내는 도면이다.
도 9는 실시 형태에 있어서의 트랜스포트 스트림 TS의 구성예를 도시하는 도면이다.
도 10은 화상 송수신 시스템을 구성하는 수신 장치의 구성예를 도시하는 블록도이다.
도 11은 수신 장치의 제어부에 있어서의, 픽처마다의, 밴딩 억제 처리의 제어 수순의 일례를 도시하는 흐름도(1/2)이다.
도 12는 수신 장치의 제어부에 있어서의, 픽처마다의, 밴딩 억제 처리의 제어 수순의 일례를 도시하는 흐름도(2/2)이다.
도 13은 DASH 베이스의 스트림 배신 시스템의 구성예를 도시하는 블록도이다.
도 14는 MPD 파일의 계층 구조를 도시하는 도면이다.
도 15는 MPD 파일에 포함되는 각 구조체의 일례를 시간축 상에 배열하여 도시한 도면이다.
도 16은 MPD 파일에 계층적으로 배치되어 있는 각 구조체의 관계의 일례를 나타내는 도면이다.
도 17은 피리어드(Period)와 레프리젠테이션(Representation)과 세그먼트(Segment)의 관계의 일례를 나타내는 도면이다.
도 18은 콘텐츠로부터 DASH 세그먼트나 DASH MPD 파일을 생성하기까지의 흐름의 일례를 도시하는 도면이다.
도 19는 스트림 배신 시스템을 구성하는 IPTV 클라이언트의 구성예를 도시하는 도면이다.
도 20은 일반적인, DASH 베이스의 스트림 배신 시스템의 계를 도시하는 도면이다.
도 21은 비디오 스트림을 포함하는 FragmentedMP4 스트림의 구성예를 도시하는 도면이다.
도 22는 밴딩 억제 처리로서의 랜덤 디더링법, 조직적 디더링법, 오차 확산법을 설명하기 위한 도면이다.
도 23은 밴딩과, 디더링이나 오차 확산의 관계를 설명하기 위한 도면이다.
이하, 발명을 실시하기 위한 형태(이하, 「실시 형태」라고 함)에 대하여 설명한다. 또한 설명은 이하의 순서로 행한다.
1. 실시 형태
2. 변형예
<1. 실시 형태>
[화상 송수신 시스템]
도 1은 실시 형태로서의 화상 송수신 시스템(10)의 구성예를 도시하고 있다. 이 화상 송수신 시스템(10)은 송신 장치(100) 및 수신 장치(200)에 의하여 구성되어 있다. 송신 장치(100)는, 예를 들어 방송국을 구성하고, 컨테이너로서의 트랜스포트 스트림 TS를 방송파에 실어 송신한다.
이 트랜스포트 스트림 TS에는, 부호화 화상 데이터를 포함하는 비디오 스트림이 포함된다. 그리고 이 비디오 스트림에는, 화상 데이터의 밴딩 억제 처리에 관한 정보(이하, 적절히 「밴딩 억제 처리 정보」라고 함)가 삽입된다. 이 경우, 이 밴딩 억제 처리 정보는, 비디오 스트림의 픽처 헤더 또는 시퀀스 헤더의 유저 데이터 영역 등에, 예를 들어 픽처 단위 또는 씬 단위 등으로 삽입된다.
이 밴딩 억제 처리 정보에는, 화상 데이터에 밴딩 억제 처리가 실시되어 있는지를 나타내는 정보, 및 그 밴딩 억제 처리의 종류를 나타내는 정보가 포함된다. 또한 이 밴딩 억제 처리 정보에는, 화상 데이터에 밴딩 억제 처리를 해야 하는지를 나타내는 정보가 포함된다. 또한 이 밴딩 억제 처리 정보에는, 화상 데이터에 계조 수 저하 처리가 실시되어 있는지를 나타내는 정보, 및 계조 수 저하 처리 전의 계조 수를 나타내는 정보가 포함된다. 이 밴딩 억제 처리 정보의 상세에 대해서는 후술한다.
또한 트랜스포트 스트림 TS의 레이어에, 비디오 스트림에 밴딩 억제 처리 정보가 삽입되어 있는지를 나타내는 식별 정보가 삽입된다. 예를 들어 이 식별 정보는, 트랜스포트 스트림 TS에 포함되는 프로그램 맵 테이블(PMT: Program Map Table)의 비디오 엘리멘터리 루프(Video ES loop)의 관리 하에 삽입된다. 이 식별 정보에 의하여, 수신측에서는, 비디오 스트림을 디코딩하지 않더라도 이 비디오 스트림에 밴딩 억제 처리 정보가 삽입되어 있는지를 알 수 있어, 이 밴딩 억제 처리 정보의 추출을 적절히 행하는 것이 가능해진다. 이 식별 정보의 상세에 대해서는 후술한다.
수신 장치(200)는, 송신 장치(100)로부터 보내져 오는 트랜스포트 스트림 TS를 방송파를 통하여 수신한다. 수신 장치(200)는, 이 트랜스포트 스트림 TS에 포함되는 비디오 데이터 스트림에 대하여 디코딩 처리를 행하여, 화상 데이터를 취득한다. 이때, 수신 장치(200)는, 트랜스포트 스트림 TS의 레이어에 삽입되어 있는 식별 정보에 의하여, 비디오 스트림을 디코딩하지 않더라도 이 비디오 스트림에 밴딩 억제 처리 정보가 삽입되어 있는지를 알 수 있다.
수신 장치(200)는, 디코딩 후의 화상 데이터에 대하여 밴딩 억제 처리를 실시하여, 표시용 화상 데이터를 생성한다. 이때, 수신 장치(200)는, 비디오 스트림에 삽입되어 있는 밴딩 억제 처리 정보를 추출하고, 이 밴딩 억제 처리 정보에 기초하여 밴딩 억제 처리를 제어한다. 예를 들어 화상 데이터가, 밴딩 억제 처리를 해야 하는 화상 데이터이며, 화상 데이터에 대하여 밴딩 억제 처리가 실시되어 있지 않을 때, 디코딩 후의 화상 데이터에 대하여 밴딩 억제 처리가 실시되도록 제어한다.
「송신 장치의 구성예」
도 2는 송신 장치(100)의 구성예를 도시하고 있다. 이 송신 장치(100)는 카메라(101)와 밴딩 억제 처리부(102)와 인코더(103)와 송신부(104)를 갖고 있다. 카메라(101)는 피사체를 촬상하여 화상 데이터를 출력한다. 밴딩 억제 처리부(102)는, 카메라(101)로부터 출력되는 화상 데이터에 대하여, 그 양자화 비트 수(계조 수)에 따라 계조 수 저하 처리와 밴딩 억제 처리를 행한다.
즉, 밴딩 억제 처리부(102)는, 카메라(101)로부터 출력되는 화상 데이터가 N비트이며 N>M일 때, M비트의 화상 데이터로 변환함과 함께, 밴딩 억제 처리를 실시하여, M비트의 화상 데이터를 출력한다. 또한 카메라(101)로부터 출력되는 화상 데이터가 M비트의 화상 데이터일 때, 밴딩 억제 처리부(102)는, 카메라(101)로부터 출력되는 화상 데이터를 그대로 출력한다.
도 3은 밴딩 억제 처리부(102)의 구성예를 도시하고 있다. 이 밴딩 억제 처리부(102)는, 디더링 가산부(51)와 1차원 ΔΣ 변조부(52)가 직렬 접속된 구성으로 되어 있다. 디더링 가산부(51)는, 카메라(101)로부터 입력되는 입력 화상 데이터의 각 화소값 IN(x,y)에 랜덤 노이즈를 가산함으로써, 대상 화상에 디더링을 실시하고, 1차원 ΔΣ 변조부(52)에 공급한다. 1차원 ΔΣ 변조부(52)는, 디더링 가산부(51)로부터의, 디더링이 실시된 화상 데이터에 1차원의 ΔΣ 변조를 실시하고, 그 결과 얻어지는 출력 화상 데이터의 각 화소값 OUT(x,y)을 인코더(103)에 공급한다.
디더링 가산부(51)에 대하여 설명한다. 디더링 가산부(51)는 연산부(61), 고역 통과 필터(HPF: High Pass Filter)(62), 랜덤 노이즈 출력부(63) 및 계수 설정부(64)로 구성된다. 연산부(61)에는 입력 화상 데이터의 화소값 IN(x,y)이 래스터 스캔 순으로 공급된다. 또한 이 연산부(61)에는 고역 통과 필터(62)의 출력이 공급된다.
연산부(61)는. 입력 화상 데이터의 화소값 IN(x,y)에 고역 통과 필터(62)의 출력을 가산하고, 그 결과 얻어지는 가산값을, 디더링이 실시된 화상 데이터의 화소값 F(x,y)로서 1차원 ΔΣ 변조부(52)에 공급한다. 고역 통과 필터(62)는, 계수 설정부(64)에 의하여 설정되는 필터 계수에 기초하여, 랜덤 노이즈 출력부(63)가 출력하는 랜덤 노이즈를 필터링하고, 그 필터링의 결과 얻어지는, 랜덤 노이즈의 고역 성분을 연산부(61)에 공급한다.
랜덤 노이즈 출력부(63)는, 예를 들어 가우스 분포 등에 따른 랜덤 노이즈를 발생시켜 고역 통과 필터(62)에 출력한다. 계수 설정부(64)는 사람의 시각의 공간 주파수 특성 등에 기초하여, 고역 통과 필터(62)의 필터 계수를 결정하여, 고역 통과 필터(62)에 설정한다.
이 디더링 가산부(51)에서는, 계수 설정부(64)에 의하여, 사람의 시각의 공간 주파수 특성 등으로부터 고역 통과 필터(62)의 필터 계수가 결정되어, 고역 통과 필터(62)에 설정된다. 그리고 고역 통과 필터(62)에서, 계수 설정부(64)에 의하여 설정된 필터 계수와, 랜덤 노이즈 출력부(63)가 출력하는 랜덤 노이즈의 곱의 합 연산 등이 행해짐으로써, 랜덤 노이즈 출력부(63)가 출력하는 랜덤 노이즈가 필터링되어 고역 성분이 취출된다. 이 고역 성분은 연산부(61)에 공급된다.
연산부(61)에서는, 입력 화상 데이터의 N비트의 화소값 IN(x,y)과, 고역 통과 필터(62)로부터의 랜덤 노이즈의 고역 성분이 가산되고, 그 결과 얻어지는, 예를 들어 입력 화상 데이터와 동일한 비트 수인 N비트의 가산값 또는 그 이상의 비트 수의 가산값이, 디더링이 실시된 화소값 F(x,y)로서 1차원 ΔΣ 변조부(52)에 공급된다.
다음으로, 1차원 ΔΣ 변조부(52)에 대하여 설명한다. 이 1차원 ΔΣ 변조부(52)는 연산부(71), 양자화부(72), 연산부(73), 1차원 필터(74) 및 계수 설정부(75)로 구성된다. 연산부(71)에는, 디더링 가산부(51)로부터, 디더링이 실시된 화상 데이터의 화소값 F(x,y)가 래스터 스캔 순으로 공급된다. 또한 연산부(71)에는 1차원 필터(74)의 출력이 공급된다.
연산부(71)는, 디더링 가산부(51)로부터의 화소값 F(x,y)와, 1차원 필터(74)의 출력을 가산하고, 그 결과 얻어지는 가산값을 양자화부(72) 및 연산부(73)에 공급한다. 양자화부(72)는 연산부(71)로부터의 가산값을 M비트로 양자화한다. 그리고 양자화부(72)는, 그 결과 얻어지는 M비트의 양자화 값(양자화 오차-Q(x,y)를 포함하는 양자화 값)을, 계조 수 변환 후의 출력 화상 데이터의 화소값 OUT(x,y)으로서 인코더(103)에 공급함과 함께, 연산부(73)에 공급한다.
연산부(73)는, 연산부(71)로부터의 가산값으로부터, 양자화부(72)로부터의 화소값 OUT(x,y)을 감산함으로써, 양자화부(72)에서의 양자화에 의하여 발생하는 양자화 오차-Q(x,y)를 구하여, 1차원 필터(74)에 공급한다. 이 1차원 필터(74)는, 신호를 필터링하는 1차원의 필터이며, 연산부(73)로부터의 양자화 오차-Q(x,y)를 필터링하고, 그 필터링의 결과를 연산부(71)에 출력한다.
여기서, 연산부(71)에서는, 1차원 필터(74)가 출력하는, 양자화 오차-Q(x,y)의 필터링의 결과와, 화소값 F(x,y)가 가산된다. 계수 설정부(75)는, 사람의 시각의 공간 주파수 특성 등에 기초하여 1차원 필터(74)의 필터 계수를 결정하여, 1차원 필터(74)에 설정한다.
이 1차원 ΔΣ 변조부(52)에서는, 계수 설정부(75)에 의하여, 사람의 시각의 공간 주파수 특성 등으로부터 1차원 필터(74)의 필터 계수가 결정되어, 1차원 필터(74)에 설정된다. 그리고 1차원 필터(74)에서는, 계수 설정부(75)에 의하여 설정된 필터 계수와, 연산부(73)가 출력하는 양자화 오차-Q(x,y)의 곱의 합 연산 등이 행해짐으로써, 연산부(73)가 출력하는 양자화 오차-Q(x,y)가 필터링되어, 양자화 오차-Q(x,y)의 고역 성분이 취출된다. 이 고역 성분은 연산부(71)에 공급된다.
연산부(71)에서는, 디더링 가산부(51)로부터의 화소값 F(x,y)와, 1차원 필터(74)의 출력이 가산되고, 그 결과 얻어지는 가산값이 양자화부(72) 및 연산부(73)에 공급된다. 양자화부(72)에서는, 연산부(71)로부터의 가산값이 M비트로 양자화되고, 그 결과 얻어지는 M비트의 양자화 값은, 계조 수 변환 후의 화상 데이터의 화소값 OUT(x,y)으로서 인코더(103)에 공급됨과 함께, 연산부(73)에 공급된다.
연산부(73)에서는, 연산부(71)로부터의 가산값으로부터, 양자화부(72)로부터의 화소값 OUT(x,y)이 감산되어, 양자화부(72)로부터의 화소값 OUT(x,y)에 포함되는 양자화 오차-Q(x,y)가 구해진다. 이 양자화 오차-Q(x,y)는 1차원 필터(74)에 공급된다. 1차원 필터(74)에서는, 연산부(73)로부터의 양자화 오차-Q(x,y)가 필터링되고, 그 필터링의 결과가 연산부(71)에 출력된다. 연산부(71)에서는, 1차원 필터(74)로부터 출력되는 양자화 오차-Q(x,y)의 필터링의 결과와, 화소값 F(x,y)가 가산된다.
1차원 ΔΣ 변조부(52)에서는, 양자화 오차-Q(x,y)가 1차원 필터(74)를 통하여 입력측(연산부(71))에 피드백되고 있으며, 이것에 의하여 1차원의 ΔΣ 변조가 행해진다. 따라서 1차원 ΔΣ 변조부(52)에서는, 디더링 가산부(51)로부터의 화소값 F(x,y)에 대하여 1차원의 ΔΣ 변조가 실시되고, 그 1차원의 ΔΣ 변조의 결과로서 화소값 OUT(x,y)이 출력된다.
또한 이 1차원 ΔΣ 변조부(52)에 있어서, 양자화 오차-Q(x,y)는, 화소값 F(x,y)에 대한 양자화 오차이지만, 화소값 F(x,y)를 ΔΣ 변조하여 얻어지는 화소값 OUT(x,y)을 구할 때는, 화소값 F(x,y)에 대한 양자화 오차-Q(x,y)는 사용되지 않으며, 래스터 스캔 순으로 화소값 F(x,y)보다도 앞의 화소값(먼저 처리된 화소값)에 대한 양자화 오차가 사용된다.
도 2로 돌아와서, 인코더(103)는 밴딩 억제 처리부(102)로부터 출력되는 M비트의 화상 데이터에 대하여, 예를 들어 MPEG4-AVC(MVC), MPEG2video, 또는 HEVC(High Efficiency Video Coding) 등의 부호화를 실시하여, 부호화 화상 데이터를 얻는다. 또한 이 비디오 인코더(103)는, 후단에 구비하는 스트림 포매터(도시하지 않음)에 의하여, 이 부호화 화상 데이터를 포함하는 비디오 스트림(비디오 엘리멘터리 스트림)을 생성한다.
이때, 인코더(103)는 이 비디오 스트림에 픽처 단위 또는 씬 단위 등으로 밴딩 억제 처리 정보를 삽입한다. 이 밴딩 억제 처리 정보는, 예를 들어 밴딩 억제 처리부(102)로부터 공급된다. 이 밴딩 처리 정보에는, 상술한 바와 같이 화상 데이터에 밴딩 억제 처리가 실시되어 있는지를 나타내는 정보, 밴딩 억제 처리의 종류를 나타내는 정보, 화상 데이터에 밴딩 억제 처리를 해야 하는지를 나타내는 정보, 화상 데이터에 계조 수 저하 처리가 실시되어 있는지를 나타내는 정보, 계조 수 저하 처리 전의 계조 수를 나타내는 정보 등이 포함된다.
송신부(104)는, 인코더(103)에서 생성된 비디오 스트림이나, 도시하지 않은 오디오 인코더에서 생성된 오디오 스트림 등의 다른 스트림을 패킷화하고 다중하여, 트랜스포트 스트림 TS를 생성한다. 그리고 송신부(104)는 트랜스포트 스트림 TS를, QPSK/OFDM 등의 방송에 적합한 변조 방식으로 변조하고, 그 RF 변조 신호를 송신 안테나로부터 송신한다.
이때, 송신부(104)는 트랜스포트 스트림 TS의 레이어에, 비디오 스트림에 밴딩 억제 처리 정보가 삽입되어 있는지를 나타내는 식별 정보를 삽입한다. 예를 들어 이 식별 정보는, 트랜스포트 스트림 TS에 포함되는 프로그램 맵 테이블(PMT: Program Map Table)의 비디오 엘리멘터리 루프(Video ES loop)의 관리 하에 삽입된다.
도 2에 도시하는 송신 장치(100)의 동작을 간단히 설명한다. 카메라(101)로부터 출력되는 화상 데이터는 밴딩 억제 처리부(102)에 공급된다. 이 밴딩 억제 처리부(102)에서는, 그 양자화 비트 수(계조 수)에 따라 계조 수 저하 처리와 밴딩 억제 처리가 행해진다.
이 경우, 밴딩 억제 처리부(102)에서는, 카메라(101)로부터 출력되는 화상 데이터가 N비트이며 N>M일 때, M비트의 화상 데이터로 변환됨과 함께, 밴딩 억제 처리가 실시되어, M비트의 화상 데이터가 출력된다. 한편, 카메라(101)로부터 출력되는 화상 데이터가 M비트의 화상 데이터일 때, 밴딩 억제 처리부(102)에서는, 계조 수 저하 처리나 밴딩 억제 처리는 행해지지 않으며, 카메라(101)로부터 출력되는 화상 데이터가 그대로 출력된다.
밴딩 억제 처리부(102)로부터 출력되는 화상 데이터는 인코더(103)에 공급된다. 이 인코더(103)에서는, 밴딩 억제 처리부(102)로부터 출력되는 M비트의 화상 데이터에 대하여, 예를 들어 MPEG4-AVC(MVC), MPEG2video, 또는 HEVC(High Efficiency Video Coding) 등의 부호화가 실시되어, 부호화 화상 데이터가 생성되고, 이 부호화 화상 데이터를 포함하는 비디오 스트림(비디오 엘리멘터리 스트림)이 생성된다. 이때, 인코더(103)에서는, 이 비디오 스트림에 픽처 단위 또는 씬 단위 등으로 밴딩 억제 처리 정보가 삽입된다.
이 인코더(103)에서 생성되는 비디오 스트림은 송신부(104)에 공급된다. 이 송신부(104)에서는, 이 비디오 스트림이나 오디오 스트림 등의 다른 스트림이 패킷화되고 다중되어, 트랜스포트 스트림 TS가 생성된다. 이때, 트랜스포트 스트림 TS의 레이어에, 비디오 스트림에 밴딩 억제 처리 정보가 삽입되어 있는지를 나타내는 식별 정보가 삽입된다. 그리고 이 송신부(104)에서는, 트랜스포트 스트림 TS가, QPSK/OFDM 등의 방송에 적합한 변조 방식으로 변조되고, 그 RF 변조 신호가 송신 안테나로부터 송신된다.
[밴딩 억제 처리 정보, 식별 정보, TS 구성]
상술한 바와 같이 비디오 스트림에 밴딩 억제 처리 정보가 삽입된다. 예를 들어 부호화 방식이 MPEG4-AVC인 경우, 또는 HEVC과 같은, NAL 패킷 등의 부호화 구조가 비슷한 부호화 방식인 경우, 이 밴딩 억제 처리 정보는 액세스 유닛(AU)의 "SEIs"의 부분에 SEI 메시지로서 삽입된다.
이 경우, 밴딩 억제 처리 정보는 픽처 프로세싱 SEI 메시지(picture processing SEI message)로서 삽입된다. 도 4의 (a)는 GOP(Group Of Pictures)의 선두의 액세스 유닛을 나타내고 있으며, 도 4의 (b)는 GOP의 선두 이외의 액세스 유닛을 나타내고 있다. SEI 메시지는, 화소 데이터가 부호화되어 있는 슬라이스(slices)보다도 비트 스트림상 빠른 위치에 부호화되므로, 수신기는 SEI의 내용에 기초하여, 화상 데이터에 대한 밴딩 억제 처리의 신속한 제어가 가능해진다.
도 5의 (a)는 「picture processing SEI message」의 구조예(Syntax)를 나타내고 있다. 「uuid_iso_iec_11578」은, "ISO/IEC 11578:1996 AnnexA."로 나타나는 UUID값을 가진다. 「user_data_payload_byte」의 필드에 「picture_processing_data()」가 삽입된다. 도 5의 (b)는 「picture_processing_data()」의 구조예(Syntax)를 나타내고 있다. 이 중에 「Picture processing_sei()」가 삽입된다. 「userdata_id」는, 부호가 없는 16비트로 나타나는 「Picture processing_sei()」의 식별자이다.
도 6은 「Picture processing_sei()」의 구조예(Syntax)를 나타내고 있다. 또한 도 7은 도 6에 나타내는 구조예에 있어서의 주요한 정보의 내용(Semantics)을 나타내고 있다. 「tone_process_preferred」의 1비트 필드는, 화상 데이터에 대하여 밴딩 억제 처리를 해야 하는지 여부를 나타낸다. "1"은, 밴딩 억제 처리를 해야 하는 것, 즉 밴딩 억제 처리를 하여 화질 개선을 행할 것이 기대되는 것을 나타낸다. "0"은, 밴딩 억제 처리는 필요없는 것을 나타낸다.
「levels_scaled」의 1비트 필드는, 화상 데이터에 계조 수 저하 처리가 실시되어 있는지 여부를 나타낸다. "1"은, 계조 수 저하 처리가 실시되어 있는 것을 나타낸다. "0"은, 계조 수 저하 처리가 실시되지 않은 것을 나타낸다. 「levels_before_encoding」의 2비트 필드는, 계조 수 저하 처리 전의 계조 수(비트 수)를 나타낸다. "00"은 8비트/픽셀인 것을 나타낸다. "01"은 10비트/픽셀인 것을 나타낸다. "10"은 12비트/픽셀인 것을 나타낸다. "11"은 14비트/픽셀인 것을 나타낸다.
「anti_banding_processed」의 1비트 필드는, 송신측에서 밴딩 억제 처리가 행해졌는지 여부를 나타낸다. "1"은, 밴딩 억제 처리가 행해졌음을 나타낸다. "0"은, 밴딩 억제 처리가 행해지지 않았음을 나타낸다. 「banding_process_type」의 3비트 필드는, 밴딩 억제 처리의 종류를 나타낸다. 예를 들어 "001"은 디더링법을 나타내고, "010"은 농도 패턴법을 나타내며, "011"은 오차 확산법을 나타낸다.
또한 상술한 바와 같이, 예를 들어 트랜스포트 스트림 TS의 프로그램 맵 테이블(PMT)의 비디오 엘리멘터리 루프(Video ES loop)의 관리 하에, 비디오 스트림에 밴딩 억제 처리 정보가 포함되어 있는지 여부를 나타내는 식별 정보가 삽입된다.
도 8의 (a)는 이 식별 정보로서의 픽처 프로세싱 디스크립터(picture_processing descriptor)의 구조예(Syntax)를 나타내고 있다. 또한 도 8의 (b)는 도 8의 (a)에 나타내는 구조예에 있어서의 주요한 정보의 내용(Semantics)을 나타내고 있다. 「picture_processing descriptor tag」의 8비트 필드는 디스크립터 타입을 나타내며, 여기서는, 픽처 프로세싱 디스크립터인 것을 나타낸다. 「picture_processing descriptor length」의 8비트 필드는, 디스크립터의 길이(크기)를 나타내며, 디스크립터의 길이로서 이후의 바이트 수를 나타낸다.
「picture_processing_information_existed」의 1비트 필드는, 비디오 레이어에 화상 처리가 적용되어 있는지를 나타낸다. "1"은, 비디오 레이어에 화상 처리가 적용되어 있는 것, 즉, 비디오 스트림에 픽처 프로세싱 SEI 메시지가 존재하는 것을 나타낸다. "0"은, 비디오 레이어에 화상 처리가 적용되지 않은 것, 즉, 비디오 스트림에 픽처 프로세싱 SEI 메시지가 존재하지 않는 것을 나타낸다.
도 9는 트랜스포트 스트림 TS의 구성예를 도시하고 있다. 이 예에서는, 도면의 간단화를 위하여, 비디오 스트림(비디오 엘리멘터리 스트림) 이외의 부분에 대해서는 도시를 생략하였다. 트랜스포트 스트림 TS에는 비디오 스트림의 PES 패킷 「PID1:video PES1」이 포함되어 있다. 이 비디오 스트림에, 밴딩 억제 처리 정보가 픽처 프로세싱 SEI 메시지(picture processing SEI message)(도 6 참조)로서 삽입되어 있다.
또한 트랜스포트 스트림 TS에는, PSI(Program Specific Information)로서 PMT(Program Map Table)가 포함되어 있다. 이 PSI는, 트랜스포트 스트림 TS에 포함되는 각 엘리멘터리 스트림이 어느 프로그램에 속해 있는지를 기재한 정보이다. 또한 트랜스포트 스트림 TS에는, 이벤트(프로그램) 단위의 관리를 행하는 SI(Serviced Information)로서의 EIT(Event Information Table)가 포함되어 있다.
PMT에는, 프로그램 전체에 관련된 정보를 기술하는 프로그램 루프(Program loop)가 존재한다. 또한 PMT에는, 각 엘리멘터리 스트림에 관련된 정보를 갖는 엘리멘터리 루프가 존재한다. 이 구성예에서는, 비디오 엘리멘터리 루프(Video ES loop)가 존재한다. 이 비디오 엘리멘터리 루프에는, 상술한 비디오 스트림에 대응하여 스트림 타입, 패킷 식별자(PID) 등의 정보가 배치됨과 함께, 그 비디오 스트림에 관련된 정보를 기술하는 디스크립터도 배치된다.
이 PMT의 비디오 엘리멘터리 루프(Video ES loop)의 관리 하에, 픽처 프로세싱 디스크립터(picture_processing descriptor)(도 8의 (a) 참조)가 삽입되어 있다. 이 디스크립터는, 상술한 바와 같이 비디오 스트림에 밴딩 억제 처리 정보, 따라서 픽처 프로세싱 SEI 메시지(picture processing SEI message)가 삽입되어 있는지 여부를 나타내는 것이다.
또한 도 2에 도시하는 송신 장치(100)에서는, 카메라(101)의 화상 데이터를 송신하는 예를 나타내었다. 그러나 이 카메라(101) 대신 화상 데이터가 기록된 스토리지가 배치되는 예도 생각된다. 그 경우, 스토리지로부터 판독되는 화상 데이터를 송신하게 된다.
또한 도 2에 도시하는 송신 장치(100)에서는, 밴딩 억제 처리부(102)에서 계조 수 저하 처리도 행해지는 예를 나타내었다. 그러나 계조 수 저하 처리는, 밴딩 억제 처리부(102)의 전단 또는 후단에서 행해지도록 해도 된다. 그 의미에서, 계조 수 저하 처리는 인코더(103) 내에서 행해지도록 해도 된다.
또한 도 2에 도시하는 송신 장치(100)에서는, 밴딩 억제 처리부(102)에 있어서의 밴딩 억제 처리는 랜덤 디더링법으로 행하는 예를 나타내었다(도 3 참조). 그러나 본 기술에 있어서, 밴딩 억제 처리는 이 오차 확산법(랜덤 디더링법)에 한정되는 것은 아니며, 조직적 디더링법, 오차 확산법 등의 기타 방법이어도 된다.
「수신 장치의 구성예」
도 10은 수신 장치(200)의 구성예를 도시하고 있다. 이 수신 장치(200)는 수신부(201)와 디코더(202)와 밴딩 억제 처리부(203)와 표시부(204)와 제어부(205)를 갖고 있다. 제어부(205)는 CPU(Central Processing Unit)를 구비하며, 수신 장치(200)의 각 부를 제어한다.
수신부(201)는, 수신 안테나에서 수신된 RF 변조 신호를 복조하여, 트랜스포트 스트림 TS를 취득한다. 그리고 이 수신부(201)는, 트랜스포트 스트림 TS에 포함되어 있는 비디오 스트림 등의 각 스트림을 추출한다. 또한 수신부(201)는, 트랜스포트 스트림 TS로부터 픽처 프로세싱 디스크립터(picture_processing descriptor)(도 8의 (a) 참조)를 추출하여, 제어부(205)로 보낸다. 제어부(205)는 이 디스크립터의 기술로부터, 비디오 스트림에 밴딩 억제 정보가 삽입되어 있는지 여부를 인식한다.
디코더(202)는, 수신부(201)에서 추출된 비디오 스트림에 대하여 디코딩 처리를 행하여, 화상 데이터를 생성한다. 또한 디코더(202)는, 비디오 스트림에 삽입되어 있는 픽처 프로세싱 SEI 메시지(picture processing SEI message), 따라서 밴딩 억제 처리 정보를 추출하여, 제어부(205)로 보낸다.
밴딩 억제 처리부(203)는 제어부(205)의 제어 하에서, 디코더(202)로부터 출력되는 화상 데이터에 대하여 밴딩 억제 처리를 행한다. 상세 설명은 생략하지만, 이 밴딩 억제 처리부(203)는, 상술한 송신 장치(100)에 있어서의 밴딩 억제 처리부(102)와 마찬가지로 구성된다. 표시부(204)는, 밴딩 처리부(203)로부터 출력되는 화상 데이터에 의한 화상을 표시한다. 이 표시부(204)는 LCD(Liquid Crystal Display) 등의 디스플레이에 의하여 구성되어 있다.
제어부(205)는 밴딩 억제 처리 정보 등에 기초하여 밴딩 억제 처리부(203)의 동작을 제어한다. 예를 들어 제어부(205)는, 화상 데이터가 밴딩 억제 처리를 해야 하는 화상 데이터이며, 화상 데이터에 대하여 밴딩 억제 처리가 실시되어 있지 않을 때, 디코딩 후의 화상 데이터에 대하여 밴딩 억제 처리가 실시되도록 제어한다.
여기서, 송신측에서 밴딩 억제 처리가 행해진 경우, 인코딩 전의 계조 수 저하 처리 전의 화상 데이터의 비트 수는, 인코딩되어 있는 화상 데이터의 비트 수(「slice data」로서 스트림을 구성하는 비트 수)보다도 크다. 또한 인코딩되어 있는 화상 데이터의 비트 수는, 디코딩 후의 화상 데이터의 비트 수와 비하여 같거나 크다(디코더가 slice data의 비트 수에 따라 충실히 디코딩할지, 간략화 디코딩를 행할지에 의존함). 디코더(202)가 비디오 스트림을 충실히 디코딩하는 경우에는, 인코딩되어 있는 화상 데이터의 비트 수와, 디코딩 후의 화상 데이터의 비트 수는 같아진다.
인코딩 전의 계조 수 저하 처리 전의 화상 데이터의 비트 수를 제1 비트 수라고 하고, 인코딩되어 있는 화상 데이터의 비트 수를 제2 비트 수라고 하며, 디코딩 후의 화상 데이터의 비트 수를 제3 비트 수라고 하면, 이들의 관계는 이하의 (1) 식과 같게 된다.
제1 비트 수>제2 비트 수≥제3 비트 수 …(1)
밴딩 억제 처리부(203)는 제어부(205)의 제어 하에서, 예를 들어 이하와 같이 밴딩 억제 처리를 실행한다.
(1) 인코딩 전의 계조 수 저하 처리 전의 화상 데이터의 비트 수가 인코딩되어 있는 화상 데이터의 비트 수보다 크고, 또한 송신측에서 밴딩 억제 처리가 행해지지 않은 경우, 밴딩 억제 처리를 실행한다. 그때, 인코딩 전의 계조 수 저하 처리 전의 화상 데이터의 비트 수에 따라 필터의 종류를 전환하는 것이 가능하다.
(2) 인코딩되어 있는 화상 데이터의 비트 수와 디코딩 후의 화상 데이터의 비트 수가 상이한 경우에는, 디코딩 처리에 의하여 잡음이 발생하는 경우가 있으므로, 그에 대응한 잡음 대책을 행하기 위하여, 송신측에서 행해진 억제 처리를 원래대로 되돌린 후에 다시 억제 처리를 행한다.
(3) 디코딩 후의 화상 데이터의 비트 수와 표시 가능한 비트 수가 상이한 경우, 상이한 정도에 따라 억제 처리의 필터를 전환한다.
도 11, 도 12의 흐름도는, 제어부(205)에 있어서의, 픽처마다의, 밴딩 억제 처리의 제어 수순의 일례를 도시하고 있다. 제어부(205)는 스텝 ST1에 있어서 제어 처리를 개시하고, 그 후에 스텝 ST2의 처리로 나아간다. 이 스텝 ST2에 있어서 제어부(205)는, 화상 데이터에 대하여 밴딩 억제 처리를 해야 하는지 여부를 판단한다. 제어부(205)는 이 판단을, 픽처 프로세싱 SEI 메시지의 「tone_process_preferred」의 정보에 기초하여 행할 수 있다.
밴딩 억제 처리는 필요 없다고 판단할 때, 제어부(205)는 곧 스텝 ST10의 처리로 나아간다. 한편, 밴딩 억제 처리를 해야 하다고 판단할 때, 제어부(205)는 스텝 ST3의 처리로 나아간다. 이 스텝 ST3에 있어서 제어부(205)는, 계조 수 저하 처리가 실시되어 있는지 여부를 판단한다. 제어부(205)는 이 판단을, 픽처 프로세싱 SEI 메시지의 「levels_scaled」의 정보에 기초하여 행할 수 있다. 계조 수 저하 처리가 실시되어 있지 않다고 판단할 때, 제어부(205)는 곧 스텝 ST10의 처리로 나아간다.
또한 제어부(205)는 비디오 스트림에 픽처 프로세싱 SEI 메시지의 삽입이 없고, 디코더(202)로부터 이 SEI 메시지가 보내져 오지 않는 경우에도, 곧 스텝 ST10의 처리로 나아간다. 이 스텝 ST10에 있어서 제어부(205)는 모니터(표시부(204))의 표시 가능 계조 수를 인식한다. 제어부(205)는, 예를 들어 모니터의 기능 정보를 미리 구비하고 있으며, 이 기능 정보에 기초하여 행할 수 있다.
다음으로, 제어부(205)는 스텝 ST11의 처리로 나아간다. 이 스텝 ST11에 있어서 제어부(205)는, 모니터 표시 가능 계조 수(비트 수)와 인코딩되어 있는 비트 수(비디오 스트림에 있어서의 화상 데이터의 비트 수)가 상이한지 여부를 판단한다. 상이하지 않다고 판단하는 경우, 제어부(205)는 곧 스텝 ST13으로 나아가, 제어 처리를 종료한다. 이 경우, 밴딩 억제 처리부(203)에서는 밴딩 억제 처리는 행해지지 않으며, 입력 화상 데이터가 그대로 출력된다.
한편, 상이하다고 판단하는 경우, 제어부(205)는 스텝 ST12에 있어서 밴딩 억제 처리부(203)에 밴딩 억제 처리를 실행시킨다. 이 경우, 예를 들어 상이한 정도에 따라 억제 처리의 필터를 전환하는 일이 행해진다. 스텝 ST12의 처리 후, 제어부(205)는 스텝 ST13으로 나아가, 제어 처리를 종료한다.
또한 스텝 ST3에서 계조 수 저하 처리가 실시되어 있다고 판단할 때, 제어부(205)는 스텝 ST4의 처리로 나아간다. 이 스텝 ST4에 있어서, 제어부(205)는 계조 수 저하 처리 전의 계조 수를 인식한다. 제어부(205)는 이 인식을, 픽처 프로세싱 SEI 메시지의 「levels_before_encoding」의 정보에 기초하여 행할 수 있다.
다음으로, 제어부(205)는 스텝 ST5에 있어서, 밴딩 억제 처리 완료인지 여부를 판단한다. 제어부(205)는 이 판단을, 픽처 프로세싱 SEI 메시지의 「anti_banding_processed levels_before_encoding」의 정보에 기초하여 행할 수 있다.
밴딩 억제 처리가 완료되지 않았다고 판단할 때, 제어부(205)는 스텝 ST10에 있어서, 모니터(표시부(204))의 표시 가능 계조 수를 인식하고, 그 후에 스텝 ST11의 처리로 나아간다. 이 스텝 ST11에 있어서, 제어부(205)는 모니터 표시 가능 계조 수(비트 수)와 인코딩되어 있는 비트 수(비디오 스트림에 있어서의 화상 데이터의 비트 수)가 상이한지 여부를 판단한다. 상이하지 않다고 판단하는 경우, 제어부(205)는 곧 스텝 ST13으로 나아가, 제어 처리를 종료한다. 이 경우, 밴딩 억제 처리부(203)에서는 밴딩 억제 처리는 행해지지 않으며, 입력 화상 데이터가 그대로 출력된다.
한편, 상이하다고 판단하는 경우, 제어부(205)는 스텝 ST12에 있어서, 밴딩 억제 처리부(203)에 밴딩 억제 처리를 실행시킨다. 이 경우, 예를 들어 상이한 정도에 따라 억제 처리의 필터를 전환하는 일이 행해진다. 또한 이 경우, 스텝 ST4에서 인식된 계조 수 저하 처리 전의 계조 수에 따라 필터의 종류를 전환하는 일이 행해진다. 스텝 ST12의 처리 후, 제어부(205)는 스텝 ST13으로 나아가, 제어 처리를 종료한다.
또한 스텝 ST5에서 밴딩 억제 처리 완료라고 판단할 때, 제어부(205)는 스텝 ST6의 처리로 나아간다. 이 스텝 ST6에 있어서, 제어부(205)는 처리의 타입을 인식한다. 제어부(205)는 이 인식을, 픽처 프로세싱 SEI 메시지의 「banding_process_type」의 정보에 기초하여 행할 수 있다. 그리고 제어부(205)는 스텝 ST7에 있어서, 디코딩 후의 비트 수를 인식한다. 제어부(205)는 이 인식을, 디코더(202)로부터의 정보에 의하여 행할 수 있다.
다음으로, 제어부(205)는 스텝 ST8에 있어서, 디코딩 후의 비트 수와 인코딩되어 있는 비트 수가 상이한지 여부를 판단한다. 예를 들어 디코더(202)에서 간략화 디코딩이 행해지는 경우에는 상이한 것으로 된다. 상이하지 않다고 판단할 때, 제어부(205)는 스텝 ST10에 있어서, 모니터(표시부(204))의 표시 가능 계조 수를 인식하고, 그 후에 스텝 ST11의 처리로 나아간다.
이 스텝 ST11에 있어서, 제어부(205)는 모니터 표시 가능 계조 수(비트 수)와 인코딩되어 있는 비트 수(비디오 스트림에 있어서의 화상 데이터의 비트 수)가 상이한지 여부를 판단한다. 상이하지 않다고 판단하는 경우, 제어부(205)는 곧 스텝 ST13으로 나아가, 제어 처리를 종료한다. 이 경우, 밴딩 억제 처리부(203)에서는 밴딩 억제 처리는 행해지지 않으며, 입력 화상 데이터가 그대로 출력된다.
한편, 상이하다고 판단하는 경우, 제어부(205)는 스텝 ST12에 있어서, 밴딩 억제 처리부(203)에 밴딩 억제 처리를 실행시킨다. 이 경우, 예를 들어 상이한 정도에 따라 억제 처리의 필터를 전환하는 일이 행해진다. 또한 이 경우, 스텝 ST4에서 인식된 계조 수 저하 처리 전의 계조 수에 따라 필터의 종류를 전환하는 일이 행해진다. 또한 이 경우, 예를 들어 스텝 ST7에서 인식된 디코딩 후의 비트 수 및 스텝 ST10에서 인식된 모니터의 표시 가능 계조 수에 따라 억제 처리의 필터를 전환하는 일이 행해진다. 스텝 ST12의 처리 후, 제어부(205)는 스텝 ST13으로 나아가, 제어 처리를 종료한다.
또한 스텝 ST8에서 상이하다고 판단할 때, 제어부(205)는 스텝 ST9의 처리로 나아간다. 이 스텝 ST9에 있어서, 제어부(205)는 밴딩 억제 처리부(203)에, 송신측에서 행해진 밴딩 억제 처리의 역처리를 실행시켜, 일단 밴딩 처리가 행해지지 않은 원래의 상태로 되돌린다.
다음으로, 제어부(205)는 스텝 ST10에 있어서, 모니터(표시부(204))의 표시 가능 계조 수를 인식하고, 그 후에 스텝 ST11의 처리로 나아간다. 이 스텝 ST11에 있어서, 제어부(205)는 모니터 표시 가능 계조 수(비트 수)와 인코딩되어 있는 비트 수(비디오 스트림에 있어서의 화상 데이터의 비트 수)가 상이한지 여부를 판단한다. 상이하지 않다고 판단하는 경우, 제어부(205)는 곧 스텝 ST13으로 나아가, 제어 처리를 종료한다. 이 경우, 밴딩 억제 처리부(203)에서는 밴딩 억제 처리는 행해지지 않으며, 입력 화상 데이터가 그대로 출력된다.
한편, 상이하다고 판단하는 경우, 제어부(205)는 스텝 ST12에 있어서, 밴딩 억제 처리부(203)에 밴딩 억제 처리를 실행시킨다. 이 경우, 예를 들어 상이한 정도에 따라 억제 처리의 필터를 전환하는 일이 행해진다. 또한 이 경우, 예를 들어 스텝 ST4에서 인식된 계조 수 저하 처리 전의 계조 수에 따라 필터의 종류를 전환하는 일이 행해진다. 또한 이 경우, 예를 들어 스텝 ST7에서 인식된 디코딩 후의 비트 수 및 스텝 ST10에서 인식된 모니터의 표시 가능 계조 수에 따라 억제 처리의 필터를 전환하는 일이 행해진다. 스텝 ST12의 처리 후, 제어부(205)는 스텝 ST13으로 나아가, 제어 처리를 종료한다.
도 10에 도시하는 수신 장치(100)의 동작을 간단히 설명한다. 수신부(201)에서는, 수신 안테나에서 수신된 RF 변조 신호가 복조되어, 트랜스포트 스트림 TS가 취득된다. 그리고 이 수신부(201)에서는, 트랜스포트 스트림 TS에 포함되어 있는 비디오 스트림 등의 각 스트림이 추출된다. 수신부(201)에서 추출되는 비디오 스트림은 디코더(202)에 공급된다.
또한 수신부(201)에서는, 트랜스포트 스트림 TS로부터 픽처 프로세싱 디스크립터(picture_processing descriptor)(도 8의 (a) 참조)가 추출되어, 제어부(205)로 보내진다. 제어부(205)에서는, 이 디스크립터의 기술로부터 비디오 스트림에 밴딩 억제 정보가 삽입되어 있는지 여부가 인식된다.
디코더(202)에서는, 비디오 스트림에 대하여 디코딩 처리가 행해져, 화상 데이터가 생성된다. 이 화상 데이터는 밴딩 억제 처리부(203)에 공급된다. 또한 디코더(202)에서는, 비디오 스트림에 삽입되어 있는 픽처 프로세싱 SEI 메시지(picture processing SEI message), 따라서 밴딩 억제 처리 정보가 추출되어, 제어부(205)로 보내진다.
밴딩 억제 처리부(203)에서는, 제어부(205)의 제어 하에서, 디코더(202)로부터 출력되는 화상 데이터에 대하여 밴딩 억제 처리가 행해진다. 이 경우, 예를 들어 화상 데이터가 밴딩 억제 처리를 해야 하는 화상 데이터이며, 화상 데이터에 대하여 밴딩 억제 처리가 실시되지 않았을 때, 디코딩 후의 화상 데이터에 대하여 밴딩 억제 처리가 실시된다. 또한 밴딩 억제 처리가 행해지지 않는 경우, 밴딩 억제 처리부(203)로부터는 입력 화상 데이터가 그대로 출력된다.
밴딩 억제 처리부(203)로부터 출력되는 화상 데이터는 표시부(204)에 공급된다. 그리고 표시부(204)에는, 화상 데이터에 의한 화상이 표시된다.
상술한 바와 같이 도 1에 도시하는 화상 송수신 시스템(10)에 있어서는, 송신 장치(100)에 있어서, 비디오 스트림에, 화상 데이터가 밴딩 억제 처리를 해야 하는지를 나타내는 정보, 화상 데이터에 밴딩 억제 처리가 행해졌는지를 나타내는 정보 등을 포함하는 화상 데이터의 밴딩 억제 처리 정보가 삽입된다. 그로 인하여 수신 장치(200)에 있어서는, 이 밴딩 억제 처리 정보에 기초하여 밴딩 억제 처리를 적절히 행하는 것이 가능해진다.
또한 도 1에 도시하는 화상 송수신 시스템(10)에 있어서는, 송신 장치(100)에 있어서, 트랜스포트 스트림 TS의 레이어에, 비디오 스트림에 밴딩 억제 처리 정보가 삽입되어 있는지를 나타내는 식별 정보가 삽입된다. 그로 인하여 수신 장치(200)에 있어서는, 비디오 스트림을 디코딩하지 않더라도 이 비디오 스트림에 밴딩 억제 처리 정보가 삽입되어 있는지 여부를 알 수 있어, 이 정보의 추출을 적절히 행할 수 있다.
<2. 변형예>
또한 상술한 실시 형태에 있어서는, 컨테이너가 트랜스포트 스트림(MPEG-2 TS)인 예를 나타내었다. 그러나 본 기술은, 인터넷 등의 네트워크를 이용하여 수신 단말기에 배신되는 구성의 시스템에도 마찬가지로 적용할 수 있다. 인터넷의 배신에서는, MP4나 그 이외의 포맷의 컨테이너로 배신되는 일이 많다.
도 13은 스트림 배신 시스템(10A)의 구성예를 도시하고 있다. 이 스트림 배신 시스템(10A)은 MPEG-DASH 베이스의 스트림 배신 시스템이다. 이 스트림 배신 시스템(10A)은, DASH 세그먼트 스트리머(11) 및 DASH MPD 서버(12)에 N개의 IPTV 클라이언트(13-1, 13-2, …, 13-N)가 CDN(Content Delivery Network)(14)을 통하여 접속된 구성으로 되어 있다.
DASH 세그먼트 스트리머(11)는, 소정의 콘텐츠의 미디어 데이터(비디오 데이터, 오디오 데이터, 자막 데이터 등)에 기초하여 DASH 사양의 스트림 세그먼트(이하, 「DASH 세그먼트」라고 함)를 생성하고, IPTV 클라이언트로부터의 HTTP 요구에 응답하여 세그먼트를 송출한다. 이 DASH 세그먼트 스트리머(11)는 웹(Web) 서버이다.
또한 DASH 세그먼트 스트리머(11)는, IPTV 클라이언트(13)(13-1, 13-2, …, 13-N)로부터 CDN(14)을 통하여 보내져 오는 소정 스트림의 세그먼트 요구에 대응하여, 그 스트림의 세그먼트를 CDN(14)을 통하여 요구원의 IPTV 클라이언트(13)에 송신한다. 이 경우, IPTV 클라이언트(13)는 MPD(Media Presentation Description) 파일에 기재되어 있는 레이트의 값을 참조하여, 클라이언트가 놓여 있는 네트워크 환경의 상태에 따라, 최적의 레이트의 스트림을 선택하여 요구를 행한다.
DASH MPD 서버(12)는, DASH 세그먼트 스트리머(11)에 있어서 생성되는 DASH 세그먼트를 취득하기 위한 MPD 파일을 생성하는 서버이다. 콘텐츠 매니지먼트 서버(도 13에는 도시하지 않음)로부터의 콘텐츠 메타데이터와, DASH 세그먼트 스트리머(11)에 있어서 생성된 세그먼트의 어드레스(url)를 바탕으로 하여, MPD 파일을 생성한다.
MPD의 포맷에서는, 비디오나 오디오 등의 각각의 스트림마다 레프리젠테이션(Representation)이라는 요소를 이용하여 각각의 속성이 기술된다. 예를 들어 MPD 파일에는, 레이트가 상이한 복수의 비디오 데이터 스트림마다, 레프리젠테이션을 나누어 각각의 레이트가 기술된다. IPTV 클라이언트(13)에서는, 그 레이트의 값을 참고로 하여, 상술한 바와 같이 IPTV 클라이언트(13)가 놓여 있는 네트워크 환경의 상태에 따라, 최적의 스트림을 선택할 수 있다.
MPD 파일은, 도 14에 도시한 바와 같이 계층 구조를 취한다. 이 MPD 파일에는, DASH 세그먼트 스트리머(11)에 저장한 동화상의 압축 방식이나 부호화 속도, 화상 크기, 언어 등의 정보가 XML 형식으로 계층적으로 기술된다. 이 MPD 파일은, 피리어드(Period), 어댑테이션세트(AdaptationSet), 레프리젠테이션(Representation), 세그먼트인포(SegmentInfo), 이니셜라이제이션 세그먼트(Initialization Segment), 미디어 세그먼트(Media Segment) 등의 구조체가 계층적으로 포함되어 있다.
피리어드의 구조체는 프로그램(동기를 취한 1세트의 동화상이나 음성 등의 데이터)의 정보를 갖는다. 또한 피리어드의 구조체에 포함되는 어댑테이션세트의 구조체는, 스트림의 선택 범위(레프리젠테이션 군)를 그룹으로 분류한다. 또한 어댑테이션세트의 구조체에 포함되는 레프리젠테이션의 구조체는, 동화상이나 음성의 부호화 속도, 동화상의 음성 크기 등의 정보를 갖는다.
또한 레프리젠테이션의 구조체에 포함되는 세그먼트인포의 구조체는, 동화상이나 음성의 세그먼트에 관련된 정보를 갖는다. 또한 세그먼트인포의 구조체에 포함되는 이니셜라이제이션 세그먼트의 구조체는, 데이터 압축 방식 등의 초기화 정보를 갖는다. 또한 세그먼트인포의 구조체에 포함되는 미디어 세그먼트의 구조체는, 동화상이나 음성의 세그먼트를 취득하는 어드레스 등의 정보를 갖는다.
도 15는 상술한 MPD 파일에 포함되는 각 구조체의 일례를 시간축 상에 배열하여 도시한 것이다. 이 예에 있어서는, MPD 파일에 피리어드가 2개 포함되고, 각 피리어드에 세그먼트가 2개 포함되어 있다. 또한 이 예에 있어서는, 각 피리어드에 어댑테이션세트가 2개 포함되고, 각 어댑테이션세트에 스트림 속성이 상이한, 동일한 내용의 스트림에 따른 레프리젠테이션이 2개 포함되어 있다.
도 16은 상술한 MPD 파일에 계층적으로 배치되어 있는 각 구조체의 관계의 일례를 나타내고 있다. 도 16의 (a)에 도시한 바와 같이 MPD 파일 전체로서의 미디어 프리젠테이션(Media Presentation)에는, 시간 간격으로 구획된 복수의 피리어드(Period)가 존재한다. 예를 들어 최초의 피리어드는 스타트가 0초부터, 다음 피리어드는 스타트가 100초부터, 등으로 되어 있다.
도 16의 (b)에 나타낸 바와 같이 피리어드에는, 복수의 레프리젠테이션(Representation)이 존재한다. 이 복수의 레프리젠테이션에는, 상술한 어댑테이션세트(AdaptationSet)로 그룹으로 분류되는, 스트림 속성, 예를 들어 레이트가 상이한, 동일한 내용의 비디오 데이터 스트림에 따른 레프리젠테이션 군이 존재한다.
도 16의 (c)에 나타낸 바와 같이 레프리젠테이션에는, 세그먼트 인포(SegmentInfo)가 포함되어 있다. 이 세그먼트 인포에는, 도 16의 (d)에 나타낸 바와 같이 이니셜라이제이션 세그먼트(Initialization Segment)와, 피리어드를 더 미세하게 구획한, 세그먼트(Segment)마다의 정보가 기술되는 복수의 미디어 세그먼트(Media Segment)가 존재한다. 미디어 세그먼트에는, 비디오나 오디오 등의 세그먼트 데이터를 실제로 취득하기 위한 어드레스(url)의 정보 등이 존재한다.
또한 어댑테이션 세트로 그룹으로 분류되어 있는 복수의 레프리젠테이션의 사이에서는 스트림의 스위칭을 자유로이 행할 수 있다. 이것에 의하여, IPTV 클라이언트가 놓여 있는 네트워크 환경의 상태에 따라, 최적의 레이트의 스트림을 선택할 수 있어, 도중에 끊기지 않는 동화상 배신이 가능해진다.
도 17은 피리어드(Period)와 레프리젠테이션(Representation)과 세그먼트(Segment)의 관계의 일례를 나타내고 있다. 이 예에 있어서는, MPD 파일에 피리어드가 2개 포함되고, 각 피리어드에 세그먼트가 2개 포함되어 있다. 또한 이 예에 있어서는, 각 피리어드에, 동일한 미디어 콘텐츠에 따른 복수의 레프리젠테이션이 포함되어 있다.
도 18은 콘텐츠로부터 DASH 세그먼트나 DASH MPD 파일을 생성하기까지의 흐름의 일례를 도시하고 있다. 콘텐츠 매니지먼트 서버(15)로부터 DASH 세그먼트 스트리머(11)에 콘텐츠가 송부된다. DASH 세그먼트 스트리머(11)는, 그 콘텐츠를 구성하는 비디오 데이터, 오디오 데이터 등에 기초하여, 각 데이터 스트림의 DASH 세그먼트를 생성한다.
또한 DASH 세그먼트 스트리머(11)는, 생성한 각 데이터 스트림의 DASH 세그먼트의 어드레스(url)의 정보를 DASH MPD 서버(12)에 송부한다. 콘텐츠 매니지먼트 서버(15)는 콘텐츠의 메타데이터를 DASH MPD 서버(12)에 송부한다. DASH MPD 서버(12)는, 각 데이터 스트림의 DASH 세그먼트의 어드레스 정보와, 콘텐츠의 메타데이터에 기초하여 DASH MPD 파일을 생성한다.
도 19는 IPTV 클라이언트(13(13-1 내지 13-N))의 구성예를 도시하고 있다. IPTV 클라이언트(13)는 스트리밍 데이터 제어부(131)와 HTTP 액세스부(132)와 동화상 재생부(133)를 갖고 있다. 스트리밍 데이터 제어부(131)는 DASH MPD 서버(12)로부터 MPD 파일을 취득하여, 그 내용을 해석한다.
HTTP 액세스부(132)는, 동화상 재생에 사용하는 동화상이나 음성의 세그먼트를 DASH 세그먼트 스트리머(11)에 요구한다. 이때, IPTV 클라이언트(13)의 화면 크기나 전송로의 상태 등을 가미하여, 그에 맞춘 최적의 화상 크기나 부호화 속도의 스트림을 선택한다. 예를 들어 최초의 단계에서는 부호화 속도(레이트)가 느린 스트림의 세그먼트를 요구하고, 통신 상황이 양호하면 부호화 속도(레이트)가 빠른 스트림의 세그먼트를 요구하도록 전환한다.
HTTP 액세스부(132)는, 수취한 동화상이나 음성의 세그먼트를 동화상 재생부(133)로 보낸다. 동화상 재생부(133)는, HTTP 액세스부(132)로부터 보내져 오는 각 세그먼트에 복호 처리를 실시하여 1개의 동화상 콘텐츠를 얻고, 동화상이나 음성을 재생한다. 또한 IPTV 클라이언트(13)의 각 부 처리는, 예를 들어 소프트웨어에 의하여 행해진다.
도 20은 일반적인, DASH 베이스의 스트림 배신 시스템의 계를 도시하고 있다. DASH MPD 파일도, DASH 세그먼트도 모두 CDN(Content Delivery Network)(14)을 통하여 배신된다. CDN(14)는, 복수의 캐시 서버(DASH 캐시 서버)가 네트워크 배열된 구성으로 되어 있다.
캐시 서버는, IPTV 클라이언트(13)로부터의 MPD 파일의 취득을 위한 HTTP 리퀘스트를 받는다. 캐시 서버는, 로컬 MPD 캐시에 있으면, IPTV 클라이언트(13)에 HTTP 리스펀스로서 회신한다. 또한 캐시 서버는, 로컬 MPD 캐시에 없으면, 그 리퀘스트를 DASH MPD 서버(12) 또는 상위의 캐시 서버에 전송한다. 그리고 캐시 서버는, MPD 파일이 저장된 HTTP 리스펀스를 받아, IPTV 클라이언트(13)에 전송함과 함께, 캐시 처리를 행한다.
또한 캐시 서버는, IPTV 클라이언트(13)로부터의 DASH 세그먼트 취득의 HTTP 리퀘스트를 받는다. 캐시 서버는, 로컬 세그먼트 캐시에 있으면, IPTV 클라이언트(13)에 HTTP 리스펀스로서 회신한다. 또한 캐시 서버는, 로컬 세그먼트 캐시에 없으면, 그 리퀘스트를 DASH 세그먼트 스트리머(11) 또는 상위의 캐시 서버에 전송한다. 그리고 캐시 서버는, DASH 세그먼트가 저장된 HTTP 리스펀스를 받아, IPTV 클라이언트(13)에 전송함과 함께, 캐시 처리를 행한다.
CDN(14)에서는, 처음에 HTTP 리퀘스트를 발신한 IPTV 클라이언트(13-1)에 배신되는 DASH 세그먼트가, 경로의 캐시 서버에서 일시적으로 저장되고, 후속의 다른 IPTV 클라이언트(13-2)로부터의 HTTP 리퀘스트에 대해서는, 그 저장된 DASH 세그먼트가 배신된다. 그로 인하여, 대다수의 IPTV 클라이언트에 대한 HTTP 스트리밍의 배신 효율을 향상시킬 수 있다.
CDN(14)는, 복수의 캐시 서버 외에, 소정 개수의 캐시 관리 서버를 갖고 있다. 이 캐시 관리 서버는, MPD 파일에 포함되는 각 비디오 데이터 스트림의 DASH 세그먼트의 캐시에 관한 지표에 기초하여 캐시 제어 정책을 작성하여, 각 캐시 서버에 배포한다. 각 캐시 서버는, 이 캐시 제어 정책에 기초하여 각 비디오 데이터 스트림의 DASH 세그먼트의 캐싱 처리를 행한다.
도 21은 FragmentedMP4 스트림의 구성예를 도시하고 있다. 비디오의 FragmentedMP4 스트림에는, 비디오 스트림을 패킷화하여 얻어진 FragmentedMP4가 포함되어 있다. FragmentedMP4의 「mdat」의 부분에 비디오 스트림의 소정 픽처 분이 삽입된다. 이 비디오 스트림에는, 상술한 실시 형태와 마찬가지로 픽처마다 픽처 프로세싱 SEI 메시지(picture processing SEI message)가 삽입된다. 이것에 의하여, 수신 장치인 IPTV 클라이언트(13)로 밴딩 억제 처리 정보가 보내진다. 그리고 상술한 실시 형태와 마찬가지로 IPTV 클라이언트(13)에서는, 이 밴딩 억제 처리 정보에 기초하여 밴딩 억제 처리의 제어가 가능해진다.
또한 Picture processing SEI(밴딩 억제 처리 정보)를, 상술한 바와 같이 비디오 스트림에 삽입하여 보내는 경우 외에, 이 Picture processing SEI를 MPD 파일로 보내는 것도 생각된다. 이 경우, 어댑테이션세트(AdaptationSet)로 새로운 ID 부여를 행하고, 비디오 스트림과 함께, Picture processing SEI만을 신규 레프리젠테이션(Representation)으로 정의하게 된다. 또한 트랜스포트 스트림 TS를 그대로 DASH로(에서) 보내는 경우도 있다. 그 경우에는, 픽처 프로세싱 디스크립터(picture_processing descriptor)가 삽입된 트랜스포트 스트림 TS가 그대로 보내진다.
또한 상술한 실시 형태에 있어서는, 본 기술을 화상 데이터의 송수신계에 적용한 예를 나타냈지만, 본 기술은 음성 데이터의 송수신계에도 마찬가지로 적용할 수 있음은 물론이다. 이 경우, 송신측에서는, 오디오 스트림에, 소정의 시간 단위로 양자화 노이즈 억제 처리 정보(상술한 실시 형태에 있어서의 밴딩 억제 처리 정보에 상당함)가 삽입된다. 그리고 수신측에서는, 송신측으로부터 보내져 오는 양자화 노이즈 억제 처리 정보에 기초하여 양자화 노이즈 억제 처리가 행해진다.
또한 본 기술은, 이하와 같은 구성을 취할 수도 있다.
(1) 부호화 화상 데이터를 포함하는 비디오 스트림을 갖는 소정 포맷의 컨테이너를 송신하는 송신부와,
상기 비디오 스트림에, 상기 화상 데이터의 밴딩 억제 처리에 관한 정보를 삽입하는 정보 삽입부를 구비하는
송신 장치.
(2) 상기 밴딩 억제 처리에 관한 정보에는, 상기 화상 데이터에 밴딩 억제 처리가 실시되어 있는지를 나타내는 정보가 포함되는,
상기 (1)에 기재된 송신 장치.
(3) 상기 밴딩 억제 처리에 관한 정보에는, 상기 화상 데이터에 실시되는 밴딩 억제 처리의 종류를 나타내는 정보가 포함되는,
상기 (2)에 기재된 송신 장치.
(4) 상기 밴딩 억제 처리에 관한 정보에는, 상기 화상 데이터에 밴딩 억제 처리를 해야 하는지를 나타내는 정보가 포함되는,
상기 (1) 내지 (3) 중 어느 하나에 기재된 송신 장치.
(5) 상기 밴딩 억제 처리에 관한 정보에는, 상기 화상 데이터에 계조 수 저하 처리가 실시되어 있는지를 나타내는 정보가 포함되는,
상기 (1) 내지 (4) 중 어느 하나에 기재된 송신 장치.
(6) 상기 밴딩 억제 처리에 관한 정보에는, 상기 계조 수 저하 처리 전의 계조 수를 나타내는 정보가 포함되는,
상기 (5)에 기재된 송신 장치.
(7) 상기 정보 삽입부는,
상기 밴딩 억제 처리에 관한 정보를 상기 비디오 스트림에 픽처 단위 또는 씬 단위로 삽입하는,
상기 (1) 내지 (6) 중 어느 하나에 기재된 송신 장치.
(8) 상기 컨테이너의 레이어에, 상기 비디오 스트림에 상기 밴딩 억제 처리에 관한 정보가 삽입되어 있는지를 나타내는 식별 정보를 삽입하는 식별 정보 삽입부를 더 구비하는,
상기 (1) 내지 (7) 중 어느 하나에 기재된 송신 장치.
(9) 상기 컨테이너는 트랜스포트 스트림이고,
상기 식별 정보 삽입부는, 상기 식별 정보를, 상기 트랜스포트 스트림에 포함되는 프로그램 맵 테이블의 비디오 엘리멘터리 루프의 관리 하에 삽입하는,
상기 (8)에 기재된 송신 장치.
(10) 상기 송신부는, 수신측으로부터의 요구에 응답하여 상기 소정 포맷의 컨테이너를 송신하는,
상기 (1) 내지 (9) 중 어느 하나에 기재된 송신 장치.
(11) 부호화 화상 데이터를 포함하는 비디오 스트림을 갖는 소정 포맷의 컨테이너를 송신하는 스텝과,
상기 비디오 스트림에, 상기 화상 데이터의 밴딩 억제 처리에 관한 정보를 삽입하는 스텝을 구비하는
송신 방법.
(12) 부호화 화상 데이터를 포함하고, 화상 데이터의 밴딩 억제 처리에 관한 정보가 삽입되어 있는 비디오 스트림을 갖는 소정 포맷의 컨테이너를 수신하는 수신부와,
상기 비디오 스트림을 디코딩하여 화상 데이터를 얻는 디코딩부와,
상기 디코딩 후의 화상 데이터에 대하여 밴딩 억제 처리를 실시하는 처리부와,
상기 비디오 스트림에 삽입되어 있는 밴딩 억제 처리에 관한 정보에 기초하여 상기 처리부를 제어하는 제어부를 구비하는
수신 장치.
(13) 상기 밴딩 억제 처리에 관한 정보에는, 상기 화상 데이터에 밴딩 억제 처리를 해야 하는지를 나타내는 정보, 및 상기 화상 데이터에 밴딩 억제 처리가 실시되어 있는지를 나타내는 정보가 포함되어 있고,
상기 제어부는, 상기 화상 데이터가 밴딩 억제 처리를 해야 하는 화상 데이터이며, 상기 화상 데이터에 대하여 밴딩 억제 처리가 실시되어 있지 않을 때, 상기 디코딩 후의 화상 데이터에 대하여 밴딩 억제 처리가 실시되도록 제어하는,
상기 (12)에 기재된 수신 장치.
(14) 부호화 화상 데이터를 포함하고, 화상 데이터의 밴딩 억제 처리에 관한 정보가 삽입되어 있는 비디오 스트림을 갖는 소정 포맷의 컨테이너를 수신하는 스텝과,
상기 비디오 스트림을 디코딩하여 화상 데이터를 얻는 스텝과,
상기 디코딩 후의 화상 데이터에 대하여, 상기 비디오 스트림에 삽입되어 있는 밴딩 억제 처리에 관한 정보에 기초하여 밴딩 억제 처리를 실시하는 스텝을 구비하는
수신 방법.
(15) 부호화 화상 데이터를 포함하는 비디오 스트림을 갖는 소정 포맷의 컨테이너를 수신하는 수신부와,
상기 비디오 스트림을 디코딩하여 화상 데이터를 얻는 디코딩부와,
상기 디코딩 후의 화상 데이터에 대하여 밴딩 억제 처리를 실시하는 처리부와,
상기 디코딩 후의 화상 데이터에 의한 화상을 표시하는 표시부에 있어서의 표시 가능 계조 수와, 상기 비디오 스트림에 있어서의 화상 데이터의 비트 수가 상이할 때, 상기 디코딩 후의 화상 데이터에 대하여 밴딩 억제 처리가 실시되도록 상기 처리부를 제어하는 제어부를 구비하는
수신 장치.
본 기술의 주된 특징은, 비디오 스트림에, 화상 데이터에 밴딩 억제 처리를 해야 하는지를 나타내는 정보, 화상 데이터에 밴딩 억제 처리가 실시되어 있는지를 나타내는 정보 등을 포함하는 밴딩 억제 처리 정보(픽처 프로세싱 SEI 메시지)를 삽입함으로써, 수신측에 있어서 밴딩 억제 처리가 적절히 행해지도록 한 것이다(도 9 참조). 또한 본 기술의 주된 특징은, 디코딩 후의 화상 데이터에 의한 화상을 표시하는 표시부에 있어서의 표시 가능 계조 수와, 비디오 스트림에 있어서의 화상 데이터의 비트 수가 상이할 때, 디코딩 후의 화상 데이터에 대하여 밴딩 억제 처리가 실시되도록 함으로써, 수신측에 있어서 밴딩 억제 처리가 적절히 행해지도록 한 것이다(도 12 참조).
10: 화상 송수신 시스템
10A: 스트림 배신 시스템
11: DASH 세그먼트 스트리머
12: DASH MPD 서버
13, 13-1 내지 13-N: IPTV 클라이언트
14: CDN
15: 콘텐츠 매니지먼트 서버
61, 71, 73: 연산부
62: 고역 통과 필터
63: 랜덤 노이즈 출력부
64, 75: 계수 설정부
72: 양자화부
74: 1차 필터
100: 송신 장치
101: 카메라
102: 밴딩 억제 처리부
103: 인코더
131: 스트리밍 데이터 제어부
132: HTTP 액세스부
133: 동화상 재생부
104: 송신부
200: 수신 장치
201: 수신부
202: 디코더
203: 밴딩 억제 처리부
204: 표시부
205: 제어부

Claims (15)

  1. 부호화 화상 데이터를 포함하는 비디오 스트림을 갖는 소정 포맷의 컨테이너를 송신하는 송신부와,
    상기 비디오 스트림에, 상기 화상 데이터의 밴딩 억제 처리에 관한 정보를 삽입하는 정보 삽입부를 구비하는
    송신 장치.
  2. 제1항에 있어서,
    상기 밴딩 억제 처리에 관한 정보에는, 상기 화상 데이터에 밴딩 억제 처리가 실시되어 있는지를 나타내는 정보가 포함되는
    송신 장치.
  3. 제2항에 있어서,
    상기 밴딩 억제 처리에 관한 정보에는, 상기 화상 데이터에 실시되는 밴딩 억제 처리의 종류를 나타내는 정보가 포함되는
    송신 장치.
  4. 제1항에 있어서,
    상기 밴딩 억제 처리에 관한 정보에는, 상기 화상 데이터에 밴딩 억제 처리를 해야 하는지를 나타내는 정보가 포함되는
    송신 장치.
  5. 제1항에 있어서,
    상기 밴딩 억제 처리에 관한 정보에는, 상기 화상 데이터에 계조 수 저하 처리가 실시되어 있는지를 나타내는 정보가 포함되는
    송신 장치.
  6. 제5항에 있어서,
    상기 밴딩 억제 처리에 관한 정보에는, 상기 계조 수 저하 처리 전의 계조 수를 나타내는 정보가 포함되는
    송신 장치.
  7. 제1항에 있어서,
    상기 정보 삽입부는,
    상기 밴딩 억제 처리에 관한 정보를 상기 비디오 스트림에 픽처 단위 또는 씬 단위로 삽입하는
    송신 장치.
  8. 제1항에 있어서,
    상기 컨테이너의 레이어에, 상기 비디오 스트림에 상기 밴딩 억제 처리에 관한 정보가 삽입되어 있는지를 나타내는 식별 정보를 삽입하는 식별 정보 삽입부를 더 구비하는
    송신 장치.
  9. 제8항에 있어서,
    상기 컨테이너는 트랜스포트 스트림이고,
    상기 식별 정보 삽입부는, 상기 식별 정보를, 상기 트랜스포트 스트림에 포함되는 프로그램 맵 테이블의 비디오 엘리멘터리 루프의 관리 하에 삽입하는
    송신 장치.
  10. 제1항에 있어서,
    상기 송신부는, 수신측으로부터의 요구에 응답하여 상기 소정 포맷의 컨테이너를 송신하는
    송신 장치.
  11. 부호화 화상 데이터를 포함하는 비디오 스트림을 갖는 소정 포맷의 컨테이너를 송신하는 스텝과,
    상기 비디오 스트림에, 상기 화상 데이터의 밴딩 억제 처리에 관한 정보를 삽입하는 스텝을 구비하는
    송신 방법.
  12. 부호화 화상 데이터를 포함하고, 화상 데이터의 밴딩 억제 처리에 관한 정보가 삽입되어 있는 비디오 스트림을 갖는 소정 포맷의 컨테이너를 수신하는 수신부와,
    상기 비디오 스트림을 디코딩하여 화상 데이터를 얻는 디코딩부와,
    상기 디코딩 후의 화상 데이터에 대하여 밴딩 억제 처리를 실시하는 처리부와,
    상기 비디오 스트림에 삽입되어 있는 밴딩 억제 처리에 관한 정보에 기초하여 상기 처리부를 제어하는 제어부를 구비하는
    수신 장치.
  13. 제12항에 있어서,
    상기 밴딩 억제 처리에 관한 정보에는, 상기 화상 데이터에 밴딩 억제 처리를 해야 하는지를 나타내는 정보, 및 상기 화상 데이터에 밴딩 억제 처리가 실시되어 있는지를 나타내는 정보가 포함되어 있고,
    상기 제어부는, 상기 화상 데이터가 밴딩 억제 처리를 해야 하는 화상 데이터이며, 상기 화상 데이터에 대하여 밴딩 억제 처리가 실시되어 있지 않을 때, 상기 디코딩 후의 화상 데이터에 대하여 밴딩 억제 처리가 실시되도록 제어하는
    수신 장치.
  14. 부호화 화상 데이터를 포함하고, 화상 데이터의 밴딩 억제 처리에 관한 정보가 삽입되어 있는 비디오 스트림을 갖는 소정 포맷의 컨테이너를 수신하는 스텝과,
    상기 비디오 스트림을 디코딩하여 화상 데이터를 얻는 스텝과,
    상기 디코딩 후의 화상 데이터에 대하여, 상기 비디오 스트림에 삽입되어 있는 밴딩 억제 처리에 관한 정보에 기초하여 밴딩 억제 처리를 실시하는 스텝을 구비하는
    수신 방법.
  15. 부호화 화상 데이터를 포함하는 비디오 스트림을 갖는 소정 포맷의 컨테이너를 수신하는 수신부와,
    상기 비디오 스트림을 디코딩하여 화상 데이터를 얻는 디코딩부와,
    상기 디코딩 후의 화상 데이터에 대하여 밴딩 억제 처리를 실시하는 처리부와,
    상기 디코딩 후의 화상 데이터에 의한 화상을 표시하는 표시부에 있어서의 표시 가능 계조 수와, 상기 비디오 스트림에 있어서의 화상 데이터의 비트 수가 상이할 때, 상기 디코딩 후의 화상 데이터에 대하여 밴딩 억제 처리가 실시되도록 상기 처리부를 제어하는 제어부를 구비하는
    수신 장치.
KR1020157014745A 2012-12-13 2013-12-04 송신 장치, 송신 방법, 수신 장치 및 수신 방법 KR20150094619A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2012-271888 2012-12-13
JP2012271888 2012-12-13
PCT/JP2013/082579 WO2014091984A1 (ja) 2012-12-13 2013-12-04 送信装置、送信方法、受信装置および受信方法

Publications (1)

Publication Number Publication Date
KR20150094619A true KR20150094619A (ko) 2015-08-19

Family

ID=50934276

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157014745A KR20150094619A (ko) 2012-12-13 2013-12-04 송신 장치, 송신 방법, 수신 장치 및 수신 방법

Country Status (9)

Country Link
US (1) US9979985B2 (ko)
EP (1) EP2934014A4 (ko)
JP (1) JP6305934B2 (ko)
KR (1) KR20150094619A (ko)
CN (1) CN104854872B (ko)
BR (1) BR112015013203A2 (ko)
RU (1) RU2651241C2 (ko)
SG (1) SG11201504459QA (ko)
WO (1) WO2014091984A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5641090B2 (ja) 2013-03-14 2014-12-17 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
CN111901599B (zh) * 2014-06-27 2024-05-14 松下知识产权经营株式会社 再现装置
US10136148B2 (en) 2015-05-18 2018-11-20 Telefonaktiebolaget Lm Ericsson (Publ) Methods, receiving device and sending device for managing a picture
CN108174164A (zh) * 2018-01-16 2018-06-15 北京三体云联科技有限公司 一种实时视频处理方法及装置
US10805658B2 (en) * 2018-09-12 2020-10-13 Roku, Inc. Adaptive switching in a whole home entertainment system

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2202957T3 (es) 1993-11-19 2004-04-01 Canon Kabushiki Kaisha Aparato de impresion.
JP3554034B2 (ja) 1994-09-02 2004-08-11 キヤノン株式会社 カラー印刷装置及びその方法
CN100574433C (zh) * 2003-09-23 2009-12-23 汤姆森特许公司 用于减少视频流中的伪像的方法和装置
US7627033B2 (en) * 2004-11-15 2009-12-01 Microsoft Corporation Video rate control
RU2377736C2 (ru) * 2005-04-13 2009-12-27 Нокиа Корпорейшн Кодирование, хранение и передача информации о масштабируемости
US8014445B2 (en) * 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
US8194997B2 (en) * 2006-03-24 2012-06-05 Sharp Laboratories Of America, Inc. Methods and systems for tone mapping messaging
CN101682758A (zh) * 2006-12-19 2010-03-24 皇家飞利浦电子股份有限公司 用于对图像信号进行编码的方法和***、经编码的图像信号、用于对图像信号进行解码的方法和***
JP5490544B2 (ja) * 2007-01-16 2014-05-14 トムソン ライセンシング 画像におけるアーティファクトを低減するシステム及び方法
US8432968B2 (en) * 2007-10-15 2013-04-30 Qualcomm Incorporated Scalable video coding techniques for scalable bitdepths
US8385412B2 (en) * 2007-10-15 2013-02-26 Thomson Licensing Method and apparatus for inter-layer residue prediction for scalable video
CN101828401B (zh) * 2007-10-16 2013-07-17 汤姆森许可贸易公司 用于比特深度缩放的伪像去除的方法和设备
US8750390B2 (en) 2008-01-10 2014-06-10 Microsoft Corporation Filtering and dithering as pre-processing before encoding
JP5206276B2 (ja) 2008-02-01 2013-06-12 ソニー株式会社 階調変換装置、階調変換方法、及び、プログラム
JP5276170B2 (ja) * 2008-08-08 2013-08-28 トムソン ライセンシング バンディング・アーチファクトを検出する方法および装置
JP5317878B2 (ja) 2009-07-30 2013-10-16 キヤノン株式会社 画像形成装置
JP5281624B2 (ja) * 2010-09-29 2013-09-04 日本電信電話株式会社 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置およびそれらのプログラム
JP2012151562A (ja) * 2011-01-17 2012-08-09 Hitachi Kokusai Electric Inc 映像処理方法
CN103385001B (zh) 2011-02-25 2017-08-08 太阳专利托管公司 用于去块的高效率决策

Also Published As

Publication number Publication date
SG11201504459QA (en) 2015-07-30
US20150281740A1 (en) 2015-10-01
RU2015121698A (ru) 2016-12-27
JP6305934B2 (ja) 2018-04-04
CN104854872B (zh) 2018-07-20
RU2651241C2 (ru) 2018-04-18
EP2934014A4 (en) 2016-07-13
EP2934014A1 (en) 2015-10-21
BR112015013203A2 (pt) 2017-07-11
CN104854872A (zh) 2015-08-19
US9979985B2 (en) 2018-05-22
JPWO2014091984A1 (ja) 2017-01-12
WO2014091984A1 (ja) 2014-06-19

Similar Documents

Publication Publication Date Title
JP7087028B2 (ja) 受信装置、受信方法および表示装置
US11170472B2 (en) Method and apparatus for streaming data
US10389784B2 (en) Method and device for generating a description file, and corresponding streaming method
US20210174552A1 (en) Apparatus and method for performing artificial intelligence (ai) encoding and ai decoding on image
EP3192256B1 (en) Image processing apparatus and image processing method
US8374344B2 (en) Coding
US20150326858A1 (en) Svc-to-avc rewriter with open-loop statistal multplexer
GB2513303A (en) Method and device for partitioning an image
KR20170120578A (ko) 송신 장치, 송신 방법, 수신 장치 및 수신 방법
JP6305934B2 (ja) 送信装置、送信方法、受信装置および受信方法
US20180338168A1 (en) Splicing in adaptive bit rate (abr) video streams
CN110915221B (zh) 发送装置、发送方法、接收装置、以及接收方法
CN108605152B (zh) 发送装置、发送方法、接收装置和接收方法
US10945000B2 (en) File generation apparatus and file generation method as well as reproduction apparatus and reproduction method
GB2341745A (en) Image encoding
US12045954B2 (en) Method and apparatus for adaptive artificial intelligence downscaling for upscaling during video telephone call
US11436703B2 (en) Method and apparatus for adaptive artificial intelligence downscaling for upscaling during video telephone call

Legal Events

Date Code Title Description
WITB Written withdrawal of application