KR100571685B1 - 영상 데이터 부호화 장치와 방법 및 영상 데이터 전송 방법 - Google Patents

영상 데이터 부호화 장치와 방법 및 영상 데이터 전송 방법 Download PDF

Info

Publication number
KR100571685B1
KR100571685B1 KR1019980706219A KR19980706219A KR100571685B1 KR 100571685 B1 KR100571685 B1 KR 100571685B1 KR 1019980706219 A KR1019980706219 A KR 1019980706219A KR 19980706219 A KR19980706219 A KR 19980706219A KR 100571685 B1 KR100571685 B1 KR 100571685B1
Authority
KR
South Korea
Prior art keywords
encoding
rate
picture
video
statistics
Prior art date
Application number
KR1019980706219A
Other languages
English (en)
Other versions
KR19990082486A (ko
Inventor
노부히사 오비카네
간지 미하라
다쿠야 기타무라
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR19990082486A publication Critical patent/KR19990082486A/ko
Application granted granted Critical
Publication of KR100571685B1 publication Critical patent/KR100571685B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H04N21/23655—Statistical multiplexing, e.g. by controlling the encoder to alter its bitrate to optimize the bandwidth utilization
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

N 개의 인코더들(21, 22, ... 2n)은, n개의 프로그램들 1, 2, ... n 각각에 앞서 파라미터 정보 PAR.#1, #2, ... #n을 판독하고, 제어기(3)가 이미지를 부호화하는 때의 부호화의 난이도에 관련된 정보, difficulty,를 추정하게 하며, 제어기(3)가 상기 파라미터 정보에 기초해서 산출한 목표 부호화 레이트에 기초하여 상기 n개의 프로그램들을 또한 압축-부호화하게 한다. 제어기(3)는 상기 파라미터 정보 PAR.#1, #2, ... #n로부터 모든 프로그램 내의 할당된 코드들, target_rate#1, #2, ... #n,의 양을 계산한다. 멀티플렉서(4)는 상기 할당된 코드들 target_rate#1, #2, ... #n의 양에 따라, 인코더들(21, 22, ... 2n)이 부호화한 스트림들 #1, #2, ... #n을 다중화한다.

Description

영상 데이터 부호화 장치와 방법 및 영상 데이터 전송 방법
본 발명은, 복수 n(n≥2)개의 영상 프로그램을 다중화하여 전송 레이트를 소정의 값 이하가 되도록 상기 복수 n개의 영상 프로그램을 부호화 하는 영상 데이터 부호화 장치와 방법, 및 전송 레이트가 소정의 값 이하가 되도록 복수 n(n≥2)개의 영상 프로그램에 대해서 상이한 목표 부호화 레이트를 할당하여 부호화한 후, 다중화하여 전송하는 영상 데이터 전송 방법에 관한 것이다.
근래, 영상 데이터의 압축 부호화에 움직임 보상 처리(MC; Motion Compensation)와 이산 코사인 변환(DCT; discrete cosine transfer)등의 직교 변환에 의한 용장(冗長)도 저감 처리로 조합한 MPEG(moving picture experts group)나MPEG2가 널리 쓰이게 되었다. 특히, MPEG2의 영상 압축 부호화 기술과 통신 위성의 기능을 조합함으로써 영상의 디지털 방송이 실현되었다. 또한, 앞으로 지상파를 이용한 영상의 디지털 방송도 실현되려 하고 있다.
디지털 방송의 이점은 아날로그 방송에 비해서 같은 전송로에 있어서 보다 많은 프로그램을 전송하는 것이 가능하다는 것이다. 이것은 영상을 압축 부호화 할수 있는 것과 관계된다.
더욱 많은 프로그램을 전송하는 방법으로서 「통계다중(統計多重)」 이라는 방법이 고려되고 있다. 통계다중은 각 프로그램의 전송 레이트를 동적으로 변화시키고, 예컨대 전송 레이트를 줄여도 화질의 열화가 눈에 띄지 않는 프로그램 전송방법이다.
비교를 위해 3개의 프로그램, 예컨대 일기예보, 뉴스, 드라마에 대한 고정 레이트에 의한 다중화 예를 「도 1」 에 도시한다. 가로축은 시간의 흐름을 나타내고 있으며 세로 축은 각각의 프로그램에 대한 할당 부호화 레이트를 나타내고 있다. 도 1의 프로그램 각각은 초기 값으로 할당된 부호화 레이트인 채로, 시간에 따라 변동하고 있지 않다. 여기에서, 초기 할당 값은, 각 프로그램에서 화질의 열화가 두드러지는 부분(시간)에서의 열화가 허용범위 내에 있도록 할당된 것이다.즉, 그 부분 이외에는 필요이상의 부호화 레이트를 할당하고 있는 것으로 된다.
이것에 대해, 상기 통계다중의 방법을 이용하여 4개의 프로그램을 다중화한예가 도 2에 도시되어 있다. 여기에서는, 일기예보, 뉴스, 드라마 1, 드라마 2, 부호화 레이트를 동적으로 변화시키고 있다. 이것은, 각 프로그램의 화질의 열화가 두드러지는 부분(시간)이 동시에 겹쳐 일어나는 일이 드물다는 점을 이용하고 있다. 그 때문에, 어떤 프로그램이 화질 열화가 두드러지는 부분인 경우 다른 프로그램은 부호화 레이트를 떨어뜨려도 화질 열화가 두드러지지 않으므로, 다른 프로그램만큼의 부호화 레이트를 해당 화질열화가 두드러지는 프로그램에 많이 할당할 수 있다. 이와 같이 해서 통상보다 많은 프로그램을 전송할 수 있다.
그런데, 종래 1개의 영상 프로그램을 예컨대, 디지털 비디오 디스크(Digital Video Disk: DVD)나 비디오 CD 같은 패키지 미디어에 축적할 경우, 상기 비디오 정보에 압축부호화 처리를 실시하는 인코드 시스템에서는 최초에 소재의 화상의 부호화 난이도(Difficulty)를 측정하고, 그 부호화 난이도에 의하여 패키지 미디어의 기록 용량 내의 주어진 바이트 수로 저장되도록, 각 비디오 정보의 프레임마다 미트 배분처리를 행하고 있었다.
즉, 비압축 영상 데이터를 예비적으로 압축부호화 해서 압축부호화 후의 데이터 량을 추측하고, 다음에 추측한 데이터 량에 의거해서 압축율을 조정하고, 압축부호화 후의 데이터량이 전송로의 전송용량에 적합한 값으로 되게 압축 부호화하는 2패스 인코드 처리를 행하고 있었다.
그러나, 이 2패스 인코드 처리에 의해 압축 부호화를 행하면, 같은 비압축 영상 데이터에 대해서 압축부호화 처리를 2회 실시할 필요가 있으며, 1회시 압축부호화 처리로 최종적인 압축영상 데이터를 산출할 수 없기 때문에, 상기 디지털 방송 시에 상기 통계다중에 의해 복수의 영상 프로그램을 소정의 전송 레이트 이내가 되게 압축부호화해서 전송하려고 해도 과도한 시간이 걸린다. 즉, 촬영한 영상 데이터를 그대로 실시간(리얼타임)으로 압축부호화 하고 전송할 수 있다.
본 발명은 상기 실정을 감안해서 이뤄진 것으로, 복수의 영상 프로그램을 거의 실시간으로 소정의 전송 레이트 이내로 다중화하여 전송하기 위한 영상 데이터부호화 장치 및 방법의 제공을 목적으로 한다.
또, 본 발명은 상기 실정을 감안해서 이뤄진 것으로, 복수의 영상 프로그램을 거의 실시간으로 소정의 전송 레이트 이내로 다중화하여 전송하는 영상 데이터전송 방법의 제공을 목적으로 한다.
도 1은 고정 레이트에 의한 다중화를 설명하기 위한 도면.
도 2는 통계다중에 의한 다중화를 설명하기 위한 도면.
도 3은 본 발명의 실시의 형태로 되는 영상 데이터 전송장치의 블록도.
도 4는 상기 도 3에 도시한 영상 데이터 전송 장치에 쓰이는 인코더의 상세한 구성을 도시하는 블록도.
도 5는 상기 도 4에 도시한 인코더에 쓰이는 평면도 검출 회로가 검출하는 평면도를 설명하기 위한 도면.
도 6은 상기 평면도 검출회로의 상세한 구성을 도시하는 블록도.
도 7은 상기 도 4에 도시한 인코더에 쓰이는 인트라 AC 검출 회로의 상세한 구성을 도시하는 블록도.
도 8은 상기 도 3에 도시한 영상 데이터 전송장치에 쓰이는 제어기의 상세한 구성을 도시하는 블록도.
도 9는 상기 제어기로 행해지는 알고리즘을 설명하기 위한 플로차트.
도 10은 본 발명의 다른 실시의 형태로 되는 영상 데이터 전송 장치의 구성을 도시하는 블록도.
도 11은 상기 도 10에 도시한 영상 데이터 전송장치의 인코더의 상세한 구성을 도시하는 블록도.
도 12는 상기 도 10에 도시한 영상 데이터 전송 장치의 제어기가 행하는 알고리즘을 설명하기 위한 플로차트.
발명의 개시
본 발명에 관한 영상 데이터 부호화 장치는, 상기 과제를 해결하기 위해서,목표 부호화 레이트 산출수단이 복수 n개의 영상 프로그램의 부호화 난이도 관련 정보에 기초해서 상기 복수 n개의 영상 프로그램의 합계 전송 레이트가 소정의 전송 레이트 이하가 되도록 각각 독립된 목표 부호화 레이트를 산출하고, 복수 n개의부호화 수단이 상기 목표 부호화 레이트 산출수단으로 산출된 상기 독립된 목표부호화 레이트에 기초해서, 상기 복수 n개의 영상 프로그램을 부호화 한다.
여기에서 상기 영상 데이터 부호화 장치가 이용되는 상기 부호화 난이도 관련 정보는 내부에 지연수단을 구비한 상기 복수 n개의 부호화 수단에 의해서 미리 판독된 파라미터 정보이다. 이 지연수단으로서는 상기 파라미터 정보를 산출하는 시간만큼 상기 각 프로그램을 지연시키는 FIFO를 쓴다.
이 때문에, 상기 복수 n개의 부호화 수단이 출력하는 복수 n개의 프로그램을 다중화했을 때의 합계 전송 레이트가 시계열적으로 보아 어느 위치에서도 상기 소 정의 전송 레이트를 초과하지 않고, 부호화 데이터를 거의 실시간으로 얻을 수 있다.
또, 상기 파라미터 정보로서 평면도 및 인트라 AC 데이터, 또는 이것들 중의 어느 하나를 상기 영상 프로그램의 영상 데이터 중 프레임내 부호화 화상으로 압축되는 화상에서 산출하고, 프레임간 순방향 예측 부호화 화상 및 쌍방향 예측 부호화 화상으로 압축되는 화상의 상기 파라미터 정보로서 ME 나머지 차를 산출한다.
또, 상기 영상 데이터 부호화 장치가 사용하는 상기 부호화 난이도 관련정보는 상기 복수 n개의 영상 프로그램에 대해서 고정 양자화 스텝에서 양자화 처리를 실시하는 것에 의해서 얻어진 부호량이며, 이 부호량은 상기 복수 n개의 부호화 수단에 대해서 병렬 접속되는 복수 n개의 다른 부호화 수단에 의해 얻어져도 좋다.
여기에서, 상기 복수 n개의 복호화 수단의 각 전단에는, 상기 복수 n개의 다른 부호화 수단이 상기 복수 n개의 영상 프로그램으로부터 상기 부호량을 산출하는 시간 만큼 상기 영상 프로그램을 지연시키는 복수 n개의 지연수단이 설치된다.
또, 본 발명에 관한 영상 데이터 부호화 방법은 복수 n개의 영상 프로그램의 미리 판단된 부호화 난이도 관련 정보에 기초해서, 상기 복수 n개의 영상 프로그램의 합계 전송 레이트가 상기 소정의 전송 레이트 이하가 되도록 상기 독립된 목표부호화 레이트를 산출하고, 상기 목표 복호화 레이트에 기초해서 상기 복수 n개의영상 프로그램을 부호화한다.
이 때문에, 상기 복수 n개의 프로그램은 다중화했을 때의 합계 전송 레이트가, 시계열적으로 보아 어느 위치에서도 상기 소정의 전송 레이트를 초과하는 일이 없는 부호화 데이터를 거의 실시간으로 얻을 수 있다.
또, 본 발명에 관한 영상 데이터 전송방법은, 상기 과제를 해결하기 위해, 목표 부호화 레이트 산출 공정이 복수 n개의 영상 프로그램으로부터 미리 판독된 부호화 난이도 관련 정보에 기초해서 상기 복수 n개의 영상 프로그램의 합계 전송 레이트가 소정의 전송 레이트 이하가 되도록 상기 상이한 목표 부호화 레이트를 산출하고, 부호화 공정이 상기 목표부호화 레이트 산출공정에서 산출된 상기 목표 부호화 레이트에 기초해서 상기 복수 n개의 영상 프로그램을 부호화하고, 다중화 공정이 상기 부호화 공정으로부터의 상기 부호화 영상 프로그램을 다중화 한다.
이 때문에, 상기 복수 n개의 부호화 수단이 개략 실시간으로 부호화된 복수 n개의 프로그램을 다중화한 다중화 출력의 합계 전송 레이트가 시계열적으로 보아어느 위치에서도 상기 소정의 전송 레이트를 초과하는 일이 없다.
발명을 실시하기 위한 최상의 형태
이하, 본 발명에 따른 영상 데이터 부호화 장치와 방법, 및 영상 데이터 전송 방법의 실시의 형태에 대해서 도면을 참조하여 설명한다.
이 실시의 형태는 복수의 영상 프로그램의 영상 데이터를 압축 부호화하고 나서, 다중화하고 전송하는 영상 데이터 전송장치이다. 또한, 이 영상 데이터 전송 장치는 본 발명에 관한 영상 데이터 부호화 방법을 적용한 영상 데이터 부호화 장치에 다중화 수단을 구비한 구성으로 되어 있다.
이 영상 데이터 전송장치는, 도 3에 도시하듯이, 11, 12 … 및 1n을 거쳐서 공급되는 n개의 프로그램 prog. 1, 2 … n 각각에 대해서 파라미터 정보의 미리 판독하고, 화상을 부호화 할 때의 부호화 난이도 관련정보 difficulty를 후술하는 제어기(3)에서 추측케 하는 동시에, 제어기(3)가 상기 파라미터 정보에 기초하여 산출한 목표 부호화 레이트에 기초해서 상기 복수 n개의 프로그램을 압축 부호화하는 복수 n개의 인코더 21, 22 … 2n와, 복수 n개의 인코더 21, 22 … 2n 로부터의 파라미터 정보 PAR. #1, #2 … #n부터 각 프로그램마다의 할당 부호량 target-rate #1, #2 … #n 을 산출해서 상기 인코더 21, 22 … 2n에 공급하는 상술한 제어기(3)와 인코더 21, 22 … 2n가 상기 할당부호량 target-rate #1, #2 … #n에 대응해서 부호화한 스트림 stream #1, #2 … #n을 다중화하는 멀티플렉서(4)를 구비한다. 이 멀티플렉서(4)부터의 다중화 출력 MUXout는 출력단자(5)에 공급된다.
인코더 21, 22 … 2n는 상기 각 프로그램 prog. 1, 2 …n으로부터 상기 파라미터 정보로서, 프레임 단위의 평면도(flatness) 총계, 인트라(intra) AC 총계, DC 값 및 ME 나머지 차를 미리 판독하고, 제어기(3)에 공급한다.
여기에서, 인코더 21, 22 …2n는 통상의 MPEG 방식에 의해 프레임내 부호화 화상(I 픽처), 프레임간 순방향예측 부호화 화상(P 픽처), 쌍방향 예측부호화 화상(B 픽처)을 소정수 포함하는 화상 부호화 그룹(GOP) 단위로 상기 영상 프로그램의 영상 데이터를 부호화 한다. 이 부호화 시에 상기 파라미터의 정보를 얻는다.
화상의 부호화했을 때의 부호량은, 고정 양자화 등으로 실제로 부호화 하지 않아도 어느 정도 추측할 수 있다. 이 추측하기 위한 파라미터 정보로서, 본 발명에서는, 상술한 바과 같은 평면도, 인트라 AC, DC 값 및 ME 나머지 차를 이용한다.
인코더 21, 22 … 2n의 구성에 대해 도 4를 참조해서 설명한다. 여기에서는, 인코더 21를 대표로 한다. 도 4에 도시하는 바와 같이, 인코더 21는 화상 병렬 변화 회로(7)와, 주사변환 매크로블록화 회로(8)와, FIFO(9)와, 가산회로(10)와, DCT회로(11)와, 양자화 회로(12)와, 가변 길이 부호화 회로(VLC)(13)와, 버퍼(14)와 부호량 제어회로(15)와, 역양자화 회로(16)와, 역 DCT 회로(17)와, 가산회로(18)와, 움직임 보상회로(19)와, FIFO(30) 및 움직임 검출회로(19)와, 상기 평면도를 검출하는 평면도 검출회로(23)와, 평면도의 프레임마다의 총계를 연산하는 누산기(24)와, 인트라 AC 검출회로(25)와, 인트라 AC의 프레임마다의 총계를 연산하는 누산기(26)와, 프레임마다의 DC 값을 연산하는 누산기(27)와, 움직임 검출회로(28)부터의 ME 나머지 차의 프레임마다의 총계를 연산하는 누산기(29)를 구비하여 구성된다.
입력단자(6)로부터의 영상 신호 입력은 화상 병렬 변화 회로(7)에 의해 부호화 순으로 병렬 변화된다. 부호화 순으로 된 영상신호는 주사변환 매크로 블록화 회로(8)에서 필드 프레임 변환되고 매크로 블록화 된다. 이 매크로블록화된 변환 신호는 상기 파라미터 정보의 검출을 위해서 평면도 검출회로(23), 인트라 AC 검출회로(25), 누산기(27), 움직임 검출회로(28)에 공급된다. 다시, FIFO(9)에도 공급된다.
상기 파라미터 정보는 이 인코더 21로 미리 판독될 필요가 있기 때문에, 실제로 부호화하는 데이터는 시간 맞춤을 할 필요가 있다. 그래서 화상 데이터는 상기 FIFO(9)에 의해서 지연된다.
이 FIFO(9)에서의 지연은 수개 정도의 상기 GOP 분(分)이다. 예컨대, 화상 16개에 의해 구성되는 GOP의 시간 길이는 약 0.5초이므로 고작 지연시간은 2-3초 정도로 된다. 스튜디오에서 생방송되는 프로그램이 있다고 해도 거의 2-3초 정도의 지연이면, 거의 실시간으로의 방송과 다름이 없다.
또, 움직임 백터는 FIFO(30)에서 지연된다. 여기에서, 움직임 벡터는 화상 데이터보다 정보량이 적기 때문에, FIFO(30)은 FIFO(9)보다 작은 용량이어도 좋다.
평면도 검출회로(23)가 상기 매크로블록화된 영상신호에서 검출하는 평면도는 화상의 공간적인 평탄성을 나타내는 파라미터 정보이다. 평면도 검출회로(23)는, 도 5에 도시된 바와 같이, 화상을 2×2의 작은 블록으로 분할하고, 그 작은 블록에 있어서 화소를 교차한 차분값 중 작은 쪽을 문턱값과 비교한다. 문턱값보다 작은 것이 매크로블록 중에 얼마나 있는지를 산출하고, 이것을 프레임마다 총계를 취한다. 공간적으로 복잡할 수록 수치는 작아진다.
이 평면도 검출회로(23)의 상세한 구성을 도 6에 도시한다. 여기에서 평면도 검출회로(23)에 공급되는 상기 영상신호는 매크로블록 형태로 연결된다. 즉, 1 매크로블록 천이되면, 1라인 위 또는 아래의 데이터가 얻어진다. 입력단자(40)에서의 입력 영상신호의 휘도값은 FIFO(41) 및 레지스터(42)에 공급된다. FIFO(41)는 상기 입력 영상신호의 휘도값을 1매크로블록라인 지연시킨다. 레지스터(42)는 상기 입력영상신호의 휘도값을 1화소만큼 지연시킨다.
감산기(43)는 레지스터(42)에서 1화소만큼 지연된 휘도 값과 FIFO(41)로 1매 크로블록라인 지연된 휘도값과의 차를 취하고, 절대값기(ABS)(46)에 공급한다.
레지스터(44)는 FIFO(41)로 1매크로블록라인 지연된 휘도값을 1화소분 지연시킨다. 감산기(45)는 레지스터(55)에서의 출력, 즉 1라인+l화소 지연된 휘도값과상기 입력 영상신호와의 차를 취하고, 절대값기(47)에 공급한다.
절대값기(46)에서의 절대값 출력과 절대값기(47)에서의 절대값 출력은 최소 값 선택기(MIN)(48)에 입력된다. 이 최소값 선택기(48)는 작은 쪽의 절대값 출력을 선택해서 비교기(CMP)(49)에 공급한다. 이 비교기(49)는 선택된 값과 단자(50)에서 공급되는 문턱값을 비교하고, 상기 선택값이 문턱값보다 작을 때 "1"을 가산기(51)와 레지스터(50)로 구성되는 누산기에 출력한다.
실제로 라인의 끝은 동작이 적당치 않으므로, 비교기(49) 등으로 데이터를 보정할 필요가 있다. 이 매크로블록마다 산출된 평면도를 누산기(24)로 프레임만큼 누산하면 평면도 총계가 구해진다. 이 평면도 총계는 도 4의 출력단자(31)에서 제어기(3)에 공급된다. 이 평면도가 감소할수록, 부호량은 증가하는 경항이 있다.
상기 인트라 AC 검출회로(25)가 상기 매크로블록화된 영상신호에서 검출하는 인트라 AC는, 하기의 (1)식으로 나타낸 바와 같이, 각 매크로블록마다 휘도 신호의 평균값을 구하고 매크로블록 내의 각 화소와 이 평균값의 차의 절대값을 누산한 것이다.
상기 인트라 AC 검출회로(25)의 구성을 도 7에 도시한다. 입력단자(60)에서 공급되는 입력 영상신호의 휘도값은 FIFO(61)와 가산기(62)와 레지스터(63)로 이루는 누산기에 공급된다. 누산기에서의 누산값은 시프트래지스터(64)로 시프트되는 것에 의해 제산(除算)이 행해지며, 휘도의 평균값이 얻어진다. 이 평균값은 인에이블 부착의 레지스터(65)에 의해서 유지된다.
FIFO(61)는 상기 평균값을 구하는 동안의 지연을 보상한다. 이 FIFO(61)을 거친 영상신호의 휘도값과 인에이블 부착의 레지스터(65)로 유지된 평균값은 감산 기(66)에 공급된다. 이 감산기(66)는 상기 지연휘도 값에서의 상기 평균값을 감산하고, 감산값을 절대값기(67)에 공급한다.
절대값기(67)가 출력한 차분 절대값은 가산기(68)와 레지스터(69)로 이루어지는 누산기에 공급되며, 출력단자(70)를 거쳐 출력된다.
이 인트라 AC를 누산기(26)로 프레임만큼 누산하면, 인트라 AC 총계가 구해진다. 이 인트라 AC 총계는 도 4에 도시한 출력단자(32)에서 제어기(3)에 공급된다. 인트라 AC총계가 증가할수록 부호량도 증가하는 경향이 있다.
누산기(27)가 상기 매크로블록화된 영상신호로부터 연산하고, 출력단자(33)로부터 제어기(3)에 공급하는 DC 값은 각 프레임마다 휘도 신호를 화면에서 총계한 것이다. DC 값 DC_sum은
로 된다. DC 값은 특히 복잡한 연산을 필요로 하지 않으며, 단순한 누산기(27)로 실현할 수 있다. DC 값은 감소되면 시각상 화질 열화가 두드러지는 경향이 있다.
움직임 검출회로(28)에서의 움직임 벡터를 누산기(29)로 누산하고, 출력단자(34)에서 제어기(3)에 공급하는 ME 나머지 차는, 각 매크로블록마다 얻어진 움직임벡터에 대한 해당 블록과 참조 블록의 휘도 신호의 차의 절대값의 총계이다. 즉, 해당 블록은 fcurr(x, y){xs≤x≤xe, ys≤y≤ye}로, 움직임 벡터를 (mvx, mvy)로 하면 ME 나머지 차 ME_resid는
이 된다. ME 나머지 차는 움직임 검출회로(28)에서 ME를 행할 때 얻어지는 데이터이므로, 1프레임만큼의 누산기(29) 이외에는 새롭고 특별한 하드(hard)나 연산을 필요로 하지 않고 얻을 수 있다. ME 나머지 차가 증가할수록 부호량도 증가하는 경향이 있다.
이것들의 파라미터 정보 PAR.1는, 상술한 바와 같이, 인코더(21)에서 제어기(3)로 공급된다. 제어기(3)는 얻어진 파라미터 정보 PAR.1에서 각 프로그램마다의 할당 부호량 target_rate를 산출하고 인코더(21)에 공급한다.
이 제어기(3)는, 예컨대 도 8에 도시하듯이, ROM(71)과 CPU(72)와 RAM(73)으로 구성된다. CPU(72)의 입력단자(74)를 통해 입력으로서 각 인코더(21, 22 ... 2n)에서의 파라미터 정보 PAR. #1, #2 ...#n가 입력되고, CPU(72)의 출력단자(75)를 통해 출력으로서 각 인코더 21, 22 ... 2n으로 target-rate #1, #2 ... #n가 출력된다. CPU(72)는 작업영역으로 RAM(73)을 사용하여 ROM(71)에 저장된 알고리즘 및 테이블을 실행한다.
ROM(71)에 저장되는 알고리즘의 예를 도 9에 도시한다. 이 알고리즘에서는 파라미터 정보 PAR. #i에서 추측되어 얻은 부호량 rr을 이용하여, 목표부호화 레이트 target_rate를 비례분배하고 있다. 통신경로 전체의 레이트를 channel_rate로 하고, 또 프로그램의 수를 n로 한다.
우선, 스텝(Sl)에서 추측 부호량의 총계가 저장되는 변수 total에 초기값으로서 0을 대입한다. 다음 스텝(92)에서 루프카운터(loop counter) i에 초기값으로 1을 대입한다. 그리고 스텝(S3)에서 루프카운터 i의 값이 n보다 크면 루프를 빠져나가 스텝(S8)로 진행한다.
다음 스텝(S4)에서 인코더(2i)에서 보내지는 파라미터 PAR. #i에서 부호량 rr을 추측한다. 스텝(S5)에서 추측한 양을 저장하는 어레이 trate[i]에 rr을 대입한다.
스텝(S6)에서는 추측량의 총계 total에 rr을 가산한다. 그리고 스텝(S7)에서 루프카운터 i를 증가시키고 루프의 선두인 스텝(S3)으로 되돌아간다.
다음 스텝(S8)에서 루프카운터(i)에 초기값으로서 1을 대입한다. 루프카운터(i)의 값이 스텝(S9)에서 n보다 크면 루프를 빠져나가 종료한다.
스텝(S10)에서는 i번째의 인코더의 목표부호량 target_rate #i로서channel_rate를 추측량 trate[i]로 비례 배분한다. 즉, 다음 수식으로 나타낸 바와 같이 한다
스텝(Sl)에서는 인코더에 target_rate #i를 공급한다. 그리고 스텝(Sl2)에서 루프 카운터(i)를 증가시키고, 루프의 선두(S9)로 되돌아간다. 이상과 같이, 본 발명의 실시의 형태로 되는 영상 데이터 전송장치에서는, 종래의 인코더에 부호화 난이도 관련 정보의 대용인 파라미터 정보를 검출하는 검출회로를 부가함으로서, 복수의 영상 프로그램을 거의 실시간으로 소정의 전송 레이트 이내로 부호화하고 다중화하여, 이 다중화 데이터를 전송한다.
또한, 하나의 프로그램계에 대해 인코더는 하나로 족하므로, 고가인 인코더를 각 프로그램계에 2개 준비할 필요가 없다. 이 때문에, 이 실시의 형태에서는 낮은 가격으로 통계다중에 의한 인코드를 실현할 수 있다.
또한, 상기 실시의 형태에서는, 파라미터 정보로서 ME 나머지 차, DC 값, 인 트라 AC, 평면도의 4개를 사용하는데, 그 모두를 사용할 필요는 없다. 또, 원래의 화면에서 얻어지는 정보라면 다른 것이어도 상관없다.
또, 파라미터정보를 부호화 난이도를 추측하기 위해서 사용하였는데, 양호한 화질을 얻기 위하여, 이 파라미터들을 부호화시의 파라미터로서 이용할 수 있다. 이 경우, 파라미터를 시간 맞춤하기 위한 FIFO가 필요하다.
다음, 본 발명에 따른 영상 데이터 부호화 장치와 방법, 및 영상 데이터 전송방법의 다른 실시의 형태에 대해 도면을 참조하여 설명한다.
이 밖의 다른 실시의 형태도, 복수의 영상 프로그램의 영상 데이터를 압축부호화한 후 다중화하여 전송하는 영상 데이터 전송 장치이다. 또한, 이 영상 데이터 전송장치는 본 발명에 관한 영상 데이터 부호화 방법을 적용한 영상 데이터 부호화 장치에 다중화 수단을 구비한 구성으로 되어 있다.
이 밖의 다른 실시의 형태는, 비압축 영상 데이터를 예비적으로 압축부호화해서 얻어지는 압축영상 데이터의 부호량에서 비압축 영상 데이터의 난이도를 산출하고, 예비적인 압축 부호화에 의해 산출한 난이도에 기초하여 예를 들면, FIFO 메모리 등에 의해 소정의 시간만큼 지연한 비압축 영상 데이터의 압축율을 적응적으로 제어하는 영상 데이터 부호화 방법을 적용한 부호화 장치로부터의 부호화 출력을 다중화해서 전송하는 영상 데이터 전송 장치이다.
이 영상 데이터 전송장치에 의해서도, 거의 실시간적으로 비 압축 영상 데이터의 그림(繪柄)의 난이도에 기초하여 적응적으로 비압축 영상 데이터를 압축 부호 화할 수 있으므로, 실황 방송이라는 실시간성이 요구되는 용도에 응용가능하며, 상기 통계다중의 방법을 이용한 복수의 프로그램의 전송에도 적합하다.
이 영상 데이터 전송장치는, 도 10에 도시된 바와 같이, n개의 입력 프로그램 prog. 1, 2…n을 다중화해서 전송한다. 각 프로그램은 입력단자 1011, 1012…및 101n을 거쳐서 인코더 #A1021, 1022… 및 102n에 공급된다. 각 인코더 #A 1021, 1012… 및 102n는 고정의 양자화 스텝 Fixed Q에서 양자화 했을 때의 부호량 difficulty #1, #2 … #n을 측정한다. 이 측정된 부호량 difficulty #1, #2…#n는 제어기(103)에 보내진다. 제어기(103)에서는 각각의 부호량 difficulty #1, #2 … #n을 기호로 각 프로그램 prog.1, 2, …n의 할당 레이트 target_rate #1, #2…#n을 계산하고, 각 인코더 #1041, 1042에 보낸다.
인코더 #B104, 1042…104n에서 실제로 부호화되는 데이터는 미리 판독한 시간 만큼 FIFO 1051, 1052…105n에 의해서 지연된다.
이 각각의 FIFO에서의 지연은 수개 정도의 상기 GOP 분이다. 예컨대 화상 16개에 의해 구성되는 GOP의 시간적인 길이는 약 0.5초이므로 지연시간은 기껏 2-3초 정도로 된다. 스튜디오에서 생방송되는 프로그램이 있다고 해도, 거의 2-3초 정도의 지연이면 거의 실시간으로의 방송과 다름이 없다.
인코더 #B1041, 1042… 104n에서는 부여된 레이트 target_rate #1, #2…#n에 기초해서 입력 프로그램 prog.1, prog.2…prog.n을 부호화 한다. 부호화된 각각의 스트림 stream #1, #2…#n을 멀티플렉서(106)에 의해 다중화되고, 다중화 출력 MUXout 으로서 출력단자(107)에 공급된다.
인코더 #A1021, 1022…및 102n과 인코더 #B1041, 1042…104n의 상세한 구성도를 도 11에 도시한다. 여기에서는, 인코더 #B1041을 대표로 한다. 화상 및 변환회로(109), 주사변환 매크로블록화 회로(110), 가산회로(111), DCT 회로(112), 양자화회로(113), 가변길이 부호화 회로(VLC)(114), 버퍼(115), 부호량 제어 회로(116), 역 양자화 회로(117), 역 DCT 회로(118), 가산회로(119), 움직임 보상회로(120) 및 움직임 검출회로(121)로 구성되는 일반적인 영상 데이터용 압축부호화기 이다.
화상 병렬 변화 회로(109)는 입력 단자(108)에서의 영상 신호 입력을 부호화 순으로 병렬 변화시킨다. 주사 변환 매크로블록화 회로(110)는 필드프레임 변환을 행하고 매크로 블록을 구성한다. 예컨대, 상기 영상 신호 입력이 영화의 영상신호인 경우엔 3:2 풀 다운 처리 등을 행한다.
가산 회로(111)는 가산회로(119)의 출력 데이터를 상기 주사변환 매크로블록화 회로(110)를 거친 입력 영상신호에서 감산하고, DCT 회로(112)에 대해서 출력한다.
DCT 회로(112)는 가산회로(111)에서 입력되는 영상 데이터를 예컨대 16화소 ×16화소의 매크로블록 단위로 이산 코사인 변환(DCT) 처리하고, 시간 영역의 데이터에서 주파수 영역의 데이터로 변환해서 양자화 회로(113)에 대해서 출력한다.
양자화 회로(113)는 DCT 회로(112)에서 입력된 주파수 영역의 데이터를 고정 또는 임의의 양자화 스텝으로 양자화하고, 양자화 데이터를 가변 길이 부호화 회로(114) 및 역 양자화 회로(117)에 출력한다.
가변 길이 부호화 회로(114)는 양자화 회로(113)에서 입력된 양자화 데이터를 가변길이 부호화하고, 가변 길이 부호화의 결과로서 얻어진 압축 영상 데이터를 버퍼(115)에 공급한다. 버퍼(115)는 상기 압축 영상 데이터를 버퍼링하고, 비트스트림을 출력단자(123)에 공급한다.
역 양자화 회로(117)는 양자화 회로(113)에서 입력된 양자화 데이터를 역양자화하고, 역양자화 데이터를 역 DCT 회로(118)에 출력한다.
역 DCT 회로(118)는 역 양자화 회로(117)에서 입력되는 역양자화 데이터에 대해서 역 DCT 처리를 실시하고, 가산회로(119)에 출력한다.
가산회로(119)는 움직임 보상 회로(120)의 출력 데이터 및 역 DCT 회로(118)의 출력 데이터를 가산하고, 가산회로(111) 및 움직임 보상 회로(120)에 출력한다.
움직임 보상회로(120)는 가산회로(119)의 출력 데어터에 대해, 움직임 검출회로(121)가 기준 프레임에 의해 계산한 움직임 벡터에 기초하여 움직임 보상 처리를 실시하고, 가산회로(111)에 출력한다.
인코더 #A1021, 1022… 및 102n에서는, 부호량 제어회로(116)에서 결정하는 양자화 스텝을 고정치로서 양자화 회로(113)에 양자화를 행하게 하고, 버퍼(115)의 발생 부호량을 측정한다. 이 데이터는 제어기(103)내 상기 부호화 난이도 관련 정보 difficulty로서 공급된다.
또, 인코더 #B1041, 1042…104n에서는 제어기(103)에서 결정된 목표 부호량은 부호량 제어회로(116)에 부여된다. 부호량 제어회로(116)는 양자화 회로(113)에서의 임의의 양자화 스텝을 제어한다.
제어기(103)는 인코더 #A1021, 1022…및 102n에서의 상기 부호화 난이도 관련 정보 difficulty에 기초하여 상기 부호 목표량을 산출한다. 이 제어기(103)는, 상기 도 8에 도시한 것과 마찬가지로, ROM(71)과 CUP(72)와 RAM(73)으로 구성된다. CPU(72)에는 입력단자(74)를 통해 입력으로서, 인코더 #A1021, 1022… 및 102n에서의 상기 부호화 난이도 관련 정보 difficulty #1, #2…및 #3가 입력되고, CPU(72)부터는 출력단자(75)를 통해 출력으로서 인코더 #B1041, 1042… , 및 104n으로 target_rate #1, #2…#n가 보내진다. CPU(72)는 작업 영역으로서 RAM(73)을 사용하여 ROM(71)에 저장되어 있는 알고리즘 및 테이블을 실행한다.
ROM(71)에 저장되어 있는 알고리즘의 예를 도 12에 도시한다. 이 알고리즘에서는 부호화 난이도 difficulty. #i을 써서 목표 부호화 레이트 tanget_rate를 비례 분배하고 있다. 통신경로 전체의 레이트를 channel_rate로 하고 또 프로그램의 수를 n으로 한다.
우선, 스텝(Sl)에서 추측 부호량의 총계가 대입되는 변수 total에 초기값으로서 0을 대입한다. 다음 스텝(S2)에서 루프카운터(i)에 초기값으로 1을 대입한다. 그리고 스텝(S3)에서 루프카운터(i)의 값이 n보다 크면 루프를 빠져나가 스텝(S8)으로 진행한다.
다음 스텝 (S4')에서 인코더(102i)로부터 보내지는 부호화 난이도difficulty.#i을 꺼내고, 그리고 스텝 (S5')로부터 추측량을 저장하는 어레이trate[i]에 difficulty.#i을 대입한다.
스텝(S6')에서는, 추측량의 총계 total에 difficulty.#i를 가산한다. 그리고 스텝(S7)에서 루프카운터(i)를 증가시키고, 루프의 선두인 스텝(33)으로 되돌아간다.
다음 스텝(S8)에서 루프카운터(i)에 초기값으로서 1을 대입한다. 루프카운터(i)의 값이 스텝(S9)에서 n보다 크면 루프를 빠져나와 종료한다.
스텝(S10)에서는 i번째의 인코더의 목표부호량 target_rate #i 로서channel_rate를 추측량 trate[i]로 비례 배분한다. 즉, 상기 식(4)과 마찬가지로 한다.
스텝(S11)에서는 인코더에 target_rate #i을 공급한다. 그리고 스텝(Sl2)에서 루프카운터 i를 증가시키고 루프의 선두(S9)로 되돌아간다.
이상과 같이, 본 발명의 다른 실시의 형태로 되는 영상 데이터 전송 장치에서는 부호화 난이도의 측정용 인코더 #A 1021, 1022…및 102n와 FIFO 1051, 1052…및 105n을 사용하여 데이터를 미리 판독할 수 있고, 고정밀도의 레이트 할당에 의한 통계다중이 거의 실시간으로 가능하게 된다. 다만, 이 밖의 실시의 형태에서는 1개의 프로그램계에 대해서 2개의 인코더를 필요로 한다.
또한, 본 발명에서는 FIFO를 이용하여 데이터를 미리 판독하였지만, 미리 부호화 난이도 difficulty 정보를 고정 양자화의 인코더로 구해 적당한 기록 매체에 보존해두고, 다중화할 때 참조해도 좋다.
이와 같이 하면, 상기 도 3에 도시한 영상 데이터 전송 장치와 마찬가지로, 1개의 프로그램계에 대해 1개의 인코더만으로 충분하며, 고가인 인코더를 2개 필요로 하지 않고 가격상 문제되는 일이 없다.
본 발명에 관한 영상 데이터 부호화 장치 및 방법에 의하면, 복수의 영상 프로그램을 거의 실시간으로, 소정의 전송 레이트 이내로 다중화해서 전송할 수 있도록 부호화 할 수 있다.
또, 본 발명에 관한 영상 데이터 전송방법에 의하면 복수의 영상 프로그램을 거의 실시간으로, 소정의 전송 레이트 이내로 다중화해서 전송할 수 있다.

Claims (15)

  1. 복수 n(n≥2)개의 영상 프로그램을 다중화해서 전송할 때의 전송 레이트를 소정의 값 이하로 하기 위해서, 상기 복수 n개의 영상 프로그램에 대해서 각각 독립된 목표 부호화 레이트를 할당해서 부호화하는 영상 데이터 부호화 장치에 있어서,
    상기 복수 n개의 영상 프로그램을 부호화함으로써 얻어지는 부호화 난이도와상관성을 갖는 통계량을 산출하는 통계량 산출수단;
    상기 통계량 산출수단에 의해 산출된 상기 통계량을 기초로, 상기 복수 n개의 영상 프로그램의 합계 전송 레이트가 상기 소정의 전송 레이트 이하가 되도록,상기 독립된 목표 부호화 레이트를 산출하는 목표 부호화 레이트 산출 수단; 및
    상기 목표 부호화 레이트 산출 수단으로 산출된 상기 목표 부호화 레이트에기초해서 상기 복수 n개의 영상 프로그램을 부호화하는 복수 n개의 부호화 수단을 구비하는 것을 특징으로 하는, 영상 데이터 부호화 장치.
  2. 제 1 항에 있어서,
    상기 복수 n개의 부호화 수단 각각은, I 픽처, P 픽처, B 픽처를 소정 개수포함하여 이루어지는 화상 부호화 그룹 단위로, 상기 영상 프로그램의 영상 데이터를 부호화하는 것을 특징으로 하는, 영상 데이터 부호화 장치.
  3. 제 1 항에 있어서,
    상기 복수 n개의 부호화 수단 각각은 지연 수단을 이용하여 상기 통계량을 미리 판독하여 얻는 것을 특징으로 하는, 영상 데이터 부호화 장치.
  4. 제 2 항에 있어서,
    상기 통계량 산출수단은 I 픽처로서 부호화하는 픽처로부터 평면도, 인트라AC를 상기 통계량으로서 산출하는, 영상 데이터 부호화 장치.
  5. 제 2 항에 있어서,
    상기 통계량 산출수단은 P 픽처 또는 B 픽처로서 부호화하는 픽처로부터 ME나머지 차를 상기 통계량으로서 산출하는, 영상 데이터 부호화 장치.
  6. 복수 n(n≥ 2)개의 영상 프로그램을 다중화해서 전송할 때의 전송 레이트를 소정의 값 이하로 하기 위해서, 상기 복수 n개의 영상 프로그램에 대해서 각각 독립된 목표 부호화 레이트를 할당해서 부호화하는 영상 데이터 부호화 방법에 있어서,
    상기 복수 n개의 영상 프로그램을 부호화함으로써 얻어지는 부호화 난이도와상관성을 갖는 통계량을 산출하는 통계량 산출공정;
    산출된 상기 통계량에 기초하여, 상기 복수 n개의 영상 프로그램의 합계 전송 레이트가 상기 소정의 전송 레이트 이하가 되도록 상기 독립된 목표 부호화 레이트를 산출하는 목표 부호화 레이트 산출공정; 및
    상기 목표 부호화 레이트 산출 공정에서 산출된 상기 목표 부호화 레이트에기초해서, 상기 복수 n개의 영상 프로그램을 부호화하는 부호화 공정을 구비하는 것을 특징으로 하는, 영상 데이터 부호화 방법.
  7. 제 6 항에 있어서,
    상기 부호화 공정은 I 픽처, P 픽처, B 픽처를 소정 개수 포함하여 이루어지는 화상 부호화 그룹 단위로, 상기 영상 프로그램의 영상 데이터를 부호화하는 것을 특징으로 하는, 영상 데이터 부호화 방법.
  8. 제 6 항에 있어서,
    상기 부호화 공정에서는 지연 공정을 이용하여 상기 영상 프로그램 각각의 통계량을 미리 판독하여 얻는 것을 특징으로 하는, 영상 데이터 부호화 방법.
  9. 제 7 항에 있어서,
    상기 통계량 산출공정은 I 픽처로서 부호화하는 픽처로부터 평면도, 인트라AC를 상기 통계량으로서 산출하는, 영상 데이터 부호화 방법.
  10. 제 7 항에 있어서,
    상기 통계량 산출공정은 P 픽처 또는 B 픽처로서 부호화하는 픽처로부터 ME나머지 차를 상기 통계량으로서 산출하는, 영상 데이터 부호화 방법.
  11. 전송 레이트를 소정의 값 이하로 하기 위해서, 복수 n(n≥ 2)개의 영상 프로그램에 대해서 각각 독립된 목표 부호화 레이트를 할당하여 부호화 한 후, 다중화해서 전송하는 영상 데이터 전송 방법에 있어서,
    상기 복수 n개의 영상 프로그램을 부호화함으로써 얻어지는 부호화 난이도와상관성을 갖는 통계량을 산출하는 통계량 산출공정;
    산출된 상기 통계량에 기초하여, 상기 복수 n개의 영상 프로그램의 합계 전송 레이트가 상기 소정의 전송 레이트 이하가 되도록 상기 독립된 목표 부호화 레이트를 산출하는 목표 부호화 레이트 산출 공정;
    상기 목표 부호화 레이트 산출 공정으로 산출된 상기 목표 부호화 레이트에 기초해서 상기 복수 n개의 영상 프로그램을 부호화 하는 부호화 공정; 및
    상기 부호화 공정으로부터의 상기 부호화 영상 프로그램을 다중화하는 다중화 공정을 구비하는 것을 특징으로 하는, 영상 데이터 전송 방법.
  12. 제 11 항에 있어서,
    상기 부호화 공정은 1 픽처, P 픽처, B 픽처를 소정 개수 포함하여 이루어지는 화상 부호화 그룹 단위로, 상기 영상 프로그램의 영상 데이터를 부호화하는 것을 특징으로 하는, 영상 데이터 전송 방법.
  13. 제 11 항에 있어서,
    상기 부호화 공정에서는 지연 공정을 이용하여 상기 영상 프로그램 각각의 통계량을 미리 판독하여 얻는 것을 특징으로 하는, 영상 데이터 전송 방법.
  14. 제 12 항에 있어서,
    상기 통계량 산출공정은 I 픽처로서 부호화하는 픽처로부터 평면도, 인트라AC를 상기 통계량으로서 산출하는, 영상 데이터 전송 방법.
  15. 제 12 항에 있어서,
    상기 통계량 산출공정은 P 픽처 또는 B 픽처로서 부호화하는 픽처로부터 ME나머지 차를 상기 통계량으로서 산출하는, 영상 데이터 전송 방법.
KR1019980706219A 1996-12-12 1997-12-12 영상 데이터 부호화 장치와 방법 및 영상 데이터 전송 방법 KR100571685B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP96-332082 1996-12-12
JP33208296 1996-12-12
JP97-174797 1997-06-30
JP17479797 1997-06-30

Publications (2)

Publication Number Publication Date
KR19990082486A KR19990082486A (ko) 1999-11-25
KR100571685B1 true KR100571685B1 (ko) 2006-11-30

Family

ID=26496284

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019980706219A KR100571685B1 (ko) 1996-12-12 1997-12-12 영상 데이터 부호화 장치와 방법 및 영상 데이터 전송 방법

Country Status (4)

Country Link
EP (1) EP0888009B1 (ko)
KR (1) KR100571685B1 (ko)
DE (1) DE69735307T2 (ko)
WO (1) WO1998026599A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3961681B2 (ja) * 1998-07-15 2007-08-22 株式会社東芝 デジタル放送の階層伝送制御方法及び階層伝送送出装置
US6643327B1 (en) * 2000-05-05 2003-11-04 General Instrument Corporation Statistical multiplexer and remultiplexer that accommodates changes in structure of group of pictures
JP2005203905A (ja) * 2004-01-13 2005-07-28 Sony Corp 画像符号化装置、画像符号化方法並びに画像符号化プログラム
US8275045B2 (en) 2006-07-12 2012-09-25 Qualcomm Incorporated Video compression using adaptive variable length codes
DE102007001379A1 (de) * 2007-01-09 2008-07-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Konzept zum Encodieren einer Mehrzahl von Informationssignalen für eine gemeinsame Übertragung in einem Zeitmultiplex
DE102007013026B4 (de) 2007-03-19 2010-12-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Kodierung einer Mehrzahl von Informationssignalen unter Verwendung einer gemeinsamen Rechenleistung
EP2046063A1 (en) * 2007-10-02 2009-04-08 Alcatel Lucent Method for rate control of multimedia streams and apparatus for performing this method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0643537A2 (en) * 1993-09-10 1995-03-15 Koninklijke Philips Electronics N.V. Device for transmitting a plurality of television signals through a transmission channel
EP0685971A2 (en) * 1994-05-25 1995-12-06 Sony Corporation Video coding apparatus comprising a plurality of encoders

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3187852B2 (ja) * 1991-02-08 2001-07-16 ソニー株式会社 高能率符号化方法
JP3069144B2 (ja) * 1991-04-30 2000-07-24 オリンパス光学工業株式会社 動画像符号化装置
US5159447A (en) * 1991-05-23 1992-10-27 At&T Bell Laboratories Buffer control for variable bit-rate channel
JPH0541860A (ja) * 1991-08-05 1993-02-19 Oki Electric Ind Co Ltd 画像圧縮符号化装置
JP2551305B2 (ja) * 1992-09-11 1996-11-06 日本電気株式会社 動画像符号化制御方式
JPH06284401A (ja) * 1993-03-25 1994-10-07 Kodo Eizo Gijutsu Kenkyusho:Kk 画像符号化装置
JPH07264580A (ja) * 1994-03-17 1995-10-13 Toshiba Corp 映像信号伝送方法並びに映像信号送信装置及び映像信号受信装置
JPH07284096A (ja) * 1994-04-06 1995-10-27 Nec Corp 多チャンネル画像伝送装置
JPH07312754A (ja) * 1994-05-19 1995-11-28 Mitsubishi Electric Corp 動画像符号化装置
US5506844A (en) * 1994-05-20 1996-04-09 Compression Labs, Inc. Method for configuring a statistical multiplexer to dynamically allocate communication channel bandwidth
JPH07322254A (ja) * 1994-05-25 1995-12-08 Sony Corp 符号化装置
JP3050047B2 (ja) * 1994-06-24 2000-06-05 日本ビクター株式会社 動画像符号化装置及び動画像符号化方法
JP3200518B2 (ja) * 1994-06-27 2001-08-20 日本電信電話株式会社 画像信号符号化装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0643537A2 (en) * 1993-09-10 1995-03-15 Koninklijke Philips Electronics N.V. Device for transmitting a plurality of television signals through a transmission channel
EP0685971A2 (en) * 1994-05-25 1995-12-06 Sony Corporation Video coding apparatus comprising a plurality of encoders

Also Published As

Publication number Publication date
KR19990082486A (ko) 1999-11-25
EP0888009A4 (en) 2003-05-28
DE69735307D1 (de) 2006-04-27
EP0888009A1 (en) 1998-12-30
WO1998026599A1 (en) 1998-06-18
DE69735307T2 (de) 2006-11-02
EP0888009B1 (en) 2006-02-22

Similar Documents

Publication Publication Date Title
US7170938B1 (en) Rate control method for video transcoding
KR100960742B1 (ko) 이전에 생성된 움직임 벡터 및 적응 공간적 필터링을 이용한 디지털 비디오용 노이즈 감소 프리-프로세서
KR100610520B1 (ko) 비디오 데이터 부호화 장치, 비디오 데이터 부호화 방법, 비디오데이터 전송 장치 및 비디오 데이터 기록 매체
KR100599017B1 (ko) 영상 데이터 압축 장치 및 그 방법
US6804301B2 (en) First pass encoding of I and P-frame complexity for compressed digital video
KR100289852B1 (ko) 화상 부호화 방법, 화상 부호화 장치 및 화상 기록 매체
US6574276B2 (en) Video coding method and corresponding video coder
US6956899B2 (en) Precise bit control apparatus with look-ahead for MPEG encoding
US6628713B1 (en) Method and device for data encoding and method for data transmission
JPH11262003A (ja) 一定ビット・レ―トまたは可変ビット・レ―トのためのディジタル・モ―ション・ビデオ・シ―ケンスの２パス符号化方法
KR20030090598A (ko) 비디오 멀티-프로세서 시스템에서의 채널의 처리모드 선택
EP0700213A2 (en) Motion picture encoding method and apparatus
US6243417B1 (en) Device and method for encoding image data, and image data transmission method
JP3707118B2 (ja) 画像符号化方法及び装置
KR100571685B1 (ko) 영상 데이터 부호화 장치와 방법 및 영상 데이터 전송 방법
US6480544B1 (en) Encoding apparatus and encoding method
US6040875A (en) Method to compensate for a fade in a digital video input sequence
US20010000675A1 (en) Video data encoding apparatus, video data encoding method, and video data transmission method
JP4292659B2 (ja) 画像情報変換装置及び画像情報変換方法
KR100286108B1 (ko) 실시간 처리를 위한 비디오 신호에 대한 비트수 추정방법과왜곡추정방법 및 이것들을 이용한 부호화방법과 그 장치
JPH0775095A (ja) レート制御回路
JP4000581B2 (ja) 画像符号化装置および方法
JP4346732B2 (ja) ビデオ・フレームの多重ストリームを処理する方法及びシステム
JPH10150659A (ja) 画像符号化装置
JPH1127665A (ja) 映像データ符号化装置及び方法並びに映像データ伝送方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130329

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140404

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee