KR100465553B1 - 화상음성복호화장치와화상음성부호화장치및정보전송시스템 - Google Patents

화상음성복호화장치와화상음성부호화장치및정보전송시스템 Download PDF

Info

Publication number
KR100465553B1
KR100465553B1 KR10-1998-0702566A KR19980702566A KR100465553B1 KR 100465553 B1 KR100465553 B1 KR 100465553B1 KR 19980702566 A KR19980702566 A KR 19980702566A KR 100465553 B1 KR100465553 B1 KR 100465553B1
Authority
KR
South Korea
Prior art keywords
image
picture
information
priority
decoding
Prior art date
Application number
KR10-1998-0702566A
Other languages
English (en)
Other versions
KR19990064087A (ko
Inventor
다카오 야마구치
아키라 가모가와
구니오 노보리
Original Assignee
마츠시타 덴끼 산교 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마츠시타 덴끼 산교 가부시키가이샤 filed Critical 마츠시타 덴끼 산교 가부시키가이샤
Publication of KR19990064087A publication Critical patent/KR19990064087A/ko
Application granted granted Critical
Publication of KR100465553B1 publication Critical patent/KR100465553B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2401—Monitoring of the client buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4424—Monitoring of the internal components or processes of the client device, e.g. CPU or memory load, processing speed, timer, counter or percentage of the hard disk space used
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 동시에 복수의 영상이나 음성의 복호, 합성을 행하는 경우, 단말기의 처리 상황에 따라 부호화량을 제어하는 것을 목적으로 하고, 본 발명의 복호화 장치는, 정보를 수신하는 수신 관리부(11)와, 그 수신 정보를 해석하고, 분리하는 분리부(12)와, 그 분리부(12)에서 분리된 화상의 처리의 우선도를 결정하는 우선도 결정부(14)와, 그 결정된 우선도에 따라 화상을 신장하는 화상 신장부(18)와, 그 신장된 화상을 기초로 화상 합성을 행하는 화상 합성부(19)와, 그 합성된 화상을 축적하는 합성 결과 축적부(22)와, 재생을 개시할 시각을 관리하는 재생 시각 관리부(23)와, 그 재생 시각 관리부(23)의 정보에 따라 합성 결과를 출력하는 출력부(24)를 구비한다.

Description

화상 복호화 장치, 화상 부호화 장치 및 화상 복호화 부호화 장치
본 발명은 동시에 복수의 화상이나 음성의 복호화, 부호화 및 합성을 행하는 화상 복호화 장치, 화상 부호화 장치 및 화상 복호화 부호화 장치에 관한 것이다.
종래부터, 자기측 공간의 풍경의 화상 중에서 예를 들어, 인물 화상을 추출한 화상과, 상대측으로부터 전송된 인물 화상 및 미리 기억되어 있는 상대측과 공통적으로 표시하기 위한 가상적인 공간의 화상을 중첩하여 표시함으로써, 상대가 자기 앞에 있다는 실재감을 충족하여, 현장감이 있는 영상 통신을 목표로 한 것이 있다(일본 특공평 4-24914호 공보,「하이퍼미디어 시스템 퍼스널 컴퓨터 커뮤니케이션 시스템」(Fukuda, K., Tahara, T., Miyoshi, T. :“Hypermedia Personal Computer Communication System : Fujitsu Habitat”, FUJITSU Sci. Tech. J., 26, 3, pp.197-206(0ctober 1990).), 나카무라(中村) :「네트워크 대응 가상현실감에 의한 분산 협동작업 지원」, 정보 처리 학회 오디오 비쥬얼 복합 정보 처리 연구회(1993)). 특히, 종래의 기술에서는 화상 합성을 행하기 위한 고속화, 메모리를 저감하는 방법에 관한 발명이 행해지고 있다(예를 들면, 일본 특공평 5-46592 : 화상 합성장치, 일본 특개평 6-105226 : 화상 합성장치).
그러나, 종래의 기술에서는, 2차원의 정지 화상이나 3차원의 CG 데이터를 합성하는 화상 합성 시스템이 제안되어 있었으나, 복수의 동화상이나 음성을 동시에 복호화(신장)하고, 합성하여 표시하는 시스템의 실현 방법에 대해서는 논의되지 않았다. 특히, 복수의 영상, 음성을 동시에 복호, 합성, 표시할 수 있는 단말기 장치에 있어서, 단말기의 능력 부족이나 처리 능력의 변동에 대하여 파탄을 가져오지 않는 영상이나 음성의 재생 방법에 대해서는 기술되어 있지 않았다. 또한, 요금 부과 상황에 따라서 복수의 영상을 복호, 합성, 표시하는 방법에 대해서도 기술되어 있지 않았다.
구체적으로는,
(1) 복수의 화상, 음성 정보, 복수의 화상과 음성의 관계를 기술한 정보 및 처리 결과의 정보를 관리하는 방법.
(2) 단말기의 처리 상태가 과부하인 경우의 복수의 화상이나 음성의 복호, 합성, 표시의 우선도의 결정 방법, 재생 및 요금 부과에 관한 방법.
또, 복수의 영상, 음성을 동시에 복호, 합성, 표시할 수 있는 환경 하에서, 수신 단말기측의 상태나 수신 단말기에서의 복호, 합성, 표시의 우선도에 따라 화상의 압축 방법을 변경하여, 부호화량을 제어하는 방법에 관해서는 고려되고 있지 않다.
도 1은 본 발명의 하나의 실시예에서의 화상 복호화 부호화 장치의 개략 구성도.
도 2는 본 발명의 하나의 실시예에서의 다른 예를 나타내는 화상 음성 복호화 부호화 장치의 개략 구성도.
도 3은 통신, 기록 포맷으로 우선도에 관한 정보를 부가하는 경우의 예를 설명하는 도면.
도 4는 본 발명의 구성을 소프트웨어로 나타낸 경우의 예를 설명하는 도면.
도 5는 정보의 구조에 대한 설명도.
도 6은 DEMUX 스레드(thread)의 동작에 대한 설명도.
도 7은 감시 스레드의 동작에 대한 설명도.
도 8은 디코드·프로세스의 동작에 대한 설명도.
도 9는 화상 합성 스레드의 동작에 대한 설명도.
도 10은 표시 감시 스레드의 동작에 대한 설명도.
도 11은 화상 합성 장치의 사용자 인터페이스에 대한 설명도.
도 12는 수신측 단말기의 능력의 변동에 따른 화상 전송을 행하는 방법에 대한 설명도.
도 13은 본 발명의 하나의 실시예의 화상 압축 장치에 대한 설명도.
도 14는 조작 관리부가 관리하는 정보에 대한 설명도.
도 15는 광시야 화상을 작성하는 경우의 화상 압축 장치를 설명하는 도면.
도 16은 송신 단말기와 수신 단말기의 응답 상황을 설명하는 도면.
* 도면의 주요 부분에 대한 부호의 설명 *
11 : 수신 관리부 12 : 분리부
13 : 송신 관리부 14 : 우선도 결정부
17 : 시간 정보 관리부 18 : 화상 신장부
19 : 화상 합성부 20 : 음성 신장부
21 : 음성 합성부 31 : DEMUX 스레드
36 : 디코드·프로세스 37 : 감시 스레드
39 : 화상 합성 스레드 42 : 표시 감시 스레드
1204 : 조작 관리부 1205 : 화상 압축부
1208 : 화상 처리 결정 제어 수단 1401 : 우선도 결정 제어부
1402 : 조작 이력 관리부 1404 : 화상 합성부
1407 : 입력부
본 발명은 종래의 이와 같은 과제를 고려하여, 동시에 복수의 영상이나 음성의 복호, 합성을 하는 경우, 단말기의 처리 상황에 따라 부호화량을 제어할 수 있고, 또한, 요금 부과 상황에 따라 복수의 영상이나 음성의 복호, 합성, 표시의 제어가 가능한 화상 복호화 장치와 화상 부호화 장치 및 화상 복호화 부호화 장치를 제공하는 것을 목적으로 하는 것이다.
본 발명은 2차원의 화상 합성만으로 한정되지 않는다. 2차원의 화상과 3차원의 화상을 조합한 표현 형식이어도 되고, 광시야(廣視野) 화상(파노라마 화상)과 같이 복수의 화상을 인접시켜 화상 합성하는 화상 합성 방법을 포함해도 된다.
본 발명에서 대상으로 하고 있는 통신 형태는 유선의 쌍방향 케이블 TV나 B-ISDN 뿐만이 아니다. 예를 들면, 중앙측 단말기에서 가정측 단말기로의 영상이나 음성의 전송은 전파(예를 들면, VHF대, UHF대), 위성 방송으로, 가정측 단말기에서 중앙측 단말기로의 정보 발신은 아날로그의 전화 회선이나 N-ISDN이어도 된다(영상, 음성, 데이터도 반드시 다중화되어 있을 필요는 없다). 또한, IrDA, PHS(Personal Handy Phone)나 무선 LAN과 같은 무선을 이용한 통신 형태이어도 된다.
또한, 대상으로 하는 단말기는 휴대 정보 단말기와 같은 휴대형 단말기이거나, 세트 톱 박스(set-top box), 퍼스널 컴퓨터와 같은 탁상형 단말기이어도 된다.
제 1의 본 발명은, 화상 정보의 부호화를 행하는 화상 부호화 수단 및, 그 부호화된 여러 가지 정보를 송신 또는 기록하는 송신 관리 수단을 갖는 화상 부호화 장치와, 부호화된 여러 가지 정보를 수신하는 수신 관리 수단, 그 수신된 여러 가지 정보의 복호를 행하는 화상 복호 수단, 그 복호된 하나 이상의 화상을 합성하는 화상 합성 수단 및, 그 합성된 화상을 출력하는 출력 수단을 갖는 화상 복호화장치를 구비한 화상 복호화 부호화 장치이다.
제 2의 본 발명은, 음성 정보의 부호화를 행하는 음성 부호화 수단 및, 그 부호화된 여러 가지 정보를 송신 또는 기록하는 송신 관리 수단을 갖는 음성 부호화 장치와, 부호화된 여러 가지 정보를 수신하는 수신 관리 수단, 그 수신된 여러 가지 정보의 복호를 행하는 음성 복호 수단, 그 복호된 하나 이상의 음성을 합성하는 음성 합성 수단 및, 그 합성된 음성을 출력하는 출력 수단을 갖는 음성 복호화장치를 구비한 음성 복호화 부호화 장치이다.
제 3의 본 발명은, 화상을 입력하는 하나 이상의 화상 입력 수단과, 그 화상 입력 수단의 제어 상태를 관리하는 화상 입력 관리 수단과, 수신 단말기의 수신 상황을 관리하는 타단말기 제어 요구 관리 수단과, 적어도 그 관리된 수신 단말기의 수신 상황 또는 화상 입력 수단의 제어 상태에 따라, 화상의 부호화 방법을 결정하는 부호 처리 결정 수단과, 그 부호 처리 결정 수단의 결정 결과에 따라, 입력 화상을 부호화하는 화상 부호화 수단과, 그 부호화된 화상을 출력하는 출력 수단을 구비한 리얼타임 화상 부호화 장치이다.
제 4의 본 발명은, 제 1 발명의 화상 복호화 부호화 장치 및 제 2 발명에 기재된 음성 복호화 부호화 장치 중 적어도 어느 하나를 수신 단말기로 하고, 제 1 발명의 화상 복호화 부호화 장치와 제 2 발명에 기재된 음성 복호화 부호화 장치 및 제 3 발명의 리얼타임 화상 부호화 장치 중 적어도 어느 하나를 송신 단말기로 하여, 그들 단말기 사이를 통신로로 접속한 정보 전송 시스템으로서, 적어도 수신 단말기의 부하, 수신 단말기의 우선도 결정 수단으로 결정된 처리 대상으로 할 부호화된 정보의 우선도에 관한 정보, 수신 단말기에서의 프레임 스킵의 상황 중 어느 하나를 송신 단말기로 송신함으로써, 송신 단말기에서 화상 또는 음성의 부호화의 유무, 부호화의 우선도, 부호화 방식, 부호화할 화상 사이즈, 양자화 단계의 값, 프레임 수, 수신 단말기의 과부하시의 처리의 우선도 중 어느 하나를 결정하는 정보 전송 시스템이다.
이하에, 본 발명을 그 실시예를 나타내는 도면에 기초하여 설명한다. 본 발명에서 사용하는 「화상」의 의미는 정지 화상과 동화상의 양쪽을 포함한다. 또한, 대상으로 하는 화상은, 컴퓨터 그래픽(CG)과 같은 2차원 화상과 와이어 프레임 모델로 구성되는 3차원의 화상 데이터가 혼합한 것이어도 된다. 이 경우, 화상간의 관계는 와이어 프레임 모델에 상당한다. 기술하기 위한 스크립트 언어로서는 자바(JAVA)나 VRML 등을 들 수 있다.
도 1 및 도 2는 본 발명의 하나의 실시예에서의 화상 복호화 부호화 장치의 개략 구성도이다. 도 1은 음성의 재생 기능을 갖지 않는 경우의 구성이고, 도 2는 화상과 음성의 재생 기능을 갖는 경우의 구성이다. 당연한 일이지만 음성만의 경우도, 마찬가지로 구성할 수 있다.
도 1 또는 도 2에 나타내는 본 장치는, 부호화 장치 및 복호화 장치로 구성되고, 도 1의 부호화 장치는, 부호화된 화상의 과부하시의 처리의 우선도를 미리 정해진 기준으로 결정하고, 그 부호화 화상과 우선도를 대응시키는 우선도 부가부(101), 화상을 부호화하는 화상 부호화부(102), 우선도가 부가된 부호화 정보를 송신 또는 기록하는 송신 관리부(103), 및 부호화된 정보를 수신하는 수신 관리부(104)로 구성되어 있다. 또한, 도 2의 부호화 장치는, 음성을 부호화하는 음성 부호화부(105)가 추가로 설치되어 있다.
한편, 복호화 장치에 있어서, 정보를 수신하는 수신 관리부(11)와 정보를 송신하는 송신 관리부(13)는, 동축 케이블, 케이블 TV, LAN, 모뎀 등의 정보를 전송하는 수단이다. 단말기의 접속 형태로서는, TV 전화나 TV 회의 시스템과 같이 단말기간에 양방향으로 영상 정보를 송수신하는 형태나, 위성 방송이나 케이블 TV, 인터넷 상에서의 방송형(한쪽 방향) 영상 방송의 형태를 들 수 있다. 본 발명에서는, 이러한 단말기의 접속 형태에 대하여 고려하고 있다.
분리부(12)는, 부호화(압축)된 수신 정보를 해석하고 분리하는 수단이다(압축 장치의 경우는, 역조작으로 다중화부가 된다). 예를 들면, MPEG1이나 MPEG2, H.320 단말기(N-ISDN을 이용한 TV 전화/회의 장치의 규약)에서는 H.221이, H.324 단말(아날로그 전화 회선을 이용한 TV 전화/회의 장치의 규약)에서는 H.223이 비디오/음성/데이터를 다중화, 분리하는 규약이다. 본 발명은, 규약에 준한 구성으로 실현해도 되고, 규약에 준하지 않는 구성으로 실현해도 된다. 또한, H.323이나 인터넷에서 행해지고 있는 바와 같이, 영상과 음성은 각각 별도의 스트림으로 독립하여 전송해도 된다.
우선도 결정부(14)는, 분리부(12)로부터 얻어진 정보(예를 들면, 영상, 음성, 관리 정보)를 이하의 방법으로, 단말기가 과부하인 경우의 복호(이후, 「신장」이라 함)의 우선도를 결정하여 화상의 신장이나 음성의 신장을 행한다(처리의 우선도의 결정 방법은, 미리 수신 단말기 장치에서 정해두어도 되고, 송신측 단말기(부호화 장치)에서 기록 미디어나 송신 패킷 등에 아래의 방법으로 결정된 우선도에 관한 정보를 부가하여 전송 및 기록 포맷으로서 부가해도 된다. 우선도에 관한 표현 방법으로는, 우선도 「대」,「중」,「소」와 같이 수치화하지 않는 표현이나 1, 2, 3과 같이 수치화한 표현이어도 된다).
복수의 화상 또는 음성 프레임으로 구성되는 스트림 단위에서의 데이터를 취급하기 위한 식별자를 이용하여, 송신측과 수신측에서 데이터의 송수신의 처리를 행함으로써, 수신측 버퍼의 관리나 송신측 데이터의 송신의 스케쥴링이 가능해진다. 즉, 필요에 따라 송신측에서 송부하는 스트림의 식별자를 통지하여 수신측의 입수 상황을 조사하거나, 필요로 하지 않는 스트림의 식별자의 수신 단말기로의 통지로, 수신측에서 필요한 스트림을 요구하거나 하는 것이 가능해진다.
부호화된 정보의 과부하시의 처리의 우선도를 전술한 기준으로 결정하고 부호화된 정보와 결정된 우선도를 대응시키는 우선도 부가 수단을 화상 부호화 장치나 음성 부호화 장치에 구비하여, 수신된 여러 가지 정보의 과부하시의 우선도에 따라서, 처리 방법을 결정하는 우선도 결정 수단으로, 처리해야 할 우선도의 화상 프레임이나 음성을 결정하여 복호, 합성 처리를 행한다. 또한, 화상 프레임에 대해서는, 프레임 스킵을 행할 수 있도록 프레임내 부호화(I 프레임)를 행한 프레임을 정기적으로 삽입할 필요가 있다.
우선도를 부가하는 단위로서는, 영상이나 음성의 각 프레임 단위(프레임간의 우선도 비교), 복수의 프레임으로 구성되는 스트림 단위이어도 된다(스트림간의 우선도 비교).
화상의 특징에 착안한 방법으로서는, 화상의 압축 형식(예를 들면, H.263과 실행 길이라면 실행 길이를 우선시킴), 화상의 크기(예를 들면, CIF와 QCIF라면 QCIF를 우선시킴), 콘트라스트(예를 들면, 콘트라스트가 밝은 것을 우선시킴), 화상의 합성 비율(예를 들면, 합성 비율이 높은 것을 우선시킴), 양자화 단계(예를 들면, 양자화 단계가 작은 값의 것을 우선시킴), 프레임간 부호화와 프레임내 부호화의 차이(예를 들면, 프레임내 부호화를 우선시킴), 표시 위치(예를 들면, 표시 위치가 중앙인 것을 우선시킴. 또한, 3차원 화상이면, 화상이 안쪽에 배치되는 경우는, 우선도를 낮게, 앞에 표시되는 경우에는 우선도를 높게 설정함), 프레임 번호(제 1 프레임과 최종 프레임은 우선도를 높게 하고, 장면 변환의 프레임의 우선도를 높이는 등)나 프레임수(예를 들면, 재생할 프레임수가 적은 화상은 우선도를 높게 한다. 프레임 번호가 H.263의 경우, 임시·참조(TR)에 해당하여, TR의 값의 변화에 따라 판단하면 됨), 유음(有音) 구간과 무음(無音) 구간, 표시 시간(PTS), 복호 시간(DTS)에 기초하는 방법을 들 수 있다.
또, 프레임간 부호화된 P 프레임이나 B 프레임은 동일한 우선도를 할당한다. 또한, 프레임내 부호화된 화상에 복수 단계의 우선도를 할당함으로써, 스킵하는 빈도를 제어할 수 있다.
또한, 미디어의 차이에 착안한 예로서는, 음성의 신장을 화상의 신장보다 우선적으로 행하는 방법을 들 수 있다. 이에 따라, 음성을 도중에 끊지 않고 음성의 재생을 행할 수 있다.
또, 수신측 단말기에서 관리하고 있는 재생의 허가 정보를 기초로, 신장해야할 정보(화상, 음성)의 결정을 행해도 되고, 송신측에서 제어 정보로서 송신하는 재생 허가의 정보를 기초로, 신장해야 할 정보의 선택을 행해도 된다. 재생 허가 정보는, 구체적으로는, 요금 부과에 관한 정보(예를 들면, 요금 부과가 행해지고 있지 않으면, 신장, 합성, 표시 처리를 행하지 않음. 수신 단말기측에서, 요금 부과에 관한 정보를 관리해도 되고, 송신측에서 요금 부과 정보를 관리해도 됨), 서비스의 내용을 나타내는 정보(예를 들면, 성인용 방송으로 단말기측에서 재생의 허가가 없으면, 신장, 합성, 표시의 처리를 행하지 않음. 재생의 허가는 수신측 단말기에서 관리해도 되고, 송신측 단말기에서 관리해도 됨), 패스워드(예를 들면, 특정한 프로그램에는 패스워드를 입력하지 않으면, 신장, 합성, 표시를 행하지 않음. 패스워드는 수신측 단말기에서 관리해도 되고, 송신측 단말기에서 관리해도 됨), 이용자 코드(예를 들면, 허가가 부여되어 있는 이용자가 아니면, 신장, 합성, 표시는 행하지 않음. 이용자 코드는 수신측 단말기에서 관리해도 되고, 송신측 단말기에서 관리해도 됨), 국가별 코드(예를 들면, 나라에 따라, 신장, 합성, 표시할 화상이나 음성, 재생 방법을 변경함. 국가별 코드는, 송신측에서 관리해도 되고, 수신측에서 관리해도 됨. 국가별 코드로 재생 방법을 바꿈으로써 스크램블을 실현할수 있음) 등이 있을 수 있다.
요금 부과에 관한 정보, 서비스의 내용을 나타내는 정보, 패스워드, 이용자 코드와 같이, 화상이나 음성의 재생 허가의 제한을 둔 재생 방법으로서는, 화상의 합성, 표시를 행할 때 고의로 위치나 화소를 어긋나게 하거나, 화상의 확대·축소, 화상의 샘플링(예를 들면, 로우패스를 거는 등)을 변경, 화소 반전, 콘트라스트의 변경, 컬러 팔레트의 변경, 프레임의 스킵을 행하는 방법 등을 들 수 있다. 이들 화상의 재생 방법(화상의 신장, 합성, 표시)은, 1 프레임마다 제약을 두어도 된다. 또는, 화상 압축의 하나인 H.263으로 정의되는 1 프레임보다 작고, 독립하여 처리할 수 있는 단위인 GOB(Group of Block) 단위로, 화상의 신장, 합성, 표시 방법에 제약을 가해도 되고, 이로써 종래부터 행해지고 있는 화면 전체를 흩뜨리는 수법보다 유연한 제어가 가능해진다. 즉, GOB 단위로 처리함으로써, 화면의 일부분에만 스크램블을 걸 수 있기 때문에, 화상 합성을 사용한 소프트웨어와 같이 인터랙티브한 소프트웨어에 대한 평가가 가능해진다.
마찬가지로, 음성의 재생 방법으로는, 음의 크기를 변경시키거나, 음의 방향을 변경시키거나, 음의 주파수를 변경시키거나, 음의 샘플링을 변경시키거나, 다른 화상이나 음성을 삽입하는 방법을 들 수 있다(어느 쪽의 방법도, 미리 송신측에서 처리하는 방법과, 수신측에서 처리하는 방법을 들 수 있다).
화상과 음성의 재생 방법으로서는, 화상과 음의 동기를 어긋나게 하는 방법을 들 수 있다. 합성, 표시의 순위를 나타내는 정보(미리 표시할 순서를 수신측의 단말기에서 정해둠. 예를 들면, CIF나 정지 화상을 우선하는 등, 또한 송신측에서 송신 정보에 표시할 순서를 우선도에 관한 정보로서 부가해 두는 방법도 들 수 있음), 신장의 순서를 나타내는 정보(미리 신장할 순서를 수신측의 단말기에서 정해둠. 예를 들면, QCIF나, 프레임내 부호화의 화상 데이터를 우선하는 방법 등, BGM보다 대화음을 우선하여 신장하는 방법 등을 들 수 있음. 마찬가지로, 송신측에서, 송신 정보에 표시할 순서를 부가해 두는 방법 등도 들 수 있다), 이용자의 지시(예를 들면, 이용자의 지시에 의해, 신장, 합성, 표시할 화상이나 음성 정보를 선택하거나, 요청에 따라 선택한 정보를 기초로 신장, 합성, 표시할 화상이나 음성 정보를 결정함), 단말기의 처리 능력(예를 들면, 현재 또는 과거의 일정 기간의 CPU 처리의 점유 시간을 계측함으로써, 처리 시간이 걸리는 화상이나 음성의 신장, 합성, 표시를 억제함. 처리 시간의 추정 방법으로서는, 압축을 행할 때 로컬·디코드에 걸린 시간이나, 압축에 걸린 시간을 압축한 화상 정보와 동시에 대응시켜 관리함으로써, 신장, 합성, 표시의 유무, 우선도의 결정이 가능함), 재생 시간(예를 들면, 재생 시간을 넘긴 화상, 음성 정보의 신장, 합성, 표시는 중지한다)이나 복호 시간에 따라, 신장하여야 할 화상이나 음성의 우선도 유무를 결정해도 된다.
또, 특정한 화상이나 음성만이 우선적으로 신장, 표시되는 것을 막기 위한 방법으로서, 화상이나 음성의 신장, 합성, 표시의 처리를 행하는 실시율에 관한 정보에 기초하여, 신장, 합성, 표시하여야 할 화상의 순서나 유무를 결정할 수 있다. 예를 들면, 신장을 행하는 10회 중 1회는 CIF 크기의 화상의 신장을 행한다고 수신 단말기측에 설정해 놓거나, 송신측에서 화상이나 음성의 신장, 합성, 표시의 실시율을 규정하여 그것에 기초하여 화상 정보나 음성 정보를 송신하는 방법을 생각할 수 있다. 실시율은 구체적으로는, I 프레임(프레임내 부호화한 프레임)의 삽입 간격으로 정의할 수 있다. 이에 따라, 특정한 화상이나 음성 오브젝트만이 신장, 합성, 표시되는 일은 없어진다.
이들 신장, 합성, 표시를 제어하는 우선도에 관한 정보의 부가는 송신측의 장치뿐만 아니라, 중계를 행하는 장치에서 부가, 제어해도 된다. 또한, 수신 단말기의 복호 장치의 우선도 결정부(14)에서 결정한 우선도에 관한 정보를, 송신 관리부(13)를 통하여 송신 장소로 송신함으로써, 우선도 결정부(14)의 결정 상황에 따른 화상, 음성 전송을 행할 수 있게 된다(선택되기 어려운 화상 오브젝트의 ID를 송신측으로 송신함으로써, 불필요하게 송신되는 일이 없어진다). 또한, 수신 단말기가 과부하인 경우의 처리의 우선도를 나타내는 정보는, 수신 단말기 장치에서 정해도 되고, 전송 포맷으로서 전송해도 되며, CD-ROM이나 하드디스크와 같은 기록 미디어에 기록하기 위한 포맷으로서 MPEG2의 트랜스포트 스트림을 확장해도 되고, 표준화를 고려하지 않는 전송, 기록 포맷 형식이어도 된다. 또한, 미디어마다(영상, 음성, 영상과 음성의 관계를 기술한 정보) 각각의 스트림으로서, 다중화를 행하지 않고 전송, 기록해도 된다.
화상 복호 수단으로서의 화상 신장부(18)는 화상의 신장 처리를 행하는 수단이고(이후, 부호화 장치의 경우는 부호화 수단), 화상 신장부(18)에서 다루는 화상 포맷으로는 MPEG1이나 MPEG2, H.261, H.263 등을 들 수 있다. 화상의 신장은 1 프레임 단위로 행해도, H.263으로 규정되어 있는 GOB 단위의 처리여도 된다. 1 프레임 단위로 처리하는 경우, 프레임간 부호화를 행하는 경우, 앞 프레임의 신장 상태를 화상 신장부(18)에 기억해둘 필요가 있다. GOB 단위로의 화상 신장을 행한 경우, 화상의 신장의 순서 관계는 문제가 되지 않는다. 따라서, GOB 단위로 신장 처리를 행하는 경우, 복수의 화상 신장부(18)를 수신 장치에 가질 필요는 없고, 하나의 화상 신장부(18)에서 복수의 영상의 신장을 행할 수 있게 된다. 반면, 신장 결과를 축적해 둘 필요가 있다.
도 2의 음성 복호 수단으로서의 음성 신장부(20)는 음성의 신장을 행하는 수단이고, 음성 신장부(20)에서 다루는 음성 포맷으로서는 G.721이나 G.723 등을 들 수 있다. 처리를 위한 방법으로서는, DSP나 범용 CPU에 의한 소프트웨어 처리나 전용 하드웨어에 의한 처리를 들 수 있다.
소프트웨어로 실현하는 경우는, 화상 및 음성의 신장 처리를 각각 하나의 프로세스 또는 스레드의 단위로 관리하여, 신장할 화상이나 음성이 동시에 복수 있는 경우, 처리할 수 있는 범위의 수의 프로세스 또는 스레드로 시분할하여 처리한다.
화상 신장 관리부(15)는 화상의 신장 상태를 관리하는 수단이다. 또한, 음성신장 관리부(16)는 음성의 신장 상태를 관리하는 수단이다. 예를 들면, 이들 관리부를 소프트웨어로 실현하는 경우에는, 분리부(12)로부터 얻은 압축된 정보를 정해진 순서(예를 들면, 최초에 음성 신장부(20)로부터 실행하고, 다음에 화상 신장부(18)에서 실행함)로, 화상 신장부(18), 음성 신장부(20)에 인도하고, 신장의 상태를 감시한다. 모든 신장이 완료되면, 화상 합성부(19) 또는 음성 합성부(21)에, 신장된 정보를 인도한다. 소프트웨어로서는 공유 메모리와 세마포르(semaphore)를 이용함으로써, 인도하는 정보를 제한하거나, 신장 처리가 종료한 것을 안다(상세한 사항에 대해서는 후술함).
시간 정보 관리부(17)는 시간에 관한 정보를 관리하는 수단이다. 예를 들면, 시스템을 퍼스널 컴퓨터로 실현하는 경우에는, 시간정보는 퍼스널 컴퓨터의 타이머를 이용하여 실현하면 된다.
화상 합성부(19)는, 신장된 화상 데이터를 바탕으로 화상 합성을 행한다. 복수의 화상을 합성하는 경우, 각각의 화상의 합성 비율(α값)을 기초로 화상 합성을 행한다. 예를 들면, 2개의 화상을 합성하는 경우, 전경 화상의 합성 비율이 α인 경우, 배경 화상의 RCB값을 1-α, 전경 화상을 α의 비율로 혼합한다. 한편, 신장할 화상은 1 프레임 단위로 처리의 관리를 행함으로써, 표시 시간을 이용하여 복수의 화상을 합성하는 경우에 시스템의 구성과 설치를 간단화할 수 있다. 또한, 화상 합성부(19) 또는 음성 합성부(21)에서, 송신측에서 신장 결과를 파기하라는 지시가 올 때까지 신장 결과를 유지하여 관리, 이용함으로써, 송신측에서 동일 패턴의 정보를 반복 송신할 필요를 없앨 수 있다.
화상끼리나 음성끼리의 관계를 기술한 정보에 기초하여, 화상이나 음성을 합성할 때, 필요로 하는 복호된 화상이나 음성이 준비되어 있어 않아, 합성할 수 없는 화상이나 음성이 존재하는 것을 제시함으로써, 이용자는 합성의 상태를 알 수 있다. 그래서, 이용자가 필요한 화질을 선택하거나, 합성하고 싶은 화상을 미리 선택하는 등의 지시를 행함으로써, 필요한 정보를 빠트리지 않고 합성할 수 있게 된다. 한편, 복호화된 화상이나 음성의 데이터를 버퍼에 축적, 관리하는 방법으로서는, 도착 순서대로 오래된 것으로부터 차례로 소거하거나, 화상끼리, 음성끼리의 관계를 기술한 스크립트를 봐서, 전체로서의 복호화된 화상이나 음성의 데이터의 사용 상황을 보아서 소거하는 방법을 생각할 수 있다.
음성 신장 관리부(16)는, 적어도 하나 이상의 음성의 신장을 행하는 음성 신장부(20)의 신장 상태를 관리한다.
음성 합성부(21)는, 신장된 정보를 바탕으로 음성 합성을 행하는 수단이고, 합성 결과 축적부(22)는, 화상 합성부(19)가 합성한 화상과 음성 합성부(21)가 합성한 음성을 축적하는 수단이다.
재생 시간 관리부(23)는, 재생을 개시할 시간에 합성한 화상이나 음성을 재생하는 수단이다.
출력부(24)는 합성 결과를 출력하는 수단(예를 들면, 디스플레이, 프린터 등)이고, 입력부(25)는 정보를 입력하는 수단(예를 들면, 키보드, 마우스, 카메라, 비디오 등)이다. 단말기 제어부(26)는, 이들 각 부분을 관리하는 수단이다.
도 3은 통신, 기록포맷으로 우선도에 관한 정보를 부가하는 경우의 예를 설명하는 도면이다.
도 3의 (a)의 예는, 완전히 모든 미디어(영상, 음성, 제어 정보)를 다중화하고 있는 예이다. 제어 정보로서, 과부하시의 처리를 결정하기 위한 우선도(본 발명에서 가리키고 있는 우선도)나 표시의 순서를 나타내는 우선도가 표시되어 있다. 또한, 제어 정보로서는 화상끼리, 음성끼리, 화상과 음성의 관계(시간적, 위치적인 것)에 관한 정보를 기술해도 된다. 도 3의 (a)의 예에서는, 예를 들면, MPEG1/2의 다중화, H.223과 같은 제어 정보와 데이터(영상, 음성)를 혼재시키는 패킷 다중의 적용에 적합하게 되어 있다. 한편, 과부하시 처리의 우선도는 프레임 단위 또는 스트림 단위로 부가한다.
도 3의 (b)의 예는, 미디어마다 정보를 다중화하고 있는 예이다. 이 예에서는, 제어 정보, 화상 정보, 음성 정보는 각각의 통신 포트로부터 송신된다. 화상끼리, 음성끼리, 화상과 음성의 관계에 관한 정보는 제어 정보로서, 화상이나 음성과는 별도의 통신 포트로부터 송신하면 된다. H.323이나 인터넷과 같이 복수의 통신포트를 동시에 확립할 수 있는 경우의 적용에 적합하게 되어 있고, 도 3의 (a)와 비교하여 다중화의 처리를 간략화할 수 있기 때문에, 단말기의 부하를 경감할 수 있다.
화상끼리와 음성끼리의 기술 방법으로서, 자바, VRML과 같은 기술 언어 등으로 대응이 가능하다고 생각되지만, 스크립트의 기술 언어의 규정이 하나로 정해지지 않은 상황도 생각할 수 있다. 그래서, 화상끼리, 음성끼리의 관계(예를 들면, 위치적인 정보, 시간적인 정보(표시 기간 등))를 기술한 정보의 기술 방법을 식별하기 위한 식별자를 설치함으로써, 복수 종류의 기술 방법에 대응할 수 있다. 정보의 기술 방법을 식별하기 위한 식별자의 부가 방법으로서는, 예를 들면, MPEG2에서는, MPEG2-TS의 스트림을 관리하는 프로그램·맵 테이블에 설치하거나, 스크립트를 기술한 스트림에 설치함으로써 대응할 수 있다. 과부하시 처리의 우선도는 화상과 음성의 대응 관계를 기술한 정보와 동시에 부가한다(제어 정보). 또한, MPEG2에 있어서는, MPEG2-TS(트랜스포트·스트림)의 비디오·스트림, 오디오·스트림을 관계짓는 프로그램·맵 테이블로 관리할 수 있도록, 화상과 음성의 대응 관계 체결을 행하는 구조 정보·스트림을 정의하여 관리하면, MPEG2라도 데이터로 독립하여 전송할 수 있다.
도 4는, 소프트웨어로 본 발명을 구성한 경우의 예를 설명하는 도면이다. 멀티태스크·오퍼레이션이 가능한 오퍼레이팅·시스템 상에서 본 발명을 실현한 경우, 도 1이나 도 2에서 설명한 각 처리는, 프로세스, 스레드라는 소프트웨어의 실행 모듈 단위로 나누어지고, 각 프로세스, 스레드 사이는 공유 메모리에 의해 정보의 교환을 행하여, 세마포르(도 4의 예에서는, 실선으로 표시된 부분이 세마포르에 대응함)에 의해 공유하는 정보의 배타 제어를 행한다. 이하에, 각 프로세스, 스레드의 기능에 대하여 설명한다.
DEMUX 스레드(31)는 네트워크나 디스크로부터 다중화된 정보(영상, 음성, 제어 정보)를 판독하여, 음성, 영상 및, 음성과 영상의 대응 관계와 재생 시간에 관한 정보를 기술한 감시용 표(상세한 사항은 후술하기로 함)로 분리한다. DEMUX 스레드(31)는 전술한 분리부(12)에 대응한다. DEMUX 스레드(31)에서 분리된 정보는, 음성용 링 버퍼(32), 영상용 링 버퍼(33), 감시용 링 버퍼(34)에 각각 송출된다. 음성 정보인 경우, 링 버퍼(32)로 송출된 정보는, 음성 디코드 스레드(35)(전술한 음성 신장부(20)에 대응함)에서 신장된다. 영상 정보인 경우, 링 버퍼(33)로 송출된 정보는, 디코드 프로세스(36)에서 신장된다.
감시용 표에 관해서는, 링 버퍼(34)로 송출되어, 영상을 신장하기 위한 순서를 결정하기 위해 감시 스레드(37)(전술한 단말기 제어부(26), 화상 신장 관리부(15), 음성 신장 관리부(16)에 대응함)에서 이용된다. 또한, 같은 감시용 표가 화상 합성을 위해 화상 합성 스레드(39)에서 이용된다. 감시 스레드(37)로 이용된 감시용 표는, 모든 음성, 화상의 신장이 끝난 시점에서, 다음 표를 링 버퍼(34)로부터 판독한다. 디코드·프로세스(36)(전술한 화상 신장부(18)에 대응함)에서 신장된 화상 정보는 영상용 싱글 버퍼(38)로 송출된다. 송출된 화상 정보가 갖춰진 시점에서, 화상 합성 스레드(39)(전술한 화상 합성부(19)에 대응함)에서, 감시용 표로 관리되는 화상 합성의 비율을 이용하여 화상 합성을 행한다. 합성 결과는, 합성용 버퍼(41)(전술한 합성 결과 축적부(22)에 대응함)에 축적되고, 표시 감시 스레드(42)에서 표시 시간이 될 때까지 표시 대기 상태로 대기한다(전술의 재생 시간 관리부(23)에 대응함).
도 5는 도 4의 구성에서 이용되는 정보의 구조에 대하여 설명하는 도면이다. 도 5의 예에서는, 디스크 또는 네트워크로부터 수신한 정보는 188바이트의 고정 길이이다(B). DEMUX 스레드(31)에서 분리된 음성 정보의 구조는, 패킷 동기용 코드, 재생 시간, 재생할 음성의 길이를 나타내는 프레임 길이, 음성 데이터로 이루어진다(C). 영상 정보의 구조는, 패킷 동기용 코드, 화상을 식별하기 위한 프레임 번호, 화상 정보의 크기를 나타내는 프레임 길이, 화상 데이터로 이루어진다(D). 본 발명은 1 프레임 단위로의 처리일 필요는 없고, 매크로 블록 단위와 같은 작은 블록 단위로의 처리를 행해도 상관없다.
감시용 표의 구조는, 화상의 표시 시간, 1 프레임으로 표시(합성)할 화상의 수, 각 화상의 ID, 프레임 번호, 신장이나 표시를 행할 우선도, 프레임의 타입을 나타내는 식별자(I 픽처, P 픽처, B 픽처), 표시의 수평 위치, 표시의 수직 위치, 합성의 비율을 나타내는 계층의 각 정보로 구성된다(E). 또, 화상의 합성 비율과 음성의 합성 비율을 대응시켜 변화시켜도 된다. 예를 들면, 화상 2 종류가, 각각 음성 2 종류에 대응하는 경우, 화상의 합성 비율이 α:1-α인 경우, 대응하는 음성의 합성 비율도 α:1-α로 대응시켜도 된다. 화상 정보끼리의 관계뿐만 아니라, 음성끼리의 관계도 기술해도 된다(예를 들면, 방향, 종류(BGM, 대화음)).
도 6은 DEMUX 스레드의 동작에 대하여 설명하는 도면이다. 파일 또는, 네트워크로부터 188바이트의 고정 길이의 데이터를 판독한다(5-1). 판독한 데이터를 분석하여, 전술한 음성, 영상, 감시용 표의 구조의 형태로 세트한다(5-2). 링 버퍼로의 기입이 가능하면, 음성, 영상, 감시용 표를 각각의 링 버퍼에 기입한다. 화상 오브젝트 ID와 복수 있는 화상 신장 수단의 대응관계를 취한다. 예에서는, 낮은 번호의 오브젝트 ID에서 낮은 링 버퍼 번호의 공유 메모리순으로 기입하기 시작한다(5-3). 기입한 버퍼의 기입 포인터를 갱신한다(5-4). 감시용 표 하나분의 영상, 음성의 정보를 기입하면 감시 스레드 제어용 세마포르의 카운터를 진행시킨다(5-5). 이와 같이 DEMUX에 의해 감시 스레드의 제어를 행한다.
도 7은 감시 스레드의 동작에 대하서 설명하는 도면이다. 감시용 표를 판독하여 판독 포인터를 진행시킨다(6-1). 과부하시의 오브젝트의 우선도를 체크하여, 우선도가 높은 화상 프레임을 조사한다(6-2). 감시용 표의 내용을 합성측의 스레드로 인도한다(6-3). DEMUX로부터의 감시용 표 하나분의 데이터의 작성을 대기한다(6-4). 처리의 우선도가 높은 순서로, 표시를 하는 화상의 프레임 번호를 디코드 프로세스에 기입하고(6-5), 현재의 시간과 표시할 시간을 비교하여, 시간을 맞지 않으면 I 프레임을 스킵하지 않고, PB의 프레임만을 스킵한다(6-6). 대응하는 디코드·프로세스의 실행을 허가하여(6-7), 처리가 완료될 때까지 대기한다(6-8).
도 8은, 디코드·프로세스의 동작에 대하여 설명하는 도면이다. 감시 스레드로부터 실행이 허가될 때까지 대기한다(7-1). 입력 화상의 상태를 체크하고, 화상의 시리얼 번호, 입력되는 프레임이 스킵할 화상인지의 여부를 조사한다(7-2). 디코드할 화상 데이터가 링 버퍼에 모일 때까지 대기한다(7-3). 감시 스레드로부터 지시된 화상의 시리얼 번호에 대응하는 화상 데이터가 없으면, 디코드를 스킵하여, 판독 포인터를 진행시킨다(7-4). 입력 화상의 스킵이 아니면, 디코드의 처리를 실행하여, 판독 포인터를 진행시킨다(7-5). 디코드의 결과를 출력하여 (7-6), 감시 스레드에 처리가 종료된 것을 통지한다(7-7).
같은 프로세스(스레드여도 된다. 하드웨어인 경우는 프로세서)를 이용하여 다른 종류의 화상 오브젝트를 신장할 경우, 디코드·프로세스 내에서 과거에 신장한 화상의 프레임 번호와 신장되기 전의 화상을 대응시켜서 관리함으로써, 동시에많은 프로세스를 생성하여 이용할 필요가 없어진다(최저, 직전의 프레임에 관한 정보만이라도 된다. 또한, I, P, B와 같이 다른 타입의 프레임 화상이 존재할 경우에는, 관리되는 순서와 출력되는 순서가 다르기 때문에 디코드·프로세스에서의 이러한 관리는 필요해진다).
도 9는 화상 합성 스레드의 동작에 대하여 설명하는 도면이다. 감시 스레드로부터 감시용 표를 대기한다(8-1). 처리할 화상의 우선도를 체크한다(8-2). 우선도가 높은 순서로 디코드 결과의 화상을 대기한다(8-3). 표시 위치에 맞춘 화상의 합성을 행한다(8-4). 합성 결과를 합성용 버퍼에 기입한다(8-5). 표시를 행할 화상 정보의 선택은 화상 신장 수단 또는 화상 합성 수단으로 행할 수 있다. 표시하면 안되는 화상 오브젝트 ID를 스킵하는 경우, 화상 합성 수단으로는 신장 결과를 출력할 수 없음을 통지해야 한다. 음성에 대해서도 재생할 음성 정보의 선택을 음성 신장 수단 또는 음성 합성 수단으로 행할 수 있다.
도 10은 표시 감시 스레드의 동작에 대하여 설명하는 도면이다. 합성 화상이 기입되는 것을 대기한다(9-1). 최초의 표시인 경우, 표시를 개시한 시간을 취득하여(9-2), 표시를 행할 시간과의 대응 관계를 관리한다. 표시 시간에 도달하지 않으면, 도달하지 않은 시간만큼 대기하여, 합성 화상의 표시를 지연시킨다(9-3).
도 11을 이용하여 본 발명의 화상 합성 장치의 사용자 인터페이스에 대하여 설명하기로 한다.
도 11의 예에서는, 배경 화상에, 전경 화상이 합성되어, 멀리 위치한 건물이 합성 비율 0.5로 반투명하게 화상 합성되어 있다. 도 11에 나타낸 바와 같이, 사용하는 화상은 2차원 화상이 아니어도 된다. 전경에 3차원 화상으로서 헬리콥터와 기구가, 2차원 화상인 배경과 합성되어 있다. 또, 전경의 헬리콥터와 기구는 반드시 항상 3차원 화상일 필요는 없다. 멀리 위치하는 경우(화면 상에 2차원으로서 표시되는 크기로 정의해 두면 된다. 예를 들면, 20도트×20도트의 크기보다 작으면 대상물은 멀리 존재한다고 정의해 두면 된다)에는, 2차원으로 표현해 두고 , 가까이 위치할 경우에는 3차원으로 표현해도 된다. 또한, 3차원 화상의 와이어 프레임·모델에 맵핑하는 화상도 정지 화상뿐 아니라, 동화상이어도 된다. 화질에 대해서는 중심 부분의 화질은 좋고, 주변 부분으로 갈수록 나쁘기 때문에, 사용자가 원하는 필요한 정보를 우선적으로 선택하여 전송할 수 있다(이와 같이, 화상이 합성되는 위치에 따라, 화질을 변경함으로써 응답성의 향상을 기대할 수 있다). 또한, 3차원 화상인 경우, 멀리 표시되는 화상의 우선도는 낮게, 가까이 표시되는 화상의 우선도는 높게 설정하면 된다. 또, 화질의 제어에 대해서는 양자화 단계를 변경함으로써 실현할 수 있다.
도 12는 수신측 단말기의 능력의 변동에 따른 화상 전송을 행하는 방법에 대하여 설명한 도면이다. 다음에, 전송되는 화상이 많아짐에 따라, 수신 단말기의 처리가 과부하가 되는 것을 막기 위해, 압축 장치를 포함하여, 관리, 제어하는 방법에 대하여 설명한다. 예를 들면, 하드웨어로 실현되는 MPEG2 기반의 비디오·온·디멘드(video on demand) 시스템에서는, 송신측 단말기는 수신측 단말기의 성능(예를 들면, 화상 압축할 수 있는 방식이나 크기, 통신 프로토콜)을 영상 정보를 송신, 수신하기 전에 서로 확인한다. 이 때문에, 송신측 단말기에서는, 수신측 단말기의 처리 능력이 거의 확정되어 있으므로, 수신측 단말기의 수신 상황이나 재생의 상황을 순차 모니터할 필요는 없다.
한편, 하드웨어로 화상의 압축과 신장을 실현하는 경우에는, 단말기에서 화상의 압축과 신장을 행할 수 있는 개수는 고정되어 있다. 그러나, 소프트웨어로 화상의 압축과 신장을 실현하는 경우에는, 단말기에서 화상의 압축과 신장을 행할 수 있는 개수를 동적으로 가변할 수 있다. 또한, 소프트웨어로 멀티태스크 환경 하에서 화상의 압축과 신장을 행하는 경우, 화상 크기나, 화상 압축을 행하기 위한 양자화 파라미터, 대상으로 하는 화상(프레임내 부호화나 프레임간 부호화, 촬영된 화상의 내용) 등에 따라 크게 영향을 받고, 단말기로 처리(압축, 신장)할 수 있는 화상 크기, 동시에 처리할 수 있는 화상의 수는 시간적으로 변화한다. 또한, 이에 따라 송신측 단말기에서는, 순차, 수신측 단말기의 수신 상황(예를 들면, 수신 버퍼의 용량이나 영상 재생의 우선도, 수신 확인의 응답 시간)에 따른 화상의 압축 방법(화상 압축 방식, 화상 압축의 유무, 양자화 단계, 압축의 우선도, 압축할 화상 크기 등), 수신 단말기가 과부하시의 우선도의 결정을 검토하지 않으면 수신측의 능력을 상회하여 파탄을 초래한다.
예를 들면, 도 12의 (b)에 도시한 바와 같이, 수신측 단말기의 수신 버퍼의 용량이 80%를 넘는 경우, 송신측으로 수신 버퍼가 오버플로우 상태로 되어 있다는 것을 통지하고, 화상 압축 방식(예를 들면, MPEG1로부터 실행 길이로 변화시켜, 압축 화상의 송출량을 줄인다), 화상 압축의 유무(화상 압축하여, 송신하는 것을 일시 중단시킴), 압축의 우선도 변경(압축할 프로세스가 복수 있는 경우, 압축하기 위한 우선도를 낮추어, 압축되는 압축 화상의 송출량을 줄임), 화상 크기의 변경(CIF로부터 QCIF로 압축할 크기를 작게 변경하여 압축 화상의 송출량을 줄임), 양자화 단계의 변경(화질의 변경에 의해 압축 화상의 송출량을 줄임)에 의한 송출량을 제한하는 방법, 프레임수를 조정하는 방법(처리를 행하는 프레임수를 줄임, 수신 단말기가 과부하시의 우선도를 결정하는 방법을 적절히 선택, 조합하여 실시한다. 이로써, 수신측 단말기의 수신 버퍼의 오버플로우를 회피시킨다.
마찬가지로, 수신측의 수신 버퍼의 용량이 20%를 하회한 경우, 송신측의 단말기로 수신측 단말기의 수신 버퍼가 언더플로우 상태로 되어 있다는 취지를 통지하여, 전술한 바와는 반대의 방법으로, 송신측 단말기에서, 화상 압축 방식, 화상 압축의 유무, 화상 압축의 우선도, 화상의 크기, 양자화 단계, 프레임수를 적절히 선택, 조합하여 실시한다. 이와 같이 송출량을 증대시키는 방법을 실시함으로써, 수신측 단말기의 수신 버퍼의 언더플로우를 회피시킬 수 있다.
수신 버퍼의 상태의 감시 이외에도, 수신측 단말기에서의 재생 능력이 한정되고 있어서, 재생하여야 할 화상이 복수 있는 경우, 수신측 단말기에서, 우선하여 재생할 화상을 이용자가 명시적으로 결정하거나, 단말기측에서, 우선하여 재생할 화상을 자동적으로 결정할 필요가 있다(미리, 이용자에 의해 우선하여 재생할 화상은 어느 것인지를, 규칙으로서 수신 단말기에 등록해 놓을 필요가 있다. 예를 들면, 화상 크기가 작은 것은 우선한다거나, 배경 화상으로서 표시하는 것은 재생 간격은 크게해도 된다거나). 예를 들면, 수신측 단말기의 부하(예를 들면, 재생에 필요한 CPU의 점유 시간)를 송신측의 단말기로 통지해 줌으로써, 간단하게 실현할 수 있다.
수신측 단말기의 재생의 부하가 단말기의 처리 능력의 80%를 넘으면, 그 수신측 단말기가 과부하로 되어 있다는 것을 송신측으로 통지하고, 송신측에서는 그것을 받아, 상술한 바와 같은 방법으로, 수신측 단말기가 처리할 부하가 낮아지도록, 화상 압축 방식(예를 들면, MPEG1로부터 실행 길이로 변경시켜 처리량을 줄임), 화상 압축의 유무(화상 압축하여, 송신하는 것을 일시 중단시킴), 압축의 우선도의 변경(중요도가 낮은 화상에 대해서는, 압축하기 위한 우선도를 낮추고, 중요도가 높은 화상을 우선하여 압축하여 송출함), 화상 크기의 변경(CIF에서 QCIF로 압축할 화상 크기를 변경하여, 재생측 부하를 줄임), 양자화 단계의 변경(화질의 변경에 의해 압축 화상의 송출량을 줄임) 방법, 프레임수를 조정하는 방법, 과부하시의 처리의 우선도에 따라 처리하는 방법을 적절히 선택 또는 조합하여 실시함으로써 수신측 단말기에서의 처리량을 경감시킨다.
반대로, 부하가 수신측 단말기의 처리 능력의 20%를 하회한 경우에는, 수신측 단말기의 처리 능력에 여유가 있는 것으로 하여, 전술한 바와는 반대의 방법으로, 송신측 단말기에서, 화상 압축 방식, 화상 압축의 유무, 화상 압축의 우선도, 화상의 크기, 양자화 단계, 프레임수를 적절히 선택, 조합함으로써, 고화질이고 프레임 간격이 짧은 화상을 수신측 단말기로 송출한다. 이에 따라, 수신측 단말기의 능력을 살린 화상 전송이 가능해진다.
마지막으로, 수신측 단말기의 처리 상황을 아는 방법으로서는, 수신측 화상 합성 장치로부터의 수신 확인의 응답 시간에 의해 알 수 있다. 예를 들면, 송신측 단말기에서 수신측 단말기로 화상 데이터를 송출한 경우, 수신측 단말기가 화상 데이터를 수신한 것이나 복호 처리, 합성이나 표시 처리가 완료된 것을 송신측 단말기로 응답하는 경우, 그 응답 시간이, 예를 들면, 통상값으로서 1초 이내인 경우, 수신측 단말기의 부하의 증대에 따라, 그 응답 시간은 5초와 같이 길어진다(통상값은, 단말기 접속시 한번 측정하여도 되고, 통신시 정기적으로 측정해도 되며, 이용자가 지시해도 됨. 또한, 응답 시간의 측정은 주기적으로 행해도 되고, 단말기의 부하나 전회의 응답 시간의 결과에 관련시켜 측정 간격을 변화시켜도 됨). 이 응답시간의 변화에 따라, 전술한 화상 압축 방식, 화상 압축의 유무, 화상 압축의 우선도, 화상의 크기, 양자화 단계를 적절히 선택, 조합함으로써, 수신 단말기로부터의 부하를 저감시킬 수 있으므로, 응답 시간을 단축시킬 수 있다(도 16의 케이스 1 참조). 수신 단말기에서의 재생 시각 또는 복호 시각을 수신하여 상기와 같은 처리를 행해도 된다.
한편, 수신측 단말기의 상태를 고려한 방법으로서, 전술한 수신측 단말기의 수신 버퍼의 용량, 수신측 단말기의 부하, 수신측 단말기의 응답 시간을 측정하는 방법을 각각 단독으로 이용하는 것이 아니라, 적절히 선택하여, 조합하여 이용해도 된다(음성에 대해서도 같은 방법을 적용할 수 있음). 또한, 수신측 단말기에서 우선도 정보에 기초하여 처리한 화상이나 음성에 관한 정보(복수의 화상 스트림, 음성 스트림이 존재할 때, 수신측 단말기에서 실제로 처리된 화상, 음성 스트림은 어느 스트림이고, 재생된 화상 스트림은 매초 어느 프레임이었는가의 정보)를, 통신로를 통하여 송신 장소로 송신함으로써, 송신측에서 수신측의 단말기로의 화상 데이터 송신이, 수신 단말기의 처리량을 넘는 양이 되는 것을 미연에 막을 수 있다 (도 16의 케이스 2 참조, 실제로 처리된 화상 데이터에 대하여 앎으로써, 송신측 양자화 파라미터, 화상 크기 등의 정보량을 조정할 수 있게 된다. 또, 이 예로서는, 프레임 단위로 처리의 피드백되고 있지만, 상술한 바와 같이, 예를 들면, H.263이면 GOB와 같이 독립하여 취급할 수 있는 화상 단위여도 된다). 이상의 방법은, 음성에 대해서도 마찬가지로 적용할 수 있다.
도 13은 본 발명의 제 1 실시예의 화상 압축 장치에 대하여 설명하는 도면이다. 또한, 본 실시예는, 화상에 대한 예를 설명하고 있지만, 음성의 압축에 대해서도 적용할 수 있다. 도 13의 예에서는, 화상 입력 수단(1207)마다 양자화 단계를 변화시키거나, 화상 입력 수단(l207)에 대한 제어에 의해 수신측 단말기에서의 수신 상황이 변화한 경우, 양자화 단계를 추종하여 변화시킴으로써, 압축 화상의 발생량의 증대를 저감시키고자 하는 것이다. 도 13의 화상 압축 장치는, 양자화 단계에 관한 정보를 관리하는 양자화 단계 관리부(1201), 화상 입력 수단(1207)의 제어 상태를 관리하는 화상 입력 관리부(1202), 수신측 단말기 장치의 수신 버퍼의 상황을 감시하는 타 단말기 제어 요구 관리부(1203), 제어의 시간적인 추이를 기록, 관리하는 조작 관리부(1204), 화상 압축을 행하는 수단인 화상 압축부(1205), 압축 결과를 통신로나 기억 장치로 출력하는 출력부(1206), 화상 입력을 행하는 화상 입력 수단(1207) 및 이들 각 부분을 관리하고, 또한 관리하는 제어를 행하는 화상 처리 결정 제어 수단(1208)으로 구성된다.
한편, 화상 압축 방법으로서는, JPEG, MPEG1/2, H.261, H.263과 같은 표준화되어 있는 방식이어도 되고, 웨이브레트(wavelet)나 프렉탈(fractal)과 같은 표준화되어 있지 않은 방식이어도 된다. 화상 입력 수단(1207)은 카메라나, 비디오, 옵티컬·디스크와 같은 기록 장치어도 된다.
이 화상 압축 장치의 이용 방법으로서는, 화상 입력 수단(1207)이 카메라인 경우, 수신측 단말기에 의해 송신측의 단말기의 카메라가 조작되었을 때나 송신측에서 카메라 조작이 행해졌을 때, 화질이 크게 변화하기 때문에, 송출되는 부호화량은 변동한다. 예를 들면, 카메라의 콘트라스트를 올린 경우, 화상은 잘 보이게 되지만, 송출할 부호화량은 증가한다. 그래서, 콘트라스트의 향상과 동시에 상술한 바와 같이 부호화량을 저감시키기 위해, 화상 압축 방식, 화상 압축의 유무, 화상 압축의 우선도, 화상의 크기, 양자화 단계, 프레임수를 적절히 선택, 조합함으로써, 부호화량을 억제할 수 있다.
여기에서 설명하는 카메라 조작은, 카메라를 이동시키는 방향(팬(pan), 틸트(tilt), 줌(zoom)), 콘트라스트, 포커스, 카메라 위치(예를 들면, 도면을 촬영하는 경우는 카메라를 아래쪽을 향하고, 인물을 촬영할 때는 수평으로 함)를 들 수 있다. 화상 압축 방식을 변경하는 방법으로서는, 카메라를 아래쪽으로 향한 경우에는, 문서 화상을 촬영하고 있는 것으로 판단하여, 실행 길이로 화상을 전송하고, 카메라가 수평 방향으로 향하고 있는 경우에는, 인물의 얼굴 모양을 촬영하는 것으로 하여, H.261로 촬영하여 화상 전송을 행하는 방법을 들 수 있다. 이에 따라, 불필요한 정보의 전송을 저감시킬 수 있게 된다.
또한, 복수의 카메라가 존재하고, 복수의 카메라로부터 얻어지는 영상을 전송할 필요가 있는 경우, 통신 용량이 한정되는 경우는, 이용자가 주목하고 있는 카메라의 영상의 화질이나 프레임수를 많게 하여 잘 보이게 하고, 주목하지 않는 카메라의 화질이나 프레임수는 저감하는 방법을 생각할 수 있다. 주목하고 있는 카메라로부터 얻어지는 영상의 화질이나 프레임수를 조작함으로써, 정보량이 증대하기 때문에, 그에 따라 주목하지 않는 카메라로부터 얻어지는 영상을 제한하여 발생 정보량을 조정할 필요가 있다. 발생하는 정보량을 조정하는 방법으로서는, 화상 크기, 양자화 단계의 값, 프레임수 등을 조정하는 방법을 들 수 있다. 한편, 복수의 카메라를 이용하여 광시야 화상을 작성하는 경우의 예에서는, 도 15를 이용하여 후술한다.
도 14는 조작 관리부(1204)가 관리하는 정보의 예이다. 도 14의 예에서는, 화상 크기, 카메라 제어, 타 단말기의 제어 요구, 양자화 단계, 도시하지 않은 프레임수에 대하여 관리된다. 이들 관리 정보에 따라, 수신측 단말기의 수신 버퍼가 오버플로우하지 않도록, 양자화 단계와 카메라 조작의 관계를 이력 정보로서 기록, 관리함으로써, 카메라 조작에 대한 제한을 이용자에게 가할 수 있다. 또한, 양자화 단계이나 화상 크기, 프레임수 등을 자동적으로 변경시킴으로써, 카메라 조작에 따른 수신측 단말기의 수신 버퍼의 오버플로우나 언더플로우를 미연에 방지할 수 있다.
도 15에, 상기 화상 압축 장치를 광시야 화상을 작성하는 용도로 응용한 예를 나타낸다. 도 15도의 예에서는, 복수의 카메라로부터 입력된 화상을 입력부(1407)에서 취득한다. 그 얻어진 복수의 화상을 수신 단말기(1408)측에서 이음매없이 접합(합성)할 때, 수신 단말기(1408)가 과부하가 되면 단말기가 파탄을 초래하므로, 그것을 방지하기 위해, 수신 단말기에서의 과부하시의 처리를 행할 화상의 순서를 정의한 우선도를 화상에 부가한다. 이에 따라, 수신 단말기(1408)측이 과부하가 되는 것을 막을 수 있다.
도 15에 나타내는 화상 압축 장치는, 복수의 카메라(N대)를 구비한 입력부(1407)와, 그 입력부(1407)에서 얻어진 각각의 화상에 대하여 우선도의 부가를 행하는 우선도 결정 제어부(1401)와, 이용자가 (특히, 주목하여 보고 싶다고 생각하여) 카메라를 지시, 조작한 조작 이력을 관리하는 조작 이력 관리부(1402)와, 화상의 화질을 제어하는 화질 제어부(1403)와, 카메라로부터 얻어진 화상을 우선도에 따라 합성하는 화상 합성부(1404)(우선도가 낮은 화상은 합성하지 않아도 됨)와, 합성 결과를 출력하는 출력부(1405)와, 상기 각 부를 제어하는 압축 제어부(1406)로 구성된다. 출력부(1405)는 통신로를 통해 수신 단말기(1408)에 접속되어 있다.
출력부(1405)의 출력 장소는, 기록 장치나 통신로여도 된다. 또한, 화상의 합성은 반드시 송신측의 단말기에서 행할 필요는 없다. 우선도가 부가된 화상을 통신로를 통해, 수신측 단말기로 송신하여, 수신 단말기측에서 합성해도 된다. 또, 얻어진 복수의 화상을 송신측 단말기에서 합성하여, 수신측 단말기에서 재생을 행하는 경우, 얻어진 화상을 송신측에서 수신 단말기에서 필요로 하는 (표시의) 우선도가 높은 순서로 합성하여, 전송로를 사용하여 합성 화상을 수신 단말기 장치로 전송한다.
우선도의 부가 방법으로서는, 이용자가 지시한 카메라로 얻어진 화상, 과거에 지시가 많았던 카메라에서 얻어진 화상으로부터 차례로 높은 우선도, 높은 화질(예를 들면, 프레임수가 많고, 해상도가 높게)이 되도록 하면 된다(반드시 높은 우선도의 화상을 고화질로 할 필요는 없음). 이에 따라, 이용자의 주목 정도가 큰 화상이 고화질이고, 우선적으로 표시된다. 화상에 부가된 우선도에 따라 송신측 단말기부터의 화상 전송을 제어하거나, 수신측 단말기에서의 화상의 신장이나 표시를 제어함으로써, 이용자에서의 단말기의 응답성을 확보할 수 있다.
또한, 우선도, 화질이 높은 화상, 프레임 매수가 많은 화상으로부터 차례로, 인접하는 접합된 화상에 대하여 단계적으로 우선도나 화질을 낮춘다(우선도의 관리는, 송신측 단말기에서 관리애도 되고, 수신측 단말기에서 관리해도 됨). 우선도의 결정 방법으로서는, 반드시 카메라의 조작 이력에 기초하는 것이 아니어도 된다. 상술한 바와 같이, 압축할 때 걸린 로컬·디코드의 시간에 따라 우선도의 결정을 행해도 되고, 우선도, 화질이 좋은 화상, 프레임 매수가 많은 화상으로부터 차례로, 주변의 화상에 대하여, 처리의 실시 회수를 규정하는 실시율을 정의해도 된다. 또, 음성에 대해서도, 복수 있는 카메라마다 마이크를 설치하여, 음성 압축의 유무를 제어함으로써, 이용자가 주목하고 있는 방향의 화상에 대응하는 음성만을 합성할 수 있게 된다.
또한, 상술한 바와 같이, 송신측 단말기와 수신측 단말기의 사이에서의 응답시간을 참조하여, 양자화 단계나 프레임수를 결정해도 된다. 또한, 수신측 단말기에서 과부하 시에 우선도 정보에 따라 처리된 화상에 관한 정보를, 통신로를 통하여 송신 장소로 송신함으로써, 송신측에서 수신측 단말기로의 화상 데이터 송신을 수신 단말기의 처리량을 넘는 양이 되는 것을 미연에 방지할 수 있다. 또한, 수신 단말기에서의 프레임 스킵의 상태를 송신측으로 전송함으로써, 그 상태에 따라 데이터량을 조절할 수 있다.
또, 화상은 재전송을 행하는 전송 방법으로 전송하고, 음성은 재전송을 하지 않은 전송 방법으로 전송하여, 수신측 단말기가, 화상의 재전송 횟수, 수신된 음성의 에러율, 폐기율에 관한 정보 중 어느 하나의 정보를 송신측 단말기에 전송하는 구성으로 한다. 그렇게 하여 송신측 단말기에서 화상의 압축 방식, 양자화 단계의 값, 프레임수, 압축할 화상의 크기, 화상 압축의 유무 중 어느 하나를 결정함으로써, 화상이 흩뜨러지지 않고, 음성 전송의 지연을 작게 하는 등의 제어가 가능해진다. 예를 들면, TCP/IP를 이용한 통신에서는, 화상의 전송은 TCP로, 음성의 전송은 UDP로 행함으로써 실현된다(영상과 음성은 물리적으로 같은 전송로에 있어도 되고, 없어도 된다). 또, 통신 방식은 TCP/IP만으로 한정되지 않는다. 이 방식은, 복수의 영상이나 음성을 동시에 전송하는 경우, 각각의 음성마다 폐기율이나 에러율을 정의하여, 복수의 영상 압축 방법이나 전송 방법을 제어해도 된다.
마지막으로, 통상, 아날로그 전화 회선을 이용한 낮은 비트 레이트의 화상 전송이나, 화상의 내용이 크게 변동하는 경우, 화상에 큰 블록 노이즈, 물결 무늬(moire)가 발생한다. 이러한 경우에 압축 처리만으로 화상의 품질을 유지하는 것은 어렵다. 그래서, 화상의 출력측 모니터에 저역의 신호만을 투과시키는 필터(예를 들면, 화상 처리에 의한 로우 패스·필터, 또는 물리적인 편광 필터)를 이용하면, 화상은 흐릿해진 느낌이 되기는 하지만, 노이즈나 물결 무늬가 없는 화상을 얻을 수 있다.
이상 설명한 것에서 명백해지는 바와 같이, 본 발명은 동시에 복수의 영상이나 음성의 복호, 합성을 행하는 경우, 단말기의 부하 상황에 따라 우선도에 기초하여 처리량을 제어할 수 있다는 장점을 갖는다.
또한, 본 발명은, 요금 부과 상황에 따라 복수의 영상이나 음성을 합성할 수 있다는 이점이 있다.

Claims (9)

  1. 화상 정보를 부호화하고, 각 화상에 대하여 1, P, B 픽처로서 픽처 식별자를부여하는 화상 부호화 수단,
    각 부호화된 화상 정보와, 상기 픽처 식별자로부터 독립한 우선도 식별자를대응시키는 우선도 부가 수단, 및
    상기 우선도 식별자를 갖는 부호화 화상 정보를 송신 또는 기억하는 송신 관리 수단을 포함하는 화상 부호화 장치와,
    상기 부호화 화상 정보의 수신 또는 판독을 행하는 수신 관리 수단, 및
    상기 우선도 식별자를 갖는 부호화 화상 정보를 복호화하는 화상 복호화 수단을 포함하는 화상 복호화 장치를 구비하고,
    상기 우선도 식별자는 상기 화상 복호화 장치의 처리 능력에 따라서, 각 화상이 상기 화상 복호화 수단에 의해서 처리되는가, 처리되지 않는가를 결정하기 위하여 이용되는 것을 특징으로 하는 화상 복호화 부호화 장치.
  2. 화상 정보를 부호화하고, 각 화상에 대하여 1, P, B 픽처로서 픽처 식별자를부여하는 화상 부호화 수단과,
    각 부호화된 화상 정보와, 상기 픽처 식별자로부터 독립한 우선도 식별자를대응시키는 우선도 부가 수단과,
    상기 우선도 식별자를 갖는 부호화 화상 정보를 화상 복호화 장치에 송신 또는 기억하는 송신 관리 수단을 구비하고,
    상기 우선도 식별자는 상기 화상 복호화 장치의 처리 능력에 따라서, 각 화상이 상기 화상 복호화 장치에 의해서 처리되는가, 처리되지 않는가를 결하기 위하여 이용되는 것을 특징으로 하는 화상 부호화 장치.
  3. 화상 부호화 장치로부터 전송된 우선도 식별자를 갖는 부호화 화상 정보 및 각 화상에 대하여 1, P, B 픽처를 식별하는 픽처 식별자를 수신 또는 판독하는 수신 관리 수단과,
    상기 우선도 식별자를 갖는 부호화 화상 정보를 복호화하는 화상 복호화 수단을 구비하는 화상 복호화 장치로서,
    상기 우선도 식별자는 상기 픽처 식별자로부터 독립하고 있고, 또 상기 화상 복호화 장치의 처리 능력에 따라서, 각 화상이 상기 화상 복호화 수단에 의해서 처리되는가, 처리되지 않는가를 결정하기 위하여 이용되는 것을 특징으로 하는 화상 복호화 장치 .
  4. 화상 정보를 부호화하고, 각 화상에 대하여 1, P, B 픽처로서 픽처 식별자를부여하는 화상 부호화 수단,
    각 부호화된 화상 정보와, 상기 픽처 식별자로부터 독립한 우선도 식별자를대응시키는 우선도 부가 수단, 및
    상기 우선도 식별자를 갖는 부호화 화상 정보를 송신 또는 기억하는 송신 관리 수단을 포함하는 화상 부호화 장치와,
    상기 부호화 화상 정보의 수신 또는 판독을 행하는 수신 관리 수단, 및
    상기 우선도 식별자를 갖는 부호화 화상 정보를 복호화하는 화상 복호화 수단을 포함하는 화상 복호화 장치를 구비하고,
    상기 우선도 식별자는 상기 화상 복호화 장치의 처리 부하에 따라서, 각 화상이 상기 화상 복호화 수단에 의해서 처리되는가, 처리되지 않는가를 결정하기 위하여 이용되는 것을 특징으로 하는 화상 복호화 부호화 장치.
  5. 화상 정보를 부호화하고, 각 화상에 대하여 1, P, B 픽처로서 픽처 식별자를부여하는 화상 부호화 수단과,
    각 부호화된 화상 정보와, 상기 픽처 식별자로부터 독립한 우선도 식별자를대응시키는 우선도 부가 수단과,
    상기 우선도 식별자를 갖는 부호화 화상 정보를 화상 복호화 장치에 송신 또는 기억하는 송신 관리 수단을 구비하고,
    상기 우선도 식별자는 상기 화상 복호화 장치의 처리 부하에 따라서, 각 화상이 상기 화상 복호화 장치에 의해서 처리되는가, 처리되지 않는가를 결정하기 위하여 이용되는 것을 특징으로 하는 화상 부호화 장치.
  6. 화상 부호화 장치로부터 전송된 우선도 식별자를 갖는 부호화 화상 정보 및 각 화상에 대하여 1, P, B 픽처를 식별하는 픽처 식별자를 수신 또는 판독하는 수신 관리 수단과,
    상기 우선도 식별자를 갖는 부호화 화상 정보를 복호화하는 화상 복호화 수단을 구비하는 화상 복호화 장치로서,
    상기 우선도 식별자는 상기 픽처 식별자로부터 독립하고 있고, 또 상기 화상 복호화 장치의 처리 부하에 따라서, 각 화상이 상기 화상 복호화 수단에 의해서 처리되는가, 처리되지 않는가를 결정하기 위하여 이용되는 것을 특징으로 하는 화상 복호화 장치 .
  7. 화상 정보를 부호화하고, 각 화상에 대하여 1, P, B 픽처로서 픽처 식별자를부여하는 화상 부호화 수단,
    각 부호화된 화상 정보와, 상기 픽처 식별자로부터 독립한 우선도 식별자를대응시키는 우선도 부가 수단, 및
    상기 우선도 식별자를 갖는 부호화 화상 정보를 송신 또는 기억하는 송신 관리 수단을 포함하는 화상 부호화 장치와,
    상기 부호화 화상 정보의 수신 또는 판독을 행하는 수신 관리 수단, 및
    상기 우선도 식별자를 갖는 부호화 화상 정보를 복호화하는 화상 복호화 수단을 포함하는 화상 복호화 장치를 구비하고,
    상기 우선도 식별자는 상기 화상 복호화 장치의 과부하 시에 각 화상이 상기화상 복호화 수단에 의해서 처리되는가, 처리되지 않는가를 결정하기 위하여 이용되는 것을 특징으로 하는 화상 복호화 부호화 장치.
  8. 화상 정보를 부호화하고, 각 화상에 대하여 1, P, B 픽처로서 픽처 식별자를부여하는 화상 부호화 수단과,
    각 부호화된 화상 정보와, 상기 픽처 식별자로부터 독립한 우선도 식별자를대응시키는 우선도 부가 수단과,
    상기 우선도 식별자를 갖는 부호화 화상 정보를 화상 복호화 장치에 송신 또는 기억하는 송신 관리 수단을 구비하고,
    상기 우선도 식별자는 상기 화상 복호화 장치의 과부하 시에 각 화상이 상기화상 복호화 장치에 의해서 처리되는가, 처리되지 않는가를 결정하기 위하여 이용되는 것을 특징으로 하는 화상 부호화 장치.
  9. 화상 부호화 장치로부터 전송된 우선도 식별자를 갖는 부호화 화상 정보 및 각 화상에 대하여 1, P, B 픽처를 식별하는 픽처 식별자를 수신 또는 판독하는 수신 관리 수단과,
    상기 우선도 식별자를 갖는 부호화 화상 정보를 복호화하는 화상 복호화 수단을 구비하는 화상 복호화 장치로서,
    상기 우선도 식별자는 상기 픽처 식별자로부터 독립하고 있고, 또 상기 화상 복호화 장치의 과부하 시에 각 화상이 상기 화상 복호화 수단에 의해서 처리되는가, 처리되지 않는가를 결정하기 위하여 이용되는 것을 특징으로 하는 화상 복호화 장치.
KR10-1998-0702566A 1996-08-07 1997-08-01 화상음성복호화장치와화상음성부호화장치및정보전송시스템 KR100465553B1 (ko)

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
JP???8-208147 1996-08-07
JP20814796 1996-08-07
JP96-208147 1996-08-07
JP96-209942 1996-08-08
JP20994296 1996-08-08
JP???8-209942 1996-08-08
JP96-301559 1996-11-13
JP30155996 1996-11-13
JP???8-301559 1996-11-13
PCT/JP1997/002696 WO1998006222A1 (en) 1996-08-07 1997-08-01 Picture and sound decoding device, picture and sound encoding device, and information transmission system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR10-2004-7003433A Division KR100471176B1 (ko) 1996-08-07 1997-08-01 화상 복호화 장치와 음성 복호화 장치

Publications (2)

Publication Number Publication Date
KR19990064087A KR19990064087A (ko) 1999-07-26
KR100465553B1 true KR100465553B1 (ko) 2005-06-21

Family

ID=27328846

Family Applications (2)

Application Number Title Priority Date Filing Date
KR10-1998-0702566A KR100465553B1 (ko) 1996-08-07 1997-08-01 화상음성복호화장치와화상음성부호화장치및정보전송시스템
KR10-2004-7003433A KR100471176B1 (ko) 1996-08-07 1997-08-01 화상 복호화 장치와 음성 복호화 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR10-2004-7003433A KR100471176B1 (ko) 1996-08-07 1997-08-01 화상 복호화 장치와 음성 복호화 장치

Country Status (8)

Country Link
US (1) US7006575B2 (ko)
EP (1) EP0854652B1 (ko)
JP (1) JP4153995B2 (ko)
KR (2) KR100465553B1 (ko)
CN (1) CN1151683C (ko)
DE (1) DE69740053D1 (ko)
TW (1) TW357299B (ko)
WO (1) WO1998006222A1 (ko)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002142165A (ja) * 2000-11-01 2002-05-17 Asobous:Kk デジタルｔｖ送受信システムにおける映像のプレイバック方式
EP1213912A3 (en) * 2000-12-07 2005-02-02 Sony United Kingdom Limited Methods and apparatus for embedding data and for detecting and recovering embedded data
DE10291291D2 (de) * 2001-03-27 2004-04-15 Voxar Ag Verfahren und Vorrichtung zur Übertragung von Video- und/oder Audiodaten
JP2003032639A (ja) * 2001-05-09 2003-01-31 Monolith Co Ltd 画像処理方法と装置およびそれらに利用可能なコンテンツ記録方法
JP2002359842A (ja) * 2001-05-31 2002-12-13 Monolith Co Ltd 画像符号化方法と装置および画像復号方法と装置
US20020194606A1 (en) * 2001-06-14 2002-12-19 Michael Tucker System and method of communication between videoconferencing systems and computer systems
ITMI20011309A1 (it) * 2001-06-21 2002-12-21 St Microelectronics Srl Metodo di memorizzazione di un file dati in particolare in formato cosiddetto mpeg
JPWO2003041408A1 (ja) * 2001-11-05 2005-03-03 松下電器産業株式会社 映像伝送システムにおいて利用される端末装置
FR2832887B1 (fr) * 2001-11-28 2005-09-16 Medialive Methode pour acceder aux courriers electroniques video et multimedia
US7436885B2 (en) * 2002-10-09 2008-10-14 Hewlett-Packard Development Company, L.P. Method for presenting streaming media
FI116113B (fi) * 2002-11-29 2005-09-15 Jutel Oy Menetelmä ja järjestelmä radio-ohjelman lähettämiseksi
KR100503452B1 (ko) * 2002-12-27 2005-07-25 삼성전자주식회사 멀티미디어 데이터 기록장치
JP2004215021A (ja) * 2003-01-06 2004-07-29 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラム及び記録媒体
NO20040978A (no) * 2004-03-05 2005-06-13 Tandberg Telecom As Fremgangsmåte for avbruddsfri konferansesamtale
WO2005096162A1 (ja) * 2004-03-18 2005-10-13 Matsushita Electric Industrial Co., Ltd. アービトレーション方法及び装置
WO2007052350A1 (ja) * 2005-11-02 2007-05-10 Mitsubishi Denki Kabushiki Kaisha デジタル放送受信機
JP2007133489A (ja) * 2005-11-08 2007-05-31 Sony Corp 仮想空間画像表示方法、装置、仮想空間画像表示プログラム及び記録媒体
JP5030495B2 (ja) * 2006-07-14 2012-09-19 ソニー株式会社 再生装置、再生方法、プログラム、および記録媒体
JP2008040347A (ja) * 2006-08-09 2008-02-21 Toshiba Corp 画像表示装置、画像表示方法および画像表示プログラム
US7456760B2 (en) * 2006-09-11 2008-11-25 Apple Inc. Complexity-aware encoding
KR100827802B1 (ko) * 2006-10-24 2008-05-07 삼성전자주식회사 휴대 단말기의 화상 통화 장치 및 화상 통화 송수신방법
JP2009044328A (ja) * 2007-08-07 2009-02-26 Seiko Epson Corp 会議システム、サーバ、画像表示方法、コンピュータプログラム及び記録媒体
US8117546B2 (en) * 2007-08-26 2012-02-14 Cyberlink Corp. Method and related display device for displaying pictures in digital picture slide show
US20090304086A1 (en) * 2008-06-06 2009-12-10 Apple Inc. Method and system for video coder and decoder joint optimization
JP5664241B2 (ja) * 2008-08-28 2015-02-04 住友電気工業株式会社 動画像データの配信方法
US8976856B2 (en) 2010-09-30 2015-03-10 Apple Inc. Optimized deblocking filters
JP5784353B2 (ja) * 2011-04-25 2015-09-24 オリンパス株式会社 画像表示装置
CN104681033A (zh) * 2013-12-02 2015-06-03 联想(北京)有限公司 一种信息编码、解码方法及电子设备
EP3879819A4 (en) * 2018-11-06 2022-01-05 Sony Group Corporation INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING METHOD
JP7381285B2 (ja) 2019-10-15 2023-11-15 ファナック株式会社 補助電源装置及び産業機械
WO2023276279A1 (ja) 2021-07-02 2023-01-05 ソニーグループ株式会社 画像処理装置、画像処理方法、プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07298258A (ja) * 1994-04-28 1995-11-10 Nippon Telegr & Teleph Corp <Ntt> 画像符号化復号化方法
JPH08149420A (ja) * 1994-11-18 1996-06-07 At & T Corp ビデオビットストリームの伝送方法および装置

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PT77084B (en) * 1982-07-23 1986-01-27 British Telecomm Improvements relating to data transmission
JPS621384A (ja) * 1985-06-27 1987-01-07 Toshiba Corp 画像情報処理方式
JPS62231379A (ja) 1986-03-31 1987-10-09 Namuko:Kk 画像合成装置
JPH02195787A (ja) 1989-01-24 1990-08-02 A T R Tsushin Syst Kenkyusho:Kk 映像通信装置
JPH043684A (ja) * 1990-04-20 1992-01-08 Matsushita Electric Ind Co Ltd 可変レート動画像符号化装置
JPH04145786A (ja) * 1990-10-08 1992-05-19 Nec Corp 映像音声伝送装置
US5212742A (en) * 1991-05-24 1993-05-18 Apple Computer, Inc. Method and apparatus for encoding/decoding image data
JP2515643B2 (ja) 1991-08-15 1996-07-10 新日本製鐵株式会社 帯状体の蛇行挙動解析方法
JP3133113B2 (ja) 1991-10-28 2001-02-05 株式会社日立製作所 圧縮動画データ伸長再生システム
FR2684829A1 (fr) * 1991-12-04 1993-06-11 Philips Electronique Lab Methodes de synthese de signaux de texture et de transmission et/ou stockage de tels signaux, ainsi que dispositifs et systemes pour leur mise en óoeuvre.
EP0547696B1 (fr) * 1991-12-18 1999-04-21 Laboratoires D'electronique Philips S.A.S. Système de transmission et/ou stockage de signaux correspondant à des images texturées
US5325126A (en) * 1992-04-01 1994-06-28 Intel Corporation Method and apparatus for real time compression and decompression of a digital motion video signal
JPH06105226A (ja) 1992-09-17 1994-04-15 Nec Corp 画像合成装置
JPH06153198A (ja) * 1992-11-12 1994-05-31 Matsushita Electric Ind Co Ltd 映像配信方法および映像配信装置
US5377051A (en) * 1993-01-13 1994-12-27 Hitachi America, Ltd. Digital video recorder compatible receiver with trick play image enhancement
JP3261844B2 (ja) * 1993-01-13 2002-03-04 株式会社日立製作所 デジタルビデオ記録装置及び記録方法
JP2606074B2 (ja) 1993-06-15 1997-04-30 日本電気株式会社 画像暗号化伝送方式
JPH07111647A (ja) 1993-10-14 1995-04-25 Matsushita Electric Ind Co Ltd 信号処理装置
JPH07336666A (ja) 1994-06-08 1995-12-22 Matsushita Electric Ind Co Ltd 信号処理装置
EP0648055B1 (en) * 1993-10-12 2000-01-19 Matsushita Electric Industrial Co., Ltd. Scrambling system, scrambling apparatus and descrambling apparatus
US5416520A (en) * 1993-11-30 1995-05-16 Intel Corporation Multiple encoder output buffer apparatus for differential coding of video information
JPH07261776A (ja) * 1994-03-24 1995-10-13 Brother Ind Ltd 映像再生装置
JPH08154219A (ja) * 1994-11-29 1996-06-11 Matsushita Electric Ind Co Ltd テレビジョン装置
JPH08172616A (ja) 1994-12-19 1996-07-02 Matsushita Electric Ind Co Ltd スクランブル伝送方法およびスクランブル装置およびスクランブル信号再生方法およびデスクランブル装置およびスクランブル信号再生装置
JP2865016B2 (ja) 1995-04-14 1999-03-08 日本電気株式会社 画像再生装置
JP3283159B2 (ja) 1995-07-07 2002-05-20 日本電信電話株式会社 ソフトウェアによる画像符号化方法
US5790770A (en) * 1995-07-19 1998-08-04 Fujitsu Network Communications, Inc. Method and apparatus for reducing information loss in a communications network
US6266327B1 (en) * 1998-03-20 2001-07-24 Lucent Technologies Inc. Non-conformance indicator for the guaranteed frame rate service

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07298258A (ja) * 1994-04-28 1995-11-10 Nippon Telegr & Teleph Corp <Ntt> 画像符号化復号化方法
JPH08149420A (ja) * 1994-11-18 1996-06-07 At & T Corp ビデオビットストリームの伝送方法および装置

Also Published As

Publication number Publication date
DE69740053D1 (de) 2010-12-30
TW357299B (en) 1999-05-01
KR100471176B1 (ko) 2005-03-14
EP0854652A1 (en) 1998-07-22
US20020154699A1 (en) 2002-10-24
EP0854652B1 (en) 2010-11-17
CN1205154A (zh) 1999-01-13
JP4153995B2 (ja) 2008-09-24
KR20040036936A (ko) 2004-05-03
US7006575B2 (en) 2006-02-28
CN1151683C (zh) 2004-05-26
KR19990064087A (ko) 1999-07-26
WO1998006222A1 (en) 1998-02-12
EP0854652A4 (en) 2008-11-26

Similar Documents

Publication Publication Date Title
KR100465553B1 (ko) 화상음성복호화장치와화상음성부호화장치및정보전송시스템
US5550593A (en) Multiplex communication system using separated and multiplexed data
KR100557103B1 (ko) 데이터 처리방법 및 데이터 처리장치
KR101426097B1 (ko) 정보 처리 장치 및 방법과, 프로그램
JP3516585B2 (ja) データ処理装置及びデータ処理方法
US5861905A (en) Digital television system with artificial intelligence
EP1090506A1 (en) A method for transmitting video images, a data transmission system and a multimedia terminal
JP2003169329A (ja) 画像音声符号化復号化装置
EP2538670A1 (en) Data processing unit and data encoding device
JP3462267B2 (ja) 情報通信端末装置
JP2004328204A (ja) 映像信号処理装置
JP2003235041A (ja) リアルタイム画像符号化装置
US20070040897A1 (en) Video communication apparatus and video communication method
JP4102223B2 (ja) データ処理装置及びデータ処理方法
KR100530919B1 (ko) 동화상 데이터의 처리 및 송수신 방법 및 장치
JP3519722B2 (ja) データ処理方法及びデータ処理装置
JP3448047B2 (ja) 送信装置及び受信装置
JP2007221826A (ja) 受信端末および受信方法
KR100713363B1 (ko) 이동통신 시스템에서 엠펙 전송 장치 및 방법
KR100530920B1 (ko) 화상 · 음성 송신장치 및 수신장치
EP1571769A1 (en) Encoding/transmission device and encoding/transmission method
JPH10164565A (ja) 撮像制御方法と装置及び撮像システムと前記方法を実行するプログラムを記憶した記憶媒体
JP2011078068A (ja) 映像伝送方式
JP2006304309A (ja) 送信装置、受信装置および通信システム
JP2004135081A (ja) 画像配信システム、その画像配信システムに利用可能な画像配信装置および方法、記録再生装置および方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
A107 Divisional application of patent
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20111202

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20121203

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee