KR100763269B1 - 화상 부호화 데이터의 전환 방법 및 장치, 시스템 및 프로그램을 기록한 기록 매체 - Google Patents

화상 부호화 데이터의 전환 방법 및 장치, 시스템 및 프로그램을 기록한 기록 매체 Download PDF

Info

Publication number
KR100763269B1
KR100763269B1 KR20050076655A KR20050076655A KR100763269B1 KR 100763269 B1 KR100763269 B1 KR 100763269B1 KR 20050076655 A KR20050076655 A KR 20050076655A KR 20050076655 A KR20050076655 A KR 20050076655A KR 100763269 B1 KR100763269 B1 KR 100763269B1
Authority
KR
South Korea
Prior art keywords
image data
encoding
coded
data
coded image
Prior art date
Application number
KR20050076655A
Other languages
English (en)
Other versions
KR20060053201A (ko
Inventor
히로아키 데이
카즈히로 코야마
카즈노리 오자와
Original Assignee
닛본 덴끼 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 닛본 덴끼 가부시끼가이샤 filed Critical 닛본 덴끼 가부시끼가이샤
Publication of KR20060053201A publication Critical patent/KR20060053201A/ko
Application granted granted Critical
Publication of KR100763269B1 publication Critical patent/KR100763269B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234354—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering signal-to-noise ratio parameters, e.g. requantization
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/632—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing using a connection between clients on a wide area network, e.g. setting up a peer-to-peer communication via Internet for retrieving video segments from the hard-disk of other client devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

변환 서버 및 복수의 클라이언트는 전송로에 접속되어 있고, 클라이언트로부터의 화상 부호화 데이터를 수신한 변환 서버는 각 클라이언트에서 이용 가능한 부호화 방식, 부호화 설정, 부호화 옵션 및 전송로의 상태에 맞추어 화상 부호화 방식을 변환하여 송신하고, 이때, 화상의 표시 수에 제한이 있는 클라이언트에 대해 화상 부호화 데이터 중 선택된 복수의 화상 부호화 데이터를 복호하고, 하나의 화상으로 합성하여 재부호화하여 송신한다. 또한 변환 서버는, 접속 클라이언트 대수분의 복호 처리부를 구비하고, 각 클라이언트로부터의 화상 부호화 데이터를 복호하여 두고, 클라이언트로부터 표시 화상의 전환 요구가 있는 경우, 전환의 타이밍에서, 전환처의 화상의 복호 화상 데이터를 인트라 프레임 부호화하여 송신함에 의해, 수신한 전환처의 화상 부호화 데이터의 인트라 프레임의 타이밍에 한정되지 않는, 재빠른 화상 전환을 실현할 수 있다.
화상 부호화 데이터

Description

화상 부호화 데이터의 전환 방법 및 장치, 시스템 및 프로그램을 기록한 기록 매체{METHOD, APPARATUS, SYSTEM AND PROGRAM-RECORDING MEDIUM FOR SWITCHING IMAGE CODED DATA}
도 1은 본 발명의 제 1의 실시의 형태의 시스템 구성을 도시한 도면.
도 2는 본 발명의 한 실시예의 변환 서버의 구성을 도시한 도면.
도 3은 본 발명의 실시예의 트랜스코더의 구성을 도시한 도면.
도 4는 화상 부호화 데이터의 전환을 설명하기 위한 설명도.
도 5는 본 발명의 한 실시예에서의 화상 전환을 설명하기 위한 설명도.
도 6은 본 발명의 한 실시예에서의 다른 화상 전환을 설명하기 위한 설명도.
도 7은 본 발명의 다른 실시예의 시스템 구성을 도시한 도면.
도 8은 본 발명의 다른 실시예의 변환 서버의 구성을 도시한 도면.
(도면의 주요부분에 대한 부호의 설명)
101 : 회의 서버 102 : 변환 서버
103 : 제 1의 A클라이언트 104 : 제 2의 A클라이언트
105 : 제 M의 A클라이언트 106 : 제 1의 B클라이언트
107 : 제 N의 B클라이언트 108 : 전송로
201, 801 : 변환 서버 202 : 접속 처리부
203 : 제 1의 수신부 204 : 제 2의 수신부
205 : 제 M의 수신부 206, 802 : 트랜스코더
207, 803 : 제 1의 송수신부 208, 804 : 제 N의 송수신부
209 : 제 1의 송신부 210 : 제 N의 송신부
301 : 트랜스코더 302 : 제 1의 복호 처리부
303 : 제 2의 복호 처리부 304 : 제 3의 복호 처리부
305 : 제 4의 복호 처리부 306 : 제 I의 복호 데이터 버퍼
307 : 제 2의 복호 데이터 버퍼 308 : 제 3의 복호 데이터 버퍼
309 : 제 4의 복호 데이터 버퍼 310 : 제 I의 화상 선택·합성부
311 : 제 Ⅱ의 화상 선택·합성부 312 : 제 I의 부호화 처리부
313 : 제 Ⅱ의 부호화 처리부 314 : 제 I의 복호 처리부
315 : 제 Ⅱ의 복호 처리부 316 : 제 I의 복호 데이터 버퍼
317 : 제 Ⅱ의 복호 데이터 버퍼 401 : 제 1의 화상 부호화 데이터
402 : 제 2의 화상 부호화 데이터 501 : 제 1의 화상 부호화 데이터
502 : 제 1의 화상 복호 데이터 503 : 제 1의 화상 부호화 데이터
504 : 제 2의 화상 부호화 데이터 505 : 제 2의 화상 복호 데이터
506 : 제 2의 화상 재부호화 데이터 601 : 제 1의 화상 부호화 데이터
602 : 제 1의 화상 복호 데이터 603 : 제 1의 화상 재부호화 데이터
604 : 제 2의 화상 부호화 데이터 605 : 제 2의 화상 복호 데이터
606 : 제 2의 화상 재부호화 데이터 701 : 게이트웨이
702 : 제 1의 C클라이언트 703 : 제 N의 C클라이언트
기술 분야
본 발명은, 네트워크로 접속된 복수의 사양이 다른 클라이언트 사이에서, 화상을 이용한 회의 등의 통신을 행할 때, 각각 서포트하는 부호화 방식이나 부호화 설정으로 교환할 수 있도록, 화상 부호화 데이터의 변환을 행함과 함께, 화상의 표시 수에 제한이 있는 클라이언트에 대해서는 다른 회의 참가자의 화상을 임의의 타이밍에서 즉시, 전환되도록 또한 접속하고 있는 클라이언트로부터의 화상 데이터 중 몇개의 화상을 조합시킨 합성 화상으로 다시 부호화하여 송신하는 화상 변환 방법 및 그 장치 및 프로그램 기록 매체에 관한 것이다.
종래의 기술
근래, 네트워크를 경유하고, 패킷으로 화상이나 음성의 부호화 데이터를 통신하는, 이른바 VoIP(Voice over IP)나 TVoIP (TV over IP)라고 불리는 쌍방향 통신 시스템 및 회의 시스템이 급속으로 보급되어 오고 있다. 이들의 통신 시스템에 이용되는 부호화 방식에는, 몇개의 종류가 있지만, 예를 들면 동화상의 부호화 방식으로서, 프레임간 예측에 의거한 고능률 압축에 의한 부호화 데이터를 전송하는 방법이 많이 이용되고 있다. 이들의 방식에서는 시간적으로 전후의 프레임으로부터 부호화 화상을 예측하여 얻어진 예측 파라미터와 예측 잔차(殘差) 화상 데이터를 부호화함으로써, 시간 방향의 상관이 높은 동화상 데이터의 정보량을 삭감한다. 또 한, 예측 잔차 화상 데이터를 변환 부호화나 양자화에 의해 고능률로 압축 부호화함으로써, 적은 전송 대역으로의 통신을 가능하게 하고 있다.
그 대표예로서는 MPEG(Moving Picture Experts Group)-1, MPEG-2, MPEG-4 등의 압축 부호화 방식을 이용하는 방법이 있다. 이들의 압축 부호화 방식에서는 입력 화상 프레임을 매크로 블록이라고 불리는 일정 사이즈의 직사각형 영역 단위로 움직임 보상에 의한 프레임간 예측을 행하고, 얻어진 움직임 벡터와, 예측 잔차 화상 데이터에 2차원 이산(離散) 코사인 변환 및 양자화를 시행하여 압축한 신호 데이터를 가변 길이 부호화한다.
또한, 음성에 관해서도 G.722나, G.729, AMR-NB(Adaptive Multi Rate·Narrow Band), AMR-WB(Adaptive Multi Rate·Wide Band)나, MPEG-4 AAC(Advanced Audio Codec) 등의 음성(음악) 부호화 방식이 있고, 각각 소정의 샘플량에 대해 높은 효율의 부호화를 행하고, 적은 전송 대역으로 음성 품질이 높은 음성 데이터의 전송을 가능하게 한다.
이와 같은 화상이나 음성의 부호화 데이터를, 패킷 교환 방식을 이용한 IP(Internet Protocol) 네트워크에 배신하는 방법은 다수 있다. 또한, 제 3 세대 휴대 전화에서는 회선 교환(CS) 방식으로의 TV 전화를 서포트하고 있는 단말이 있고, 이들의 휴대 전화와 IP 네트워크에 접속하는 TVoIP 클라이언트를 접속하는 게이트웨이도 존재하고 있다. 금후는, CS상에 패킷을 통과시키거나 또는 휴대 전화, 및 무선 채널을 통하여 접속하는 무선 기지국 모두, 전부 IP화 되고, 보다 IP 네트워크와 휴대 전화가 용이하게 접속할 수 있도록 된다고 고려된다.
[비특허 문헌 1]
Handley M., Schulzrinne H., Schooler, E., Rosenberg, J., "SIP: Session Initiation Protocol", RFC 2543, March 1999, 인터넷 URL<http://www.ietf.org/로부터 입수되는 http://www. ietf.org/rfc/rfc2543. txt>
[비특허 문헌 2]
Handley, M., Jacobson, V., "SDP: Session Description Protoco 1", RFC 2327, April 1998, 인터넷 URL<http://www.ietf.org/로부터 입수되는 http://www.ietf.org/rfc/rfc2327. txt>
[비특허 문헌 3]
Schulzrinne, H., Casner, S., Frederick, R., Jacobson, V., "RTP: A Transport Protocol for Real-Time Applications", RFC 1889, January 1996, 인터넷 URL<http://www.ietf.org/로부터 입수되는, http://www.ietf.org/rfc/rfc1889. txt>
그러나, 종래의 TV 회의 시스템 등, 복수의 클라이언트를 접속하는 서비스에서는 서로 서포트하는 부호화 방식이나 부호화 설정, 부호화 옵션이 다른 경우 서로에게 화상을 사용하는 교환을 할 수 없기 때문에, 동일한 종류별의 클라이언트만으로 회의 시스템을 구축하는 일이 많았다.
또한, 디스플레이의 사이즈 등에 의해 화상의 표시 수에 제한이 있는 경우, 이용자가 보고 싶은 영상을, 전환하는 처리를 회의 서버, 또는 부호화 데이터 변환 서버에서 행하는 것이 필요하게 되지만, 전환의 타이밍을 이용자의 임의의 타이밍으로 행하면, 프레임 사이 예측 부호화의 단위인 GOP(Group Of Picture)의 경계가 아닌 경우, 예측에 이용하는 프레임이 전환되기 때문에, 화상의 흐트러짐이 발생하고, 다음의 인트라 프레임 부호화 데이터가 도착할 때까지 계속되어 버린다. 따라서, 이용자는 반드시 보고 싶은 화상을 소망하는 타이밍으로 전환할 수 없다.
이에 대해, 전환의 대기 시간을 단축하기 위해, 인트라 프레임 부호화를 행하는 프레임 수를 늘림으로써 대응하는 것은 가능하지만, 본래 부호화 효율이 높지 않은 인트라 프레임 부호화하는 프레임 수가 증가하면, 부호화 효율이 저하하고, 화상의 품질이 저하되어 버린다.
따라서 본 발명은, 상기한 사정을 고려하여 이루어진 것이며, 본 발명의 주된 목적은, 화상을 이용한 회의등의 복수의 클라이언트가 서로 부호화 데이터를 교환하는 시스템에 있어서, 참가하는 각각의 클라이언트의 서포트하는 부호화 방식이나 부호화 설정, 부호화 옵션에 맞추어 통신 상대의 클라이언트의 부호화 데이터를 변환하는 방법, 장치, 시스템, 프로그램 기록 매체를 제공하는 데 있다.
또한, 본 발명의 다른 목적은, 화상의 표시 수에 제한이 있는 클라이언트에 대해 통신을 행하고 있는 다른 복수의 클라이언트로부터의 화상 중에서, 해당 클라이언트의 이용자가 소망하는 화상을 적어도 하나 선택하고, 해당 클라이언트상에 표시시키는 방법, 장치, 시스템, 프로그램 기록 매체를 제공하는 데 있다.
또한, 본 발명의 또다른 목적은, 화상의 표시 수에 제한이 있는 클라이언트에 대해, 현재의 표시 화상으로부터 다른 화상으로의 전환을 행할 때, 이용자의 임의의 타이밍으로 화상이 흐트러짐 없이 재빠르게 전환하는 방법, 장치, 시스템, 프로그램 기록 매체를 제공하는 데 있다.
또한, 본 발명의 또다른 목적은, 화상의 표시 수에 제한이 있는 클라이언트에 대해 이용자가 소망하는 복수의 클라이언트로부터의 화상 데이터를 합성하고, 하나의 화상으로서 출력하는 방법, 장치, 시스템, 프로그램 기록 매체를 제공하는 데 있다.
또한, 본 발명의 또다른 목적은, 무선 등의 불안정한 전송로를 경유한 화상 데이터의 교환을 행하는 클라이언트에 대해 보다 안정된 품질의 화상으로의 통신을 행하는 방법, 장치, 시스템, 프로그램 기록 매체를 제공하는 데 있다.
상기 과제의 적어도 하나를 해결하는 본 발명의 하나의 애스펙트에 관한 방법은,
M을 2 이상의 임의의 정수로 하고,
M개의 화상 부호화 데이터를 수신하는 적어도 하나의 스텝과,
수신한 M개의 화상 부호화 데이터의 적어도 하나를 복호하는 스텝과,
복호된 데이터를, 수신한 화상 부호화 데이터와는,
(A) 부호화 방식,
(B) 부호화 비트 레이트,
(C) 화상 사이즈,
(D) 프레임 레이트,
(E) 프로파일,
(F) 레벨,
(G) 부호화 옵션,
(H) 비디오 패킷 사이즈,
(I) 부호화 프레임 타입 구성,
(J) 인트라 프레임 간격,
(K) 인트라 매크로 블록 수,
의 적어도 하나를 변경하고 재부호화하는 적어도 하나의 스텝과,
재부호화된 부호화 데이터를 출력하는 적어도 하나의 스텝과,
출력하는 부호화 데이터의 적어도 하나를 외부로부터의 요구에 의해 전환하는 스텝을 포함한다.
본 발명의 다른 애스펙트에 관한 장치는, M을 2 이상의 정수, N을 1 이상의 정수로 하고,
M개의 화상 부호화 데이터를 수신하는 유닛과,
수신한 M개의 화상 부호화 데이터를 복호하는 M개의 유닛과,
복호된 M개의 데이터를, 수신한 부호화 데이터와는,
(A) 부호화 방식,
(B) 부호화 비트 레이트,
(C) 화상 사이즈,
(D) 프레임 레이트,
(E) 프로파일,
(F) 레벨,
(G) 부호화 옵션,
(H) 비디오 패킷 사이즈,
(I) 부호화 프레임 타입 구성,
(J) 인트라 프레임 간격,
(K) 인트라 매크로 블록 수,
의 적어도 하나를 변경하고, 재부호화, 또는 부호화 데이터의 변환을 하는 N개의 유닛과,
재부호화된 부호화 데이터를 출력하는 N개의 유닛을 구비하고 있다.
또한, 복호된 복수의 부호화 데이터를 조합시켜 하나의 화상을 작성하는 유닛과, 적어도 하나의 출력 화상을, 다른 입력 화상과 전환하는 유닛을 구비하고 있어도 좋고, M개의 화상 부호화 데이터를 변환하고 생성하는 N개의 부호화 데이터를 출력한다.
본 발명의 또 다른 애스펙트에 관한 컴퓨터·프로그램 기록 매체는 화상 부호화 데이터의 전환을 행하는 장치를 구성하는 컴퓨터에,
M측 (단, M은 2 이상의 임의의 정수)의 화상 부호화 데이터를 수신하는 처리와,
수신한 M개의 화상 부호화 데이터의 적어도 하나를 복호하는 처리와,
복호된 데이터를, 수신한 화상 부호화 데이터와는,
(A) 부호화 방식,
(B) 부호화 비트 레이트,
(C) 화상 사이즈,
(D) 프레임 레이트,
(E) 프로파일,
(F) 레벨,
(G) 부호화 옵션,
(H) 비디오 패킷 사이즈,
(I) 부호화 프레임 타입 구성,
(J) 인트라 프레임 간격,
(K) 인트라 매크로 블록 수,
의 적어도 하나를 변경하고 재부호화하는 처리와,
재부호화된 부호화 데이터를 출력하는 처리와,
출력하는 부호화 데이터의 적어도 하나를, 장치 외부로부터의 요구에 의해 전환하는 처리를 실행시키는 프로그램 기록 매체이다.
본 발명의 또 다른 애스펙트에 관한 서버는, 복수의 클라이언트와 전송로를 통하여 접속되는 변환 서버로서, 상기 클라이언트로부터의 화상 부호화 데이터를 수신하는 수단과, 수신한 화상 부호화 데이터를, 각 클라이언트에서 이용 가능한 부호화 방식, 부호화 설정, 부호화 옵션 및 상기 전송로의 상태 중 적어도 하나에 맞추어 화상 부호화 방식을 변환하고 송신하는 수단과, 화상의 표시 수에 제한이 있는 클라이언트에 대해서는 상기 화상 부호화 데이터 중, 선택된 복수의 화상 부호화 데이터를 복호하여 하나의 화상으로 합성하고 재부호화하여 송신하는 수단을 구비하고 있다. 본 발명에 관한 변환 서버에 있어서, 접속 클라이언트 대수분의 복호 처리부를 구비하고, 각 클라이언트로부터의 화상 부호화 데이터를 복호하여 두고, 상기 클라이언트로부터 표시 화상의 전환 요구가 있는 경우, 전환의 타이밍에서, 전환처의 화상의 복호 화상 데이터를 인트라 프레임 부호화하고 송신하는 수단을 구비하고 있는 구성으로 하여도 좋다.
이상 설명한 바와 같이, 본 발명을 이용하면, 화상을 이용한 쌍방향 통신 클라이언트가 복수, 참가한 회의 등의 서비스에 있어서, 각각의 클라이언트의 서포트하는 부호화 방식이나 부호화 설정, 부호화 옵션이 다른 경우도, 상호 교환을 실현할 수 있다.
또한, 본 발명을 이용하면, 화상의 표시 수에 제한이 있는 클라이언트에 대해, 통신을 행하고 있는 다른 복수의 클라이언트로부터의 화상 중에서, 해당 클라이언트의 이용자가 소망하는 화상을 적어도 하나 선택하고, 해당 클라이언트상에 표시시킬 수 있다.
또한, 본 발명을 이용하면, 화상의 표시 수에 제한이 있는 클라이언트에 대해, 현재의 표시 화상으로부터 다른 화상으로의 전환을 행할 때, 이용자의 임의의 타이밍에서 화상의 흐트러짐 없이 재빠르게 전환할 수 있다.
또한, 본 발명을 이용하면, 화상의 표시 수에 제한이 있는 클라이언트에 대해, 이용자가 소망하는 복수의 클라이언트로부터의 화상 데이터를 합성하여, 하나의 화상으로서 표시시킬 수 있다.
또한, 본 발명을 이용하면, 무선 등의 불안정한 전송로를 경유한 화상 데이 터의 교환을 행하는 클라이언트에 대해, 보다 안정된 품질의 화상으로의 통신을 행할 수 있다.
본 발명에 알맞은 실시의 형태에 관해 설명한다. 본 발명의 제 1의 실시의 형태에 관한 화상 전환을 행하는 시스템에 있어서, M을 2 이상의 정수, N을 1 이상의 정수로 하고,
M개의 화상 부호화 데이터를 수신하는 유닛과,
수신한 부호화 데이터를 복호하는 M개의 유닛과,
복호된 M개의 데이터를, 수신한 부호화 데이터와는,
(A) 부호화 방식,
(B) 부호화 비트 레이트,
(C) 화상 사이즈,
(D) 프레임 레이트,
(E) 프로파일,
(F) 레벨,
(G) 부호화 옵션,
(H) 비디오 패킷 사이즈,
(I) 부호화 프레임 타입 구성,
(J) 인트라 프레임 간격,
(K) 인트라 매크로 블록 수,
의 적어도 하나를 변경하여, 재부호화하는 N개의 유닛과,
재부호화된 부호화 데이터를 출력하는 N개의 유닛을 구비하고 있다.
또한, 복호된 복수의 부호화 데이터를 조합시켜 하나의 화상을 작성하는 유닛과, 적어도 하나의 출력 화상을, 다른 입력 화상과 전환하는 유닛을 구비하고 있어도 좋고, M개의 화상 부호화 데이터를 변환하고 생성한 N개의 부호화 데이터를 출력한다.
[실시예]
다음에 본 실시의 형태의 실시예를, 본 발명의 제 1의 실시예로서 도면을 참조하면서 설명한다.
도 1은 본 발명의 제 1의 실시예를 도시하고 있다. 도 1에 도시한 바와 같이, 회의 서버와, 변환 서버와, A클라이언트와, B클라이언트와, 전송로로 구성되어 있다. 회의 서버와, 변환 서버는 일체화한 같은 서버라도 좋다.
본 실시예에서는, 회의 서버(101), 변환 서버(102), 제 1의 A클라이언트(103) 내지 제 M의 A클라이언트(105) 및 제 1의 B클라이언트(106) 내지 제 N의 B클라이언트(107)는 IP(Internet Protocol)망인 전송로(108)에 접속되어 있고, 각 클라이언트는 패킷 교환에 의해 부호화 데이터 및 호접속(呼接續) 데이터를 송수신하는 단말이고, 회의 서버(101)는, 예를 들면 SIP(Session Initiation Protocol)/SDP(Session Description Protocol)에 의한 호접속 데이터를 처리하고 각 클라이언트와 회의 서버(101)와의 사이의 통신로를 확립한다.
또한, 본 실시예에서는, A클라이언트는 복수의 화상 부호화 데이터를 복호, 표시할 수 있고, B클라이언트는 하나의 화상 부호화 데이터만, 복호, 표시할 수 있는 것으로 한다. 그 때문에, A클라이언트는 회의 서버(101)에, 자기의 화상 부호화 데이터 하나를 송신하고, 회의 서버(101)로부터 다른 클라이언트의 복수의 화상 부호화 데이터를 수신한다.
B클라이언트는, 자기의 화상 데이터 하나를 변환 서버(102)에 송신하고, 변환 서버(102)로부터 다른 클라이언트의 화상 부호화 데이터 중 하나를 선택하고 수신하는 것으로 한다.
여기서, A클라이언트와 B클라이언트는 다른 종별의 클라이언트이고, 서포트하는 부호화 방식, 부호화 설정, 화상 사이즈, 또는 표시 화상 수의 적어도 하나가 다르다. 그 때문에, A클라이언트 간 및 B클라이언트 간에서는, 회의 서버(101) 경유로 부호화 데이터를 서로 교환하는 것이 가능하지만, A클라이언트와 B클라이언트 사이에서 화상 부호화 데이터를 교환하는 데는, 변환 서버(102)에 의해, 한쪽의 부호화 데이터를, 다른쪽이 서포트하는 부호화 데이터로 변환할 필요가 있다.
변환 서버(102)는, 제 1의 A클라이언트(103) 내지 제 M의 A클라이언트(105)가 출력하는 화상 부호화 데이터를 수신하고, 제 1의 B클라이언트(106) 내지 제 N의 B클라이언트(107)의 서포트하는 화상 부호화 데이터로 변환하여 출력한다.
또한, 제 1의 B클라이언트(106) 내지 제 N의 B클라이언트(107)가 출력하는 화상 부호화 데이터를 수신하고, 제 1의 A클라이언트(103) 내지 제 M의 A클라이언트(105)의 서포트하는 화상 부호화 데이터로 변환하여 출력한다.
이때, 예를 들면 B클라이언트의 디스플레이가 작고, 표시 화면이 하나밖에 마련되지 않는 경우, B클라이언트의 이용자의 요구에 따라 회의에 참가하고 있는 다른 A클라이언트, 또는 B클라이언트의 화상 부호화 데이터 중 하나를 선택하여 해당 B클라이언트에게 출력할 수 있다.
또는, B클라이언트에의 출력 화상 데이터의 선택은, 회의 서버(101)가 행하여도 좋고, 예를 들면, 회의 참가 클라이언트중, 의장의 역할을 담당하는 이용자의 화상을 B클라이언트에 송신하도록 요구하거나, 회의 참가 클라이언트의 이용자중 발신자의 화상을 B클라이언트에 송신하도록 요구하여도 좋다.
도 2를 이용하여, 변환 서버(201)에 관해 설명한다. 변환 서버(201)는 접속 처리부(202), 제 1의 수신부(203) 내지 제 M의 수신부(205), 트랜스코더(206), 제 1의 송수신부(207) 내지 제 N의 송수신부(208), 제 1의 송신부(209) 내지 제 N의 송신부(210)를 구비하여 구성된다.
접속 처리부(202)는, 회의 서버(101) 및 각 A클라이언트, 각 B클라이언트와, 세션 확립, 각 클라이언트의 능력 정보의 교환 등, 호접속에 관한 정보를 예를 들면 SIP/SDP에 의해 행하고, 회의에 참가하는 클라이언트의 정보를 얻는다(SIP/SDP의 상세에 관해서는, 예를 들면 상기 비특허 문헌 1이나 비특허 문헌 2를 참조할 수 있다).
여기서, 제 1의 수신부(203) 내지 제 M의 수신부(205)는, 접속 처리부(202)에서 얻은 세션에 관한 정보, 또는 미리 정해진 설정에 의거하여, 각각 제 1의 A클라이언트(103) 내지 제 M의 A클라이언트(105)로부터 송신되고, 회의 서버에서 수신되어 변환 서버(201)에 보내진 부호화 데이터를 수신하고, 제 1의 송수신부(207) 내지 제 N의 송수신부(208)는, 각각 제 1의 B클라이언트(106) 내지 제 N의 B클라이언트(107)로부터 부호화 데이터를 수신한다.
데이터의 송수신은, 예를 들면 RTP(Real-Time Transport Protocol)/UDP(User Datagram Protocol)/IP로 행함으로써, 전송로에서 패킷의 순서의 교체가 발생한 경우에도, 올바른 순서로 다시 나열하거나, 화상뿐만 아니라, 음성 등의 화상 이외의 미디어의 부호화 데이터의 변환을 행하는 경우에, 미디어 사이의 동기를 정돈하거나 하는 것이 가능해진다(RTP의 상세에 관해서는, 예를 들면 상기 비특허 문헌 3을 참조할 수 있다).
트랜스코더(206)는, 접속 처리부(202)에서 얻은, 각 클라이언트에서 서포트하는 능력 정보인, 부호화 방식이나 부호화 설정, 부호화 옵션에 관한 정보, 또는, 미리 설정된 정보에 의거하여, 입력된 A클라이언트의 부호화 데이터를 B클라이언트의 서포트하는 부호화 방식, 부호화 설정, 부호화 옵션의 부호화 데이터로 변환하고, 출력한다.
또한, 그 역으로, B클라이언트로부터의 부호화 데이터를 입력하고, A클라이언트의 서포트하는 부호화 방식, 부호화 설정, 부호화 옵션의 부호화 데이터로 변환하여 출력한다.
여기서, 부호화 방식이란, 예를 들면, MPEG-4나, H.263, H.264 등의 부호화 방식명이나, 레벨, 프로파일 등을 의미한다.
부호화 설정이란,
·비트 레이트,
·화상 사이즈(해상도),
·프레임 레이트,
·인트라 프레임 간격,
등을 의미한다.
부호화 옵션이란,
·재동기(再同期) 마커의 유무,
·비디오 패킷 사이즈,
·데이터·파티셔닝의 유무,
·RVLC(Reversible VLC)의 유무,
·HEC(Header Extension Code)의 유무,
·스터핑 데이터의 유무,
등을 의미한다.
B클라이언트에 맞추어 변환된 부호화 데이터는, 제 1의 송수신부(207) 내지 제 N의 송수신부(208)로부터 제 1의 B클라이언트(106) 내지 제 N의 B클라이언트(107)에 송신되고, A클라이언트에 맞추어 변환된 부호화 데이터는, 제 1의 송신부(209) 내지 제 N의 송신부(210)로부터 회의 서버(101)에 송신된다.
도 2에서는, 제 1의 수신부(203) 내지 제 M의 수신부(205) 및 제 1의 송신부(209) 내지 제 N의 송신부(210)가 각각 독립하여, 회의 서버(101)와의 세션을 이용하고 있지만, 수신 및 송신하는 세션을, 각각 하나, 또는 M개 이하의 수신 세션과, N개 이하의 송신 세션으로 하여도 좋다.
이 경우, 수신 세션으로부터 수신된 복수의 부호화 데이터를 분리하여 트랜스코더(206)에 건네주는 처리와, 트랜스코더(206)로부터의 변환 후의 복수의 부호화 데이터를, 다중화하여 송신 세션에 건네주는 처리가 필요해진다.
다중/분리의 방법으로서는, RTP의 헤더에 포함되는, 페이로드 타입이나, SSRC(Synchronization Source identifier), CSRC(Contributing Source identifier)를 이용하여, 각각의 부호화 데이터를 식별하는 방법이 있다. 이들의 식별자에 의해 수신 데이터를 식별하는 경우, 예를 들면 SDP로 수신하는 데이터마다 식별자를 기술함으로써 통신 상대에게 부호화 데이터의 정보를 통지할 수 있다.
또한 트랜스코더의 동작을, 도 3을 참조하여 상세히 설명한다. 이하의 설명에서는 설명의 간단을 위해 M을 4로 하고, N을 2로 하여 설명하지만, M, N이 이들의 값으로 한정되지 않는 것은 물론이다. 또한, 한쪽의 클라이언트 종별(여기서는, A클라이언트)의 부호화 데이터를 수신하고, 다른쪽의 클라이언트 종별(여기서는, B클라이언트)의 서포트하는 부호화 방식에 맞추어 변환, 출력하는 일방향만의 설명을 하지만, 역방향에 관해서도 필요에 따라 같은 처리를 행하여 변환을 한다.
도 3에 도시한 바와 같이, 트랜스코더(301)는 각각의 수신부에 대응하는 제 1의 복호 처리부(302) 내지 제 4의 복호 처리부(305)에서 수신한 부호화 데이터를 복호한다.
복호된 복호 화상 데이터는, 각각 제 1 내지 제 4의 복호 데이터 버퍼로 보내진다. 또한, 여기서는 복호한 화상 데이터로서, YUV 복호 화상 데이터를 얻는 것으로 하여 설명하지만, 다른 예를 들면 RGB 등의 형식이라도 마찬가지이다.
제 I의 화상 선택·합성부(310) 및 제 Ⅱ의 화상 선택·합성부(311)는, 제 1의 복호 데이터 버퍼(306) 내지 제 4의 복호 데이터 버퍼(309)의 어느 하나로부터 복호 화상 데이터를 판독하고, 제 I의 부호화 처리부(312) 및 제 Ⅱ의 부호화 처리부(313)에 출력한다. 어느 복호 화상 데이터를 선택하는지는, 접속 처리부를 통하여 통지되는 부호화 데이터를 출력하는 클라이언트의 요구에 따르거나 또는 미리 설정하여 두어도 좋다. 각 클라이언트는 회의 서버(101)와 호접속을 행하기 위한 호접속 수단을 구비하고, 화상의 전환 요구를 수취하고, 해당 요구를 변환 서버(102)의 접속 처리부(202)(도 2)에 송신하고, 접속 처리부(202)는, 트랜스코더(202)의 제 I의 화상 선택 합성부(310) 및 제 Ⅱ의 화상 선택 합성부(311)(도 3)에, 클라이언트로부터의 화상의 전환 요구를 통지한다.
제 I의 부호화 처리부(312) 및 제 Ⅱ의 부호화 처리부(313)는 선택된 복호 화상 데이터를, B클라이언트의 서포트하는 부호화 방식, 부호화 설정 및 부호화 옵션에 따라 재부호화하고, 출력한다.
또한, 예를 들면 B클라이언트가 무선 전송로 등의 불안정한 전송로를 경유한 세션으로 접속되어 있는 경우, 부호화할 때에 인트라 프레임의 간격을 단축하거나, 비디오 패킷 사이즈를 작게 하거나, 인터 프레임에 포함되는 인트라 매크로 블록의 수를 늘리거나 함으로써, 보다 전송로에서의 데이터의 오류나 손실에 대해 안정된 품질의 화상 통신을 할 수 있다.
또한, 제 I의 화상 선택·합성부(310) 내지 제 Ⅱ의 화상 선택·합성부(311)는, 마찬가지로 클라이언트의 요구, 또는 미리 정해진 설정에 의해, 복수의 복호 화상을 조합시켜서 합성하고, 출력하여도 좋다.
본 실시예에서는, 예를 들면 제 1의 복호 데이터 버퍼(306) 내지 제 4의 복호 데이터 버퍼(309)에 버퍼링되어 있는 복호 화상을, 각각 1/4로 축소하여 나열함으로써, 4개의 화상을 하나의 화상으로 하고, 부호화 처리부에 출력하면, 예를 들면 B클라이언트에게, 표시 화상 수의 제한이 있고, 하나의 화상밖에 표시할 수 없는 경우에도 동시에 4개의 모든 화상을 확인할 수 있게 된다.
또한, B클라이언트가 표시하는 4개의 화상을 합성한 화상 중에, 다른, 또는 자체의 B클라이언트 화상을 포함하는 경우, 화상 선택·합성부(310 또는 311)에서, 제 I의 복호 처리부(314), 제 Ⅱ의 복호 처리부(315)에서 복호된, B클라이언트의 화상데이터를 각각 격납하는 제 I의 복호 데이터 버퍼(316), 제 Ⅱ의 복호 데이터 버퍼(317)로부터 판독하여, 같은 처리를 행하면 좋다. 또한, B클라이언트에서, 다른, 또는 자체의 B클라이언트 화상을 포함하지 않는 경우는, 이 부분(제 1, 제 Ⅱ의 복호 처리부(314, 315), 제 I, 제 H의 복호 데이터 버퍼(316, 317))는 불필요하게 된다.
수신 화상 부호화 데이터 수가 4보다 큰(M>4) 경우, B클라이언트로부터의 요구로 수신 화상 부호화 데이터 중에서 임의의 화상을 4개 선택하거나, 또는 클라이언트마다 미리 정해진 화상을 선택하여 조합하여도 좋고, 4개 이상의 화상을 조합시켜 하나의 화상을 생성하여도 좋다.
다음에, 제 I의 화상 선택·합성부(310) 및 제 Ⅱ의 화상 선택·합성부(311)에서, 선택하고 있는 화상을 전환하는 처리에 관해 도면을 이용하여 설명한다.
어떤 화상 부호화 데이터로부터 다른 화상 부호화 데이터로 전환하는 데는, 종래, 도 4에 도시한 바와 같이, 전환 요구에 대해 실제의 전환까지의 시간차가 발생하고 있다. 도면의 I은 인트라 프레임, 즉 I픽처을 나타내고, P는 P(Predictive)픽처를 나타내고 있다. 이것은, 제 1의 화상 부호화 데이터(401)로부터 제 2의 화상 부호화 데이터(402)로 전환할 때, 인트라 (I) 프레임 부호화 데이터의 선두에서 전환하지 않는다면, 예측을 이용하여 부호화된 이후의 프레임을 올바르게 복호할 수 없기 때문이다.
부호화 효율을 높게 하기 위해, 인트라 프레임 간격을 길게 취한 부호화 데이터의 경우는, 전환 요구로부터 전환 실시까지의 시간차가 커져 버릴 우려가 있고, 원래 부호화 데이터의 선두에만, 인트라 프레임 부호화 데이터가 존재하는 부호화 데이터로 전환하는 경우, 전환시에 반드시 화상의 흐트러짐이 발생하여 버린다.
이에 대해, 본 발명에 의하면, 수신한 화상 부호화 데이터를, 한번, 복호하고, 재부호화하여 화상을 전환하기 때문에, 전환의 타이밍으로, 인트라 프레임 부호화하는 것이 가능하고, 전환 요구에 대해 최저한의 시간으로, 화상을 전환하는 것이 가능해진다.
도 5에 도시한 바와 같이, 제 1의 화상 부호화 데이터(501) 및 제 2의 화상 부호화 데이터(504)는 각각 복호되고, 제 1의 화상 복호 데이터(502) 및 제 2의 화상 복호 데이터(505)로 된다.
도 5에서, I, P의 프레임은, 도 4와 마찬가지로 I픽처, P픽처를 각각 나타내 고 있다. 이것을, 출력처의 클라이언트가 서포트하는 화상 부호화 방식, 화상 부호화 설정, 화상 부호화 옵션에 의거하여, 각각 제 1의 화상 재부호화 데이터(503) 및 제 2의 화상 재부호화 데이터(506)와 같이 재부호화한다.
제 1의 화상 재부호화 데이터(503)로부터, 제 2의 화상 재부호화 데이터(506)에의 전환 요구가 있는 경우, 전환처의 화상 부호화 데이터인 제 2의 화상 재부호화 데이터(506)는, 제 2의 화상 복호 데이터(505)로부터 재부호화할 때, 요구의 타이밍으로 프레임을 인트라 프레임 부호화한다. 이로써, 제 2의 화상 재부호화 데이터(506)에의 즉시의 전환을 행하여도, 이후의 프레임의 예측 부호는 올바르게 복호할 수 있고, 화상의 흐트러짐이 없는 전환을 행할 수 있다.
또한, 원래, 클라이언트가 전환원의 화상 부호화 데이터를 변환하지 않아도 복호할 수 있는 경우, 제 1의 화상 부호화 데이터(501)는 복호 및 재부호화할 필요는 없다.
또한, 도 6에 도시한 바와 같이 I, P픽처뿐만 아니라, 쌍방향 예상을 행하는 B(Bi-directiona11y predictive)픽처를 포함하는 화상 부호화 데이터를 전환하는 경우, 전환원의 화상 부호화 데이터를 재부호화할 때에도, 프레임 타입의 변경을 행한다.
제 1의 화상 부호화 데이터(601) 및 제 2의 화상 부호화 데이터(604)는 각각 복호되고, 제 1의 화상 복호 데이터(602) 및 제 2의 화상 복호 데이터(605)로 된다. 이것을, 출력처의 클라이언트가 서포트하는 화상 부호화 방식, 화상 부호화 설정, 화상 부호화 옵션에 의거하여 각각 제 1의 화상 재부호화 데이터(603) 및 제 2 의 화상 재부호화 데이터(606)와 같이 재부호화한다.
제 1의 화상 재부호화 데이터(603)로부터, 제 2의 화상 재부호화 데이터(606)로의 전환 요구가 있는 경우, 전환처의 화상 부호화 데이터인 제 2의 화상 재부호화 데이터(606)를, 제 2의 화상 복호 데이터(605)로부터 재부호화할 때, 요구의 타이밍으로 프레임을 인트라 프레임 부호화할 뿐만 아니라, 전환원의 제 1의 화상 재부호화 데이터(603)를, 제 1의 화상 복호 데이터(602)로부터 재부호화할 때, 요구의 타이밍 직전의 프레임을 P픽처가 되도록 부호화한다. 이로써, 제 1의 화상 재부호화 데이터(603)가 전환 사이의 최후의 B픽처도, 올바르게 복호할 수 있고, 화상의 흐트러짐 없이 전환할 수 있다.
전술한 무선 전송로 등의 불안정한 전송로를 경유한 회의 서비스로서는, IEEE802.11a/b/g 등의 무선 LAN(Local Area Network)을 이용하는 클라이언트뿐만 아니라, 도 7에 도시한 바와 같은 시스템 구성에 의해 회선 교환 방식을 이용한 휴대 전화를 이용할 수도 있다.
도 7에 도시한 구성의 경우, 게이트웨이(701)는 회선 교환과 패킷 교환의 프로토콜 변환(예를 들면, H.223에 의해 다중화된 데이터의 분리와 패킷화 등), 및 호(呼)의 확립 처리(H.245 메시지의 SIP/SDP와의 변환)를 행한다. 제 1의 C클라이언트(702) 내지 제 N의 C클라이언트(703)는 TV 전화 기능을 갖는 휴대 전화라고 한다. 이 경우, 변환 서버(102)에서의 화상의 선택이나 합성, 부호화 방식(예를 들면 레벨)이나 부호화 설정(예를 들면 화상 사이즈나 비트 레이트), 부호화 옵션의 다름을 변환함에 의해 C클라이언트의 회의에의 참가가 가능해진다.
또한, 본 실시예에서, 예를 들면 A클라이언트는 B클라이언트가 출력하는 화상 부호화 데이터를 그대로 복호할 수 있는 경우, 역방향의 변환 처리는 불필요해진다. 이 경우, 도 8에 도시한 바와 같은 변환 서버의 구성으로 할 수 있고, 제 1의 송수신부(803) 내지 제 N의 송수신부(804)는 제 1의 B클라이언트(106) 내지 제 N의 B클라이언트(107)로부터의 부호화 데이터를, 복수 화상을 합성하여 하나의 화상을 작성하기 위해, 트랜스코더(802)에 출력하는 동시에, 제 1의 송신부(209) 내지 제 N의 송신부(210)로 출력한다.
또한, B클라이언트가 하나 이상의 화상을 표시할 수 있고, 예를 들면 화상 표시 수를 2라고 한 경우, 도 2에서의 송수신부 및 도 3에서의 화상 선택·합성부, 부호화 처리부를 2N개, 즉, B클라이언트의 모든 화상 표시 수와 동등한 개수를 준비하면, 같은 효과를 얻을 수 있다.
또는, 복수의 B클라이언트 또는 C클라이언트가 같은 화상 데이터로의 전환을 요구한 경우, 도 3에서의 동일한 부호화 처리부의 출력을, 이들의 클라이언트에 송신할 수 있고, 부호화 처리의 처리량을 삭감할 수 있다. 이때, 이들의 클라이언트의 전환 요구의 타이밍이 동시가 아닌 경우, 부호화 처리부는 각각의 클라이언트의 전환 요구 타이밍마다, 인트라 프레임 부호화를 행한 데이터를 출력하도록 하면, 어느 클라이언트라도, 화상의 흐트러짐이 없는, 재빠른 전환을 하는 것이 가능해진다.
또한, 도 7에 도시한 구성에, 다시 도 1, 도 2에 도시한 바와 같은 B클라이언트가 더하여져서, 3개 이상의 종별의 클라이언트가 참가하는 회의라도, 변환 서 버에서 마찬가지의 처리를 행함으로써 서로의 교환이 가능하게 됨은 물론이다.
또한, 변환 서버(201)에서의 접속 처리부(202)와, 제 1 내지 제 M의 수신부(203 내지 205)와, 트랜스코더(206)와, 제 1 내지 제 N의 송수신부(207 내지 208)에 관해, 변환 서버(201)를 구성하는 컴퓨터로 실행되는 프로그램 제어에 의해 각각의 기능, 처리를 실현하도록 하여도 좋음은 물론이다. 실시예를 변형하여, 클라이언트 중 적어도 하나가 화상 데이터 외, 음성 신호도 변환 서버 경유로 교환하고, 변환 서버는, 클라이언트로부터의 DTMF 신호에 의해, 화상의 전환을 행하여도 좋다.
이상, 본 발명을 상기 실시예에 입각하여 설명하였지만, 본 발명은, 상기 실시예의 구성에만 한정되는 것이 아니고, 본 발명의 범위 내에서 당업자라면 할 수 있는 각종 변형, 수정을 포함하는 것은 물론이다.
이상 설명한 바와 같이, 본 발명을 이용하면, 화상을 이용한 쌍방향 통신 클라이언트가 복수, 참가한 회의 등의 서비스에 있어서, 각각의 클라이언트의 서포트하는 부호화 방식이나 부호화 설정, 부호화 옵션이 다른 경우도, 상호 교환을 실현할 수 있다.
또한, 본 발명을 이용하면, 화상의 표시 수에 제한이 있는 클라이언트에 대해, 통신을 행하고 있는 다른 복수의 클라이언트로부터의 화상 중에서, 해당 클라이언트의 이용자가 소망하는 화상을 적어도 하나 선택하고, 해당 클라이언트상에 표시시킬 수 있다.
또한, 본 발명을 이용하면, 화상의 표시 수에 제한이 있는 클라이언트에 대해, 현재의 표시 화상으로부터 다른 화상으로의 전환을 행할 때, 이용자의 임의의 타이밍에서 화상의 흐트러짐 없이 재빠르게 전환할 수 있다.
또한, 본 발명을 이용하면, 화상의 표시 수에 제한이 있는 클라이언트에 대해, 이용자가 소망하는 복수의 클라이언트로부터의 화상 데이터를 합성하여, 하나의 화상으로서 표시시킬 수 있다.
또한, 본 발명을 이용하면, 무선 등의 불안정한 전송로를 경유한 화상 데이터의 교환을 행하는 클라이언트에 대해, 보다 안정된 품질의 화상으로의 통신을 행할 수 있다.

Claims (51)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. M을 2 이상의 임의의 정수로 하여,
    M개의 화상 부호화 데이터를 수신하는 적어도 하나의 스텝과,
    수신한 M개의 화상 부호화 데이터의 적어도 하나를 복호하는 스텝과,
    복호된 데이터를, 수신한 화상 부호화 데이터와는,
    (A) 부호화 방식,
    (B) 부호화 비트 레이트,
    (C) 화상 사이즈,
    (D) 프레임 레이트,
    (E) 프로파일,
    (F) 레벨,
    (G) 부호화 옵션,
    (H) 비디오 패킷 사이즈,
    (I) 부호화 프레임 타입 구성,
    (J) 인트라 프레임 간격,
    (K) 인트라 매크로 블록 수,
    의 적어도 하나를 변경하여, 재부호화하는 적어도 하나의 스텝과,
    재부호화된 화상 부호화 데이터를 출력하는 적어도 하나의 스텝과,
    출력하는 화상 부호화 데이터의 적어도 하나를, 외부로부터의 요구에 의해, 전환하는 스텝을 포함하며,
    상기 재부호화할 때에, 상기 M개의 화상 부호화 데이터 중 복수의 화상 부호화 데이터를 복호하고, 얻어진 복호 화상중 2개 이상을 조합시켜 하나 이상 M개 미만의 화상을 생성하고, 재부호화하는 것을 특징으로 하는 화상 전환 방법.
  6. 삭제
  7. 삭제
  8. M을 2 이상의 임의의 정수로 하여,
    M개의 화상 부호화 데이터를 수신하는 적어도 하나의 스텝과,
    수신한 M개의 화상 부호화 데이터의 적어도 하나를 복호하는 스텝과,
    복호된 데이터를, 수신한 화상 부호화 데이터와는,
    (A) 부호화 방식,
    (B) 부호화 비트 레이트,
    (C) 화상 사이즈,
    (D) 프레임 레이트,
    (E) 프로파일,
    (F) 레벨,
    (G) 부호화 옵션,
    (H) 비디오 패킷 사이즈,
    (I) 부호화 프레임 타입 구성,
    (J) 인트라 프레임 간격,
    (K) 인트라 매크로 블록 수,
    의 적어도 하나를 변경하여, 재부호화하는 적어도 하나의 스텝과,
    재부호화된 화상 부호화 데이터를 출력하는 적어도 하나의 스텝과,
    출력하는 화상 부호화 데이터의 적어도 하나를, 외부로부터의 요구에 의해, 전환하는 스텝을 포함하며,
    상기 화상 부호화 데이터를 송수신하는 클라이언트로부터의 요구에 따라, 상기 M개의 화상 부호화 데이터 중 적어도 하나의 화상을 선택하고, 상기 변경을 행하여 통신 상대의 클라이언트에게 출력하고,
    상기 클라이언트로부터의 요구에 따라, 상기 클라이언트가 수신하고 있는 화상의 적어도 하나를, 상기 M개의 화상 부호화 데이터 중 다른 화상으로 전환하는 것을 특징으로 하는 화상 전환 방법.
  9. M을 2 이상의 임의의 정수로 하여,
    M개의 화상 부호화 데이터를 수신하는 적어도 하나의 스텝과,
    수신한 M개의 화상 부호화 데이터의 적어도 하나를 복호하는 스텝과,
    복호된 데이터를, 수신한 화상 부호화 데이터와는,
    (A) 부호화 방식,
    (B) 부호화 비트 레이트,
    (C) 화상 사이즈,
    (D) 프레임 레이트,
    (E) 프로파일,
    (F) 레벨,
    (G) 부호화 옵션,
    (H) 비디오 패킷 사이즈,
    (I) 부호화 프레임 타입 구성,
    (J) 인트라 프레임 간격,
    (K) 인트라 매크로 블록 수,
    의 적어도 하나를 변경하여, 재부호화하는 적어도 하나의 스텝과,
    재부호화된 화상 부호화 데이터를 출력하는 적어도 하나의 스텝과,
    출력하는 화상 부호화 데이터의 적어도 하나를, 외부로부터의 요구에 의해, 전환하는 스텝을 포함하며,
    상기 화상 부호화 데이터를 중계하는 회의 서버로부터의 요구에 따라, 상기 M개의 화상 부호화 데이터 중 적어도 하나의 화상을 선택하고, 상기 변경을 행하여 회의에 참가하는 클라이언트에게 출력하는 것을 특징으로 하는 화상 전환 방법.
  10. M을 2 이상의 임의의 정수로 하여,
    M개의 화상 부호화 데이터를 수신하는 적어도 하나의 스텝과,
    수신한 M개의 화상 부호화 데이터의 적어도 하나를 복호하는 스텝과,
    복호된 데이터를, 수신한 화상 부호화 데이터와는,
    (A) 부호화 방식,
    (B) 부호화 비트 레이트,
    (C) 화상 사이즈,
    (D) 프레임 레이트,
    (E) 프로파일,
    (F) 레벨,
    (G) 부호화 옵션,
    (H) 비디오 패킷 사이즈,
    (I) 부호화 프레임 타입 구성,
    (J) 인트라 프레임 간격,
    (K) 인트라 매크로 블록 수,
    의 적어도 하나를 변경하여, 재부호화하는 적어도 하나의 스텝과,
    재부호화된 화상 부호화 데이터를 출력하는 적어도 하나의 스텝과,
    출력하는 화상 부호화 데이터의 적어도 하나를, 외부로부터의 요구에 의해, 전환하는 스텝을 포함하며,
    회의 서버로부터의 요구에 따라, 회의에 참가하고 있는 클라이언트가 수신하고 있는 화상의 적어도 하나를, 상기 M개의 화상 부호화 데이터 중 다른 화상으로 전환하는 것을 특징으로 하는 화상 전환 방법.
  11. 제 8항에 있어서,
    상기 요구에 의한 화상 부호화 데이터의 전환에 있어서, 전환처의 화상의 복 호 화상 데이터를, 인트라 프레임 부호화하고 나서 전환하는 것을 특징으로 하는 화상 전환 방법.
  12. 제 8항에 있어서,
    상기 요구에 의한 화상 부호화 데이터의 전환에 있어서, 전환원의 화상의 복호 화상 데이터를, 소정의 프레임 타입으로 부호화하여 전환하는 것을 특징으로 하는 화상 전환 방법.
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 화상 부호화 데이터의 전환을 행하는 장치에 있어서,
    M개(단, M은 2 이상의 임의의 정수)의 화상 부호화 데이터를 수신하는 적어도 하나의 유닛과,
    수신한 M개의 화상 부호화 데이터의 적어도 하나를 복호하는 유닛과,
    복호된 데이터를, 수신한 화상 부호화 데이터와는,
    (A) 부호화 방식,
    (B) 부호화 비트 레이트,
    (C) 화상 사이즈,
    (D) 프레임 레이트,
    (E) 프로파일,
    (F) 레벨,
    (G) 부호화 옵션,
    (H) 비디오 패킷 사이즈,
    (I) 부호화 프레임 타입 구성,
    (J) 인트라 프레임 간격,
    (K) 인트라 매크로 블록 수,
    의 적어도 하나를 변경하여, 재부호화하는 적어도 하나의 유닛과,
    재부호화된 화상 부호화 데이터를 출력하는 적어도 하나의 유닛과,
    출력하는 화상 부호화 데이터의 적어도 하나를, 장치 외부로부터의 요구에 의해, 전환하는 유닛을 구비하고,
    상기 재부호화하는 유닛은, 재부호화할 때에, 상기 M개의 화상 부호화 데이터 중, 복수의 화상 부호화 데이터를 복호하고,
    얻어진 복호 화상중, 2개 이상을 조합시켜, 하나 이상 M개 미만의 화상을 생성하고, 재부호화하는 것을 특징으로 하는 화상 전환 장치.
  18. 화상 부호화 데이터의 전환을 행하는 장치에 있어서,
    M개(단, M은 2 이상의 임의의 정수)의 화상 부호화 데이터를 수신하는 적어도 하나의 유닛과,
    수신한 M개의 화상 부호화 데이터의 적어도 하나를 복호하는 유닛과,
    복호된 데이터를, 수신한 화상 부호화 데이터와는,
    (A) 부호화 방식,
    (B) 부호화 비트 레이트,
    (C) 화상 사이즈,
    (D) 프레임 레이트,
    (E) 프로파일,
    (F) 레벨,
    (G) 부호화 옵션,
    (H) 비디오 패킷 사이즈,
    (I) 부호화 프레임 타입 구성,
    (J) 인트라 프레임 간격,
    (K) 인트라 매크로 블록 수,
    의 적어도 하나를 변경하여, 재부호화하는 적어도 하나의 유닛과,
    재부호화된 화상 부호화 데이터를 출력하는 적어도 하나의 유닛과,
    출력하는 화상 부호화 데이터의 적어도 하나를, 장치 외부로부터의 요구에 의해, 전환하는 유닛을 구비하고,
    상기 재부호화하는 유닛은, 상기 재부호화할 때에,
    (A) 인트라 프레임 간격의 단축,
    (B) 비디오 패킷 사이즈의 축소,
    (C) 인트라 매크로 블록 수의 증가,
    의 적어도 하나를 행하는 것을 특징으로 하는 화상 전환 장치.
  19. 화상 부호화 데이터의 전환을 행하는 장치에 있어서,
    M개(단, M은 2 이상의 임의의 정수)의 화상 부호화 데이터를 수신하는 적어도 하나의 유닛과,
    수신한 M개의 화상 부호화 데이터의 적어도 하나를 복호하는 유닛과,
    복호된 데이터를, 수신한 화상 부호화 데이터와는,
    (A) 부호화 방식,
    (B) 부호화 비트 레이트,
    (C) 화상 사이즈,
    (D) 프레임 레이트,
    (E) 프로파일,
    (F) 레벨,
    (G) 부호화 옵션,
    (H) 비디오 패킷 사이즈,
    (I) 부호화 프레임 타입 구성,
    (J) 인트라 프레임 간격,
    (K) 인트라 매크로 블록 수,
    의 적어도 하나를 변경하여, 재부호화하는 적어도 하나의 유닛과,
    재부호화된 화상 부호화 데이터를 출력하는 적어도 하나의 유닛과,
    출력하는 화상 부호화 데이터의 적어도 하나를, 장치 외부로부터의 요구에 의해, 전환하는 유닛을 구비하고,
    상기 화상 부호화 데이터를 송수신하는 클라이언트로부터의 요구에 따라, 상기 M개의 화상 부호화 데이터 중 적어도 하나의 화상을 선택하여 상기 변경을 행하고, 통신 상대의 클라이언트에게 출력하는 것을 특징으로 하는 화상 전환 장치.
  20. 제 19항에 있어서,
    상기 클라이언트로부터의 요구에 따라, 클라이언트가 수신하고 있는 화상의 적어도 하나를, 상기 M개의 화상 부호화 데이터 중 다른 화상으로 전환하는 것을 특징으로 하는 화상 전환 장치.
  21. 화상 부호화 데이터의 전환을 행하는 장치에 있어서,
    M개(단, M은 2 이상의 임의의 정수)의 화상 부호화 데이터를 수신하는 적어도 하나의 유닛과,
    수신한 M개의 화상 부호화 데이터의 적어도 하나를 복호하는 유닛과,
    복호된 데이터를, 수신한 화상 부호화 데이터와는,
    (A) 부호화 방식,
    (B) 부호화 비트 레이트,
    (C) 화상 사이즈,
    (D) 프레임 레이트,
    (E) 프로파일,
    (F) 레벨,
    (G) 부호화 옵션,
    (H) 비디오 패킷 사이즈,
    (I) 부호화 프레임 타입 구성,
    (J) 인트라 프레임 간격,
    (K) 인트라 매크로 블록 수,
    의 적어도 하나를 변경하여, 재부호화하는 적어도 하나의 유닛과,
    재부호화된 화상 부호화 데이터를 출력하는 적어도 하나의 유닛과,
    출력하는 화상 부호화 데이터의 적어도 하나를, 장치 외부로부터의 요구에 의해, 전환하는 유닛을 구비하고,
    상기 화상 부호화 데이터를 중계하는 회의 서버로부터의 요구에 따라, 상기 M개의 화상 부호화 데이터 중 적어도 하나의 화상을 선택하고, 상기 변경을 행하여 회의에 참가하는 클라이언트에게 출력하는 것을 특징으로 하는 화상 전환 장치.
  22. 화상 부호화 데이터의 전환을 행하는 장치에 있어서,
    M개(단, M은 2 이상의 임의의 정수)의 화상 부호화 데이터를 수신하는 적어도 하나의 유닛과,
    수신한 M개의 화상 부호화 데이터의 적어도 하나를 복호하는 유닛과,
    복호된 데이터를, 수신한 화상 부호화 데이터와는,
    (A) 부호화 방식,
    (B) 부호화 비트 레이트,
    (C) 화상 사이즈,
    (D) 프레임 레이트,
    (E) 프로파일,
    (F) 레벨,
    (G) 부호화 옵션,
    (H) 비디오 패킷 사이즈,
    (I) 부호화 프레임 타입 구성,
    (J) 인트라 프레임 간격,
    (K) 인트라 매크로 블록 수,
    의 적어도 하나를 변경하여, 재부호화하는 적어도 하나의 유닛과,
    재부호화된 화상 부호화 데이터를 출력하는 적어도 하나의 유닛과,
    출력하는 화상 부호화 데이터의 적어도 하나를, 장치 외부로부터의 요구에 의해, 전환하는 유닛을 구비하고,
    회의 서버로부터의 요구에 따라, 회의에 참가하는 클라이언트가 수신하고 있는 화상의 적어도 하나를, 상기 M개의 화상 부호화 데이터 중 다른 화상으로 전환하는 것을 특징으로 하는 화상 전환 장치.
  23. 제 20항에 있어서,
    상기 요구에 의한 화상 부호화 데이터의 전환에 있어서, 전환처의 화상의 복호 화상 데이터를, 인트라 프레임 부호화하고 나서 전환하는 것을 특징으로 하는 화상 전환 장치.
  24. 제 20항에 있어서,
    상기 요구에 의한 화상 부호화 데이터의 전환에 있어서, 전환원의 화상의 복호 화상 데이터를, 소정의 프레임 타입으로 부호화하여 전환하는 것을 특징으로 하는 화상 전환 장치.
  25. 화상 부호화 데이터의 전환을 행하는 장치를 구성하는 컴퓨터에서,
    M개(단, M은 2 이상의 임의의 정수)의 화상 부호화 데이터를 수신하는 처리와,
    수신한 M개의 화상 부호화 데이터의 적어도 하나를 복호하는 처리와,
    복호된 데이터를, 수신한 화상 부호화 데이터와는,
    (A) 부호화 방식,
    (B) 부호화 비트 레이트,
    (C) 화상 사이즈,
    (D) 프레임 레이트,
    (E) 프로파일,
    (F) 레벨,
    (G) 부호화 옵션,
    (H) 비디오 패킷 사이즈,
    (I) 부호화 프레임 타입 구성,
    (J) 인트라 프레임 간격,
    (K) 인트라 매크로 블록 수,
    의 적어도 하나를 변경하여 재부호화하는 처리와,
    재부호화된 화상 부호화 데이터를 출력하는 처리와,
    출력하는 화상 부호화 데이터의 적어도 하나를, 장치 외부로부터의 요구에 의해 전환하는 처리를 실행시키는 것을 특징으로 하는 프로그램을 기록한 기록 매체.
  26. 화상 부호화 데이터의 전환을 행하는 장치를 구성하는 컴퓨터에서,
    다중화된 M개(단, M은 2 이상의 임의의 정수)의 화상 부호화 데이터를 수신하여 분리하는 처리와,
    수신한 M개의 화상 부호화 데이터의 적어도 하나를 복호하는 처리와,
    복호된 데이터를, 수신한 화상 부호화 데이터와는,
    (A) 부호화 방식,
    (B) 부호화 비트 레이트,
    (C) 화상 사이즈,
    (D) 프레임 레이트,
    (E) 프로파일,
    (F) 레벨,
    (G) 부호화 옵션,
    (H) 비디오 패킷 사이즈,
    (I) 부호화 프레임 타입 구성,
    (J) 인트라 프레임 간격,
    (K) 인트라 매크로 블록 수,
    의 적어도 하나를 변경하여, 재부호화하는 처리와,
    재부호화된 화상 부호화 데이터를 다중화하여 출력하는 처리와,
    출력하는 화상 부호화 데이터의 적어도 하나를, 장치 외부로부터의 요구에 의해 전환하는 처리를 실행시키는 것을 특징으로 하는 프로그램을 기록한 기록 매체.
  27. 제 25항에 있어서,
    상기 재부호화하는 처리가, 상기 M개의 화상 부호화 데이터 중, 복수의 화상 부호화 데이터를 복호하고, 얻어진 복호 화상중, 2개 이상을 조합시켜, 하나 이상 M개 미만의 화상을 생성하고, 재부호화하는 것을 특징으로 하는 프로그램을 기록한 기록 매체.
  28. 제 25항에 있어서,
    상기 재부호화하는 처리가,
    (A) 인트라 프레임 간격의 단축,
    (B) 비디오 패킷 사이즈의 축소,
    (C) 인트라 매크로 블록 수의 증가,
    의 적어도 하나를 행하는 것을 특징으로 하는 프로그램을 기록한 기록 매체.
  29. 제 25항에 있어서,
    상기 화상 부호화 데이터를 송수신하는 클라이언트로부터의 요구에 따라, 상기 M개의 화상 부호화 데이터 중 적어도 하나의 화상을 선택하고, 상기 변경을 행하여 통신 상대의 클라이언트에게 출력하는 처리를 상기 컴퓨터에 실행시키는 것을 특징으로 하는 프로그램을 기록한 기록 매체.
  30. 제 29항에 있어서,
    상기 클라이언트로부터의 요구에 따라, 상기 클라이언트가 수신하고 있는 화상의 적어도 하나를, 상기 M개의 화상 부호화 데이터 중 다른 화상으로 전환하는 처리를, 상기 컴퓨터에 실행시키는 것을 특징으로 하는 프로그램을 기록한 기록 매체.
  31. 제 25항에 있어서,
    상기 화상 부호화 데이터를 중계하는 회의 서버로부터의 요구에 따라, 상기 M개의 화상 부호화 데이터 중 적어도 하나의 화상을 선택하고, 상기 변경을 행하여 회의에 참가하는 클라이언트에게 출력하는 처리를, 상기 컴퓨터에 실행시키는 것을 특징으로 하는 프로그램을 기록한 기록 매체.
  32. 제 25항에 있어서,
    회의 서버로부터의 요구에 따라, 회의에 참가하고 있는 클라이언트가 수신하고 있는 화상의 적어도 하나를, 상기 M개의 화상 부호화 데이터 중 다른 화상으로 전환하는 처리를, 상기 컴퓨터에 실행시키는 것을 특징으로 하는 프로그램을 기록한 기록 매체.
  33. 제 30항에 있어서,
    상기 요구에 의한 화상 부호화 데이터의 전환에 있어서, 전환처의 화상의 복호 화상 데이터를, 인트라 프레임 부호화하고 나서 전환하는 처리를, 상기 컴퓨터에 실행시키는 것을 특징으로 하는 프로그램을 기록한 기록 매체.
  34. 제 30항에 있어서,
    상기 요구에 의한 화상 부호화 데이터의 전환에 있어서, 전환원의 화상의 복호 화상 데이터를, 소정의 프레임 타입으로 부호화하여 전환하는 처리를, 상기 컴퓨터에 실행시키는 것을 특징으로 하는 프로그램을 기록한 기록 매체.
  35. 복수의 클라이언트와 변환 서버가 전송로에 접속되고, 적어도 화상 부호화 데이터를 전송하는 정보 통신 시스템에 있어서,
    상기 변환 서버가,
    M개(단, M은 2 이상의 임의의 정수)의 화상 부호화 데이터를 수신하는 수단과,
    수신한 M개의 화상 부호화 데이터의 적어도 하나를 복호하는 수단과,
    복호된 데이터를, 수신한 화상 부호화 데이터와는,
    (A) 부호화 방식,
    (B) 부호화 비트 레이트,
    (C) 화상 사이즈,
    (D) 프레임 레이트,
    (E) 프로파일,
    (F) 레벨,
    (G) 부호화 옵션,
    (H) 비디오 패킷 사이즈,
    (I) 부호화 프레임 타입 구성,
    (J) 인트라 프레임 간격,
    (K) 인트라 매크로 블록 수,
    의 적어도 하나를 변경하여 재부호화하는 수단과,
    재부호화된 화상 부호화 데이터를 출력하는 수단과,
    출력하는 화상 부호화 데이터의 적어도 하나를, 상기 변환 서버 외부로부터의 요구에 의해 전환하는 수단을 구비하고 있는 것을 특징으로 하는 정보 통신 시스템.
  36. 복수의 클라이언트와 변환 서버가 전송로에 접속되고, 적어도 화상 부호화 데이터를 전송하는 정보 통신 시스템에 있어서,
    상기 변환 서버가, 다중화된 M개(단, M은 2 이상의 임의의 정수)의 화상 부호화 데이터를 수신하여 분리하는 수단과,
    수신한 M개의 화상 부호화 데이터의 적어도 하나를 복호하는 수단과,
    복호된 데이터를, 수신한 화상 부호화 데이터와는,
    (A) 부호화 방식,
    (B) 부호화 비트 레이트,
    (C) 화상 사이즈,
    (D) 프레임 레이트,
    (E) 프로파일,
    (F) 레벨,
    (G) 부호화 옵션,
    (H) 비디오 패킷 사이즈,
    (I) 부호화 프레임 타입 구성,
    (J) 인트라 프레임 간격,
    (K) 인트라 매크로 블록 수,
    의 적어도 하나를 변경하여, 재부호화하는 수단과,
    재부호화된 화상 부호화 데이터를 다중화하여 출력하는 수단과,
    출력하는 화상 부호화 데이터의 적어도 하나를, 상기 변환 서버 외부로부터의 요구에 의해 전환하는 수단을 구비하고 있는 것을 특징으로 하는 정보 통신 시스템.
  37. 제 35항에 있어서,
    상기 재부호화하는 수단이, 상기 M개의 화상 부호화 데이터 중, 복수의 화상 부호화 데이터를 복호하고, 얻어진 복호 화상중, 2개 이상을 조합시켜 하나 이상 M개 미만의 화상을 생성하고, 재부호화하는 것을 특징으로 하는 정보 통신 시스템.
  38. 제 35항에 있어서,
    상기 재부호화하는 수단이,
    (A) 인트라 프레임 간격의 단축,
    (B) 비디오 패킷 사이즈의 축소,
    (C) 인트라 매크로 블록 수의 증가,
    의 적어도 하나를 행하는 것을 특징으로 하는 정보 통신 시스템.
  39. 제 35항에 있어서,
    상기 변환 서버가, 상기 화상 부호화 데이터를 송수신하는 클라이언트로부터의 요구에 따라, 상기 M개의 화상 부호화 데이터 중 적어도 하나의 화상을 선택하고, 상기 변경을 행하여 통신 상대의 클라이언트에게 출력하는 수단을 구비하고 있는 것을 특징으로 하는 정보 통신 시스템.
  40. 제 39항에 있어서,
    상기 변환 서버가, 상기 클라이언트로부터의 요구에 따라, 상기 클라이언트가 수신하고 있는 화상의 적어도 하나를, 상기 M개의 화상 부호화 데이터 중, 다른 화상으로 전환하는 수단을 구비하고 있는 것을 특징으로 하는 정보 통신 시스템.
  41. 제 35항에 있어서,
    상기 전송로에 접속하는 회의 서버를 구비하고,
    상기 변환 서버가, 상기 화상 부호화 데이터를 중계하는 상기 회의 서버로부터의 요구에 따라, 상기 M개의 화상 부호화 데이터 중 적어도 하나의 화상을 선택하고, 상기 변경을 행하여 회의에 참가하는 클라이언트에게 출력하는 수단을 구비 하고 있는 것을 특징으로 하는 정보 통신 시스템.
  42. 제 35항에 있어서,
    상기 전송로에 접속하는 회의 서버를 구비하고,
    상기 변환 서버가, 상기 회의 서버로부터의 요구에 따라, 회의에 참가하는 클라이언트가 수신하고 있는 화상의 적어도 하나를, 상기 M개의 화상 부호화 데이터 중 다른 화상으로 전환하는 수단을 구비하고 있는 것을 특징으로 하는 정보 통신 시스템.
  43. 제 40항에 있어서,
    상기 변환 서버가, 상기 요구에 의한 화상 부호화 데이터의 전환에 있어서, 전환처의 화상의 복호 화상 데이터를, 인트라 프레임 부호화하고 나서 전환하는 수단을 구비하고 있는 것을 특징으로 하는 정보 통신 시스템.
  44. 제 40항에 있어서,
    상기 요구에 의한 화상 부호화 데이터의 전환에 있어서, 전환원의 화상의 복호 화상 데이터를, 소정의 프레임 타입으로 부호화하여 전환하는 수단을 구비하고 있는 것을 특징으로 하는 정보 통신 시스템.
  45. 복수의 클라이언트와 전송로를 통하여 접속되는 변환 서버 장치에 있어서,
    클라이언트로부터의 화상 부호화 데이터를 수신하는 수단과,
    수신한 화상 부호화 데이터를, 클라이언트에서 이용 가능한 부호화 방식, 부호화 설정, 부호화 옵션 및 상기 전송로의 상태중 적어도 하나에 맞추어 화상 부호화 방식을 변환하여 송신하는 수단과,
    화상의 표시 수에 제한이 있는 클라이언트에 대해서는, 상기 화상 부호화 데이터 중, 선택된 복수의 화상 부호화 데이터를 복호하여 하나의 화상으로 합성하고 재부호화하여 송신하는 수단을 구비하고 있는 것을 특징으로 하는 변환 서버 장치.
  46. 제 45항에 있어서,
    복수의 복호 처리부를 구비하고, 상기 복호 처리부는 각 클라이언트로부터의 화상 부호화 데이터를 각각 복호하고,
    상기 클라이언트로부터 표시 화상의 전환 요구가 있는 경우, 전환의 타이밍에서 전환처의 화상의 복호 화상 데이터를, 인트라 프레임 부호화하여 송신하는 수단을 또한 구비하고 있는 것을 특징으로 하는 변환 서버 장치.
  47. 제 46항에 있어서,
    상기 클라이언트로부터 전환 요구가 있는 경우, 전환원의 화상의 복호 화상 데이터를, 소정의 프레임 타입으로 부호화하여 전환하는 수단을 또한 구비하고 있는 것을 특징으로 하는 변환 서버 장치.
  48. 제 46항에 있어서,
    상기 복수의 복호 처리부에서 복호된 복호 화상 데이터는 복수의 복호 데이터 버퍼에 격납되고,
    상기 복수의 복호 데이터 버퍼의 어느 하나의 복호 화상 데이터를 선택하여 판독하고, 부호화 처리부에 출력하는 화상 선택·합성 수단을 구비하고,
    상기 부호화 처리부는, 선택된 복호 화상 데이터를 클라이언트의 서포트하는 부호화 방식, 부호화 설정 및 부호화 옵션에 따라 재부호화하여 출력하는 것을 특징으로 하는 변환 서버 장치.
  49. 제 48항에 있어서,
    상기 화상 선택·합성 수단은, 클라이언트의 요구, 또는 미리 정해진 설정에 의해 복수의 복호 화상을 조합시켜 합성하고 출력하는 것을 특징으로 하는 변환 서버 장치.
  50. 제 49항에 있어서,
    상기 화상 선택·합성 수단은, 상기 복수(K개)의 복호 데이터 버퍼에 버퍼링되어 있는 복호 화상을 각각 1/K로 축소하여 나열함으로써, K개의 화상을 하나의 화상으로 하여, 상기 부호화 처리부에 출력하는 것을 특징으로 하는 변환 서버 장치,
  51. 제 48항에 있어서,
    상기 부호화 처리부로부터의 재부호화 출력을 받는 상기 클라이언트에서 표시되는 복수의 화상을 합성한 화상중에, 자체(自) 또는 다른 클라이언트의 화상 데이터를 포함하는 경우에, 상기 화상 선택·합성 수단은, 상기 자체 또는 다른 클라이언트에 대응하는 복호 처리부에서 복호된 화상 데이터를 격납하는 복호 데이터 버퍼로부터 복호 화상을 판독하고, 상기 복호 화상을 조합시켜 합성하여 출력하는 것을 특징으로 하는 변환 서버 장치.
KR20050076655A 2004-08-25 2005-08-22 화상 부호화 데이터의 전환 방법 및 장치, 시스템 및 프로그램을 기록한 기록 매체 KR100763269B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004245732A JP2006067124A (ja) 2004-08-25 2004-08-25 画像符号化データの切り替え方法および装置、システムならびにプログラム
JPJP-P-2004-00245732 2004-08-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020070051843A Division KR20070074510A (ko) 2004-08-25 2007-05-29 화상 부호화 데이터의 전환 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20060053201A KR20060053201A (ko) 2006-05-19
KR100763269B1 true KR100763269B1 (ko) 2007-10-08

Family

ID=35810074

Family Applications (2)

Application Number Title Priority Date Filing Date
KR20050076655A KR100763269B1 (ko) 2004-08-25 2005-08-22 화상 부호화 데이터의 전환 방법 및 장치, 시스템 및 프로그램을 기록한 기록 매체
KR1020070051843A KR20070074510A (ko) 2004-08-25 2007-05-29 화상 부호화 데이터의 전환 방법 및 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020070051843A KR20070074510A (ko) 2004-08-25 2007-05-29 화상 부호화 데이터의 전환 방법 및 장치

Country Status (5)

Country Link
US (1) US7653251B2 (ko)
EP (1) EP1633120A3 (ko)
JP (1) JP2006067124A (ko)
KR (2) KR100763269B1 (ko)
CN (1) CN100553329C (ko)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1851962B1 (en) * 2005-02-16 2012-11-14 NMS Communications Corporation Methods and apparatus for delivering services
JP2009504030A (ja) * 2005-07-28 2009-01-29 オラクル・インターナショナル・コーポレイション 収益管理システムおよび方法
JP4585479B2 (ja) 2006-03-30 2010-11-24 株式会社東芝 サーバ装置および映像配信方法
BRPI0717900A2 (pt) 2006-12-06 2013-10-29 Nec Corp "servidor ptt, sistema de comunciação ptt, método de comunicação ptt e programa para fazer um servidor ptt executar comunicação ptt"
CN101207798B (zh) * 2006-12-18 2010-06-16 中兴通讯股份有限公司 一种基于媒体服务器的视频变形实现方法
WO2008117892A1 (ja) 2007-03-28 2008-10-02 Nec Corporation コンテンツ配信システム、変換装置及びそれらに用いるコンテンツ配信方法
WO2008123568A1 (ja) * 2007-04-04 2008-10-16 Nec Corporation コンテンツ配信システム、コンテンツ配信方法及びそれらに用いる変換装置
HU0700409D0 (en) * 2007-06-11 2007-08-28 3D Histech Kft Method and system for accessing a slide from a remote workstation
JP4600511B2 (ja) * 2008-04-23 2010-12-15 沖電気工業株式会社 コーデック変換装置、ゲートウェイ装置及びコーデック変換方法
JP5419124B2 (ja) * 2008-04-24 2014-02-19 日本電気株式会社 ゲートウェイ装置と通信方法とプログラム
US8793749B2 (en) * 2008-08-25 2014-07-29 Broadcom Corporation Source frame adaptation and matching optimally to suit a recipient video device
WO2010027082A1 (ja) * 2008-09-08 2010-03-11 日本電気株式会社 カンファレンスサーバとビデオカンファレンスシステムと方法並びプログラム
CN102160392A (zh) * 2008-09-26 2011-08-17 日本电气株式会社 网关装置、方法、***及程序
CN101742299B (zh) * 2008-11-21 2012-06-27 中国科学院空间科学与应用研究中心 一种符合ccsds标准的图像无损压缩处理***及方法
WO2010079797A1 (ja) * 2009-01-08 2010-07-15 日本電気株式会社 画像変換装置と方法及びプログラム
KR101641716B1 (ko) * 2009-09-02 2016-07-21 에스케이텔레콤 주식회사 통합 영상 부호화 방법 및 장치
JP2012074981A (ja) * 2010-09-29 2012-04-12 Nec Corp 多地点会議接続装置、多地点会議システム、多地点会議接続方法およびプログラム
JP2012099890A (ja) * 2010-10-29 2012-05-24 Sony Corp 画像処理装置、画像処理方法、および画像処理システム
US8699747B2 (en) * 2011-05-26 2014-04-15 Digimarc Corporation Image-related methods and systems
US8842875B2 (en) 2011-05-26 2014-09-23 Digimarc Corporation Image related methods and systems
EP2547062B1 (en) * 2011-07-14 2016-03-16 Nxp B.V. Media streaming with adaptation
WO2012106898A1 (zh) * 2011-07-18 2012-08-16 华为技术有限公司 多路音视频传输和处理方法、装置及***
JP5631832B2 (ja) * 2011-09-27 2014-11-26 株式会社東芝 画像中継装置、画像中継方法及び画像中継プログラム
CN102497541B (zh) * 2011-12-21 2017-09-26 北京硅盾安全技术有限公司 一种智能视频信息分配与编码方法
JPWO2013132828A1 (ja) * 2012-03-05 2015-07-30 パナソニックＩｐマネジメント株式会社 通信システムおよび中継装置
JP5942258B2 (ja) * 2012-06-12 2016-06-29 パナソニックＩｐマネジメント株式会社 映像表示システム、映像合成再符号化装置、映像表示装置、映像表示方法、及び映像合成再符号化プログラム
JP6330354B2 (ja) * 2013-02-25 2018-05-30 株式会社リコー 通信管理システム、通信管理方法、及びプログラム
JP6347115B2 (ja) * 2013-02-28 2018-06-27 株式会社リコー 通信管理システム、通信管理方法、及びプログラム
CN105191316A (zh) * 2013-03-15 2015-12-23 罗伯特·博世有限公司 用于切换经压缩的视频流的切换装置、具有切换装置的会议***以及用于切换经压缩的视频流的过程
CN103338143A (zh) * 2013-05-27 2013-10-02 四川长虹电器股份有限公司 实现图像分享的方法、装置及***
US10218981B2 (en) * 2015-02-11 2019-02-26 Wowza Media Systems, LLC Clip generation based on multiple encodings of a media stream
PT3329670T (pt) * 2015-07-28 2023-01-10 Mersive Tech Inc Sistema em ponte para controlador de vídeo virtual para colaboração de múltiplas fontes num sistema de conferência por internet
JP6387972B2 (ja) * 2016-01-25 2018-09-12 ブラザー工業株式会社 通信方法、通信システム、及び、通信プログラム
US11171999B2 (en) 2016-07-21 2021-11-09 Qualcomm Incorporated Methods and apparatus for use of compact concurrent codecs in multimedia communications
JP6669617B2 (ja) * 2016-09-12 2020-03-18 ルネサスエレクトロニクス株式会社 動画像処理システム
CN106454355B (zh) * 2016-10-24 2019-03-01 西南科技大学 一种视频编码方法及装置
GB2563275B (en) * 2017-06-09 2019-10-09 Sony Interactive Entertainment Inc Image processing device and system
KR101953701B1 (ko) * 2017-10-20 2019-03-04 국방과학연구소 다중채널 영상 처리 장치 및 방법
CN109982023B (zh) * 2017-12-28 2020-11-13 成都鼎桥通信技术有限公司 一种视频会话中的分辨率调整方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990084260A (ko) * 1998-05-02 1999-12-06 윤종용 목표부호량에 근접시킨 영상 신호 부호화방법 및 그에 따른 장치

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0282132B1 (en) 1987-03-09 1992-09-30 The Procter & Gamble Company Compositions and their use for treating gastrointestinal disorders
JP3146085B2 (ja) 1993-03-11 2001-03-12 三菱電機株式会社 文字認識処理システム
JP3058028B2 (ja) 1994-10-31 2000-07-04 三菱電機株式会社 画像符号化データ再符号化装置
US6072830A (en) * 1996-08-09 2000-06-06 U.S. Robotics Access Corp. Method for generating a compressed video signal
US6680976B1 (en) * 1997-07-28 2004-01-20 The Board Of Trustees Of The University Of Illinois Robust, reliable compression and packetization scheme for transmitting video
EP1233614B1 (fr) 2001-02-16 2012-08-08 C.H.I. Development Mgmt. Ltd. XXIX, LLC Système de transmission et de traitement vidéo pour générer une mosaique utilisateur
JP3788260B2 (ja) * 2001-04-09 2006-06-21 日本電気株式会社 配信システムとその配信方法、及び配信プログラム
GB2384932B (en) 2002-01-30 2004-02-25 Motorola Inc Video conferencing system and method of operation
US20040008249A1 (en) 2002-07-10 2004-01-15 Steve Nelson Method and apparatus for controllable conference content via back-channel video interface
US7523482B2 (en) 2002-08-13 2009-04-21 Microsoft Corporation Seamless digital channel changing
US7283589B2 (en) * 2003-03-10 2007-10-16 Microsoft Corporation Packetization of FGS/PFGS video bitstreams

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990084260A (ko) * 1998-05-02 1999-12-06 윤종용 목표부호량에 근접시킨 영상 신호 부호화방법 및 그에 따른 장치

Also Published As

Publication number Publication date
CN100553329C (zh) 2009-10-21
KR20060053201A (ko) 2006-05-19
US7653251B2 (en) 2010-01-26
US20060045363A1 (en) 2006-03-02
CN1741610A (zh) 2006-03-01
EP1633120A3 (en) 2008-02-27
KR20070074510A (ko) 2007-07-12
EP1633120A2 (en) 2006-03-08
JP2006067124A (ja) 2006-03-09

Similar Documents

Publication Publication Date Title
KR100763269B1 (ko) 화상 부호화 데이터의 전환 방법 및 장치, 시스템 및 프로그램을 기록한 기록 매체
JP4645856B2 (ja) パケット交換網−回線交換網間のメディア通信におけるプロトコル変換システム
JP5356360B2 (ja) 無線通信システムにおけるオーディオおよびビデオデータの同期
US7720157B2 (en) Arrangement and method for generating CP images
WO2005099243A1 (ja) 音声通信方法及び装置
US8369881B2 (en) PTT server, PTT communication system, PTT communication method, and program
JP5516408B2 (ja) ゲートウェイ装置と方法とシステム
JP2012151555A (ja) テレビ会議システム、テレビ会議中継装置、テレビ会議中継方法および中継プログラム
KR20040066641A (ko) 트랜스코딩을 이용한 동영상메일 통신장치 및 방법
JP2013042492A (ja) 常駐表示式ビデオ会議においてビデオストリームを切替える方法およびシステム
WO2010027082A1 (ja) カンファレンスサーバとビデオカンファレンスシステムと方法並びプログラム
JP5257448B2 (ja) サーバ装置と通信方法ならびにプログラム
JP2007020095A (ja) 情報合成装置、情報合成システム、情報同期方法およびプログラム
JP5516409B2 (ja) ゲートウェイ装置と方法とシステム並びに端末
JP5013141B2 (ja) コンテンツ配信システム、コンテンツ配信方法及びそれらに用いる変換装置
Lewcio et al. A method for seamless codec changeover during active video calls
JPWO2009145294A1 (ja) サーバ装置と通信方法ならびにプログラム
Johanson Designing an environment for distributed real-time collaboration
WO2010035776A1 (ja) サーバ装置及び通信システムと通信方法とプログラム
Recas de Buen Test bed design for interactive video conference services
DE BUEN TECHNISCHE UNIVERSITAT WIEN ESCOLA POLITECNICA SUPERIOR DE CASTELLDEFELS, UPC
JP2008211294A (ja) 符号化装置および符号化方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
A107 Divisional application of patent
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
G170 Publication of correction
FPAY Annual fee payment

Payment date: 20120907

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20130903

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140902

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150827

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160831

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20180903

Year of fee payment: 12