JP4689500B2 - Information processing device - Google Patents
Information processing device Download PDFInfo
- Publication number
- JP4689500B2 JP4689500B2 JP2006057509A JP2006057509A JP4689500B2 JP 4689500 B2 JP4689500 B2 JP 4689500B2 JP 2006057509 A JP2006057509 A JP 2006057509A JP 2006057509 A JP2006057509 A JP 2006057509A JP 4689500 B2 JP4689500 B2 JP 4689500B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- input
- communication
- information processing
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Telephonic Communication Services (AREA)
Description
本発明は、ネットワークを介して通信相手と音声データ、映像データなどを送受信する技術に関し、特に、データの種類が変更されることを検知して、そのデータの種類に対応した処理を行なう情報処理装置に関する。 The present invention relates to a technique for transmitting / receiving audio data, video data, and the like to / from a communication partner via a network, and in particular, information processing that detects a change in data type and performs processing corresponding to the data type. Relates to the device.
近年、インターネットをはじめとする通信環境が広く普及し、情報処理装置に通信機能を備えるものが増加しており、このような情報処理装置がオフィス、家庭などで利用されている。また、通信環境においては、ブロードバンド化が進んでおり、それに応じて音声データ、映像データなどを送受信するマルチメディア通信機能を有する情報処理装置やアプリケーションが増加している。 In recent years, communication environments including the Internet have become widespread, and information processing apparatuses having a communication function are increasing. Such information processing apparatuses are used in offices and homes. In communication environments, broadbandization is progressing, and information processing apparatuses and applications having a multimedia communication function for transmitting and receiving audio data, video data, and the like are increasing accordingly.
また、コミュニケーション手段として用いられていた電話においても、ＶｏＩＰ（Voice over Internet Protocol）技術を用いたＩＰ化が進められており、音声に加えて映像もあわせて送受信するテレビ電話やテレビ会議などのビデオコミュニケーションも実現されてきている。 Also, telephones that have been used as communication means are being IP-based using VoIP (Voice over Internet Protocol) technology, and video such as videophones and video conferences that transmit and receive video in addition to voice. Communication has also been realized.
このようなコミュニケーションのＩＰ化に伴い、ＶｏＩＰをはじめとするメディアコミュニケーションを実現する技術として、インターネット標準においては、ＳＩＰ（Session Initiation Protocol）やＲＴＰ（Real-time Transport Protocol）などのプロトコルが規定されている。また、メディアデータを圧縮して送受信するために、ＭＰＥＧ（Moving Picture Experts Group）２やＭＰＥＧ４などに代表される多くのコーデックが規定されて利用されている。これらの技術を用いることによって、コミュニケーションの開始、変更、切断や、コンテンツの送受信などの基本的な機能が実現されている。 With such communication IP, as a technology for realizing media communication such as VoIP, the Internet standard defines protocols such as SIP (Session Initiation Protocol) and RTP (Real-time Transport Protocol). Yes. In order to compress and transmit media data, many codecs represented by MPEG (Moving Picture Experts Group) 2 and MPEG4 are defined and used. By using these technologies, basic functions such as start, change, and disconnection of communication and transmission / reception of contents are realized.
一方、このようなメディアコミュニケーションを実現した場合に、さまざまな問題点が見出させている。その１つとして、通信中に符号化方式を切替えるときに、切替えのタイミングで異音が発生したり、映像が乱れたり、途切れたりする問題が指摘されている。下記の特許文献１は、このような問題点を解決するためのものである。
On the other hand, various problems are found when such media communication is realized. As one of the problems, it has been pointed out that when the encoding method is switched during communication, abnormal noise is generated at the switching timing, or the video is disturbed or interrupted. The following
特許文献１においては、通信相手との通信中に符号化方式を第１の符号化方式から第２の符号化方式に切替える場合、パケット通信装置（送信側）は、通信相手の準備が完了するまで、第１の符号化方式で符号化された音声および／または映像信号を送信する。そして、パケット通信装置（受信側）は、第２の符号化方式に対応する第２の復号化方式の復号化処理が安定した後、第２の復号化方式で復号化された音声および／または映像信号を出力する。
しかしながら、上述した特許文献１においては、通信中に符号化方式を切替えるときに、切替えのタイミングで異音が発生したり、映像が乱れたり、途切れたりすることを防止することができるが、送信するデータの種類が途中で変更される場合、その変更を受信側で検知できないため、それに対応することができない。
However, in
たとえば、通常テレビ電話では、通話者が互いにカメラで撮影した映像、マイクで集音した音声をリアルタイムで送受信するが、その最中に一方の通話者が相手に以前録画しておいた映像を見せたいと思った場合、使用するコーデックはそのままで、カメラで撮影した映像の代わりに録画映像をエンコードして相手に送信することにより、相手にその録画画像を送信することができる。これは、ＡＶ（Audio Visual）セレクタなどを用いて送信する映像ソースの入力を切替えることによって可能である。 For example, in a normal videophone call, video images taken by a caller with a camera and audio collected by a microphone are sent and received in real time. During that time, one caller shows a video previously recorded by the other party. If you want to, you can send the recorded image to the other party by encoding the recorded video instead of the video taken by the camera and sending it to the other party. This is possible by switching the input of the video source to be transmitted using an AV (Audio Visual) selector or the like.
そのとき、送信側の装置においては、ユーザがソースを指定して切替えを指示するので、それをトリガにテレビ電話の映像から録画映像に切替わったことを認識できる。しかしながら、受信側の装置においては、送信元でソースが切替えられたとしても、どのタイミングでどのようなコンテンツに切替わったかを認識することができないといった問題点があった。 At that time, in the transmission side device, the user designates the source and instructs switching, so that it can be recognized that the videophone video is switched to the recorded video as a trigger. However, the receiving apparatus has a problem that even if the source is switched at the transmission source, it cannot be recognized at what timing what content is switched.
また、エンコードに利用するコーデックを変更する場合、たとえばテレビ電話における通話者の画像を相手に送信する代わりに、コンテンツなどの映像を相手に送信する際、カメラでの自身の映像よりも高画質な映像を相手に見せたい場合には、高画質のコーデックに変更することを呼制御のシグナリングで再ネゴシエーションする必要があるが、それはあくまで受信側でデコードを可能にするためであり、送信されるコンテンツや映像入力デバイスが変わったという情報の通知までは行なわれない。したがって、受信側ではコーデックが変更されたので、送信コンテンツが変更されたのか、その他の要因、たとえば通信帯域状態や装置の処理能力などの条件の変化によって変更されたのかを認識することができないといった問題点があった。 In addition, when changing the codec used for encoding, for example, when transmitting a video of content or the like to the other party instead of transmitting the image of the caller in the videophone, the image quality is higher than that of the camera itself. If you want to show the video to the other party, it is necessary to re-negotiate by changing the call control signaling to change to a high-quality codec. Or notification of information that the video input device has changed. Therefore, since the codec has been changed on the receiving side, it cannot be recognized whether the transmission content has been changed or whether it has been changed due to other factors such as changes in conditions such as the communication bandwidth state and the processing capability of the device. There was a problem.
本発明は、上記問題点を解決するためになされたものであり、第１の目的は、相手の情報処理装置と接続中にコミュニケーションデータを変更する場合に、どのようなタイミングで、どのようなデータに変更されるかを通知することが可能な情報処理装置を提供することである。 The present invention has been made in order to solve the above-described problems. The first object is to change the communication data during connection with the information processing apparatus of the other party, at what timing, and at what timing. An object of the present invention is to provide an information processing apparatus capable of notifying whether data is changed.
第２の目的は、相手の情報処理装置と接続中にコミュニケーションデータが変更される場合に、どのようなタイミングで、どのようなデータに変更されるかの通知を受信して、画面構成などを変更することが可能な情報処理装置を提供することである。 Secondly, when communication data is changed while connected to the information processing device of the other party, a notification of when the data is changed and at what timing is received, and the screen configuration is changed. It is to provide an information processing apparatus that can be changed.
本発明のある局面に従えば、情報処理装置は、外部装置との間でデータの送受信を行なう通信手段と、ユーザからの入力ソースの切替え指示を入力するインタフェース手段と、インタフェース手段によって入力された入力ソースの切替え指示に応じて、入力ソースを切替えてデータを入力して通信手段を介して外部装置に送信し、入力データの種類または入力データの種類の組合わせを識別するための識別情報を通信手段を介して外部装置に送信する制御手段とを含む。 According to an aspect of the present invention, an information processing apparatus is input by a communication unit that transmits / receives data to / from an external device, an interface unit that inputs an input source switching instruction from a user, and an interface unit. In accordance with the input source switching instruction, the input source is switched, data is input and transmitted to the external device via the communication means, and identification information for identifying the type of input data or a combination of types of input data is provided. Control means for transmitting to an external device via the communication means.
好ましくは、制御手段は、入力装置を選択して入力ソースを切替えてデータを入力する入力制御手段と、外部装置とのメディア通信を制御するシグナリングによって、入力データの種類または識別情報を通信手段を介して送信するシグナリング手段とを含む。 Preferably, the control means selects the input device, switches the input source to input data, and inputs the type or identification information of the input data by signaling for controlling media communication with the external device. And signaling means for transmitting via.
さらに好ましくは、シグナリング手段は、セッション・ディスクリプション・プロトコルによって記述された入力データの種類または識別情報を外部装置に送信する。 More preferably, the signaling means transmits the type or identification information of the input data described by the session description protocol to the external device.
好ましくは、制御手段はさらに、入力制御手段によって切替えられたデータに応じてエンコーダを選択してコーデック処理を行なわせるエンコード手段を含み、シグナリング手段は、コーデック処理に関する情報を外部装置に送信する。 Preferably, the control means further includes an encoding means for performing codec processing by selecting an encoder according to the data switched by the input control means, and the signaling means transmits information relating to the codec processing to an external device.
好ましくは、シグナリング手段は、入力制御手段によって切替えられたデータに応じて出力形態を指定する情報を外部装置に送信する。 Preferably, the signaling unit transmits information specifying the output form to the external device according to the data switched by the input control unit.
好ましくは、制御手段は、入力装置を選択して入力ソースを切替えてデータを入力する入力制御手段と、入力制御手段によって入力されたデータおよび入力データの種類または識別情報を通信手段を介して外部装置に送信するデータ送信手段とを含む。 Preferably, the control means selects the input device and switches the input source to input data, and inputs the data input by the input control means and the type or identification information of the input data via the communication means. Data transmission means for transmitting to the apparatus.
さらに好ましくは、データ送信手段は、リアルタイム・トランスポート・プロトコルパケットのペイロードタイプを用いて、入力データの種類または識別情報を外部装置に送信する。 More preferably, the data transmission means transmits the type or identification information of the input data to the external device using the payload type of the real-time transport protocol packet.
本発明の別の局面に従えば、情報処理装置は、外部装置との間でデータの送受信を行なう通信手段と、通信手段を介して外部装置から受信したデータの種類または受信データの種類の組合わせを識別するための識別情報を抽出し、受信データの種類または識別情報に応じて受信データの出力を制御する制御手段とを含む。 According to another aspect of the present invention, an information processing device includes a communication unit that transmits and receives data to and from an external device, and a type of data received from the external device via the communication unit or a set of types of received data. Control means for extracting identification information for identifying the combination and controlling the output of the received data in accordance with the type or identification information of the received data.
好ましくは、制御手段は、外部装置とのメディア通信を制御するシグナリングによって、受信データの種類または識別情報を受信するシグナリング手段と、受信データの種類または識別情報に応じて受信データの出力を制御する出力制御手段とを含む。 Preferably, the control means controls the output of the received data in accordance with the type of the received data or the identification information, and the signaling means for receiving the type or the identification information of the received data by signaling for controlling the media communication with the external device. Output control means.
さらに好ましくは、シグナリング手段は、セッション・ディスクリプション・プロトコルによって記述された受信データの種類または識別情報を受信する。 More preferably, the signaling means receives the type or identification information of the received data described by the session description protocol.
好ましくは、制御手段はさらに、シグナリング手段によって受信されたコーデック処理に関する情報に応じてデコーダを選択してコーデック処理を行なわせるデコード手段を含み、出力制御手段は、デコード手段によってデコードされたデータの出力を制御する。 Preferably, the control means further includes decoding means for selecting the decoder in accordance with information related to the codec processing received by the signaling means and performing codec processing, and the output control means outputs the data decoded by the decoding means. To control.
好ましくは、出力制御手段は、シグナリング手段によって受信された出力形態を指定する情報に応じて、出力装置の出力形態を変更してデータを出力させる。 Preferably, the output control means changes the output form of the output device according to the information specifying the output form received by the signaling means and outputs the data.
好ましくは、制御手段は、通信手段を介して受信データおよび受信データの種類または識別情報を受信するデータ受信手段と、受信データの種類または識別情報に応じて受信データの出力を制御する出力制御手段とを含む。 Preferably, the control means receives the received data and the type or identification information of the received data via the communication means, and the output control means controls the output of the received data according to the type or identification information of the received data. Including.
さらに好ましくは、データ受信手段は、ペイロードタイプを用いて受信データの種類または識別情報を指定したリアルタイム・トランスポート・ストリームパケットを受信する。 More preferably, the data receiving means receives a real-time transport stream packet in which the type or identification information of the received data is specified using the payload type.
本発明のある局面によれば、制御手段が、インタフェース手段によって入力された入力ソースの切替え指示に応じて、入力ソースを切替えてデータを入力して通信手段を介して外部装置に送信し、入力データの種類または入力データの種類の組合わせを識別するための識別情報を通信手段を介して外部装置に送信するので、外部装置に対してどのようなタイミングで、どのようなデータに変更されるかを通知することが可能となる。 According to an aspect of the present invention, the control unit switches the input source in accordance with the input source switching instruction input by the interface unit, inputs data, and transmits the data to the external device via the communication unit. Since identification information for identifying the type of data or the combination of types of input data is transmitted to the external device via the communication means, the data is changed to what data at what timing with respect to the external device. Can be notified.
また、シグナリング手段が、外部装置とのメディア通信を制御するシグナリングによって、入力データの種類または識別情報を通信手段を介して送信するので、確実に外部装置にデータの変更などを通知することが可能となる。 In addition, since the signaling means transmits the type or identification information of the input data via the communication means by signaling that controls media communication with the external device, it is possible to reliably notify the external device of data changes, etc. It becomes.
また、シグナリング手段が、セッション・ディスクリプション・プロトコルによって記述された入力データの種類または識別情報を外部装置に送信するので、既存のプロトコルを用いて外部装置にデータの変更などを通知することが可能となる。 In addition, since the signaling means transmits the type or identification information of the input data described by the session description protocol to the external device, it is possible to notify the external device of data changes using the existing protocol. It becomes.
また、シグナリング手段が、コーデック処理に関する情報を外部装置に送信するので、外部装置はどのようなコーデック処理を用いてデータをデコードすればよいかを認識することが可能となる。 In addition, since the signaling unit transmits information related to the codec processing to the external device, the external device can recognize what codec processing should be used to decode the data.
また、シグナリング手段が、入力制御手段によって切替えられたデータに応じて出力形態を指定する情報を外部装置に送信するので、それに応じて外部装置は出力形態を変更することが可能となる。 In addition, since the signaling unit transmits information specifying the output mode according to the data switched by the input control unit to the external device, the external device can change the output mode accordingly.
また、データ送信手段が、入力制御手段によって入力されたデータおよび入力データの種類または識別情報を通信手段を介して外部装置に送信するので、容易に外部装置にデータの変更などを通知することが可能となる。 In addition, since the data transmission means transmits the data input by the input control means and the type or identification information of the input data to the external device via the communication means, it is possible to easily notify the external device of data change or the like. It becomes possible.
また、データ送信手段が、リアルタイム・トランスポート・プロトコルパケットのペイロードタイプを用いて、入力データの種類または識別情報を外部装置に送信するので、特別なシグナリングを用いずに外部装置にデータの変更などを通知することが可能となる。 In addition, since the data transmission means transmits the type or identification information of the input data to the external device using the payload type of the real-time transport protocol packet, the data is changed to the external device without using special signaling. Can be notified.
本発明の別の局面によれば、制御手段が、通信手段を介して外部装置から受信したデータの種類または受信データの種類の組合わせを識別するための識別情報を抽出し、受信データの種類または識別情報に応じて受信データの出力を制御するので、データの変更などを容易に認識でき、それに応じた出力形態に変更することが可能となる。 According to another aspect of the present invention, the control means extracts identification information for identifying the type of data received from the external device via the communication means or a combination of the types of received data, and the type of received data. Alternatively, since the output of the received data is controlled according to the identification information, it is possible to easily recognize the data change and the like, and to change the output form accordingly.
また、シグナリング手段が、外部装置とのメディア通信を制御するシグナリングによって、受信データの種類または識別情報を受信するので、確実にデータの変更などの通知を受信することが可能となる。 Further, since the signaling unit receives the type or identification information of the received data by signaling for controlling the media communication with the external device, it is possible to reliably receive notifications such as data changes.
また、シグナリング手段が、セッション・ディスクリプション・プロトコルによって記述された受信データの種類または識別情報を受信するので、既存のプロトコルを用いてデータの変更などの通知を受信することが可能となる。 In addition, since the signaling means receives the type or identification information of the received data described by the session description protocol, it is possible to receive notifications such as data changes using the existing protocol.
また、コーデック手段が、シグナリング手段によって受信されたコーデック処理に関する情報に応じてデコーダを選択してコーデック処理を行なわせるので、デコーダの選択を容易に行なうことが可能となる。 Further, since the codec means selects the decoder according to the information related to the codec processing received by the signaling means and performs the codec processing, the decoder can be easily selected.
また、出力制御手段が、シグナリング手段によって受信された出力形態を指定する情報に応じて、出力装置の出力形態を変更してデータを出力させるので、受信データに適した出力形態でデータを出力することが可能となる。 Further, since the output control means changes the output form of the output device according to the information specifying the output form received by the signaling means and outputs the data, the data is output in an output form suitable for the received data. It becomes possible.
また、データ受信手段が、通信手段を介して受信データおよび受信データの種類または識別情報を受信するので、容易にデータの変更などの通知を受信することが可能となる。 In addition, since the data receiving means receives the received data and the type or identification information of the received data via the communication means, it is possible to easily receive notifications such as data changes.
また、データ受信手段が、ペイロードタイプを用いて受信データの種類または識別情報を指定したリアルタイム・トランスポート・ストリームパケットを受信するので、特別なシグナリングを用いずにデータの変更などの通知を受信することが可能となる。 In addition, since the data receiving means receives the real-time transport stream packet specifying the type or identification information of the received data using the payload type, it receives a notification such as data change without using special signaling. It becomes possible.
（第１の実施の形態）
図１は、本発明の第１の実施の形態における情報処理装置の外観例を示す図である。この情報処理装置は、コンピュータ本体１と、ディスプレイ２と、音声などを出力するスピーカ３と、通話者の音声などを集音するマイク４と、通話者の映像などを撮影するカメラ５と、リモコン１０との間で赤外線によって通信を行なう赤外線ポート６と、外部から音声信号や映像信号が入力される外部ＡＶ入力端子７とを含む。
(First embodiment)
FIG. 1 is a diagram showing an example of the appearance of an information processing apparatus according to the first embodiment of the present invention. The information processing apparatus includes a computer
リモコン１０は、数字キー１０１と、発信キー１０２と、切断キー１０３と、十字キー１０４と、決定キー１０５とを含む。
The
図２は、本発明の第１の実施の形態における情報処理装置のハードウェア構成を示すブロック図である。この情報処理装置は、ディスプレイ２と、スピーカ３と、マイク４と、カメラ５と、赤外線ポート６と、音声外部入力端子７−１と、映像外部入力端子７−２と、音声外部出力端子８−１と、映像外部出力端子８−２と、図示しない外部スピーカを接続するための外部スピーカ端子９と、ＣＰＵ（Central Processing Unit）１１と、ＲＯＭ（Read Only Memory）１２と、ＲＡＭ（Random Access Memory）１３と、ＡＶセレクタ１４と、ネットワークデバイス１５と、ＴＶ放送波を受信するＴＶチューナ１６と、ｍｐｅｇ４デコーダ１７と、ｍｐｅｇ４エンコーダ１８と、ｍｐｅｇ２デコーダ１９と、ｍｐｅｇ２エンコーダ２０とを含む。
FIG. 2 is a block diagram showing a hardware configuration of the information processing apparatus according to the first embodiment of this invention. This information processing apparatus includes a
情報処理装置全体の制御を行なうためのプログラムはＲＯＭ１２に格納され、ＣＰＵ１１がＲＯＭ１２に格納されたプログラムをＲＡＭ１３に展開して実行する。また、ＲＡＭ１３は、音声データ、映像データなどを一時的に保持するのにも使用される。
A program for controlling the entire information processing apparatus is stored in the
ＡＶセレクタ１４は、ディスプレイ２、スピーカ３、マイク４、カメラ５、赤外線ポート６、音声外部入力端子７−１、映像外部入力端子７−２、音声外部出力端子８−１、映像外部出力端子８−２、外部スピーカ端子９、ＴＶチューナ１６、ｍｐｅｇ４デコーダ１７、ｍｐｅｇ４エンコーダ１８、ｍｐｅｇ２デコーダ１９、およびｍｐｅｇ２エンコーダ２０に接続され、音声や映像の入出力デバイスの切替えやミキシングを行なう。
The
ネットワークデバイス１５は、インターネットなどのネットワークに接続され、相手の情報処理装置との間で音声データ、映像データなどの送受信を行なう。
The
図３は、本発明の第１の実施の形態における情報処理装置の機能的構成を示すブロック図である。図３においては、点線で囲まれた部分がハードウェアによって構成され、実線で囲まれた部分がソフトウェアによって構成される。 FIG. 3 is a block diagram showing a functional configuration of the information processing apparatus according to the first embodiment of the present invention. In FIG. 3, a portion surrounded by a dotted line is configured by hardware, and a portion surrounded by a solid line is configured by software.
入力装置２１は、図２に示すマイク４、カメラ５、赤外線ポート６、音声外部入力端子７−１、映像外部入力端子７−２、ＴＶチューナ１６などに相当する。また、出力装置２２は、図２に示すディスプレイ２、スピーカ３、音声外部出力端子８−１、映像外部出力端子８−２、外部スピーカ端子９などに相当する。
The
エンコーダ２４は、ｍｐｅｇ４エンコーダ１８およびｍｐｅｇ２エンコーダ２０に相当する。また、デコーダ２５は、ｍｐｅｇ４デコーダ１７およびｍｐｅｇ２デコーダ１９に相当する。また、通信装置２３は、ネットワークデバイス１５に相当する。
The
ソフトウェアによって実現される機能は、ＧＵＩ（Graphical User Interface）部３１と、コミュニケーション管理部３２と、入力制御部３３と、出力制御部３４と、エンコード部３５と、デコード部３６と、データ送信部３７と、シグナリング部３８と、データ受信部３９と、通信部４０とを含む。
Functions realized by software include a GUI (Graphical User Interface)
ＧＵＩ部３１は、本実施の形態における情報処理装置のグラフィカルユーザインタフェースの機能を実現する。たとえば、ＧＵＩ部３１は、赤外線ポート６を介してリモコン１０から入力信号を受け、ディスプレイ２上の表示に応じてアプリケーションの操作などを可能にする。また、コミュニケーション管理部３２からの指示に応じて、画面構成を制御することによって、出力制御部３４が表示する映像と連携した画面表示を可能にする。
The
また、ＧＵＩ部３１は、ユーザからリモコン１０などによって送信するデータのソースを変更する指示があれば、それをコミュニケーション管理部３２に通知する。
In addition, if there is an instruction to change the source of data to be transmitted by the
コミュニケーション管理部３２は、ユーザの操作に基づくＧＵＩ部３１からの通知や、シグナリング部３８からのシグナル受信の情報を管理する。コミュニケーション管理部３２は、これらの情報に基づいて入力制御部３３を制御して、指定された入力装置２１からの音声や映像などのデータをエンコード部３５にエンコードさせ、エンコードされたデータをデータ送信部３７に送信させる。
The
また、コミュニケーション管理部３２は、データ受信部３９によって受信された相手の情報処理装置からのデータをデコード部３６にデコードさせる。そして、出力制御部３４を制御して、デコード後のデータを適切な出力装置２２に出力させる。
In addition, the
また、コミュニケーション管理部３２は、ＧＵＩ部３１から接続変更を示す通知を受けると、シグナリング部３８にＳＩＰシグナルを送信させる。コミュニケーション管理部３２は、シグナリング部３８にＳＩＰシグナルを送信させる際に、送信するコミュニケーションデータのソース情報を一緒に通知する。また、シグナリング部３８が相手の情報処理装置からコミュニケーションデータのソース情報を受信し、接続変更のネゴシエーションが完了すると、コミュニケーション管理部３２は、その接続変更に応じて入力制御部３３および出力制御部３４を制御して、入力装置２１および出力装置２２を変更したり、ＧＵＩ部３１を用いて画面構成を変更したりする。
When the
入力制御部３３は、コミュニケーション管理部３２からの指示に応じて、指定された入力装置２１からのデータをエンコード部３５に出力する。
The
エンコード部３５は、コミュニケーション管理部３２からの指示に応じて、指定されたエンコーダ２４を用いてデータをエンコードし、エンコードデータをデータ送信部３７に出力する。
The
データ送信部３７は、エンコード部３５から受けたエンコードデータをＲＴＰパケット化し、コミュニケーション管理部３２によって指定された宛先に送信するよう通信部４０に指示する。
The
通信部４０は、データ送信部３７から受けたＲＴＰパケットからＩＰパケットを生成し、通信装置２３を介して送信する。また、通信部４０は、通信装置２３を介して受信したデータパケットをシグナリング部３８またはデータ受信部３９に出力する。受信したデータパケットをいずれに出力するかは、コミュニケーション管理部３２からの指示による。
The
データ受信部３９は、通信部４０から受けたデータパケットからデータを抽出し、デコード部３６に出力する。
The
デコード部３６は、コミュニケーション管理部３２によって指定されたデコーダ２５を用いてデータのデコードを行ない、デコードによって得られた信号を出力制御部３４に出力する。
The
出力制御部３４は、コミュニケーション管理部３２からの指示に応じて、出力装置２２を選択し、ＧＵＩ部３１と協働してデコード部３６から受けた信号を選択した出力装置２２に出力する。
The
シグナリング部３８は、コミュニケーション管理部３２からの指示に応じて、相手の情報処理装置に対して通信の開始、変更、終了の要求を行ない、相手の情報処理装置からの要求に対する応答を行なう。また、通信部４０によって受信されたＳＩＰシグナルのパケットデータを解釈し、その情報をコミュニケーション管理部３２に通知する。
In response to an instruction from the
後述するように、シグナリング部３８は、コミュニケーション管理部３２からの接続変更のＳＩＰシグナルを送信する指示を受けると、ＳＩＰシグナルのメッセージボディにａ＝Ｘ−ｍｅｄｉａ−ｓｏｕｒｃｅ行を挿入してソース情報を付加する。逆に、相手の情報処理装置からＳＩＰシグナルを受信すると、各メディアについて付記されたａ＝Ｘ−ｍｅｄｉａ−ｓｏｕｒｃｅ行の情報を抽出してコミュニケーション管理部３２に通知する。
As will be described later, when the
図４は、本発明の第１の実施の形態における情報処理装置のシグナリングによる送信メディア変更を説明するためのシーケンス図である。まず、端末Ａが端末Ｂに対してＩＮＶＩＴＥリクエストを送信すると（Ｔ１）、端末ＢはＩＮＶＩＴＥのメッセージボディに含まれるメディア情報によってＴＶ電話着信であることを認識し、２００ ＯＫ応答を端末Ａに送信する（Ｔ２）。これによって、カメラ５によって撮影された映像と、マイク４によって集音された音声との送受信が開始される（通信状態１）。
FIG. 4 is a sequence diagram for explaining transmission media change by signaling of the information processing apparatus according to the first embodiment of this invention. First, when the terminal A transmits an INVITE request to the terminal B (T1), the terminal B recognizes that it is an incoming videophone call based on the media information included in the message body of the INVITE, and transmits a 200 OK response to the terminal A. (T2). Thereby, transmission / reception of the video imaged by the
次に、端末Ａが端末Ｂに対してｒｅ−ＩＮＶＩＴＥリクエストを送信すると（Ｔ３）、端末Ｂはｒｅ−ＩＮＶＩＴＥのメッセージボディに含まれるメディア情報によってコミュニケーションの変更を認識し、新しいデータに合わせて処理を切替え、２００ ＯＫ応答を端末Ａに送信する（Ｔ４）。これによって、端末Ａからは、映像外部入力端子７−２などから入力される録画映像（以下、外部入力映像と呼ぶ。）と、マイク４によって集音された音声との送信が開始される（通信状態２）。 Next, when the terminal A transmits a re-INVITE request to the terminal B (T3), the terminal B recognizes the communication change by the media information included in the message body of the re-INVITE, and processes it according to the new data. And a 200 OK response is transmitted to terminal A (T4). As a result, the terminal A starts transmission of the recorded video (hereinafter referred to as external input video) input from the video external input terminal 7-2 and the like and the sound collected by the microphone 4 ( Communication state 2).
次に、端末Ａが端末Ｂに対してｒｅ−ＩＮＶＩＴＥリクエストを送信すると（Ｔ５）、端末Ｂはｒｅ−ＩＮＶＩＴＥのメッセージボディに含まれるメディア情報によってＴＶ電話着信であることを認識し、２００ ＯＫ応答を端末Ａに送信する（Ｔ６）。これによって、ＴＶ電話としての送受信が再開される（通信状態３）。 Next, when the terminal A transmits a re-INVITE request to the terminal B (T5), the terminal B recognizes that it is an incoming videophone call based on the media information included in the message body of the re-INVITE, and receives a 200 OK response. Is transmitted to the terminal A (T6). As a result, transmission / reception as a TV phone is resumed (communication state 3).
図５は、本発明の第１の実施の形態における情報処理装置の全体的な処理手順を説明するためのフローチャートである。情報処理装置が起動されると、まず、コミュニケーション管理部３２は待ち受け状態に遷移し（Ｓ１１）、ＧＵＩ部３１に対してディスプレイ２に待ち受け画面の表示を指示する（Ｓ１２）。
FIG. 5 is a flowchart for explaining the overall processing procedure of the information processing apparatus according to the first embodiment of the present invention. When the information processing apparatus is activated, first, the
次に、コミュニケーション管理部３２は、イベントを受信したか否かを判定する（Ｓ１３）。このイベントには、シグナリング部３８からのシグナル情報に関するイベントと、ＧＵＩ部３１からのユーザ操作によるイベントとがある。コミュニケーション管理部３２がイベントを受信していなければ（Ｓ１３，Ｎｏ）、イベントを受信するまで待機する。また、コミュニケーション管理部３２がイベントを受信すると（Ｓ１３，Ｙｅｓ）、そのイベントが要求受信イベントであるか否かを判定する（Ｓ１４）。
Next, the
イベントが要求受信イベントであれば（Ｓ１４，Ｙｅｓ）、後述するような要求受信処理を行ない（Ｓ１５）、ステップＳ１３に戻って以降の処理を繰返す。この要求受信イベントは、シグナリング部３８がＳＩＰシグナルを受信したときに発生する。
If the event is a request reception event (S14, Yes), a request reception process as described later is performed (S15), and the process returns to step S13 to repeat the subsequent processes. This request reception event occurs when the
イベントが要求受信イベントでなければ（Ｓ１４，Ｎｏ）、そのイベントが要求送信イベントであるか否かを判定する（Ｓ１６）。イベントが要求送信イベントであれば（Ｓ１６，Ｙｅｓ）、後述するような要求送信処理を行ない（Ｓ１７）、ステップＳ１３に戻って以降の処理を繰返す。この要求送信イベントは、ＧＵＩ部３１がユーザ操作を検出したときに発生する。
If the event is not a request reception event (S14, No), it is determined whether or not the event is a request transmission event (S16). If the event is a request transmission event (S16, Yes), a request transmission process as described later is performed (S17), and the process returns to step S13 and the subsequent processes are repeated. This request transmission event occurs when the
イベントが要求送信イベントでなければ（Ｓ１６，Ｎｏ）、そのイベントが応答受信イベントであるか否かを判定する（Ｓ１８）。イベントが応答受信イベントであれば（Ｓ１８，Ｙｅｓ）、後述するような応答受信処理を行ない（Ｓ１９）、ステップＳ１３に戻って以降の処理を繰返す。この応答受信イベントは、シグナリング部３８がＳＩＰシグナルを受信したときに発生する。
If the event is not a request transmission event (S16, No), it is determined whether or not the event is a response reception event (S18). If the event is a response reception event (S18, Yes), a response reception process as described later is performed (S19), the process returns to step S13 and the subsequent processes are repeated. This response reception event occurs when the
イベントが応答受信イベントでなければ（Ｓ１８，Ｎｏ）、そのイベントが応答送信イベントであるか否かを判定する（Ｓ２０）。イベントが応答送信イベントであれば（Ｓ２０，Ｙｅｓ）、後述するような応答送信処理を行ない（Ｓ２１）、ステップＳ１３に戻って以降の処理を繰返す。この応答送信イベントは、ＧＵＩ部３１がユーザ操作を検出したときに発生する。
If the event is not a response reception event (S18, No), it is determined whether or not the event is a response transmission event (S20). If the event is a response transmission event (S20, Yes), a response transmission process as described later is performed (S21), and the process returns to step S13 and the subsequent processes are repeated. This response transmission event occurs when the
イベントが応答送信イベントでなければ（Ｓ２０，Ｎｏ）、そのイベントが終了イベントであるか否かを判定する（Ｓ２２）。イベントが終了イベントであれば（Ｓ２２，Ｙｅｓ）、コミュニケーション管理部３２は全体の処理を終了する。この終了イベントは、たとえば、ユーザがリモコン１０の電源ボタンを長押ししたことをＧＵＩ部３１が検出したときに発生する。また、終了イベントでなければ（Ｓ２２，Ｎｏ）、ステップＳ１３に戻って以降の処理を繰返す。
If the event is not a response transmission event (S20, No), it is determined whether or not the event is an end event (S22). If the event is an end event (S22, Yes), the
図６は、本発明の第１の実施の形態における情報処理装置によって管理される状態遷移を説明するための図である。後述するように、要求受信処理には、変更受付中の状態（Ｔ１６）と、着信接続中の状態（Ｔ１３）とが含まれる。また、要求送信処理には、変更要求中の状態（Ｔ１５）と、発信接続中の状態（Ｔ１２）とが含まれる。また、応答受信処理および応答送信処理には、接続通信中の状態（Ｔ１４）が含まれる。 FIG. 6 is a diagram for explaining state transitions managed by the information processing apparatus according to the first embodiment of this invention. As will be described later, the request reception process includes a status of accepting a change (T16) and a status of incoming connection (T13). The request transmission process includes a change requesting state (T15) and a outgoing connection state (T12). Further, the response reception process and the response transmission process include a state (T14) during connection communication.
図６に示す状態遷移図においては、たとえば、待ち受け状態（Ｔ１１）から発信接続中状態（Ｔ１２）または着信接続中状態（Ｔ１３）に遷移することはあるが、接続通信中状態（Ｔ１４）、変更要求中状態（Ｔ１５）および変更受付中状態（Ｔ１６）に遷移することはないことを示している。 In the state transition diagram shown in FIG. 6, for example, there is a transition from the standby state (T11) to the outgoing connection state (T12) or the incoming connection state (T13), but the connection communication state (T14), change This indicates that there is no transition to the requesting state (T15) and the change accepting state (T16).
図７は、図５に示す要求受信処理（Ｓ１５）の処理手順を説明するためのフローチャートである。要求受信イベントは、ＳＩＰシグナルのうちリクエストメッセージを受信したときに発生するイベントであるので、リクエストメッセージの処理がこの要求受信処理に相当する。 FIG. 7 is a flowchart for explaining the processing procedure of the request reception processing (S15) shown in FIG. Since the request reception event is an event that occurs when a request message is received among SIP signals, the request message processing corresponds to this request reception processing.
まず、コミュニケーション管理部３２は、状態確認を行なう（Ｓ３１）。この状態確認とは、受け取ったイベントと現在の状態とを確認するものである。現在の状態ではシーケンス上受け取るはずがないイベントを受け取った場合（Ｓ３２，Ｎｏ）、シグナリング部３８にエラー応答を送信するよう指示する。そして、シグナリング部３８は、エラー応答を作成し、通信部４０を介して相手の情報処理装置にエラー応答を送信する（Ｓ４７）。
First, the
図８は、コミュニケーション管理部３２によって参照される状態確認表の一例を示す図である。図８に示す状態確認表においては、待ち受け状態のときに、接続要求送信、接続要求受信、接続応答送信および接続応答受信のイベントを受け取ることがあるが、その他のイベントを受け取ることがないことを示している。なお、図８に示す各イベントは、図７および図９〜１１に示すフローチャートの説明によって明らかになるであろう。
FIG. 8 is a diagram illustrating an example of a state confirmation table referred to by the
状態確認が済めば（Ｓ３２，Ｙｅｓ）、コミュニケーション管理部３２は、要求受信イベントが変更要求（変更要求受信イベント）であるか否かを判定する（Ｓ３３）。変更要求受信イベントであれば（Ｓ３３，Ｙｅｓ）、変更受付中状態に遷移し（Ｓ３４）、シグナリング部３８によって受信されたＳＩＰシグナル中のＳＤＰ（Session Description Protocol）で記述されたメッセージボディの変更情報を抽出する（Ｓ３５）。そして、コミュニケーション管理部３２は、変更受付中画面を表示するようＧＵＩ部３１に指示し（Ｓ３６）、変更が完了するまで変更要求前のコミュニケーションデータの送信を一旦停止させて（Ｓ３７）、処理を終了する。
If the status check is completed (S32, Yes), the
変更要求受信イベントでなければ（Ｓ３３，Ｎｏ）、コミュニケーション管理部３２は、要求受信イベントが接続要求（接続要求受信イベント）であるか否かを判定する（Ｓ３８）。接続要求受信イベントであれば（Ｓ３８，Ｙｅｓ）、着信接続中状態に遷移し（Ｓ３９）、シグナリング部３８によって受信されたＳＩＰシグナル中のＳＤＰで記述されたメッセージボディの着信情報を抽出する（Ｓ４０）。そして、コミュニケーション管理部３２は、着信接続中画面を表示するようＧＵＩ部３１に指示し（Ｓ４１）、処理を終了する。
If it is not a change request reception event (S33, No), the
接続要求受信イベントでなければ（Ｓ３８，Ｎｏ）、コミュニケーション管理部３２は、要求受信イベントが切断要求（切断要求受信イベント）であるか否かを判定する（Ｓ４２）。切断要求受信イベントであれば（Ｓ４２，Ｙｅｓ）、データ送信部３７およびデータ受信部３９を制御してデータの送受信を終了し（Ｓ４４）、シグナリング部３８に切断要求に対する２００ ＯＫ応答を送信させる（Ｓ４４）。そして、コミュニケーション管理部３２は、初期画面である待ち受け画面を表示するようＧＵＩ部３１に指示し（Ｓ４５）、待ち受け状態に遷移して（Ｓ４６）、処理を終了する。
If it is not a connection request reception event (S38, No), the
図９は、図５に示す要求送信処理（Ｓ１７）の処理手順を説明するためのフローチャートである。要求送信イベントは、ＧＵＩ部３１がユーザ操作を検出したときに発生するイベントであり、コミュニケーションを開始する場合、変更する場合、および切断する場合の処理に関連する。
FIG. 9 is a flowchart for explaining the processing procedure of the request transmission processing (S17) shown in FIG. The request transmission event is an event that occurs when the
まず、コミュニケーション管理部３２は、図８に示す状態確認表を参照して状態確認を行なう（Ｓ５１）。現在の状態ではシーケンス上受け取るはずがないイベントを受け取った場合（Ｓ５２，Ｎｏ）、そのまま処理を終了する。
First, the
状態確認が済めば（Ｓ５２，Ｙｅｓ）、コミュニケーション管理部３２は、要求送信イベントが変更要求（変更要求送信イベント）であるか否かを判定する（Ｓ５３）。変更要求送信イベントであれば（Ｓ５３，Ｙｅｓ）、変更要求中状態に遷移し（Ｓ５４）、ＧＵＩ部３１によって検出された変更に関する情報を抽出する（Ｓ５５）。そして、コミュニケーション管理部３２は、変更要求中画面を表示するようＧＵＩ部３１に指示し（Ｓ５６）、シグナリング部３８にＳＩＰシグナルのｒｅ−ＩＮＶＩＴＥメッセージを相手の情報処理装置に送信させ（Ｓ５７）、通信を一旦停止させて（Ｓ５８）、処理を終了する。
If the status check is completed (S52, Yes), the
変更要求送信イベントでなければ（Ｓ５３，Ｎｏ）、コミュニケーション管理部３２は、要求送信イベントが接続要求（接続要求送信イベント）であるか否かを判定する（Ｓ５９）。接続要求送信イベントであれば（Ｓ５９，Ｙｅｓ）、発信接続中状態に遷移し（Ｓ６０）、ＧＵＩ部３１によって検出された発信に関する情報を抽出する（Ｓ６１）。そして、コミュニケーション管理部３２は、発信接続中画面を表示するようＧＵＩ部３１に指示し（Ｓ６２）、シグナリング部３８にＳＩＰシグナルのＩＮＶＩＴＥメッセージを相手の情報処理装置に送信させて（Ｓ６３）、処理を終了する。
If it is not a change request transmission event (No in S53), the
接続要求送信イベントでなければ（Ｓ５９，Ｎｏ）、コミュニケーション管理部３２は、要求送信イベントが切断要求（切断要求送信イベント）であるか否かを判定する（Ｓ６４）。切断要求送信イベントであれば（Ｓ６４，Ｙｅｓ）、シグナリング部３８にＳＩＰシグナルのＢＹＥメッセージを相手の情報処理装置に送信させ（Ｓ６５）、データ送信部３７およびデータ受信部３９を制御してデータの送受信を終了する（Ｓ６６）。そして、コミュニケーション管理部３２は、初期画面である待ち受け画面を表示するようＧＵＩ部３１に指示し（Ｓ６７）、待ち受け状態に遷移して（Ｓ６８）、処理を終了する。
If it is not a connection request transmission event (S59, No), the
切断要求送信イベントでなければ（Ｓ６４，Ｎｏ）、そのまま処理を終了する。
図１０は、図５に示す応答受信処理（Ｓ１９）の処理手順を説明するためのフローチャートである。応答受信イベントは、自身が相手の情報処理装置に送信した接続要求（ＩＮＶＩＴＥメッセージ）、変更要求（ｒｅ−ＩＮＶＩＴＥメッセージ）および切断要求（ＢＹＥメッセージ）のいずれかのリクエストに対する応答を受信したときに発生するイベントであり、それに対応する処理がこの応答受信処理に相当する。
If it is not a disconnection request transmission event (S64, No), the process is terminated as it is.
FIG. 10 is a flowchart for explaining the procedure of the response reception process (S19) shown in FIG. A response reception event occurs when a response is received to any one of a connection request (INVITE message), a change request (re-INVITE message), and a disconnection request (BYE message) sent to the other information processing apparatus. The corresponding process corresponds to this response reception process.
まず、コミュニケーション管理部３２は、状態確認を行なう（Ｓ７１）。現在の状態ではシーケンス上受け取るはずがないイベントを受け取った場合（Ｓ７２，Ｎｏ）、そのまま処理を終了する。
First, the
状態確認が済めば（Ｓ７２，Ｙｅｓ）、コミュニケーション管理部３２は、応答受信イベントが変更応答（変更応答受信イベント）であるか否かを判定する（Ｓ７３）。変更応答受信イベントであれば（Ｓ７３，Ｙｅｓ）、シグナリング部３８によって受信されたＳＩＰシグナルから変更応答情報を抽出する（Ｓ７４）。そして、変更応答情報によって２００ ＯＫ応答が確認されれば（Ｓ７５，Ｙｅｓ）、コミュニケーション管理部３２は、ＧＵＩ部３１、入力制御部３３および出力制御部３４を制御して、変更後の通信に合わせた画面表示を行なう（Ｓ７６）。そして、変更のネゴシエーション結果に従ったコミュニケーションデータの送受信を開始し（Ｓ７７）、接続通信中状態に遷移して（Ｓ８４）、処理を終了する。
If the status check is completed (S72, Yes), the
また、変更応答情報によって２００ ＯＫ応答が確認されなければ（Ｓ７５，Ｎｏ）、変更要求がキャンセルされたとして、変更要求前の画面に戻すようＧＵＩ部３１に指示し、データ送信部３７およびデータ受信部３９に変更要求前の通信を再開させ（Ｓ７８）、接続通信中状態に遷移して（Ｓ８４）、処理を終了する。
If the 200 OK response is not confirmed by the change response information (S75, No), the change request is canceled and the
変更応答受信イベントでなければ（Ｓ７３，Ｎｏ）、コミュニケーション管理部３２は、応答受信イベントが発信応答（発信応答受信イベント）であるか否かを判定する（Ｓ７９）。発信応答受信イベントであれば（Ｓ７９，Ｙｅｓ）、シグナリング部３８によって受信されたＳＩＰシグナルから発信応答情報を抽出する（Ｓ８０）。そして、発信応答情報によって２００ ＯＫ応答が確認されれば（Ｓ８１，Ｙｅｓ）、コミュニケーション管理部３２は、ＧＵＩ部３１、入力制御部３３および出力制御部３４を制御して、接続後の通信に合わせた画面表示を行なう（Ｓ８２）。そして、接続のネゴシエーション結果に従ったコミュニケーションデータの送受信を開始し（Ｓ８３）、接続通信中状態に遷移して（Ｓ８４）、処理を終了する。
If it is not a change response reception event (S73, No), the
また、発信応答情報によって２００ ＯＫ応答が確認されなければ（Ｓ８１，Ｎｏ）、接続要求が拒否されたものとして、コミュニケーション管理部３２は、初期画面である待ち受け画面を表示するようＧＵＩ部３１に指示し（Ｓ８７）、待ち受け中状態に遷移して（Ｓ８８）、処理を終了する。
If the 200 OK response is not confirmed by the outgoing response information (S81, No), the
発信応答受信イベントでなければ（Ｓ７９，Ｎｏ）、コミュニケーション管理部３２は、応答受信イベントが切断応答（切断応答受信イベント）であるか否かを判定する（Ｓ８５）。切断応答受信イベントであれば（Ｓ８５，Ｙｅｓ）、データ送信部３７およびデータ受信部３９を制御して通信を終了させ（Ｓ８６）、初期画面である待ち受け画面を表示するようＧＵＩ部３１に指示し（Ｓ８７）、待ち受け中状態に遷移して（Ｓ８８）、処理を終了する。
If it is not a transmission response reception event (S79, No), the
また、切断応答受信イベントでなければ（Ｓ８５，Ｎｏ）、そのまま処理を終了する。
図１１は、図５に示す応答送信処理（Ｓ２１）の処理手順を説明するためのフローチャートである。応答送信イベントは、他の情報処理装置からリクエストを受信した後、ＧＵＩ部３１がユーザ操作を検出したときに発生するイベントである。
If it is not a disconnection response reception event (S85, No), the process is terminated as it is.
FIG. 11 is a flowchart for explaining the processing procedure of the response transmission processing (S21) shown in FIG. The response transmission event is an event that occurs when the
まず、コミュニケーション管理部３２は、状態確認を行なう（Ｓ９１）。現在の状態ではシーケンス上受け取るはずがないイベントを受け取った場合（Ｓ９２，Ｎｏ）、そのまま処理を終了する。
First, the
状態確認が済めば（Ｓ９２，Ｙｅｓ）、コミュニケーション管理部３２は、シグナリング部３８にそのイベントに対応する応答を送信させる（Ｓ９３）。そして、応答送信イベントが変更応答（変更応答送信イベント）であるか否かを判定する（Ｓ９４）。変更応答送信イベントであれば（Ｓ９４，Ｙｅｓ）、２００ ＯＫ応答を送信したか否かを判定する（Ｓ９５）。
If the status confirmation is completed (S92, Yes), the
２００ ＯＫ応答を送信したのであれば（Ｓ９５，Ｙｅｓ）、コミュニケーション管理部３２は、ＧＵＩ部３１を制御して表示画面を切替えさせると共に、入力制御部３３および出力制御部３４を制御して入力装置２１および出力装置２２の設定変更を行なわせ、エンコード部３５およびデコード部３６を制御してエンコーダ２４およびデコーダ２５を切替えさせる（Ｓ９６）。そして、変更のネゴシエーション結果に従ったコミュニケーションデータの送受信を開始し（Ｓ９７）、接続通信中状態に遷移して（Ｓ１０４）、処理を終了する。
If the 200 OK response has been transmitted (S95, Yes), the
また、２００ ＯＫ応答を送信していなければ（Ｓ９５，Ｎｏ）、変更要求前の画面に戻すようＧＵＩ部３１に指示し、データ送信部３７およびデータ受信部３９に変更要求前の通信を再開させ（Ｓ９９）、接続通信中状態に遷移して（Ｓ１０４）、処理を終了する。
If the 200 OK response has not been transmitted (S95, No), the
変更応答送信イベントでなければ（Ｓ９４，Ｎｏ）、コミュニケーション管理部３２は、応答送信イベントが接続応答（接続応答送信イベント）であるか否かを判定する（Ｓ１００）。接続応答送信イベントであれば（Ｓ１００，Ｙｅｓ）、２００ ＯＫ応答を送信したか否かを判定する（Ｓ１０１）。
If it is not a change response transmission event (S94, No), the
２００ ＯＫ応答を送信したのであれば（Ｓ１０１，Ｙｅｓ）、コミュニケーション管理部３２は、ＧＵＩ部３１を制御してコミュニケーションデータの情報に従った表示画面に切替えさせると共に、入力制御部３３および出力制御部３４を制御して入力装置２１および出力装置２２の設定変更を行なわせ、エンコード部３５およびデコード部３６を制御してエンコーダ２４およびデコーダ２５を切替えさせる（Ｓ１０２）。そして、接続のネゴシエーション結果に従ったコミュニケーションデータの送受信を開始し（Ｓ１０３）、接続通信中状態に遷移して（Ｓ１０４）、処理を終了する。
If a 200 OK response has been transmitted (S101, Yes), the
また、２００ ＯＫ応答を送信していなければ（Ｓ１０１，Ｎｏ）、コミュニケーション管理部３２は、初期画面である待ち受け画面を表示するようＧＵＩ部３１に指示し（Ｓ１０５）、待ち受け中状態に遷移して（Ｓ１０６）、処理を終了する。
If the 200 OK response has not been transmitted (S101, No), the
図１２は、コミュニケーション開始の一例を説明するための図である。図１２（ａ）は、ユーザがリモコン１０の＃キーを押下することにより、電話帳の表示画面に切替えたところを示している。リモコン１０の十字キーの上下を押下することによって、発信先を選択し、決定キー１０５を押下することによって発信を開始する。
FIG. 12 is a diagram for explaining an example of communication start. FIG. 12A shows that the user has switched to the phone book display screen by pressing the # key on the
図１２（ｂ）は、ユーザが発信キーを押下することにより電話番号入力にし、数字キー１０１で接続先のＴＶ電話番号を入力するところを示している。ユーザが再度発信キーを押下することによって発信を開始する。
FIG. 12 (b) shows that the user enters a telephone number by pressing the call key, and inputs the connected TV telephone number with the
図１３は、ＳＩＰシグナルのＩＮＶＩＴＥリクエスト（ＴＶ電話モード）の一例を示す図である。このＩＮＶＩＴＥリクエストは、ヘッダフィールド（１）と、メッセージボディ（２）とを含む。 FIG. 13 is a diagram showing an example of an INVITE request (TV phone mode) of a SIP signal. This INVITE request includes a header field (1) and a message body (2).
ヘッダフィールド（１）において、最初のヘッダフィールドにはリクエストの種類であるＩＮＶＩＴＥと、ＳＩＰ ＵＲＩ（Uniform Resource Identifier）とが記述される。Ｖｉａヘッダフィールドは、トランザクションのために使用されるトランスポートを示し、トランザクションを識別するｂｒａｎｃｈパラメータを含む。 In the header field (1), the first header field describes INVITE as the request type and SIP URI (Uniform Resource Identifier). The Via header field indicates the transport used for the transaction and includes a branch parameter that identifies the transaction.
Ｆｒｏｍヘッダフィールドは、リクエストを開始した者の論理的なアイデンティティを示し、乱数文字列を含んだｔａｇパラメータを含む。Ｔｏヘッダフィールドは、希望するリクエストの論理的な受信者などを示す。Ｃａｌｌ−ＩＤヘッダフィールドは、連続するメッセージをグループ化するための一意の識別子を示す。 The From header field indicates the logical identity of the person who initiated the request, and includes a tag parameter containing a random string. The To header field indicates the logical recipient of the desired request. The Call-ID header field indicates a unique identifier for grouping consecutive messages.
ＣＳｅｑヘッダフィールドは、トランザクションを識別し順番付けするためのシーケンス番号とメソッドとを示す。Ｃｏｎｔａｃｔヘッダフィールドは、これに続くリクエストでそのＵＡ（User Agent）の特定のインスタンスにコンタクトするために使用できるＳＩＰ ＵＲＩなどを示す。Ａｌｌｏｗヘッダフィールドは、そのメッセージを生成するＵＡがサポートするメソッドの組のリストを示しており、ＩＮＶＩＴＥ、ＡＣＫ、ＣＡＮＣＥＬ、ＢＹＥ、ＯＰＴＩＯＮＳ、ＭＥＳＳＡＧＥ、ＳＵＢＳＣＲＩＢＥおよびＮＯＴＩＦＹがサポートされている。 The CSeq header field indicates a sequence number and method for identifying and ordering transactions. The Contact header field indicates a SIP URI or the like that can be used to contact a specific instance of the UA (User Agent) in subsequent requests. The Allow header field indicates a list of methods supported by the UA that generates the message, and INVITE, ACK, CANCEL, BYE, OPTIONS, MESSAGE, SUBSCRIBE, and NOTIFY are supported.
Ｓｕｐｐｏｒｔｅｄヘッダフィールドは、サーバが応答に適用できるＳＩＰの拡張のサポートを示す。Ｓｅｓｓｉｏｎ−Ｅｘｐｉｒｅｓヘッダフィールドは、メッセージがそれ以降期限切れになる相対時間を示す。 The Supported header field indicates support for SIP extensions that the server can apply to the response. The Session-Expires header field indicates the relative time after which the message expires.
Ｍａｘ−Ｆｏｒｗａｒｄｓヘッダフィールドは、リクエストがディスティネーションに向かう過程で通過することができるホップの数の制限を示す。Ｃｏｎｔｅｎｔ−Ｔｙｐｅヘッダフィールドは、受信者に送られたメッセージボディのメディアタイプを示す。Ｃｏｎｔｅｎｔ−Ｌｅｎｇｔｈヘッダフィールドは、受信者に送られたメッセージボディのサイズを示す。 The Max-Forwards header field indicates a limit on the number of hops that a request can pass in the process of going to the destination. The Content-Type header field indicates the media type of the message body sent to the recipient. The Content-Length header field indicates the size of the message body sent to the recipient.
メッセージボディ（２）において、（３）は音声のメディア記述を示しており、音声のＲＴＰポート番号が４０５０、音声の圧縮方式がＧ．７１１のＰＣＭＵ（Pulse Codec Modulation μ-Law）であることを示している。また、ａ＝Ｘ−ｍｅｄｉａ−ｓｏｕｒｃｅ行によって音声がマイク音声であることを示している。 In the message body (2), (3) shows an audio media description, the audio RTP port number is 4050, and the audio compression method is G.264. 711 PCMU (Pulse Codec Modulation μ-Law). Further, a = X-media-source line indicates that the sound is a microphone sound.
メッセージボディ（２）において、（４）は映像のメディア記述を示しており、発信側の装置が映像データを受信することを希望する映像の圧縮方式がＭＰ４Ｖ−ＥＳ、ＲＴＰポート番号が４０６０であることを示している。また、ａ＝Ｘ−ｍｅｄｉａ−ｓｏｕｒｃｅ行によってこのメディアはカメラの映像とするようリクエストしている。 In the message body (2), (4) shows the media description of the video, and the video compression method that the transmission side device desires to receive the video data is MP4V-ES and the RTP port number is 4060. It is shown that. Further, the media requests the video of the camera by a = X-media-source line.
メッセージボディの情報によって、アプリケーションとしてテレビ電話モードであると解釈することができ、相手の情報処理装置は、テレビ電話としての映像の表示、マイク音声の出力を行なうことができる。 The information in the message body can be interpreted as a videophone mode as an application, and the partner information processing apparatus can display a video as a videophone and output a microphone sound.
図１４は、ＳＩＰシグナルの２００ ＯＫ応答（ＴＶ電話モード）の一例を示す図である。この２００ ＯＫ応答は、ＩＮＶＩＴＥリクエストに対して接続を了承するレスポンスとしてコミュニケーションデータの通信に関する情報をＳＤＰ記述しており、ヘッダフィールド（１）と、メッセージボディ（２）とを含む。 FIG. 14 is a diagram illustrating an example of a 200 OK response (TV phone mode) of a SIP signal. This 200 OK response describes information relating to communication of communication data as a response for accepting connection to the INVITE request, and includes a header field (1) and a message body (2).
ヘッダフィールド（１）において、図１３と異なるのはＲｅｃｏｒｄ−Ｒｏｕｔｅヘッダフィールドが追加されている点である。このＲｅｃｏｒｄ−Ｒｏｕｔｅヘッダフィールドは、ダイアログ中のそれ以降のリクエストをプロキシを通してルートさせることを示している。 In the header field (1), the difference from FIG. 13 is that a Record-Route header field is added. This Record-Route header field indicates that subsequent requests in the dialog are routed through the proxy.
メッセージボディ（２）において、（３）は音声のメディア記述を示しており、音声のＲＴＰポート番号が１６３５０であることを示している。それ以外の記述については、ＩＮＶＩＴＥリクエストの記述と同様である。 In the message body (2), (3) indicates a voice media description and indicates that the voice RTP port number is 16350. Other descriptions are the same as the description of the INVITE request.
メッセージボディ（２）において、（４）は映像のメディア記述を示しており、映像のＲＴＰポート番号が１６３６０であることを示している。それ以外の記述については、ＩＮＶＩＴＥリクエストの記述と同様である。 In the message body (2), (4) indicates the media description of the video and indicates that the RTP port number of the video is 16360. Other descriptions are the same as the description of the INVITE request.
この２００ ＯＫ応答がリクエストを発信した情報処理装置に送信されることによって、ＴＶ電話による通話が開始される。 The 200 OK response is transmitted to the information processing apparatus that has transmitted the request, whereby a videophone call is started.
図１５は、ＴＶ電話モードで通話中の状態を示す図である。それぞれの情報処理装置の表示画面には、相手の顔が大きく表示され、自身の顔が小さく表示されており、相手の音声が情報処理装置のスピーカから出力されているところを示している。この状態で、左側のユーザが、たとえばリモコン１０の＊ボタンを押下することにより、送信ソースの切替えが開始される。
FIG. 15 is a diagram showing a state during a call in the TV phone mode. On the display screen of each information processing apparatus, the other party's face is displayed larger, the own face is displayed smaller, and the other party's voice is output from the speaker of the information processing apparatus. In this state, when the user on the left side presses the * button on the
図１６は、送信ソースの切替え画面を示す図である。左側のユーザがリモコン１０の＊ボタンを押下することにより、表示画面に送信ソースの一覧が表示される。たとえば、外部入力が選択された状態で、リモコン１０の決定キー１０５が押下されると、カメラ映像から外部入力映像に切替えられる。
FIG. 16 is a diagram illustrating a transmission source switching screen. When the user on the left side presses the * button on the
図１７は、ＳＩＰシグナルのｒｅ−ＩＮＶＩＴＥリクエスト（外部入力映像切替え）の一例を示す図である。このｒｅ−ＩＮＶＩＴＥリクエストは、カメラ映像から外部入力映像に切替えることを要求するものであり、ヘッダフィールド（１）と、メッセージボディ（２）とを含む。 FIG. 17 is a diagram illustrating an example of a re-INVITE request (external input video switching) of a SIP signal. This re-INVITE request requests switching from the camera video to the external input video, and includes a header field (1) and a message body (2).
ヘッダフィールド（１）は、図１３のＩＮＶＩＴＥメッセージと同じで、ＣＳｅｑが１から２に１つ数が増えている。 The header field (1) is the same as the INVITE message in FIG. 13, and the number of CSeq is increased from 1 to 2.
メッセージボディ（２）において、（３）は音声のメディア記述を示しており、音声のＲＴＰポート番号が４０５０、音声の圧縮方式がＧ．７１１のＰＣＭＵであることを示している。また、ａ＝Ｘ−ｍｅｄｉａ−ｓｏｕｒｃｅ行によって音声がマイク音声であることを示している。 In the message body (2), (3) shows an audio media description, the audio RTP port number is 4050, and the audio compression method is G.264. 711 PCMU. Further, a = X-media-source line indicates that the sound is a microphone sound.
メッセージボディ（２）において、（４）は映像のメディア記述を示しており、映像のＲＴＰポート番号が４０６０、映像の圧縮方式がＭＰ４Ｖ−ＥＳであることを示している。また、ａ＝Ｘ−ｍｅｄｉａ−ｓｏｕｒｃｅ行によって映像がカメラ映像であることを示している。さらに、この映像ストリームはリクエスト側において受信のみ（ｒｅｃｅｉｖｅｏｎｌｙ）であることが記述されている。 In the message body (2), (4) indicates the media description of the video, and indicates that the video RTP port number is 4060 and the video compression method is MP4V-ES. Further, a = X-media-source line indicates that the video is a camera video. Further, it is described that this video stream is only received on the request side.
メッセージボディ（２）において、（５）は映像のメディア記述を示しており、映像のＲＴＰポート番号が４０８０、映像の圧縮方式がＭＰ４Ｖ−ＥＳであることを示している。また、ａ＝Ｘ−ｍｅｄｉａ−ｓｏｕｒｃｅ行によって映像が外部入力映像であることを示している。さらに、この映像ストリームは応答した側から見て送信のみ（ｓｅｎｄｏｎｌｙ）であることが記述されている。 In the message body (2), (5) indicates the media description of the video, and indicates that the video RTP port number is 4080 and the video compression method is MP4V-ES. Further, a = X-media-source line indicates that the video is an external input video. Further, it is described that the video stream is only transmitted as viewed from the responding side.
メッセージボディの情報によって、カメラ映像から外部入力映像に切替わると解釈することができ、相手の情報処理装置は、外部入力映像の表示、マイク音声の出力を行なうことができる。 The message body information can be interpreted as switching from the camera video to the external input video, and the partner information processing apparatus can display the external input video and output the microphone sound.
図１８は、ＳＩＰシグナルの２００ ＯＫ応答（外部入力映像切替え）の一例を示す図である。この２００ ＯＫ応答は、ｒｅ−ＩＮＶＩＴＥリクエストに対して変更を了承するレスポンスとしてコミュニケーションデータの通信に関する情報をＳＤＰ記述しており、ヘッダフィールド（１）と、メッセージボディ（２）とを含む。 FIG. 18 is a diagram illustrating an example of a 200 OK response (external input video switching) of a SIP signal. This 200 OK response describes information relating to communication of communication data as a response to approve a change to the re-INVITE request, and includes a header field (1) and a message body (2).
ヘッダフィールド（１）は、図１４に示すヘッダフィールド（１）と同様である。メッセージボディ（２）において、（３）は音声のメディア記述を示しており、図１４の（３）の記述と同様である。 The header field (1) is the same as the header field (1) shown in FIG. In the message body (2), (3) shows the audio media description, which is the same as the description in (3) of FIG.
メッセージボディ（２）において、（４）は映像のメディア記述を示しており、映像のＲＴＰポート番号が１６３６０であり、この映像が送信のみ（ｓｅｎｄｏｎｌｙ）であることを示している。それ以外の記述については、図１７に示すｒｅ−ＩＮＶＩＴＥリクエストの（４）の記述と同様である。 In the message body (2), (4) indicates the media description of the video, and the RTP port number of the video is 16360, indicating that this video is only transmitted. The other descriptions are the same as the description (4) of the re-INVITE request shown in FIG.
メッセージボディ（２）において、（５）は映像のメディア記述を示しており、映像のＲＴＰポート番号が１６３７０であり、この映像が受信のみ（ｒｅｃｅｉｖｅｏｎｌｙ）であることを示している。それ以外の記述については、図１７に示すｒｅ−ＩＮＶＩＴＥリクエストの（５）の記述と同様である。ここで、今までカメラ映像を受信していたポート“１６３６０”と異なるポート“１６３７０”に変更してレスポンスしている。そのため、切替えのタイミングでカメラの映像データが外部入力映像として処理されることを防止している。 In the message body (2), (5) indicates the media description of the video, and the RTP port number of the video is 16370, indicating that this video is only received. Other descriptions are the same as the description (5) of the re-INVITE request shown in FIG. Here, the port “16370” that is different from the port “16360” that has received the camera video up to now is changed and responded. Therefore, the video data of the camera is prevented from being processed as an external input video at the switching timing.
この２００ ＯＫ応答がｒｅ−ＩＮＶＩＴＥリクエストを発信した情報処理装置に送信されることによって、発信元の情報処理装置は外部入力映像の送信を開始する。また、音声はそれまでのとおりであるので、会話を続けることができる。 When this 200 OK response is transmitted to the information processing apparatus that has transmitted the re-INVITE request, the information processing apparatus as the transmission source starts transmission of the external input video. Moreover, since the voice is as before, the conversation can be continued.
図１９は、端末Ａが切替え（変更）要求を送信したときの画面表示を示す図である。左側のユーザが切替え要求を送信すると、その情報処理装置の画面には「切替え要求送信」が表示される。また、切替え要求を受信した右側の情報処理装置の画面には、「切替え要求受信」が表示される。右側のユーザは、リモコン１０を操作することによって、切替え要求を受けるか否かを選択する。右側のユーザが切替えを選択した場合、２００ ＯＫ応答が左側の情報処理装置に送信される。
FIG. 19 is a diagram illustrating a screen display when the terminal A transmits a switching (change) request. When the user on the left transmits a switching request, “switch request transmission” is displayed on the screen of the information processing apparatus. In addition, “Receive switching request” is displayed on the screen of the right information processing apparatus that has received the switching request. The user on the right side operates the
図２０は、映像が外部入力映像に切替えられた場合の画面表示を示す図である。図２０に示すように、今までのＴＶ電話の画面構成ではなく、外部入力映像を共有するような画面構成に変更される。音声はそれまでのとおりであるので、会話を続けることができる。 FIG. 20 is a diagram showing a screen display when the video is switched to the external input video. As shown in FIG. 20, the screen configuration is changed to a screen configuration for sharing an externally input video instead of the conventional screen configuration of the TV phone. Since the voice is the same as before, the conversation can be continued.
以上の説明においては、ＳＩＰシグナルを利用してコミュニケーションデータを変更するものであったが、ＳＩＰプロトコルに依存するものではなく、他の呼制御プロトコルまたはその拡張やオリジナルの通知プロトコルによって実現することも可能である。 In the above description, the communication data is changed using the SIP signal. However, the communication data is not dependent on the SIP protocol, and may be realized by another call control protocol or its extension or the original notification protocol. Is possible.
また、本実施の形態においては、ａ＝Ｘ−ｍｅｄｉａ−ｓｏｕｒｃｅとした拡張ヘッダを定義し、ソースデバイスの情報を相手に通知するようにしたが、ソースデバイス以外の情報を通知することも可能である。具体的には、ソースコンテンツファイルの種類の情報、たとえば、“２００５年誕生日パーティの写真”のようなコンテンツを指定するものであったり、“デジタルビデオ撮影映像”や“スポーツ映像”、“音楽映像”などのようにカテゴリを示すものであってもよい。 In this embodiment, an extension header defined as a = X-media-source is defined and information on the source device is notified to the other party, but information other than the source device can also be notified. is there. Specifically, the source content file type information, for example, a content such as “2005 birthday party photo”, “digital video shooting video”, “sport video”, “music” A category may be indicated such as “video”.
このようにすることによって、たとえば「運動会」というタイトルであれば、映像受信に合わせて「運動会」にマッチする画像を背景に表示させたり、「運動会」をイメージさせる音楽をＢＧＭに流したりするようなアプリケーションを作成することも可能である。 In this way, for example, if the title is “athletic day”, an image matching “athletic day” is displayed in the background in accordance with video reception, and music that makes “athletic day” image is played on BGM. It is also possible to create a simple application.
また、「音楽」に相当するタイトルならば、音声外部出力端子８−１に接続されたステレオスピーカに音声出力を切替えるような設定も可能であるし、外部入力からの音楽は外付けスピーカに出力させ、マイク音声は内蔵スピーカに出力させるなど、ミキシングしないで出力デバイスを選択することも可能である。 In the case of a title corresponding to “music”, it is possible to set the audio output to be switched to a stereo speaker connected to the audio external output terminal 8-1, and music from an external input is output to an external speaker. It is also possible to select an output device without mixing, such as outputting the microphone sound to a built-in speaker.
また、ＳＩＰシグナルにソースデバイスの情報を直接記述する以外に、コミュニケーションモードを記述することによってソースデバイスの組合わせを選択するようにしてもよい。たとえば、カメラとマイクとであればテレビ電話モードであると定義し、マイクと外部入力映像とであれば映像共有音声コミュニケーションモードであると定義して、そのモードを記述して相手に通知する。ＳＩＰであれば、セッション情報を記述するｉヘッダフィールドで情報を通知することも可能である。 In addition to directly describing source device information in the SIP signal, a combination of source devices may be selected by describing a communication mode. For example, a camera and a microphone are defined as a videophone mode, and a microphone and an external input video are defined as a video sharing voice communication mode, and the mode is described and notified to the other party. In the case of SIP, it is also possible to notify information using an i header field describing session information.
また、セッションの状態に名前を付けて記述するようにしてもよい。たとえば、カメラを用いたテレビ電話モードであれば“ＴＶＰｈｏｎｅ”、外部入力映像を送信して共有しながら会話するモードであれば“ＥｘＶｉｄｅｏ”というように記述する。この場合にも、通常のテレビ電話とビデオ共有モードとで背景や画面構成などを切替えるようにすることも可能である。 Also, the session state may be described with a name. For example, “TVPhone” is described for a videophone mode using a camera, and “ExVideo” is described for a mode in which an external input video is transmitted and shared. In this case as well, the background and screen configuration can be switched between the normal videophone and the video sharing mode.
以上説明したように、本実施の形態における情報処理装置においては、情報処理装置が相手の情報処理装置と接続中に、送信データの種類を示す情報を含んだｒｅ−ＩＮＶＩＴＥリクエストを送信するようにしたので、相手の情報処理装置は受信データが切替えられることを認識することができ、それに応じた画面構成の変更、出力装置の選択などを行なうことが可能となった。 As described above, in the information processing apparatus according to the present embodiment, the information processing apparatus transmits a re-INVITE request including information indicating the type of transmission data while connected to the partner information processing apparatus. Therefore, the other information processing apparatus can recognize that the received data is switched, and can change the screen configuration and select the output apparatus in accordance with the change.
（第２の実施の形態）
本発明の第２の実施の形態における情報処理装置の外観、ハードウェア構成および機能的構成は、図１〜３に示す第１の実施の形態における外観、ハードウェア構成および機能的構成と同様である。また、本発明の第２の実施の形態における情報処理装置の処理手順は、図５、図７および図９〜１１に示す第１の実施の形態における処理手順と同様である。したがって、詳細な説明は繰返さない。
(Second Embodiment)
The external appearance, hardware configuration, and functional configuration of the information processing apparatus in the second embodiment of the present invention are the same as the external appearance, hardware configuration, and functional configuration in the first embodiment shown in FIGS. is there. Further, the processing procedure of the information processing apparatus in the second embodiment of the present invention is the same as the processing procedure in the first embodiment shown in FIG. 5, FIG. 7 and FIGS. Therefore, detailed description will not be repeated.
第１の実施の形態においては、送信中の映像を他の映像に置換えるものであった。本実施の形態における情報処理装置は、既に使用中のコミュニケーションデータの通信に加えて、新たなコミュニケーションデータの通信を追加するものである。 In the first embodiment, the video being transmitted is replaced with another video. The information processing apparatus according to the present embodiment adds new communication data communication in addition to communication data communication already in use.
図２１は、使用中のメディアに新たなメディアを追加する場合のＳＩＰシグナルのｒｅ−ＩＮＶＩＴＥリクエストの一例を示す図である。このｒｅ−ＩＮＶＩＴＥリクエストは、マイク音声とカメラ映像とに加えて、さらに音声外部入力端子７−１などから入力される音声（以下、外部入力音声と呼ぶ。）と外部入力映像とを追加するものであり、ヘッダフィールド（１）と、メッセージボディ（２）とを含む。 FIG. 21 is a diagram illustrating an example of a re-INVITE request for a SIP signal when a new medium is added to a medium in use. This re-INVITE request is for adding audio input from the audio external input terminal 7-1 or the like (hereinafter referred to as external input audio) and external input video in addition to the microphone audio and camera video. And includes a header field (1) and a message body (2).
ヘッダフィールド（１）は、図１７に示すヘッダフィールド（１）と同様である。メッセージボディ（２）において、図１３と異なるのは、（４）の外部入力音声の記述と、（６）の外部入力映像の記述が追加されている点である。 The header field (1) is the same as the header field (1) shown in FIG. The message body (2) is different from FIG. 13 in that the description of the external input audio (4) and the description of the external input video (6) are added.
メッセージボディ（２）において、（４）は音声のメディア記述を示しており、音声のＲＴＰポート番号が４０７０、音声の圧縮方式がＧ．７１１のＰＣＭＵであることを示している。また、ａ＝Ｘ−ｍｅｄｉａ−ｓｏｕｒｃｅ行によって音声が外部入力音声であることを示している。また、この音声は送信のみ（ｓｅｎｄｏｎｌｙ）であることが記述されている。 In the message body (2), (4) indicates a voice media description, the voice RTP port number is 4070, and the voice compression method is G.264. 711 PCMU. Further, the a = X-media-source line indicates that the voice is an externally input voice. In addition, it is described that this voice is only transmitted.
メッセージボディ（２）において、（６）は映像のメディア記述を示しており、映像のＲＴＰポート番号が４０８０、映像の圧縮方式がＭＰ４Ｖ−ＥＳであることを示している。また、ａ＝Ｘ−ｍｅｄｉａ−ｓｏｕｒｃｅ行によって映像が外部入力映像であることを示している。また、この映像は送信のみ（ｓｅｎｄｏｎｌｙ）であることが記述されている。 In the message body (2), (6) indicates the media description of the video, and indicates that the video RTP port number is 4080 and the video compression method is MP4V-ES. Further, a = X-media-source line indicates that the video is an external input video. In addition, it is described that this video is only transmitted.
図２２は、使用中のメディアに新たなメディアを追加する場合のＳＩＰシグナルの２００ ＯＫ応答の一例を示す図である。この２００ ＯＫ応答は、ｒｅ−ＩＮＶＩＴＥリクエストに対してメディアの追加を了承するレスポンスとしてコミュニケーションデータの通信に関する情報をＳＤＰ記述しており、ヘッダフィールド（１）と、メッセージボディ（２）とを含む。 FIG. 22 is a diagram illustrating an example of a 200 OK response of the SIP signal when a new medium is added to the medium in use. This 200 OK response describes information related to communication of communication data as a response to approve the addition of media in response to a re-INVITE request, and includes a header field (1) and a message body (2).
ヘッダフィールド（１）は、図１８に示すヘッダフィールド（１）と同様である。メッセージボディ（２）において、図１４と異なるのは、（４）の外部入力音声の記述と、（６）の外部入力映像の記述が追加されている点である。 The header field (1) is the same as the header field (1) shown in FIG. The message body (2) is different from FIG. 14 in that the description of the external input audio (4) and the description of the external input video (6) are added.
メッセージボディ（２）において、（４）は音声のメディア記述を示しており、音声のＲＴＰポート番号が１６３７０、音声の圧縮方式がＧ．７１１のＰＣＭＵであることを示している。また、ａ＝Ｘ−ｍｅｄｉａ−ｓｏｕｒｃｅ行によって音声が外部入力音声であることを示している。また、この音声は受信のみ（ｒｅｃｅｉｖｅｏｎｌｙ）であることが記述されている。 In the message body (2), (4) indicates a voice media description, the voice RTP port number is 16370, and the voice compression method is G.264. 711 PCMU. Further, the a = X-media-source line indicates that the voice is an externally input voice. In addition, it is described that this voice is only received.
メッセージボディ（２）において、（６）は映像のメディア記述を示しており、映像のＲＴＰポート番号が１６３８０、映像の圧縮方式がＭＰ４Ｖ−ＥＳであることを示している。また、ａ＝Ｘ−ｍｅｄｉａ−ｓｏｕｒｃｅ行によって映像が外部入力映像であることを示している。また、この映像は受信のみ（ｒｅｃｅｉｖｅｏｎｌｙ）であることが記述されている。 In the message body (2), (6) indicates the media description of the video, the video RTP port number is 16380, and the video compression method is MP4V-ES. Further, a = X-media-source line indicates that the video is an external input video. In addition, it is described that this video is only received.
図２３は、メディアとして外部入力音声および外部入力映像が追加された場合の情報処理装置を示す図である。それぞれの情報処理装置の表示画面には、共有映像として外部入力映像が親画面として大きく表示され、相手の顔がピクチャ・イン・ピクチャで子画面として小さく表示されている。また、それぞれの情報処理装置の内蔵スピーカ３から外部入力音声が出力され、音声外部出力端子８−１に接続された外付けのスピーカから相手の音声が出力されているところを示している。
FIG. 23 is a diagram illustrating an information processing apparatus when external input audio and external input video are added as media. On the display screen of each information processing apparatus, the external input video is displayed as a large main screen as a shared video, and the other party's face is displayed small as a sub-screen with picture-in-picture. In addition, external input audio is output from the built-in
このように、ビデオコンテンツを同時に視聴しながら、相手の表情を見たり会話したりすることも可能なセッションに変更することができる。通信される音声や映像のコミュニケーションデータの出力方法は、アプリケーションによって自由に制御することが可能である。 In this way, it is possible to change to a session where the other party's facial expressions and conversation can be seen while simultaneously viewing video content. The output method of communication data of voice and video to be communicated can be freely controlled by an application.
以上説明したように、本実施の形態における情報処理装置によれば、ｒｅ−ＩＮＶＩＴＥリクエストによって使用中のメディアに新たなメディアを追加するようにしたので、情報処理装置の操作性をさらに向上させることが可能となった。 As described above, according to the information processing apparatus of the present embodiment, a new medium is added to a medium in use by a re-INVITE request, so that the operability of the information processing apparatus is further improved. Became possible.
（第３の実施の形態）
第１および第２の実施の形態においては、コミュニケーションデータとは別のシグナリングで情報を通知するものであった。本実施の形態における情報処理装置においては、特別なシグナリングを用いずに、コミュニケーションデータの通信内においてこのような情報を通知するものである。
(Third embodiment)
In the first and second embodiments, information is notified by signaling different from communication data. In the information processing apparatus according to the present embodiment, such information is notified in communication data communication without using special signaling.
本発明の第３の実施の形態における情報処理装置の外観、ハードウェア構成および機能的構成は、図１〜３に示す第１の実施の形態における外観、ハードウェア構成および機能的構成と同様である。したがって、詳細な説明は繰返さない。 The external appearance, hardware configuration, and functional configuration of the information processing apparatus in the third embodiment of the present invention are the same as the external appearance, hardware configuration, and functional configuration in the first embodiment shown in FIGS. is there. Therefore, detailed description will not be repeated.
図２４は、ＲＴＰパケットで送信されるペイロードタイプの値を利用してコミュニケーションデータを変更する方法を示す図である。予め決めておいたペイロードタイプのパケットを本データの前に挿入して送信することで、テレビ電話モードの開始、切替えや、変更後のコミュニケーションモード、ソースの種類などを通知することができる。 FIG. 24 is a diagram illustrating a method of changing communication data using a payload type value transmitted in an RTP packet. By inserting and transmitting a predetermined payload type packet before this data, it is possible to notify the start and switching of the videophone mode, the changed communication mode, the source type, and the like.
通常、ＳＩＰなどでネゴシエーションされた本データ以外のペイロードタイプの情報は廃棄されるが、予め決められたペイロードタイプの値を知る情報処理装置であれば、区切りのパケットとそのペイロードタイプの値とで何に切替わるかを認識することができる。 Normally, payload type information other than this data negotiated by SIP or the like is discarded, but if it is an information processing device that knows the value of a predetermined payload type, it can be divided into a delimited packet and the value of the payload type. It is possible to recognize what is switched to.
図２４においては、テレビ電話モードの開始前にペーロードタイプ（ＰＴ）＝１００のパケットが送信され、ビデオ共有モード開始時にはＰＴ＝１０１のパケットが送信されており、それぞれの本データはＰＴ＝９８のパケットとして送信される。このように、テレビ電話モードからビデオ共有モードに変更するだけであれば、シグナリングによる再ネゴシエーションは不要であり、ペーロードタイプや受信ポートなどの通信も全く変わらないが、受信側で送信されたデータが別のソースに切替わったことを認識することができる。 In FIG. 24, a packet of the payload type (PT) = 100 is transmitted before the start of the videophone mode, and a packet of PT = 101 is transmitted at the start of the video sharing mode. As a packet. In this way, if only the videophone mode is changed to the video sharing mode, renegotiation by signaling is not required, and the communication such as the payload type and the receiving port is not changed at all, but the data transmitted on the receiving side is not changed. Can switch to another source.
図２５は、本発明の第３の実施の形態における情報処理装置の処理手順を説明するためのフローチャートである。まず、コミュニケーション管理部３２は、ＳＩＰシグナルによってネゴシエーションされた結果に基づいて、入力装置２１、出力装置２２などの選択や、パラメータ設定、画面構成などの切替えを行なう（Ｓ１１１）。
FIG. 25 is a flowchart for explaining the processing procedure of the information processing apparatus according to the third embodiment of the present invention. First, the
次に、コミュニケーション管理部３２は、ユーザ操作やシグナリングによってコミュニケーションの終了イベントが発生したか否かを判定する（Ｓ１１２）。終了イベントが発生すれば（Ｓ１１２，Ｙｅｓ）、通信を終了する。また、終了イベントが発生していなければ（Ｓ１１２，Ｎｏ）、コミュニケーション管理部３２は、データ受信部３９によって受信されたＲＴＰパケットを図示しない受信バッファから読出し（Ｓ１１３）、そのペイロードタイプを抽出する（Ｓ１１４）。
Next, the
ＳＩＰシグナルによってネゴシエーションされたペイロードタイプと一致する場合には（Ｓ１１５，Ｙｅｓ）、そのデータをデコーダ２５の図示しない入力バッファに書込み（Ｓ１２０）、ステップＳ１１２に戻って以降の処理を繰返す。 If it matches the payload type negotiated by the SIP signal (S115, Yes), the data is written in an input buffer (not shown) of the decoder 25 (S120), and the process returns to step S112 to repeat the subsequent processing.
ネゴシエーションされたペイロードタイプと一致しない場合には（Ｓ１１５，Ｎｏ）、そのパケットの送信元がどこであるかを確認し（Ｓ１１６）、通信相手と一致しているか否かを判定する（Ｓ１１７）。 If it does not match the negotiated payload type (S115, No), it is confirmed where the transmission source of the packet is (S116), and it is determined whether or not it matches the communication partner (S117).
通信相手と一致していなければ（Ｓ１１７，Ｎｏ）、そのパケットは無視して、ステップＳ１１２に戻って以降の処理を繰返す。また、通信相手と一致していれば（Ｓ１１７，Ｙｅｓ）、ペイロードタイプにアサインした出力設定を読出し（Ｓ１１８）、ペイロードタイプに該当するモードがなければ（Ｓ１１９，Ｎｏ）、そのデータをデコーダ２５の入力バッファに書込み（Ｓ１２０）、ステップＳ１１２に戻って以降の処理を繰返す。
If it does not coincide with the communication partner (S117, No), the packet is ignored and the processing returns to step S112 and the subsequent processing is repeated. If it matches with the communication partner (S117, Yes), the output setting assigned to the payload type is read (S118). If there is no mode corresponding to the payload type (S119, No), the data is read from the
ペイロードタイプに該当するモードがあれば（Ｓ１１９，Ｙｅｓ）、デコーダの入力バッファに残っているデータをクリアし（Ｓ１２１）、画面構成、出力設定などをペイロードに該当するモードに対応するよう変更し（Ｓ１２２）、ステップＳ１１２に戻って以降の処理を繰返す。 If there is a mode corresponding to the payload type (S119, Yes), the data remaining in the input buffer of the decoder is cleared (S121), and the screen configuration, output setting, etc. are changed to correspond to the mode corresponding to the payload ( S122), returning to step S112, the subsequent processing is repeated.
図２６は、ペイロードタイプにアサインした出力設定（モード）の一例を示す図である。ＰＴ＝１００の場合には、カメラ映像が送信され、テレビ電話構成（モード）であることを示す。ＰＴ＝１０１の場合には、外部入力映像（動画）が送信され、ビデオ共有構成（モード）であることを示す。ＰＴ＝１０２の場合には、外部入力映像（静止画）が送信され、静止画共有構成（モード）であることを示す。ＰＴ＝１０３の場合には、ファイル映像が送信され、ファイル共有構成（モード）であることを示す。 FIG. 26 is a diagram illustrating an example of output settings (modes) assigned to payload types. In the case of PT = 100, a camera video is transmitted to indicate a videophone configuration (mode). In the case of PT = 101, an external input video (moving image) is transmitted, which indicates a video sharing configuration (mode). In the case of PT = 102, an external input video (still image) is transmitted, indicating that it is a still image sharing configuration (mode). In the case of PT = 103, a file video is transmitted, indicating that the file sharing configuration (mode) is set.
図２７は、図２６に示すアサインされた構成に対応する画面構成を示す図である。図２７（ａ）は、テレビ電話構成に対応する画面構成を示しており、通信相手からのカメラ映像を大きく表示し、自身のカメラ映像を小さく表示する。 FIG. 27 is a diagram showing a screen configuration corresponding to the assigned configuration shown in FIG. FIG. 27A shows a screen configuration corresponding to the videophone configuration, in which a camera image from a communication partner is displayed in a large size and its own camera image is displayed in a small size.
図２７（ｂ）は、ビデオ共有構成に対応する画面構成を示しており、ビデオの上にピクチャ・イン・ピクチャで相手のカメラ映像を表示し、ビデオ視聴中の相手の表示を見れるようにしている。 FIG. 27B shows a screen configuration corresponding to the video sharing configuration, in which the other party's camera image is displayed on the video in a picture-in-picture manner so that the other party's display during video viewing can be seen. Yes.
図２７（ｃ）は、静止画共有構成に対応する画面構成を示しており、静止画のみが表示されている。 FIG. 27C shows a screen configuration corresponding to the still image sharing configuration, in which only still images are displayed.
以上説明したように、本実施の形態における情報処理装置によれば、予め決めておいたペイロードタイプのパケットを本データの前に挿入して送信するようにしたので、特別なシグナリングを用いずに、コミュニケーションデータの通信内においてモードを変更することが可能となった。 As described above, according to the information processing apparatus of the present embodiment, a packet of a predetermined payload type is inserted and transmitted before this data, so that no special signaling is used. The mode can be changed within the communication data communication.
（第４の実施の形態）
第３の実施の形態においては、情報処理装置が予め決めておいたペイロードタイプのパケットを本データの前に挿入して送信するものであった。本実施の形態における情報処理装置においては、コミュニケーションデータのパケットにペイロードタイプの値を埋め込んで送信することにより情報を通知するものである。
(Fourth embodiment)
In the third embodiment, a payload type packet predetermined by the information processing apparatus is inserted before this data and transmitted. In the information processing apparatus according to the present embodiment, information is notified by embedding a payload type value in a communication data packet and transmitting it.
本発明の第４の実施の形態における情報処理装置の外観、ハードウェア構成および機能的構成は、図１〜３に示す第１の実施の形態における外観、ハードウェア構成および機能的構成と同様である。したがって、詳細な説明は繰返さない。 The external appearance, hardware configuration, and functional configuration of the information processing apparatus in the fourth embodiment of the present invention are the same as the external appearance, hardware configuration, and functional configuration in the first embodiment shown in FIGS. is there. Therefore, detailed description will not be repeated.
図２８は、ＲＴＰパケットで送信されるコミュニケーションデータにペイロードタイプの値を埋め込んで、コミュニケーションデータを変更する方法を示す図である。予め決めておいたペイロードタイプをコミュニケーションデータに埋め込んで送信することで、テレビ電話モードの開始、切替えや、変更後のコミュニケーションモード、ソースの種類などを通知することができる。埋め込まれたＰＴ＝９８の場合には、テレビ電話モードであることを示す。また、ＰＴ＝９９の場合には、ビデオ共有モードであることを示す。 FIG. 28 is a diagram illustrating a method of changing communication data by embedding a payload type value in communication data transmitted by an RTP packet. By embedding a predetermined payload type in communication data and transmitting it, it is possible to notify the start and switching of the videophone mode, the changed communication mode, the type of source, and the like. In the case of embedded PT = 98, it indicates the videophone mode. Further, when PT = 99, the video sharing mode is indicated.
図２９は、本発明の第４の実施の形態における情報処理装置の処理手順を説明するためのフローチャートである。まず、コミュニケーション管理部３２は、ＳＩＰシグナルによってネゴシエーションされた結果に基づいて、入力装置２１、出力装置２２などの選択や、パラメータ設定、画面構成などの切替えを行なう（Ｓ１３１）。
FIG. 29 is a flowchart for explaining the processing procedure of the information processing apparatus according to the fourth embodiment of the present invention. First, the
次に、コミュニケーション管理部３２は、ユーザ操作やシグナリングによってコミュニケーションの終了イベントが発生したか否かを判定する（Ｓ１３２）。終了イベントが発生すれば（Ｓ１３２，Ｙｅｓ）、通信を終了する。また、終了イベントが発生していなければ（Ｓ１３２，Ｎｏ）、コミュニケーション管理部３２は、データ受信部３９によって受信されたＲＴＰパケットを図示しない受信バッファから読出し（Ｓ１３３）、そのパケットの送信元がどこであるかを確認し（Ｓ１３４）、通信相手と一致しているか否かを判定する（Ｓ１３５）。
Next, the
通信相手と一致していなければ（Ｓ１３５，Ｎｏ）、そのパケットは無視して、ステップＳ１３２に戻って以降の処理を繰返す。また、通信相手と一致していれば（Ｓ１３５，Ｙｅｓ）、そのペイロードタイプを抽出する（Ｓ１３６）。そして、ペイロードタイプにアサインした出力設定を読出し（Ｓ１３７）、ペイロードタイプに該当するモードがなければ（Ｓ１３８，Ｎｏ）、通信を終了する。 If it does not coincide with the communication partner (S135, No), the packet is ignored, the process returns to step S132, and the subsequent processing is repeated. If it matches the communication partner (S135, Yes), the payload type is extracted (S136). Then, the output setting assigned to the payload type is read (S137), and if there is no mode corresponding to the payload type (S138, No), the communication is terminated.
ペイロードタイプに該当するモードがあれば（Ｓ１３８，Ｙｅｓ）、画面構成、出力設定などをペイロードに該当するモードに対応するよう変更し（Ｓ１３９）、デコーダの入力バッファに残っているデータをクリアし（Ｓ１４０）、デコーダの入力バッファにコミュニケーションデータを書込んで（Ｓ１４１）、ステップＳ１３２に戻って以降の処理を繰返す。 If there is a mode corresponding to the payload type (S138, Yes), the screen configuration, output setting, etc. are changed to correspond to the mode corresponding to the payload (S139), and the data remaining in the decoder input buffer is cleared ( (S140) The communication data is written in the input buffer of the decoder (S141), the process returns to step S132 and the subsequent processing is repeated.
図３０は、コミュニケーションのモードが切替わるときの表示画面の一例を示す図である。図３０に示すように、コミュニケーションのモードが変わることを画面上のメッセージでユーザに知らせる。 FIG. 30 is a diagram illustrating an example of a display screen when the communication mode is switched. As shown in FIG. 30, a message on the screen informs the user that the communication mode changes.
また、画像の表示サイズや位置を変更したり、背景画像や映像表示枠のデザインなどの表示の装飾を変更することも可能である。このような情報が予め情報処理装置に設定値として保持されたり、通知されることによって実現可能である。 It is also possible to change the display size and position of the image, and to change the display decoration such as the background image and the design of the video display frame. Such information can be realized by holding or notifying the information processing apparatus as a set value in advance.
図３１は、ＳＤＰ記述でａｔｔｒｉｂｕｔｅを拡張して、メディア表示に関する情報を送信する場合のＳＩＰシグナルの一例を示す図である。この記述においては、ビデオを左上位置を原点とする（ｘ，ｙ）座標でＡ×Ｂのサイズで表示し、表示枠は「レイアウト１」という名称で定義されたデザインのレイアウトが使用されることが示されている。この例において、「レイアウト１」は画面全体の領域で背景イメージを指定でき、下部にメッセージ表示エリアを有するものであり、その上に自由なビデオ表示を重ねて表示することが可能なものである。背景イメージには「背景１」という名称のイメージが表示され、メッセージ表示エリアには「２００５／５／８のコンサートビデオ」を表示することが指定されている。
FIG. 31 is a diagram illustrating an example of a SIP signal when an attribute is extended with an SDP description and information regarding media display is transmitted. In this description, the video is displayed in an A × B size with (x, y) coordinates with the upper left position as the origin, and the layout of the design defined by the name “
図３２は、レイアウト１の定義データの一例を示す図である。この定義データにおいては、画面サイズが左上座標（０，０）を原点として６４０×４８０であり、背景がデフォルト設定されておらず（ｎｕｌｌ）、メッセージエリアが座標（０，５００）から（５００，８０）のサイズであることが示されている。
FIG. 32 is a diagram illustrating an example of the definition data of the
図３３は、図３１に示すＳＤＰ記述および図３２に示すレイアウト１の定義データに基づいて表示された画面の一例を示す図である。
FIG. 33 is a diagram showing an example of a screen displayed based on the SDP description shown in FIG. 31 and the definition data of
また、送信するビデオの種類によって、画質などの優先度が変わる。たとえば、ビデオを共有する場合には高画質な映像が要求されるが、テレビ電話でのカメラ映像は相手の表情を見る程度の画質でもよく、むしろ遅延を少なくするために画質を下げる方がよいと考えられる。映像において、その品質はジッタと呼ばれる遅延時間の揺らぎによって影響されるが、そのためのバッファサイズを変動させることによって、画質の高低や、遅延の大小を制御することができる。 Also, the priority such as image quality changes depending on the type of video to be transmitted. For example, when sharing a video, high-quality video is required, but the video on a videophone camera may be high enough to see the other person's facial expression, rather it is better to reduce the image quality to reduce delay it is conceivable that. In video, the quality is affected by fluctuations in delay time called jitter, but by changing the buffer size for that purpose, the image quality and the delay can be controlled.
また、切替えタイミングにおいて、上述したようにバッファをクリアすることができるので、切替え後の映像の開始の遅延を少なくすることもできる。 In addition, since the buffer can be cleared at the switching timing as described above, the start delay of the video after switching can be reduced.
以上説明したように、本実施の形態における情報処理装置によれば、予め決めておいたペイロードタイプをコミュニケーションデータのパケットに挿入して送信するようにしたので、特別なシグナリングを用いずに、コミュニケーションデータの通信内においてモードを変更することが可能となった。 As described above, according to the information processing apparatus of the present embodiment, since a predetermined payload type is inserted into a communication data packet and transmitted, communication can be performed without using special signaling. The mode can be changed in the data communication.
今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。 The embodiment disclosed this time should be considered as illustrative in all points and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.
１ コンピュータ本体、２ ディスプレイ、３ スピーカ、４ マイク、５ カメラ、６ 赤外線ポート、７ 外部ＡＶ入力端子、７−１ 音声外部入力端子、７−２ 映像外部入力端子、８−１ 音声外部出力端子、８−２ 映像外部出力端子、９ 外部スピーカ端子、１０ リモコン、１１ ＣＰＵ、１２ ＲＯＭ、１３ ＲＡＭ、１４ ＡＶセレクタ、１５ ネットワークデバイス、１６ ＴＶチューナ、１７ ｍｐｅｇ４デコーダ、１８ ｍｐｅｇ４エンコーダ、１９ ｍｐｅｇ２デコーダ、２０ ｍｐｅｇ２エンコーダ、２１ 入力装置、２２ 出力装置、２３ 通信装置、２４ エンコーダ、２５ デコーダ、３１ ＧＵＩ部、３２ コミュニケーション管理部、３３ 入力制御部、３４ 出力制御部、３５ エンコード部、３６ デコード部、３７ データ送信部、３８ シグナリング部、３９ データ受信部、４０ 通信部、１０１ 数字キー、１０２ 発信キー、１０３ 切断キー、１０４ 十字キー、１０５ 決定キー。 1 computer main body, 2 display, 3 speaker, 4 microphone, 5 camera, 6 infrared port, 7 external AV input terminal, 7-1 audio external input terminal, 7-2 video external input terminal, 8-1 audio external output terminal, 8-2 Video external output terminal, 9 External speaker terminal, 10 Remote controller, 11 CPU, 12 ROM, 13 RAM, 14 AV selector, 15 Network device, 16 TV tuner, 17 mpeg4 decoder, 18 mpeg4 encoder, 19 mpeg2 decoder, 20 mpeg2 encoder, 21 input device, 22 output device, 23 communication device, 24 encoder, 25 decoder, 31 GUI unit, 32 communication management unit, 33 input control unit, 34 output control unit, 35 encoding unit, 36 decoding unit, 37 decoder Data transmission unit, 38 signaling unit, 39 data reception unit, 40 communication unit, 101 numeric keys, 102 transmission key, 103 disconnect key, 104 cross key, 105 decision key.
Claims (14)
ユーザからの入力ソースの切替え指示を入力するインタフェース手段と、
前記インタフェース手段によって入力された入力ソースの切替え指示に応じて、入力ソースを切替えてデータを入力して前記通信手段を介して前記外部装置に送信し、前記入力データの種類または前記入力データの種類の組合わせを識別するための識別情報を前記通信手段を介して前記外部装置に送信する制御手段とを含む情報処理装置。 A communication means for transmitting / receiving data to / from an external device;
Interface means for inputting an input source switching instruction from the user;
In accordance with an input source switching instruction input by the interface unit, the input source is switched and data is input and transmitted to the external device via the communication unit. The type of the input data or the type of the input data An information processing apparatus comprising: control means for transmitting identification information for identifying a combination of the above to the external apparatus via the communication means.
前記外部装置とのメディア通信を制御するシグナリングによって、前記入力データの種類または前記識別情報を前記通信手段を介して送信するシグナリング手段とを含む、請求項１記載の情報処理装置。 The control means is an input control means for selecting an input device and switching the input source to input data;
The information processing apparatus according to claim 1, further comprising: signaling means for transmitting the type of the input data or the identification information via the communication means by signaling for controlling media communication with the external apparatus.
前記シグナリング手段は、コーデック処理に関する情報を前記外部装置に送信する、請求項２または３記載の情報処理装置。 The control means further includes an encoding means for performing codec processing by selecting an encoder in accordance with the data switched by the input control means,
The information processing apparatus according to claim 2, wherein the signaling unit transmits information related to codec processing to the external apparatus.
前記入力制御手段によって入力されたデータおよび前記入力データの種類または前記識別情報を前記通信手段を介して前記外部装置に送信するデータ送信手段とを含む、請求項１記載の情報処理装置。 The control means is an input control means for selecting an input device and switching the input source to input data;
The information processing apparatus according to claim 1, further comprising: a data transmission unit configured to transmit data input by the input control unit and the type of the input data or the identification information to the external device via the communication unit.
前記通信手段を介して前記外部装置から受信したデータの種類または受信データの種類の組合わせを識別するための識別情報を抽出し、前記受信データの種類または前記識別情報に応じて前記受信データの出力を制御する制御手段とを含む情報処理装置。 A communication means for transmitting / receiving data to / from an external device;
Identification information for identifying the type of data received from the external device via the communication means or a combination of the types of received data is extracted, and the received data is extracted according to the type of received data or the identification information. An information processing apparatus including control means for controlling output.
前記受信データの種類または前記識別情報に応じて前記受信データの出力を制御する出力制御手段とを含む、請求項８記載の情報処理装置。 The control means is a signaling means for receiving the type of received data or the identification information by signaling for controlling media communication with the external device;
The information processing apparatus according to claim 8, further comprising: an output control unit that controls output of the received data according to a type of the received data or the identification information.
前記出力制御手段は、前記デコード手段によってデコードされたデータの出力を制御する、請求項９または１０記載の情報処理装置。 The control means further includes decoding means for selecting a decoder according to information on codec processing received by the signaling means and performing codec processing,
The information processing apparatus according to claim 9 or 10, wherein the output control means controls output of data decoded by the decoding means.
前記受信データの種類または前記識別情報に応じて前記受信データの出力を制御する出力制御手段とを含む、請求項８記載の情報処理装置。 The control means includes data receiving means for receiving the received data and the type of the received data or the identification information via the communication means;
The information processing apparatus according to claim 8, further comprising: an output control unit that controls output of the received data according to a type of the received data or the identification information.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006057509A JP4689500B2 (en) | 2006-03-03 | 2006-03-03 | Information processing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006057509A JP4689500B2 (en) | 2006-03-03 | 2006-03-03 | Information processing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007235805A JP2007235805A (en) | 2007-09-13 |
| JP4689500B2 true JP4689500B2 (en) | 2011-05-25 |
Family
ID=38555893
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006057509A Expired - Fee Related JP4689500B2 (en) | 2006-03-03 | 2006-03-03 | Information processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4689500B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5471448B2 (en) * | 2008-01-18 | 2014-04-16 | 日本電気株式会社 | Communication support system, method, and program |
| JP2013143699A (en) * | 2012-01-11 | 2013-07-22 | Nippon Telegr & Teleph Corp <Ntt> | Image communication control method, device, and program |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002058007A (en) * | 2000-08-09 | 2002-02-22 | Mitsubishi Electric Corp | Data sending apparatus and data transmission system |
| JP2004328195A (en) * | 2003-04-23 | 2004-11-18 | Ricoh Co Ltd | Ip terminal |
| JP2005109920A (en) * | 2003-09-30 | 2005-04-21 | Ricoh Co Ltd | Image information/tag information control system, digital camera, portable telephone, image information/tag information control method, image processing program, and recording medium |
-
2006
- 2006-03-03 JP JP2006057509A patent/JP4689500B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002058007A (en) * | 2000-08-09 | 2002-02-22 | Mitsubishi Electric Corp | Data sending apparatus and data transmission system |
| JP2004328195A (en) * | 2003-04-23 | 2004-11-18 | Ricoh Co Ltd | Ip terminal |
| JP2005109920A (en) * | 2003-09-30 | 2005-04-21 | Ricoh Co Ltd | Image information/tag information control system, digital camera, portable telephone, image information/tag information control method, image processing program, and recording medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2007235805A (en) | 2007-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10015440B2 (en) | Multiple channel communication using multiple cameras | |
| US6373839B1 (en) | Bandwidth biased codec selection system and method | |
| JP4746054B2 (en) | Media client architecture for network communication devices | |
| US8305422B2 (en) | Communication device, communication method, communication system, program, and computer-readable storage medium | |
| JP4592551B2 (en) | Communication device | |
| US9883028B2 (en) | Method and apparatus for providing interactive media during communication in channel-based media telecommunication protocols | |
| JP5394735B2 (en) | Data transfer system and method | |
| TWI753928B (en) | Methods and apparatus for use of compact concurrent codecs in multimedia communications | |
| EP1768406B1 (en) | Video call apparatus for mobile communication terminal and method thereof | |
| JP2008527800A (en) | Method for remotely controlling a media device via a communication network | |
| US20070047590A1 (en) | Method for signaling a device to perform no synchronization or include a synchronization delay on multimedia stream | |
| CN100583982C (en) | Ip video terminal and control method thereof | |
| RU2408998C2 (en) | Control of call establishment procedure for multimedia communication | |
| JP2005318535A (en) | Method an apparatus for holding conference by controlling bandwidth | |
| JP2005318534A (en) | Method and apparatus for holding conference for perming stream selection | |
| CN112637545B (en) | Unified conference platform system, gateway and conference management and conference creation method | |
| JP2007513537A (en) | Video conferencing with improved multimedia features | |
| JP4405305B2 (en) | Information communication device, information communication program, and recording medium recording information communication program | |
| CN108366044B (en) | VoIP remote audio/video sharing method | |
| CN101133616A (en) | Method for remotely controlling media devices via a communication network | |
| JP4689500B2 (en) | Information processing device | |
| WO2004015932A1 (en) | Communication relay device | |
| JP2006352319A (en) | Communication system and communication method | |
| JP4939095B2 (en) | Content providing system and content switching method | |
| JP5579660B2 (en) | Multipoint video conferencing equipment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090226 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110127 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110208 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110216 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140225 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |