JP2009071580A - Communication device - Google Patents
Communication device Download PDFInfo
- Publication number
- JP2009071580A JP2009071580A JP2007237807A JP2007237807A JP2009071580A JP 2009071580 A JP2009071580 A JP 2009071580A JP 2007237807 A JP2007237807 A JP 2007237807A JP 2007237807 A JP2007237807 A JP 2007237807A JP 2009071580 A JP2009071580 A JP 2009071580A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- communication
- conference
- conference terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、音声と共に画像を送信する通信装置に関する。 The present invention relates to a communication apparatus that transmits an image together with sound.
近年、通信網を介して接続された複数の会議端末を用いて会議を行う会議システムが一般に普及している。特許文献1には、遠隔地にある者同士が参加して行われる遠隔テレビ会議の運営を支援する技術が開示されている。この文献に開示されたシステムは、複数のテレビ会議端末と、それら各端末における音声情報や映像情報のやり取りを仲介する多地点テレビ会議中継装置とを備える。そして中継装置は、会議で使用する資料の参照ページや会議終了までの残り時間などといった会議運営情報を、自身を経由する音声情報や映像情報に対して適宜重畳する。
ところで、会議室の様子を映した映像などはデータ量が非常に大きい。そのため、ネットワークの限られた通信帯域幅の範囲内で映像情報を送信するために、従来はデータを圧縮したり映像のフレームレートや解像度を低下させたりしていた。しかし、非可逆的な圧縮を施したりフレームレートや解像度を低く設定したりすると、映像データの品質が低下するという問題点があった。 By the way, the amount of data of the video showing the state of the conference room is very large. For this reason, in order to transmit video information within the limited communication bandwidth of the network, conventionally, data has been compressed or the video frame rate and resolution have been reduced. However, when irreversible compression is performed or the frame rate and resolution are set low, there is a problem that the quality of the video data decreases.
本発明は、上記の課題に応じてなされたものであり、会議端末間のデータ転送において、限られた通信帯域幅で必要な情報を効率良く送信する技術を提供することを目的とする。 The present invention has been made in response to the above-described problems, and an object of the present invention is to provide a technique for efficiently transmitting necessary information with a limited communication bandwidth in data transfer between conference terminals.
本発明に係る通信装置の第1の実施形態は、設定された撮影領域内において、1または複数の特定領域を設定する設定手段と、前記設定された撮影領域を撮影し、前記撮影領域内の画像に対応する第1の画像データと前記設定手段が設定した特定領域内の画像に対応する第2の画像データを生成する画像データ生成手段と、前記画像データ生成手段が生成した前記第1の画像データおよび前記第2の画像データを通信網を介して他の通信装置に出力する出力手段とを具備し、前記出力手段から出力される前記第2の画像データは、所定時間あたりの画面数が前記第1の画像よりも多いことを特徴とする。 In the first embodiment of the communication apparatus according to the present invention, setting means for setting one or a plurality of specific areas in the set shooting area, shooting the set shooting area, Image data generating means for generating first image data corresponding to an image and second image data corresponding to an image in a specific area set by the setting means, and the first data generated by the image data generating means Output means for outputting the image data and the second image data to another communication device via a communication network, and the second image data output from the output means is the number of screens per predetermined time. Is greater than the first image.
また、本発明に係る通信装置の第2の実施形態は、前記第1の実施形態において、前記画像データ生成手段は、前記第2の画像データを生成するにあたり、前記第1の画像データよりも所定時間あたりの画面数を多く生成することを特徴とする。 According to a second embodiment of the communication device of the present invention, in the first embodiment, the image data generation means generates the second image data more than the first image data. A large number of screens per predetermined time are generated.
また、本発明に係る通信装置の第3の実施形態は、前記第1の実施形態において、前記出力手段は、前記第2の画像データを前記第1の画像データよりも所定時間あたりの画面数を多く出力することを特徴とする。 The communication device according to a third embodiment of the present invention is the communication device according to the first embodiment, wherein the output means uses the second image data as the number of screens per predetermined time as compared with the first image data. Is output in large quantities.
また、本発明に係る通信装置の第4の実施形態は、前記第1ないし3いずれかの実施形態において、前記画像データ生成手段は、前記第1の画像を静止画として生成すると共に、前記第2の画像を動画として生成することを特徴とする。 The communication device according to a fourth embodiment of the present invention is the communication device according to any one of the first to third embodiments, wherein the image data generation unit generates the first image as a still image, and The second image is generated as a moving image.
また、本発明に係る通信装置の第5の実施形態は、前記第1ないし4いずれかに記載の実施形態において、前記画像データ生成手段は、前記撮影領域において前記第2の画像データが表す画像の領域を含まない領域において前記第1の画像データを生成することを特徴とする。 The communication device according to a fifth embodiment of the present invention is the communication device according to any one of the first to fourth aspects, wherein the image data generation means is an image represented by the second image data in the imaging region. The first image data is generated in a region not including the first region.
また、本発明に係る通信装置の第6の実施形態は、前記第1ないし5いずれかに記載の実施形態において、接続された通信網において利用可能な通信帯域幅を測定する測定手段と、通信帯域と対応した画質を指定するテーブルと、通信に先立ち前記測定手段が測定した利用可能な通信帯域幅に対応する画質を、前記テーブルを参照して前記撮影手段に設定する画質調整手段とを有することを特徴とする。 A communication device according to a sixth embodiment of the present invention is the communication device according to any one of the first to fifth embodiments, the measuring means for measuring the communication bandwidth available in the connected communication network, and the communication A table for designating image quality corresponding to the bandwidth, and image quality adjustment means for setting the image quality corresponding to the available communication bandwidth measured by the measurement means prior to communication in the photographing means with reference to the table. It is characterized by that.
また、本発明に係る通信装置の第7の実施形態は、前記第1ないし5いずれかに記載の実施形態において、接続された通信網において利用可能な通信帯域幅を測定する測定手段と、通信帯域と対応した圧縮率を指定するテーブルと、通信に先立ち前記測定手段が測定した利用可能な通信帯域幅に対応する圧縮率を、前記テーブルを参照して前記撮影手段に設定する圧縮率調整手段とを有することを特徴とする。 A communication device according to a seventh embodiment of the present invention is the communication device according to any one of the first to fifth embodiments, wherein the communication unit can measure a communication bandwidth that can be used in the connected communication network. A compression ratio adjusting unit that sets a compression rate corresponding to an available communication bandwidth measured by the measurement unit prior to communication, in the imaging unit with reference to the table. It is characterized by having.
本発明に係る会議端末によれば、会議端末間のデータ転送において、限られた通信帯域幅で必要な情報を効率良く送信することができる、といった効果を奏する。 According to the conference terminal of the present invention, there is an effect that necessary information can be efficiently transmitted with a limited communication bandwidth in data transfer between the conference terminals.
以下、図面を参照しつつ本発明の一実施形態である会議端末について説明する。
(A:構成)
図1は、本発明の一実施形態である会議端末を含む会議システム1の構成を示すブロック図である。会議システム1は、会議端末10Aと会議端末10Bと通信網20とからなり、会議端末10Aおよび会議端末10Bは通信網20にそれぞれ有線接続されている。会議端末10Aおよび会議端末10Bは互いに同じ構成からなり、以下では会議端末10Aおよび会議端末10Bを区別する必要が無いときには、両者を会議端末10と総称する。
なお、ここでは2台の会議端末が通信網20に接続されている場合について例示されているが、3台以上の会議端末が接続されているとしても良い。
Hereinafter, a conference terminal according to an embodiment of the present invention will be described with reference to the drawings.
(A: Configuration)
FIG. 1 is a block diagram showing a configuration of a
In addition, although the case where two conference terminals are connected to the
本実施形態では、通信プロトコルとして以下に述べる各通信プロトコルが用いられている。すなわち、アプリケーション層の通信プロトコルとして、音声データおよび画像データの転送にはReal-time Transport Protocol(以下、「RTP」)が用いられている。RTPとは、音声データや画像データをend-to-endでリアルタイムに送受信する通信サービスを提供するための通信プロトコルであり、その詳細はRFC1889に規定されている。RTPにおいては、RTPパケットを生成し送受信することにより通信端末同士でデータの授受が行われる。また、トランスポート層の通信プロトコルとしては、UDP(User Datagram Protocol)が用いられており、ネットワーク層の通信プロトコルとしてはIP(Internet Protocol)が用いられている。上記の会議端末10Aおよび会議端末10Bには、それぞれにIPアドレスが割り振られており、ネットワーク上で一元的に識別される。
なお、UDPおよびIPについては、一般に広く用いられている通信プロトコルであるため説明を省略する。
In this embodiment, each communication protocol described below is used as a communication protocol. That is, Real-time Transport Protocol (hereinafter, “RTP”) is used for transferring audio data and image data as a communication protocol in the application layer. RTP is a communication protocol for providing a communication service for transmitting and receiving audio data and image data in real time in an end-to-end manner, and the details thereof are defined in RFC1889. In RTP, data is exchanged between communication terminals by generating and transmitting / receiving RTP packets. Further, UDP (User Datagram Protocol) is used as the transport layer communication protocol, and IP (Internet Protocol) is used as the network layer communication protocol. Each of the
In addition, about UDP and IP, since it is a communication protocol generally used widely, description is abbreviate | omitted.
次に、会議端末10のハードウェア構成について図2を参照して説明する。
図に示す制御部101は、例えばCPU(Central Processing Unit)であり、後述する記憶部103に格納されている各種制御プログラムを実行することにより、会議端末10の各部の動作を制御する。
Next, the hardware configuration of the
The
Webカメラ107は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサやCCD(Charge Coupled Device) イメージセンサからの入力をMotion−JPEG方式の動画として出力する。なお、Motion−JPEG方式とは、撮影したフレームごとの画像をJPEG(Joint Photographic Experts Group)圧縮し、これを連続して記録する動画データ生成方式である。Webカメラ107は、所定の画像サイズおよび単位時間あたりのフレーム数(fps;frames per second)で画像を撮影し、JPEG方式の画像圧縮を施してRAM103bへ出力する。画像サイズはWebカメラ107に予め設定された値(本実施形態では640pixel×480pixel)を用い、単位時間当たりのフレーム数については、適宜制御部101により制御される。また、画像の圧縮率はJPEG方式の画像圧縮(圧縮率は1/5〜1/60)の範囲内で、制御部101の制御下で設定が可能となっている。また、参加者はWebカメラ107の向きを手動で変更し、その画像領域を任意に設定することが可能である。また、Webカメラ107は、所定の信号を受けるとその時点で生成されているフレームの画像をキャプチャーし、静止画として出力する機能を有している。
The
記憶部103は、ROM(Read Only Memory)103aおよびRAM(Random Access Memory)103bを有する。ROM103aは、本発明に特徴的な機能を制御部101に実現させるためのデータや制御プログラムを格納している。上記データの一例としては、テストデータ、送信レート管理テーブル等がある。
The
ここで、上記送信レート管理テーブルについて説明する。図3は、送信レート管理テーブルの一例を示した図である。送信レート管理テーブルには、Webカメラ107が動画データを生成する際の単位時間当たりのフレーム数(fps)、およびJPEG方式の画像の圧縮率が、利用可能な通信帯域幅(Mbps;Mega bit per second)に対応させて規定されている。一方上記テストデータは、予めWebカメラ107によって生成されたMotion−JPEG方式の画像データである。なお、その内容はどのようなものであっても良い。
Here, the transmission rate management table will be described. FIG. 3 is a diagram illustrating an example of a transmission rate management table. In the transmission rate management table, the number of frames per unit time (fps) when the
RAM103bは、各種プログラムにしたがって作動している制御部101によってワークエリアとして利用されると共に、音声入力部106およびWebカメラ107から受取った音声データ・画像データを記憶する。
The
制御部101は上記制御プログラムに従い、RAM103bに書き込まれた音声データまたは画像データからRTPパケットを生成する。RTPパケットは、図4に示すようにIPにおけるデータ転送単位であるパケットやTCP(Transmission Control Protocol)におけるデータ転送単位であるセグメントと同様に、ペイロード部に対してヘッダ部が付与され構成されている。
The
ヘッダ部には、タイムスタンプ、ペイロードタイプ、シーケンス番号、画像タイプおよび区画情報の5種類のデータが書き込まれる。ここで、タイムスタンプとは、当該RTPパケットが送信される時刻(音声通信の開始を指示されてから経過した時間)を示すデータである。ペイロードタイプとは、通信メッセージの種別をその通信メッセージの宛先に識別させるためのデータである。本実施形態で利用されるメッセージ種別には、音声データ送信メッセージ、画像データ送信メッセージ、受信通知メッセージの3種類がある。それらのメッセージにおいて、ペイロードタイプには、それぞれ“1”、“2”、“3”の3種類の数字が書き込まれる。シーケンス番号とは、各パケットを一意に識別するための識別子であり、例えば1つの音声データが一連のRTPパケットに分割されて送信される場合に、各パケットに対して1、2、3…のようにシーケンス番号が付与される。画像タイプとは、ペイロード部に書き込まれた画像データが、後述する“フレーム画像”と“詳細画像”のいずれであるかを示し、それぞれ“1”または“2”が書き込まれる。区画情報とは、ペイロード部に書き込まれた画像データが“詳細画像”であるとき、該詳細画像が後述する表示部105のどの領域に表示されるものであるかを規定する情報であるが、その詳細は後述する。 Five types of data including a time stamp, payload type, sequence number, image type, and section information are written in the header portion. Here, the time stamp is data indicating the time at which the RTP packet is transmitted (the time elapsed since the start of voice communication was instructed). The payload type is data for identifying the type of communication message to the destination of the communication message. There are three types of messages used in this embodiment: a voice data transmission message, an image data transmission message, and a reception notification message. In these messages, three types of numbers “1”, “2”, and “3” are written in the payload type, respectively. The sequence number is an identifier for uniquely identifying each packet. For example, when one voice data is divided into a series of RTP packets and transmitted, 1, 2, 3,. Thus, a sequence number is assigned. The image type indicates whether the image data written in the payload portion is a “frame image” or “detailed image” described later, and “1” or “2” is written respectively. The section information is information that defines in which area of the display unit 105 (to be described later) the detailed image is displayed when the image data written in the payload is a “detailed image”. Details thereof will be described later.
ペイロード部には、音声データ送信メッセージまたは画像データ送信メッセージにおいては、それぞれ所定時間(本実施形態においては20ミリ秒)分の音声データまたは画像データが書き込まれる。また、受信通知メッセージにおいては、受取ったパケットのシーケンス番号が書き込まれる。 In the payload portion, audio data or image data for a predetermined time (20 milliseconds in the present embodiment) is written in the audio data transmission message or the image data transmission message. In the reception notification message, the sequence number of the received packet is written.
音声入力部106は、マイクロホン106aと、アナログ/デジタル(以下、「A/D」と略記する)コンバータ106bを含む。マイクロホン106aは音声を収音し、該音声を表すアナログ信号(以下、音声信号)を生成し、A/Dコンバータ106bに出力する。A/Dコンバータ106bは、マイクロホン106aから受取った音声信号をデジタル信号(以下、音声データ)に変換してRAM103bへ出力する。
The audio input unit 106 includes a
操作部104は、例えばキーボードやマウスなどであり、会議端末10の操作者が操作部104を操作して何らかの入力操作を行うと、その操作内容を表すデータが制御部101へと伝達される。
The
通信IF部102は、例えばNIC(Network Interface Card)であり、通信網20に接続されている。この通信IF部102は、制御部101から受取ったRTPパケットを下位層の通信プロトコルにしたがって順次カプセル化することにより得られるIPパケットを通信網20へ送出する。なお、カプセル化とは、上記RTPパケットをペイロード部に書き込んだUDPセグメントを生成し、さらに、そのUDPセグメントをペイロード部に書き込んだIPパケットを生成することである。また、通信IF部102は、通信網20を介してIPパケットを受信し、上記カプセル化とは逆の処理を行うことにより、そのIPパケットにカプセル化されているRTPパケットを読み出して制御部101へ出力する。
The communication IF
表示部105は、幅640pixel×縦480pixelのモニタである。通信IF部102を介して受取った各種画像データに基づいて画像を表示する。
The
エコーキャンセラ110は、制御部101から受取った音声データから、スピーカ108aからマイクロホン106aへ回り込んだエコー成分を除去し出力する。エコー成分をキャンセルする方法としては、既存のいずれの方法を用いても良い。
音声出力部108は、エコーキャンセラ110から受取った音声データの表す音声を再生するものであり、スピーカ108aとD/Aコンバータ108bとを含んでいる。D/Aコンバータ108bは、制御部101から受取った音声データに対してD/A変換を施すことによって音声信号へ変換しスピーカ108aへ出力するものである。そして、スピーカ108aは、D/Aコンバータ108bから受取った音声信号に応じた音声を再生する。
The
The
以上の構成からなる会議端末10は、会議室において以下のように設置されている。図5に示すように、会議室には机3が設置され、会議に参加する参加者2a、2b、2c、および2dが机の周囲に設置されたイスに腰掛けている。机の横には会議端末10が設置され、表示部105は、全ての参加者が視認することができる位置に配置されている。マイクロホン106aおよびWebカメラ107は、表示部105の下方に配置されている。スピーカ108aは、マイクロホン106aおよびWebカメラ107を挟むようにして会議端末10において左右2箇所に配置されている。
The
(B:動作)
次に、会議端末10Aおよび10Bを利用する参加者が遠隔会議を行う際に、会議端末10が行う動作について説明する。なお、以下の説明において、上に挙げた会議端末10の構成が、いずれの会議端末に属するものであるかを区別する必要があるときには、例えば会議端末10Aの制御部101を制御部101Aなどのようにアルファベットを付して表す。
(B: Operation)
Next, an operation performed by the
遠隔会議が開始される前に、制御部101は、データ通信に係るWebカメラ107の設定を最適化するためのパラメータ調整処理を行う。図6は、パラメータ調整処理の流れを示したフローチャートである。
Before the remote conference is started, the
制御部101は、まず利用可能帯域幅測定処理を行う(ステップSA100)。利用可能帯域幅測定処理とは、通信網20を介して相手側会議端末とデータ通信する際に、その通信網20にて利用することのできる最大の通信帯域幅を測定する機能である。本処理については、図7に示すフローチャートを用いて詳細に説明する。
First, the
まず制御部101は、パケットを送信する際の送信間隔を決定する(ステップSB100)。利用可能帯域幅測定処理を初めて行う際には、所定の送信間隔を設定する。次に制御部101は、ROM103aに格納されたテストデータから一連のパケットを生成し、ステップSB100にて決定された送信間隔で相手側会議端末へ送信する(ステップSB110)。このとき、制御部101は送信した各パケットのシーケンス番号をRAM103bに書き込む。
First, the
相手側の会議端末10の制御部101は上記テストデータを受信し、受信した各パケットのシーケンス番号を受信通知メッセージに書き込み、該受信通知メッセージを送信側会議端末に対して返信する。送信側の会議端末10の制御部101は、相手側会議端末から返信されてきた受信通知メッセージを受信し(ステップSB120)、受信通知メッセージに書き込まれたシーケンス番号列とRAM103bに書き込まれたシーケンス番号列とから上記テストデータの送信におけるパケットロスの発生率(受信されなかったパケット数/送信されたパケット数)を算出し、パケットロスが発生したか否か判定する(ステップSB130)。
The
制御部101は、上記所定の送信間隔でテストデータを送信した場合に、パケットロスが発生しなかった場合(ステップSB130;“No”)、ステップSB100以降の処理を再度行う。そのとき、ステップSB100においては、前回行ったステップSB100ないしステップSB130の処理において設定したパケット送信間隔より所定の割合だけ短い送信間隔を設定する。
When the test data is transmitted at the predetermined transmission interval and no packet loss occurs (step SB130; “No”), the
制御部101は、パケットロスが発生しない間は、パケットの送信間隔を順次短くしながらステップSB100ないしステップSB130を繰り返し行う。ステップSB130においてパケットロスが発生した場合(ステップSB130;“Yes”)には、その1回前にテストデータを送信した際の送信レート(テストデータのデータ量/送信にかかった時間)を、その時点での利用可能な帯域幅(単位はBPS;Byte/秒)として算出する(ステップSB140)。なぜならば、送信間隔が短くなると単位時間当たりの送信データ量すなわち送信レートは高くなる。従って、テストデータの送信においてパケットロスが発生した場合には、その際に利用した送信レートは利用可能な通信帯域幅を初めて上回ったことを意味するからである。
The
再び図6に戻り、制御部101は、Webカメラのパラメータの設定を行う(ステップSA110)。すなわち、利用可能帯域幅測定処理の測定値とROM103aに格納された送信レート管理テーブル(図3参照)とを照らし合わせ、送信レート管理テーブル中で利用可能な帯域幅の項目が該測定値より小さいものの中で最大の値である項目と対応付けられているフレーム数、およびJPEG画像の圧縮率を読み出し、Webカメラ107の単位時間当たりの撮影フレーム数およびJPEG画像の圧縮率を読み出された値に設定する。上記の処理を終え会議に係るデータ通信が開始されると、Webカメラ107は設定された単位時間あたりのフレーム数で画像データを生成し、制御部101は生成された画像データを選択されたJPEG画像の圧縮率で圧縮する。
Returning to FIG. 6 again, the
制御部101は、ステップSA120において、パラメータ調整処理を開始してから一定時間が経過したかどうか判定する。ステップSA120の判定結果が“No”である場合は、一定時間が経過するまでステップSA120の処理が繰り返される。一定時間が経過すると、ステップSA120の判定結果は“Yes”となり、ステップSA130が行われる。ステップSA130においては、制御部101は、データ通信が終了したかどうか判定する。ステップSA130の判定結果が“No”である場合にはステップSA100以降の処理が再び行われる。ステップSA130の判定結果が“Yes”である場合には、制御部101はパラメータ調整処理を終了する。
In step SA120, the
以上の処理から、制御部101は遠隔会議開始時および遠隔会議開始後一定時間置きに利用可能帯域幅測定処理を行い、測定された利用可能な帯域幅に合わせてWebカメラ107のパラメータが再設定されることとなる。そのことにより、時々刻々と変化する利用可能な通信帯域幅に応じたデータの送信を行うことができ、データを効率的に支障なく送信することができる。
From the above processing, the
以下では、遠隔会議中に会議端末10Aの側の参加者が発言し会議端末10Bの側の参加者がその発言を聴く場合に会議端末10Aが行う動作を説明する。
図8は、会議中に会議端末10が実行する処理の流れを示したフローチャートである。まず、会議開始直後にステップSC100ないし130の処理が行われる。まずステップSC100において、制御部101はWebカメラ107に対し所定の信号を出力し、会議室全体を表す画像データ(以下、全体画像データ)を生成させる。図9は、図5に示した会議室においてWebカメラ107の側から会議室を見た図である。例えば、Webカメラ107の撮影領域がフレームAで示された領域となるよう設定されている場合、Webカメラ107は、図10に示すような画像を表す全体画像データを生成する。制御部101は生成された全体画像を自端末の表示部105に表示させる。
Hereinafter, an operation performed by the
FIG. 8 is a flowchart showing a flow of processing executed by the
次にステップSC110において、制御部101は上記全体画像から画像領域を選択する。以下では図10に示す画像Aにおいて、左上隅を原点(0、0)とし右下隅を(639、479)とする座標を用いて説明を行う。なお、該座標は画像データを表示する表示部105の画素に対応するものである。
Next, in step SC110, the
参加者は、画像データの表示された表示部105を視認しながら操作部104を操作することにより、全体画像において参加者が写っている1または複数の領域(以下、詳細画像領域)を選択する。図10においては、領域BおよびCで表される領域が選択される。
なお、領域の指定方法には、長方形の一つの角とその向かい合う角の座標を用いる。例えば図中の領域Bおよび領域Cは、「(50、240)−(300、400)」および「(340、240)−(590、400)」と表される。以上のようにして選択された詳細画像領域の範囲を表すデータはRAM103bに書き込まれる。
The participant operates the
Note that the region designation method uses one corner of the rectangle and the coordinates of the opposite corner. For example, the region B and the region C in the figure are represented as “(50, 240) − (300, 400)” and “(340, 240) − (590, 400)”. Data representing the range of the detailed image area selected as described above is written in the
次に、制御部101は、全体画像からステップSC110で指定された詳細画像領域を除いた領域(フレーム画像領域;図11斜線領域)からなる画像(以下、フレーム画像)を表すフレーム画像データを生成する(ステップSC120)。そして制御部101は生成されたフレーム画像データを会議端末10Bへ送信する(ステップSC130)。なお、フレーム画像データを含むRTPパケットのヘッダ部のペイロードタイプには“2”が、画像タイプには“1”が書き込まれる。会議端末10Bは、該フレーム画像データを受信し、RAM103bBに書き込む。
Next, the
さて、ステップSC100ないし130が終了すると、会議端末10は音声データおよび画像データのデータ通信を開始する。音声データに関しては、音声入力部106Aは遠隔会議開始後継続して音声を収音し、生成された音声データは会議端末10Bに送信される。
When steps SC100 to SC130 are completed, the
一方、制御部101は、参加者の様子を伝える詳細画像データを以下のように生成する。Webカメラ107は会議室全体を撮影領域とする全体画像データ(Motion−JPEG方式の動画)をパラメータ調整処理において設定されたフレームレートで生成する。制御部101は、RAM103bを参照することにより1または複数の詳細画像領域の範囲を特定し、上記全体画像データからそれぞれの領域を抽出し、Motion−JPEG方式の動画を生成する(ステップSC140)。ステップSC150において、制御部101Aは生成された詳細画像データを会議端末10Bに送信する。なお、詳細画像データを含むRTPパケットのヘッダ部のペイロードタイプには“2”が、画像タイプには“2”が書き込まれ、区画情報にはそれぞれの詳細画像の全体画像における座標が書き込まれる。
On the other hand, the
以下では、会議端末10Aから音声データおよび画像データを受信した会議端末10Bが行う動作を説明する。会議端末10Bが音声データを受信すると、音声出力部108Bは該音声データの表す音声を再生する。
Hereinafter, an operation performed by the
画像データは以下のように処理される。まず、会議端末10Bはフレーム画像データを会議端末10Aから受信し、該フレーム画像データはRAM103bBに書き込まれる。会議が開始されると会議端末10Aから詳細画像データを継続的に受信する。制御部101は、RAM103bに書き込まれたフレーム画像データを読み出し、継続して表示部105に表示させると共に、会議端末10Aから受信した詳細画像データをフレーム画像と合成し表示部105において再生する。その結果、図11に示すフレーム画像の領域は静止画像が表示され、詳細画像の領域については動画が表示される。すなわち表示部105において、全体画像の領域には会議開始時に撮影した机などが静止画として表示され、詳細画像の領域には参加者の動画映像がリアルタイムに表示される。
The image data is processed as follows. First, the
以上の処理により、会議端末10Bを利用する参加者は、壁や机などの動かない物体が写った領域については会議中も会議開始時と同様であるため、会議開始時に受取ったフレーム画像で十分に様子をつかむことができる。一方、参加者などが写った領域については動画が表示されているため、その状況をリアルタイムに把握することができる。
以上のような画像データの通信を行うことにより、参加者が必要とする部分に関しては詳細な情報をやり取りすることができると共に、会議開催中に通信するデータは詳細画像の領域に限定されていることから、ネットワーク帯域を過大に利用することはない。
(C:変形例)
以上、本発明の実施形態について説明したが、本発明は以下に述べる種々の形態で実施することができる。
As a result of the above processing, the participant who uses the
By communicating the image data as described above, it is possible to exchange detailed information regarding the parts required by the participants, and the data communicated during the conference is limited to the detailed image area. Therefore, the network bandwidth is not excessively used.
(C: Modification)
As mentioned above, although embodiment of this invention was described, this invention can be implemented with the various form described below.
(1)上記実施例において、利用可能帯域幅測定処理、Webカメラ107のパラメータ調整処理、画像データ生成処理の各処理は会議端末10が行う場合について説明したが、各処理を行う機能の付与対象はもちろん会議端末に限定されない。記憶装置に蓄積したデータをクライアント装置へ提供するサーバ装置や、Webカメラで生成したデータをリアルタイムにクライアント装置へ提供するサーバ装置などに適用しても良い。
(1) In the above embodiment, the case where the
(2)上記実施例において、本発明に係る会議端末に特徴的な機能をソフトウェアモジュールで実現する場合について説明したが、上記各機能を担っているハードウェアモジュールを組み合わせて本発明に係る会議端末を構成するようにしても良い。 (2) In the above embodiment, a case has been described in which the functions characteristic of the conference terminal according to the present invention are implemented by software modules. However, the conference terminal according to the present invention is combined with the hardware modules responsible for the above functions. You may make it comprise.
(3)上述した実施形態では、画像データおよび音声データの通信にアプリケーション層の通信プロトコルとしてRTPを用いる場合について説明したが、他の通信プロトコルを用いても良いことは勿論である。要は、所定のヘッダ部とペイロード部とを有するデータブロックのペイロード部に、画像データまたは音声データを所定時間分ずつ書き込んで送信する通信プロトコルであれば、どのような通信プロトコルであっても良い。また、上述した実施形態では、トランスポート層の通信プロトコルとしてUDPを用いる場合について説明したが、TCPを用いるようにしても良い。同様にネットワーク層の通信プロトコルがIPに限定されるものではない。 (3) In the above-described embodiment, the case where RTP is used as the communication protocol of the application layer for communication of image data and audio data has been described, but it is needless to say that other communication protocols may be used. In short, any communication protocol may be used as long as it is a communication protocol that writes and transmits image data or audio data for a predetermined time in a payload portion of a data block having a predetermined header portion and a payload portion. . In the above-described embodiment, the case where UDP is used as the transport layer communication protocol has been described. However, TCP may be used. Similarly, the network layer communication protocol is not limited to IP.
(4)上述した実施形態では、画像データおよび音声データの送受信を行う場合について説明したが、データの種類はそれらに限られるものではない。会議の主旨によっては画像データのみを送受信しても良いし、資料データのようなものを併せて送っても良い。 (4) In the above-described embodiment, the case where image data and audio data are transmitted and received has been described, but the types of data are not limited thereto. Depending on the purpose of the meeting, only image data may be transmitted or received, or data such as document data may be transmitted together.
(5)上記実施形態では、会議端末10Aおよび会議端末10Bが通信網20に有線接続されている場合について説明したが、通信網20が例えば無線LAN(Local Area Network)などの無線パケット通信網であり、会議端末10Aおよび会議端末10Bが、この無線パケット通信網に接続されていても勿論良い。また、上記実施形態では通信網20がインターネットである場合について説明したが、LANであっても良いことは勿論である。要は、所定の通信プロトコルにしたがって行われる通信を仲介する機能を備えた通信網であれば、どのような通信網であっても良い。
(5) In the above embodiment, the case where the
(6)上記実施形態では、本発明に係る通信装置に特徴的な機能を制御部101に実現させるための制御プログラムをROM103aに予め書き込んでおく場合について説明したが、CD−ROMやDVDなどのコンピュータ装置読み取り可能な記録媒体に上記制御プログラムを記録して配布するとしても良く、インターネットなどの電気通信回線経由のダウンロードにより上記制御プログラムを配布するようにしても勿論良い。
(6) In the above embodiment, a case has been described in which a control program for causing the
(7)上記実施形態では、詳細画像データを単位時間あたり所定のフレーム数を有する動画とする場合について説明したが、必要に応じて、または通信網の回線状況に応じて静止画を送信してもよい。この場合、フレーム画像データを構成する静止画に較べて、更新回数(すなわち、所定時間あたりに送信する画面の数)を多くする。 (7) In the above embodiment, the case where the detailed image data is a moving image having a predetermined number of frames per unit time has been described. However, a still image is transmitted as necessary or according to the line status of the communication network. Also good. In this case, the number of updates (that is, the number of screens transmitted per predetermined time) is increased as compared with the still images constituting the frame image data.
(8)上記実施形態では、フレーム画像データと詳細画像データとで同様の解像度およびJPEG画像の圧縮率を用いる場合について説明したが、状況に応じてそれらのパラメータに差を設けても良い。 (8) In the above embodiment, the case where the same resolution and the compression rate of the JPEG image are used for the frame image data and the detailed image data has been described. However, a difference may be provided in these parameters depending on the situation.
(9)上記実施形態では、遠隔会議の開始時のみフレーム画像データを送信する場合について説明したが、遠隔会議開始後にも適宜送信してフレーム画像を更新しても良い。 (9) In the above embodiment, the case where the frame image data is transmitted only at the start of the remote conference has been described. However, the frame image may be updated by appropriately transmitting after the remote conference is started.
(10)上記実施形態では、Webカメラ107はMotion−JPEG方式により画像データを生成する場合について説明した。しかし、画像の記録方式はMotion−JPEG方式に限定されず、MPEG(Moving Picture Experts Group)、JPEG 2000など他の方式を用いても良い。また、画像データを圧縮せずに送信しても良い。
(10) In the above embodiment, the case where the
(11)上記実施形態では、詳細画像の領域を参加者が任意に選択する場合について説明したが、利用可能な帯域幅の値に応じて該領域の広さに制限を設けるようにしても良い。具体的には、利用可能帯域幅が狭いほど詳細画像の領域として設定される領域を制限し、より多くの領域をフレーム画像として送信するように設定しても良い。 (11) In the above embodiment, the case where the participant arbitrarily selects the area of the detailed image has been described. However, the area may be limited according to the available bandwidth value. . Specifically, the area set as the area of the detailed image may be limited as the available bandwidth is narrowed, and a larger area may be set to be transmitted as a frame image.
(12)上記実施形態では、詳細画像データとして長方形の領域を指定する場合について説明したが、該領域の形状は長方形に限定されない。要は時間と共に変化する領域と変化しない領域を区分することが目的であるから、形状は任意である。 (12) In the above embodiment, the case where a rectangular area is designated as the detailed image data has been described, but the shape of the area is not limited to a rectangle. In short, since the purpose is to distinguish between a region that changes with time and a region that does not change, the shape is arbitrary.
(13)上記実施形態では、Webカメラ107を一つだけ設置し、該Webカメラ107がフレーム画像データおよび詳細画像データの両者を生成する場合について説明した。しかし、詳細画像データについては領域ごとに別々のWebカメラ107が生成するようにしても良い。その際、Webカメラ107の設定を個別に設定し、撮影対象に合わせてその画像品質を設定することができる。
(13) In the above embodiment, a case has been described in which only one
(14)上記実施形態では、会議開始時に詳細画像の領域を設定し、該設定をそのまま用いる場合について説明した。しかし、会議開催中に領域の設定を見直すようにしても良い。具体的には、定期的にもしくは会議端末10の管理者の操作に応じて、その時点のWebカメラ107の映し出す画像を表示部105に表示し、自端末を利用する参加者が領域を設定しなおすというようにしても良い。
(14) In the above embodiment, a case has been described in which a detailed image region is set at the start of a conference and the setting is used as it is. However, the area setting may be reviewed during the conference. Specifically, the image displayed by the
(15)上記実施形態では、フレーム画像の範囲は、詳細画像の領域を含まない場合について説明したが、フレーム画像は全領域を含んでいても良い。その場合、詳細画像はフレーム画像において対応する領域に上書きするように合成すればよい。 (15) In the above embodiment, the case where the range of the frame image does not include the area of the detailed image has been described, but the frame image may include the entire area. In that case, the detailed image may be synthesized so as to overwrite the corresponding region in the frame image.
(16)上記実施形態では、人物などが含まれる詳細画像の領域を参加者が手動で設定する場合について説明したが、Webカメラ107で撮影した全体画像を所定の方法で解析することにより例えば人物が含まれる領域を自動的に選択させても良い。上記方法の一例としては、以下のようにすれば良い。参加者は会議室の所定の位置に座っても、一般に左右前後に体が動く。その間Webカメラ107は所定のフレームレートで該参加者を含む会議室全体を表す動画を生成する。制御部101は生成された画像データを解析し、フレーム間で画像に差があった領域を参加者が含まれる領域と判定し、該領域を詳細画像の領域とする。なお、参加者は意図的に体を動かすことで、より正確に領域の選択を行わせることもできる。
(16) In the above embodiment, the case where a participant manually sets a detailed image area including a person or the like has been described. However, for example, a person can be obtained by analyzing a whole image captured by the
(17)上記実施形態では、Webカメラ107は1つ設置され、詳細画像データは全体画像データから抽出して生成する場合について説明した。しかし、Webカメラ107を複数設置し、各Webカメラ107がそれぞれ異なる詳細画像を生成するようにしても良い。具体的には以下のような実施形態が考えられる。Webカメラ107を5つ設置し、そのうち1台は会議室全体を撮影領域とする全体画像(静止画像)を生成し、遠隔会議開始時に一度だけ相手側の会議端末10に送信する。他の4台はそれぞれ図9において参加者2a、2b、2c、および2dが含まれる領域を撮影領域とする詳細画像(動画)を生成し、上記実施形態における詳細画像データを生成し、会議中継続して相手側会議端末に送信する。相手側の会議端末10の表示部105は、図12に示すように5つの領域に区画化されており、それぞれの領域に各Webカメラ107により生成された画像を表示する。
以上処理により、相手側の会議端末10を利用する参加者は、静止画により会議室全体の様子を知ることができると共に、動画により各参加者の様子を詳細に知ることができる。
(17) In the above embodiment, a case has been described in which one
Through the above processing, a participant who uses the other party's
(18)上記実施形態では、Webカメラ107が動画からキャプチャーして静止画であるフレーム画像を生成する場合について説明した。しかし、まず動画データを生成し、そのフレームを「間引く」ことによりフレーム画像を生成するようにしても良い。
(18) In the above embodiment, the case where the
1…会議システム、2a、2b、2c、2d…参加者、3…机、10、10A、10B…会議端末、20…通信網、101…制御部(画像データ生成手段)、102…通信IF部、103…記憶部(103a;ROM、103b;RAM)、104…操作部、105…表示部、106…音声入力部(106a…マイクロホン、106b…A/Dコンバータ)、107…Webカメラ(画像データ生成手段)、108…音声出力部(108a…スピーカ、108b…D/Aコンバータ)、109…バス、110…エコーキャンセラ
DESCRIPTION OF
Claims (7)
前記設定された撮影領域を撮影し、前記撮影領域内の画像に対応する第1の画像データと前記設定手段が設定した特定領域内の画像に対応する第2の画像データを生成する画像データ生成手段と、
前記画像データ生成手段が生成した前記第1の画像データおよび前記第2の画像データを通信網を介して他の通信装置に出力する出力手段と
を具備し、
前記出力手段から出力される前記第2の画像データは、所定時間あたりの画面数が前記第1の画像よりも多いことを特徴とする通信装置。 Setting means for setting one or a plurality of specific areas in the set imaging area;
Image data generation for capturing the set imaging region and generating first image data corresponding to the image in the imaging region and second image data corresponding to the image in the specific region set by the setting unit Means,
Output means for outputting the first image data and the second image data generated by the image data generation means to another communication device via a communication network;
2. The communication apparatus according to claim 1, wherein the second image data output from the output means has a larger number of screens per predetermined time than the first image.
通信帯域と対応した画質を指定するテーブルと、
通信に先立ち前記測定手段が測定した利用可能な通信帯域幅に対応する画質を、前記テーブルを参照して前記撮影手段に設定する画質調整手段と
を有する請求項1ないし5のいずれかに記載の通信装置。 A measuring means for measuring the available communication bandwidth in the connected communication network;
A table for specifying the image quality corresponding to the communication band;
The image quality adjustment means for setting the image quality corresponding to the available communication bandwidth measured by the measurement means prior to communication to the imaging means with reference to the table. Communication device.
通信帯域と対応した圧縮率を指定するテーブルと、
通信に先立ち前記測定手段が測定した利用可能な通信帯域幅に対応する圧縮率を、前記テーブルを参照して前記撮影手段に設定する圧縮率調整手段と
を有する請求項1ないし5のいずれかに記載の通信装置。 A measuring means for measuring the available communication bandwidth in the connected communication network;
A table for specifying the compression rate corresponding to the communication bandwidth;
6. A compression ratio adjusting unit that sets a compression rate corresponding to an available communication bandwidth measured by the measurement unit prior to communication with the imaging unit with reference to the table. The communication device described.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007237807A JP2009071580A (en) | 2007-09-13 | 2007-09-13 | Communication device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007237807A JP2009071580A (en) | 2007-09-13 | 2007-09-13 | Communication device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009071580A true JP2009071580A (en) | 2009-04-02 |
Family
ID=40607387
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007237807A Pending JP2009071580A (en) | 2007-09-13 | 2007-09-13 | Communication device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009071580A (en) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012160838A (en) * | 2011-01-31 | 2012-08-23 | Ricoh Co Ltd | Tv conference system |
JP2014509476A (en) * | 2011-01-21 | 2014-04-17 | クゥアルコム・インコーポレイテッド | User input back channel for wireless display |
US9065876B2 (en) | 2011-01-21 | 2015-06-23 | Qualcomm Incorporated | User input back channel from a wireless sink device to a wireless source device for multi-touch gesture wireless displays |
US9198084B2 (en) | 2006-05-26 | 2015-11-24 | Qualcomm Incorporated | Wireless architecture for a traditional wire-based protocol |
US9264248B2 (en) | 2009-07-02 | 2016-02-16 | Qualcomm Incorporated | System and method for avoiding and resolving conflicts in a wireless mobile display digital interface multicast environment |
US9398089B2 (en) | 2008-12-11 | 2016-07-19 | Qualcomm Incorporated | Dynamic resource sharing among multiple wireless devices |
US9413803B2 (en) | 2011-01-21 | 2016-08-09 | Qualcomm Incorporated | User input back channel for wireless displays |
US9503771B2 (en) | 2011-02-04 | 2016-11-22 | Qualcomm Incorporated | Low latency wireless display for graphics |
US9525998B2 (en) | 2012-01-06 | 2016-12-20 | Qualcomm Incorporated | Wireless display with multiscreen service |
US9582238B2 (en) | 2009-12-14 | 2017-02-28 | Qualcomm Incorporated | Decomposed multi-stream (DMS) techniques for video display systems |
US9582239B2 (en) | 2011-01-21 | 2017-02-28 | Qualcomm Incorporated | User input back channel for wireless displays |
US9787725B2 (en) | 2011-01-21 | 2017-10-10 | Qualcomm Incorporated | User input back channel for wireless displays |
US10108386B2 (en) | 2011-02-04 | 2018-10-23 | Qualcomm Incorporated | Content provisioning for wireless back channel |
US10135900B2 (en) | 2011-01-21 | 2018-11-20 | Qualcomm Incorporated | User input back channel for wireless displays |
US10250888B2 (en) | 2015-10-08 | 2019-04-02 | Samsung Electronics Co., Ltd. | Electronic device configured to non-uniformly encode/decode image data according to display shape |
-
2007
- 2007-09-13 JP JP2007237807A patent/JP2009071580A/en active Pending
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9198084B2 (en) | 2006-05-26 | 2015-11-24 | Qualcomm Incorporated | Wireless architecture for a traditional wire-based protocol |
US9398089B2 (en) | 2008-12-11 | 2016-07-19 | Qualcomm Incorporated | Dynamic resource sharing among multiple wireless devices |
US9264248B2 (en) | 2009-07-02 | 2016-02-16 | Qualcomm Incorporated | System and method for avoiding and resolving conflicts in a wireless mobile display digital interface multicast environment |
US9582238B2 (en) | 2009-12-14 | 2017-02-28 | Qualcomm Incorporated | Decomposed multi-stream (DMS) techniques for video display systems |
US9065876B2 (en) | 2011-01-21 | 2015-06-23 | Qualcomm Incorporated | User input back channel from a wireless sink device to a wireless source device for multi-touch gesture wireless displays |
US10135900B2 (en) | 2011-01-21 | 2018-11-20 | Qualcomm Incorporated | User input back channel for wireless displays |
US8964783B2 (en) | 2011-01-21 | 2015-02-24 | Qualcomm Incorporated | User input back channel for wireless displays |
US9413803B2 (en) | 2011-01-21 | 2016-08-09 | Qualcomm Incorporated | User input back channel for wireless displays |
US10911498B2 (en) | 2011-01-21 | 2021-02-02 | Qualcomm Incorporated | User input back channel for wireless displays |
JP2014509476A (en) * | 2011-01-21 | 2014-04-17 | クゥアルコム・インコーポレイテッド | User input back channel for wireless display |
US9582239B2 (en) | 2011-01-21 | 2017-02-28 | Qualcomm Incorporated | User input back channel for wireless displays |
US10382494B2 (en) | 2011-01-21 | 2019-08-13 | Qualcomm Incorporated | User input back channel for wireless displays |
US9787725B2 (en) | 2011-01-21 | 2017-10-10 | Qualcomm Incorporated | User input back channel for wireless displays |
JP2012160838A (en) * | 2011-01-31 | 2012-08-23 | Ricoh Co Ltd | Tv conference system |
US9503771B2 (en) | 2011-02-04 | 2016-11-22 | Qualcomm Incorporated | Low latency wireless display for graphics |
US10108386B2 (en) | 2011-02-04 | 2018-10-23 | Qualcomm Incorporated | Content provisioning for wireless back channel |
US9723359B2 (en) | 2011-02-04 | 2017-08-01 | Qualcomm Incorporated | Low latency wireless display for graphics |
US9525998B2 (en) | 2012-01-06 | 2016-12-20 | Qualcomm Incorporated | Wireless display with multiscreen service |
US10250888B2 (en) | 2015-10-08 | 2019-04-02 | Samsung Electronics Co., Ltd. | Electronic device configured to non-uniformly encode/decode image data according to display shape |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2009071580A (en) | Communication device | |
US6453336B1 (en) | Video conferencing with adaptive client-controlled resource utilization | |
TWI602437B (en) | Video and audio processing devices and video conference system | |
JP4341405B2 (en) | Camera server and image delivery method | |
KR100807009B1 (en) | Communication method, communication service apparatus, communication terminal device and communication system | |
KR101611531B1 (en) | Camera apparatus and method for providing recorded image | |
WO2013187033A1 (en) | Control device, image transmission method, and control program | |
JP2008311910A (en) | Communication equipment and conference system | |
JP2008113164A (en) | Communication apparatus | |
JP4358129B2 (en) | TV conference apparatus, program, and method | |
JP2010136220A (en) | Communication terminal device, communication volume control method, and integrated circuit | |
US9948903B2 (en) | Method for configuration of video stream output from a digital video camera | |
US7804516B2 (en) | Network capturing apparatus, displaying method, computer-readable recording medium, and network system | |
EP2733934A1 (en) | Method and terminal for transmitting information | |
WO2011099254A1 (en) | Data processing unit and data encoding device | |
JP2008005349A (en) | Video encoder, video transmission apparatus, video encoding method, and video transmission method | |
JP6004978B2 (en) | Subject image extraction device and subject image extraction / synthesis device | |
JP4957221B2 (en) | Communication device | |
JP3110037B2 (en) | Image transmission system | |
JP2008301399A (en) | Television conference apparatus, television conference method, television conference system, computer program and recording medium | |
JP6415387B2 (en) | Display control apparatus, display control method, and program | |
JP2006332914A (en) | Photographing apparatus and image data transfer method | |
JP2021117981A (en) | Image processing apparatus, image processing method, video transmission and reception system, and program | |
JP2004112824A (en) | Video camera communication apparatus | |
CN113824920A (en) | Processing method and device |