JP2010147939A - Video communication apparatus, video communication method and video communication system - Google Patents

Video communication apparatus, video communication method and video communication system Download PDF

Info

Publication number
JP2010147939A
JP2010147939A JP2008324602A JP2008324602A JP2010147939A JP 2010147939 A JP2010147939 A JP 2010147939A JP 2008324602 A JP2008324602 A JP 2008324602A JP 2008324602 A JP2008324602 A JP 2008324602A JP 2010147939 A JP2010147939 A JP 2010147939A
Authority
JP
Japan
Prior art keywords
video
display
communication
transmission data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008324602A
Other languages
Japanese (ja)
Inventor
Kyosuke Osuga
恭輔 大須賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2008324602A priority Critical patent/JP2010147939A/en
Publication of JP2010147939A publication Critical patent/JP2010147939A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an electronic conference system capable of easily specifying a cause of interruption when a sub input video image is interrupted. <P>SOLUTION: The present invention relates to a video communication apparatus 100 comprising: a main video input section 101; a sub video input section 102, a transmission data generating section 105 for generating transmission data including a main video image and a sub video image; a communication section 106 for transmitting transmission data and receiving reception data; a display data generating section 107 for generating display data from reception data; a video output section 108 for outputting display data onto a display 21; a signal detecting section 103 for detecting whether to acquire a sub video image; and a notification section 104 for notifying the transmission data generating section 105 and the display data generating section 107 of interruption information in the case where a sub video signal is not acquired. When the interruption information is reported, the transmission data generating section 105 generates transmission data including the interruption information and the display data generating section 107 generates display data including the interruption information. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、通信網を経由して映像信号を送受信する映像通信装置に関し、特に、コンテンツ共有機能を有する映像通信装置に関する。   The present invention relates to a video communication apparatus that transmits and receives a video signal via a communication network, and more particularly to a video communication apparatus having a content sharing function.

近年、ブロードバンドの普及に伴い、通信回線を利用して隔地にいる参加者が映像や音声をリアルタイムにやりとりすることによりコミュニケーションを図るための手法として、電子会議システムの利用が盛んになりつつある。さらに、電子会議システムでは会議者の映像をメイン入力映像として備えるだけでなく、会議資料共有用のパソコン入力や、手元を映すためのサブカメラ入力などのサブ入力映像を共有するコンテンツ共有機能を備えるものもある。コンテンツ共有機能を備えるシステムでは、メイン入力映像とサブ入力映像を切り替えることにより、会議を一層スムーズに進行することができる（特許文献１参照）。
特開２００８−４６３６４号公報 In recent years, with the spread of broadband, the use of electronic conferencing systems has become popular as a method for communication between participants in remote locations using video communication lines in real time to exchange video and audio. Furthermore, the electronic conference system not only includes the video of the conference as the main input video, but also has a content sharing function for sharing sub-input video such as PC input for sharing conference materials and sub-camera input for projecting the hand. There are also things. In a system having a content sharing function, the conference can be more smoothly proceeded by switching between the main input video and the sub input video (see Patent Document 1).
JP 2008-46364 A

しかしながら、上記従来のコンテンツ共有機能を有する映像通信装置では、サブ入力映像が遮断された場合に、遮断の原因を特定するのに多くの時間を費やすことになるという課題がある。具体的には、以下の通りである。   However, the video communication apparatus having the conventional content sharing function has a problem that when the sub input video is blocked, it takes a lot of time to identify the cause of the blockage. Specifically, it is as follows.

コンテンツ共有機能を備える電子会議システムではサブ入力映像用インタフェースを備えることにより、ユーザが入力の切り替えを行うことができる。このとき、ユーザの意図しないケーブルの抜けやサブカメラの電源断などでサブ入力映像が遮断された場合、画面が黒画面になるなどの画面表示の無信号状態が発生する。   In an electronic conference system having a content sharing function, a user can switch inputs by providing a sub-input video interface. At this time, when the sub input video is blocked due to unintentional disconnection of the cable or the power of the sub camera being cut off, a no-signal state of screen display such as a black screen occurs.

この場合、通信網の障害などによる相手装置との通信断なのか、通信路は確保されているがサブ入力が遮断されたのみなのかという原因を特定するのに時間を費やしてしまう。   In this case, it takes time to identify the cause of whether the communication with the counterpart device is interrupted due to a failure of the communication network, or whether the communication path is secured but only the sub input is blocked.

一方、特許文献１に記載の電子会議システムでは、ユーザ操作により映像を切り替える手段は開示されているが、ユーザが意図しない入力の遮断については開示されていない。そのため、画面表示の無信号状態の原因特定に時間がかかってしまい、会議進行に支障をきたすことが課題となる。   On the other hand, in the electronic conference system described in Patent Document 1, means for switching video by a user operation is disclosed, but blocking of input unintended by the user is not disclosed. For this reason, it takes time to specify the cause of the no-signal state of the screen display, which hinders the progress of the conference.

そこで、本発明は、上述の現状を鑑みてなされたもので、サブ入力映像が遮断された場合に遮断の原因を容易に特定することができる映像通信装置、映像通信方法及び映像通信システムを提供することを目的とする。   Accordingly, the present invention has been made in view of the above-described present situation, and provides a video communication apparatus, a video communication method, and a video communication system that can easily identify the cause of a block when a sub-input video is blocked. The purpose is to do.

上記従来の課題を解決するために、他の映像通信装置との間で通信する映像通信装置であって、第１映像を示す第１映像信号を取得する第１入力手段と、第２映像を示す第２映像信号を取得する第２入力手段と、前記第１映像と前記第２映像とのうち少なくとも前記第２映像を含む第１送信データを生成する送信データ生成手段と、前記送信データ生成手段によって生成された第１送信データを前記他の映像通信装置に送信し、かつ、第３映像を含む受信データを前記他の映像通信装置から受信する通信手段と、前記通信手段によって受信された受信データを用いて、前記第３映像を含む表示データを生成する表示データ生成手段と、前記表示データ生成手段によって生成された表示データを第１表示装置に出力する出力手段と、前記第２入力手段によって前記第２映像信号が取得されるか否かを検出する信号検出手段と、前記信号検出手段によって、前記第２映像信号が取得されていないことが検出された場合、前記第２映像信号が遮断されたことを示す遮断情報を生成し、生成した遮断情報を前記送信データ生成手段と前記表示データ生成手段とに通知する通知手段とを備え、前記送信データ生成手段は、前記遮断情報が通知された場合、当該遮断情報を含む第２送信データを生成し、前記通信手段は、前記送信データ生成手段によって生成された第２送信データを前記他の映像通信装置に送信し、前記表示データ生成手段は、前記遮断情報が通知された場合、当該遮断情報と前記第３映像とを含む前記表示データを生成する。   In order to solve the above-described conventional problem, a video communication apparatus that communicates with another video communication apparatus, the first input means for acquiring a first video signal indicating the first video, and the second video Second input means for obtaining a second video signal, transmission data generation means for generating first transmission data including at least the second video among the first video and the second video, and the transmission data generation Communication means for transmitting the first transmission data generated by the means to the other video communication apparatus and receiving the reception data including the third video from the other video communication apparatus, and received by the communication means Display data generating means for generating display data including the third video using received data, output means for outputting the display data generated by the display data generating means to the first display device, and the second input Signal detecting means for detecting whether or not the second video signal is acquired by the means, and the second video signal when the signal detecting means detects that the second video signal is not acquired. And a notification means for notifying the transmission data generation means and the display data generation means of the generated cutoff information, wherein the transmission data generation means When notified, the second transmission data including the blocking information is generated, and the communication unit transmits the second transmission data generated by the transmission data generation unit to the other video communication device, and the display data When the blocking information is notified, the generation unit generates the display data including the blocking information and the third video.

これにより、第２映像信号（例えば、サブ入力信号）が取得されていないこと示す遮断情報を相手装置（サブ入力信号を受信する側）と自装置（サブ入力信号を送信する側）との双方に通知するので、例えば、相手装置を用いるユーザは、装置間の通信の異常、及び、表示装置の不具合などではなく、サブ入力信号の入力自体に問題が生じていることを認識することができる。   As a result, both the counterpart device (the side receiving the sub input signal) and the own device (the side transmitting the sub input signal) receive blocking information indicating that the second video signal (for example, the sub input signal) has not been acquired. For example, the user using the counterpart device can recognize that there is a problem in the input of the sub input signal, not the abnormality in communication between the devices and the malfunction of the display device. .

また、自装置を用いるユーザにとっても、例えば、サブ入力信号を自装置側の表示装置に表示させない場合などは、サブ入力信号が取得されていないことに気付かない場合がある。これに対して、本発明の映像通信装置では、自装置にも遮断情報を通知するので、自装置を用いるユーザは、サブ入力信号が取得されていない原因を探し出し、復旧させることができる。   Also, a user who uses the device itself may not be aware that the sub input signal is not acquired, for example, when the sub input signal is not displayed on the display device on the device side. On the other hand, in the video communication apparatus of the present invention, since the blocking information is also notified to the own apparatus, the user using the own apparatus can search for and recover the cause that the sub input signal is not acquired.

また、前記送信データ生成手段は、前記他の映像通信装置によって第２表示装置に前記第２映像が表示されるように前記第１送信データを生成し、前記通知手段は、さらに、表示を切り替えさせることを示す表示切替要求を前記送信データ生成手段に通知し、前記送信データ生成手段は、前記表示切替要求が通知された場合、前記第２表示装置に前記第１映像が表示されるように前記第２送信データを生成してもよい。   The transmission data generating unit generates the first transmission data so that the second video is displayed on the second display device by the other video communication device, and the notification unit further switches the display. A display switching request indicating that the first video is displayed on the second display device when the transmission data generating unit is notified of the display switching request. The second transmission data may be generated.

これにより、サブ入力信号が取得されている間は、相手側の表示装置に第２映像（例えば、サブ映像）を表示させ、サブ入力信号が取得されなくなった場合には、第１映像（例えば、メイン映像）を自動的に表示させるので、相手装置を用いるユーザに映像を切り替えさせるなどの負担を強いなくても済む。したがって、ユーザが機械操作などに疎い場合であっても、本装置を用いた電子会議などをスムーズに実行することができる。   Thereby, while the sub input signal is acquired, the second video (for example, sub video) is displayed on the display device on the other side, and when the sub input signal is not acquired, the first video (for example, , The main image) is automatically displayed, so that it is not necessary to place a burden on the user who uses the counterpart device to switch the image. Therefore, even when the user is not familiar with machine operations, an electronic conference using this apparatus can be executed smoothly.

また、前記送信データ生成手段は、前記第２表示装置の所定の第１領域に前記第２映像が表示され、前記第１領域以下の大きさである第２領域に前記第１映像が表示されるように前記第１送信データを生成し、前記表示切替要求が通知された場合、前記第１領域に前記第１映像が表示されるように前記第２送信データを生成してもよい。   Further, the transmission data generating means displays the second video in a predetermined first area of the second display device, and displays the first video in a second area having a size equal to or smaller than the first area. The first transmission data may be generated as described above, and when the display switching request is notified, the second transmission data may be generated so that the first video is displayed in the first area.

これにより、サブ入力信号が取得されている間は、相手側の表示装置の大きな画面に第２映像（例えば、サブ映像）を表示させ、小さい画面に第１映像（例えば、メイン映像）を表示させ、サブ入力信号が取得されなくなった場合には、大きな画面にメイン映像が表示されるように表示を自動的に切り替えるので、相手装置を用いるユーザに映像を切り替えさせるなどの負担を強いなくても済む。したがって、ユーザが機械操作などに疎い場合であっても、本装置を用いた電子会議などをスムーズに実行することができる。   As a result, while the sub input signal is acquired, the second video (for example, sub video) is displayed on the large screen of the counterpart display device, and the first video (for example, main video) is displayed on the small screen. When the sub input signal is no longer acquired, the display is automatically switched so that the main image is displayed on the large screen. It will be over. Therefore, even when the user is not familiar with machine operations, an electronic conference using this apparatus can be executed smoothly.

また、前記通知手段は、前記信号検出手段によって予め定められた第１期間継続して前記第２映像信号が取得されていないことが検出された場合に前記遮断情報を生成してもよい。   The notification unit may generate the blocking information when it is detected that the second video signal is not acquired continuously for a first period predetermined by the signal detection unit.

これにより、サブ入力信号が遮断されてから遮断情報を通知するまで、所定の期間（第１期間）が確保されるので、例えば、サブ入力信号が瞬断されてすぐに復旧した場合などにまで遮断情報が通知されてしまうのを防ぐことができる。   As a result, a predetermined period (first period) is ensured from when the sub input signal is interrupted until notification of the interrupt information, so that, for example, when the sub input signal is instantaneously interrupted and immediately recovered. It is possible to prevent the blocking information from being notified.

また、前記通知手段は、前記遮断情報を生成してから予め定められた第２期間経過後に、前記表示切替要求を前記送信データ生成手段に通知してもよい。   In addition, the notification unit may notify the transmission data generation unit of the display switching request after a predetermined second period has elapsed since the generation of the blocking information.

これにより、ユーザにサブ入力信号が遮断されたことを通知してから表示を切り替えるまで、所定の期間（第２期間）が確保されるので、この間にユーザはサブ入力信号を復旧させることができる。したがって、頻繁に画面の切り替わりなどが起きることによる画面のちらつきなどを防止することができる。   Thus, a predetermined period (second period) is ensured until the display is switched after notifying the user that the sub input signal has been cut off, so that the user can restore the sub input signal during this period. . Therefore, flickering of the screen due to frequent screen switching can be prevented.

また、前記通知手段は、さらに、前記表示切替要求を通知してから予め定められた第３期間経過後に、前記第１映像のみを表示させることを示す解除要求を前記送信データ生成手段に通知し、前記送信データ生成手段は、前記解除要求が通知された場合、前記第１映像が全画面表示されるように前記第２送信データを生成してもよい。   Further, the notifying unit further notifies the transmission data generating unit of a release request indicating that only the first video is displayed after a predetermined third period has elapsed since the display switching request was notified. The transmission data generation means may generate the second transmission data so that the first video is displayed on the full screen when the release request is notified.

これにより、サブ入力信号が遮断されてから充分な期間が経過した場合には、コンテンツの共有は終了したとみなして、メイン映像のみを表示させることができる。   As a result, when a sufficient period of time has elapsed since the sub input signal was cut off, it is considered that content sharing has ended, and only the main video can be displayed.

また、前記送信データ生成手段は、前記信号検出手段によって、前記第２映像信号が取得されていないことが検出された後に、前記第２映像信号が再取得されたことが検出された場合、前記第２映像を含む前記第１送信データを生成してもよい。   The transmission data generation means may detect that the second video signal is reacquired after the signal detection means detects that the second video signal has not been acquired. The first transmission data including the second video may be generated.

これにより、サブ入力信号が復旧した場合に、自動的に表示を元に戻すことができるので、ユーザが機械操作などに疎い場合であっても、本装置を用いた電子会議などをスムーズに実行することができる。   As a result, when the sub input signal is restored, the display can be automatically restored to the original, so even if the user is not familiar with machine operations, etc., electronic conferences using this device can be executed smoothly. can do.

また、前記通知手段は、前記第２映像信号を停止することを示す停止命令をユーザから受け取ると同時に、前記表示切替要求を前記送信データ生成手段に出力してもよい。   The notification unit may output the display switching request to the transmission data generation unit simultaneously with receiving a stop command indicating that the second video signal is to be stopped from the user.

これにより、ユーザが意図的に停止した場合には、即座に表示を自動的に切り替えるので、ユーザが機械操作などに疎い場合であっても、本装置を用いた電子会議などをスムーズに実行することができる。   As a result, when the user intentionally stops, the display is automatically switched immediately, so that even if the user is not familiar with the machine operation or the like, the electronic conference using the apparatus is smoothly executed. be able to.

また、前記送信データ生成手段は、前記遮断情報を文字情報として前記第２表示装置の所定の第３領域に表示されるように前記第２送信データを生成してもよい。   The transmission data generation means may generate the second transmission data so that the blocking information is displayed as character information in a predetermined third area of the second display device.

また、前記送信データ生成手段は、さらに、前記遮断情報が音声として出音されるように前記第２送信データを生成してもよい。   The transmission data generation means may further generate the second transmission data so that the blocking information is output as a sound.

また、前記映像通信装置は、さらに、前記表示データのうち前記遮断情報を表示する情報表示部を備えてもよい。   The video communication apparatus may further include an information display unit that displays the blocking information in the display data.

なお、本発明は、映像通信装置として実現できるだけではなく、当該映像通信装置を構成する処理手段をステップとする方法として実現することもできる。また、これらステップをコンピュータに実行させるプログラムとして実現してもよい。さらに、当該プログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの記録媒体、並びに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、それらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信してもよい。   Note that the present invention can be realized not only as a video communication apparatus but also as a method in which processing means constituting the video communication apparatus is used as a step. Moreover, you may implement | achieve as a program which makes a computer perform these steps. Furthermore, it may be realized as a recording medium such as a computer-readable CD-ROM (Compact Disc-Read Only Memory) in which the program is recorded, and information, data, or a signal indicating the program. These programs, information, data, and signals may be distributed via a communication network such as the Internet.

また、上記の各映像通信装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されていてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。   In addition, some or all of the constituent elements included in each of the video communication apparatuses may be configured by one system LSI (Large Scale Integration). The system LSI is an ultra-multifunctional LSI manufactured by integrating a plurality of components on a single chip, and specifically includes a microprocessor, a ROM, a RAM (Random Access Memory), and the like. Computer system.

本発明の映像通信装置によれば、サブ入力映像が遮断された場合に遮断の原因を容易に特定することができる。   According to the video communication device of the present invention, when the sub input video is blocked, the cause of the blockage can be easily specified.

以下、本発明の実施の形態について、図面を参照しながら説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

（実施の形態１）
図１は、本実施の形態における２拠点でのコミュニケーションサービスを実現するコミュニケーションシステムの構成を示す図である。 (Embodiment 1)
FIG. 1 is a diagram showing a configuration of a communication system that realizes a communication service at two locations in the present embodiment.

図１において、拠点Ａに位置するコミュニケーション装置Ａ１１と、拠点Ｂに位置するコミュニケーション装置Ｂ１２とは、通信機能を有する映像音声制御装置であり、ネットワーク１０を介して相互接続が可能である。   In FIG. 1, a communication device A <b> 11 located at the site A and a communication device B <b> 12 located at the site B are video / audio control devices having a communication function and can be interconnected via the network 10.

コミュニケーション装置Ａ１１は、拠点Ａにおけるリアルタイムな映像音声データを、自装置が備える又は自装置と接続されたカメラ及びマイクから入力し、ネットワーク１０を介してコミュニケーション装置Ｂ１２に送信する。また、コミュニケーション装置Ａ１１は、拠点Ｂにおけるリアルタイムな映像音声データを、コミュニケーション装置Ｂ１２から受信し、自装置が備える又は自装置と接続されたディスプレイ及びスピーカーに出力する。   The communication device A11 inputs real-time video / audio data at the site A from a camera and a microphone included in or connected to the own device, and transmits the data to the communication device B12 via the network 10. Further, the communication device A11 receives real-time video / audio data at the base B from the communication device B12, and outputs it to a display and a speaker included in or connected to the own device.

また、ネットワーク１０を介しているにもかかわらず、距離による影響を低減した、よりリアルなコミュニケーションサービスを提供するために、コミュニケーション装置Ａ１１及びコミュニケーション装置Ｂ１２はそれぞれ、複数個のディスプレイ、カメラ、マイク及びスピーカーなどの入出力装置を備えている。これらの入出力装置は、予め適した位置に配置されており、この配置に特徴を有している。これについては、図を用いて後で詳細に説明する。   In addition, in order to provide a more realistic communication service that reduces the influence of distance despite the network 10, the communication device A11 and the communication device B12 each include a plurality of displays, cameras, microphones, I / O devices such as speakers are provided. These input / output devices are arranged in advance at suitable positions, and are characterized by this arrangement. This will be described in detail later with reference to the drawings.

ネットワーク１０は、有線回線でも無線回線でもよく、また、この両方の組み合わせであってもよい。また、インターネットや公衆電話回線などのパブリックネットワークであってもよいし、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの限られたドメインの中でクローズされたローカルネットワークであってもよいし、また、この両方の組み合わせであってもよい。   The network 10 may be a wired line or a wireless line, or may be a combination of both. Moreover, it may be a public network such as the Internet or a public telephone line, or may be a local network closed in a limited domain such as a LAN (Local Area Network), or both of them. It may be a combination.

また、コミュニケーション装置Ａ１１とコミュニケーション装置Ｂ１２との間の通信には、例えば、ＲＴＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）、ＲＴＣＰ（ＲＴＰ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）又はＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）を用いたデジタル通信が用いられる。   For example, digital communication using RTP (Real-time Transport Protocol), RTCP (RTP Control Protocol), or TCP (Transmission Control Protocol) is used for communication between the communication device A11 and the communication device B12.

また、コミュニケーション装置Ａ１１及びコミュニケーション装置Ｂ１２はそれぞれ、ネットワーク上の位置を示すアドレス情報としてＩＰアドレスが割り当てられているものとする。なお、ＩＰアドレスでなく、電話番号など他の情報をアドレス情報として用いてもよい。   In addition, it is assumed that each of the communication device A11 and the communication device B12 is assigned an IP address as address information indicating a position on the network. Other information such as a telephone number may be used as the address information instead of the IP address.

また、コミュニケーション装置Ａ１１及びコミュニケーション装置Ｂ１２がそれぞれ送受信するデータは、リアルタイムな映像音声データとしたが、光ディスク又はハードディスクなどの記憶媒体に記録されている映像音声データも、リアルタイムな映像音声データと共に送受信することができる。なお、映像データのみ、又は、音声データのみを送受信してもよい。また、静止画データ、又は、テキスト若しくはＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）などの文書データでもよい。   The data transmitted and received by the communication device A11 and the communication device B12 is real-time video / audio data. However, the video / audio data recorded on a storage medium such as an optical disk or a hard disk is also transmitted / received together with the real-time video / audio data. be able to. Note that only video data or audio data may be transmitted and received. Still image data or text data or document data such as HTML (HyperText Markup Language) may be used.

以上により、コミュニケーション装置Ａ１１とコミュニケーション装置Ｂ１２とは、予め適した位置に配置された複数個の入出力装置を用いて、他拠点のリアルタイムな映像及び音声を出力することが可能となり、よりリアルなコミュニケーションサービスを提供することができる。   As described above, the communication device A11 and the communication device B12 can output real-time video and audio of other bases using a plurality of input / output devices arranged in advance at appropriate positions. Communication services can be provided.

なお、図１に示した２拠点でのコミュニケーションサービスだけでなく、３拠点以上での相互接続によるコミュニケーションサービスが可能である。   Note that not only the communication service at the two bases shown in FIG. 1 but also the communication service by the interconnection at three or more bases is possible.

図２は、前述したコミュニケーション装置Ａ１１及びコミュニケーション装置Ｂ１２以外の機器も備えたコミュニケーションシステムの構成の一例を示す図である。   FIG. 2 is a diagram illustrating an example of a configuration of a communication system including devices other than the communication device A11 and the communication device B12 described above.

図２では、コミュニケーション装置Ａ１１と、コミュニケーション装置Ｂ１２と、ノートＰＣ（パーソナルコンピュータ）１３と、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）１５と、携帯電話１６と、デスクトップＰＣ１９とが接続し、５拠点でのコミュニケーションシステムを実施する。なお、ここでは、公衆電話回線であるネットワーク１０とインターネット１８とが、インターネットサービスプロバイダのサーバ１７を介して接続されているものとする。デスクトップＰＣ１９は、インターネット１８に接続され、インターネット１８と、サーバ１７と、ネットワーク１０とを介して、コミュニケーション装置Ａ１１などの他機器と接続される。   In FIG. 2, a communication device A11, a communication device B12, a notebook PC (personal computer) 13, a PDA (Personal Digital Assistant) 15, a mobile phone 16, and a desktop PC 19 are connected, and a communication system at five locations. To implement. Here, it is assumed that the network 10 as a public telephone line and the Internet 18 are connected via a server 17 of an Internet service provider. The desktop PC 19 is connected to the Internet 18, and is connected to other devices such as the communication device A <b> 11 via the Internet 18, the server 17, and the network 10.

コミュニケーション装置Ａ１１及びコミュニケーション装置Ｂ１２は、図１と同じであるため、それ以外の機器について説明する。なお、図２に示した通り、コミュニケーション装置Ａ１１及びコミュニケーション装置Ｂ１２を構成する構成要素の一部又は全部は、１個のシステムＬＳＩから構成されているとしてもよい。   Since the communication device A11 and the communication device B12 are the same as those in FIG. 1, other devices will be described. Note that, as shown in FIG. 2, some or all of the components constituting the communication device A11 and the communication device B12 may be configured by one system LSI.

ノートＰＣ１３は、カメラ機能を内蔵しておらず、外付けでカメラ１４が接続されている。カメラ１４は、デジタルビデオカメラなどの動画撮影が可能な機器である。ノートＰＣ１３は、カメラ１４により撮影された映像音声データを、自拠点でのリアルタイムな映像音声データとして、ネットワーク１０を介して、他機器に送信する。なお、カメラ１４が、動画撮影機能を有しておらず、静止画撮影機能のみの場合、撮影した静止画データを一定間隔で送信してもよい。   The notebook PC 13 does not have a built-in camera function, and the camera 14 is connected externally. The camera 14 is a device capable of moving image shooting such as a digital video camera. The notebook PC 13 transmits the video / audio data captured by the camera 14 to other devices via the network 10 as real-time video / audio data at the local site. When the camera 14 does not have a moving image shooting function but has only a still image shooting function, the shot still image data may be transmitted at regular intervals.

ＰＤＡ１５は、カメラ機能を有しておらず、自拠点のリアルタイムな映像データを送信することができない。ＰＤＡ１５は、ネットワーク１０を介して、受信した映像音声データをディスプレイ及びスピーカーに出力するとともに、自拠点でのリアルタイムな音声データを他機器に送信する。なお、カメラ機能を有している場合は、映像音声データを送受信することが可能となる。   The PDA 15 does not have a camera function and cannot transmit real-time video data of its own base. The PDA 15 outputs the received video / audio data to the display and the speaker via the network 10 and transmits real-time audio data at the local site to other devices. If the camera function is provided, video / audio data can be transmitted and received.

携帯電話１６は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラなどのカメラ付きの携帯電話であり、自拠点でのリアルタイムな映像音声データをカメラ及びマイクから入力し、ネットワーク１０を介して他機器に送信する。また、受信した映像音声データを自装置のディスプレイ及びスピーカーに出力する。また、携帯電話１６は、ＰＤＣ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、ＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、ＣＤＭＡ１ｘ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ １ｘ）方式、又は、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）など、いずれの通信方式であってもよい。また、ＳＤカードなどの記録媒体である蓄積メディアを装着可能なスロット部を有しており、記録メディアに記録されているデータを、コミュニケーションサービスに参加している他機器と共有することが可能である。さらに、携帯電話１６によるネットワーク１０への接続は、ＷｉＭＡＸ（Ｗｏｒｌｄｗｉｄｅ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ）など他の無線通信機能を用いてもよい。   The mobile phone 16 is a mobile phone with a camera such as a CCD (Charge Coupled Device) camera, and inputs real-time video and audio data at the local site from the camera and microphone and transmits them to other devices via the network 10. Also, the received video / audio data is output to the display and speaker of the device itself. In addition, the mobile phone 16 includes a PDC (Personal Digital Communications) system, a CDMA (Code Division Multiple Access) system, a GSM (Global System for Mobile Communications) system, and a W-CDMA (Wide CDMA (Wide CDMA) system. Any communication method such as Division Multiple Access 1x) or LTE (Long Term Evolution) may be used. In addition, it has a slot that can be loaded with storage media such as SD cards, so that data recorded on the recording media can be shared with other devices participating in the communication service. is there. Further, the mobile phone 16 may connect to the network 10 using other wireless communication functions such as WiMAX (Worldwide Interoperability for Microwave Access).

デスクトップＰＣ１９は、カメラ機能を内蔵しており、自拠点でのリアルタイムな映像音声データをカメラ及びマイクから入力し、インターネット１８とネットワーク１０とを介して他機器に送信する。なお、インターネット１８とネットワーク１０とは、インターネットサービスプロバイダのサーバ１７を介して接続しているものとする。また、受信した映像音声データを自装置のディスプレイ及びスピーカーに出力する。なお、デスクトップＰＣ１９は、光ディスク又はＳＤカードなどの記憶媒体である蓄積メディアの読み取りが可能なデバイスや、外付けＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又は内部メモリなどを有しており、これらに記録されているデータを、コミュニケーションサービスに参加している他機器と共有することが可能である。   The desktop PC 19 has a built-in camera function, inputs real-time video and audio data at its own site from the camera and microphone, and transmits them to other devices via the Internet 18 and the network 10. It is assumed that the Internet 18 and the network 10 are connected via a server 17 of an Internet service provider. Also, the received video / audio data is output to the display and speaker of the device itself. The desktop PC 19 has a device capable of reading a storage medium such as an optical disk or an SD card, an external HDD (Hard Disk Drive), or an internal memory, and is recorded on these devices. Data can be shared with other devices participating in the communication service.

また、各機器は、ネットワーク上の位置を示すアドレス情報として、電話番号又はＩＰアドレスが割り当てられているものとする。なお、ＩＰｖ６（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ Ｖｅｒｓｉｏｎ ６）対応のＩＰアドレスを用いることで、各機器が物理的に移動しても、同じアドレスを用いてコミュニケーションサービスに参加することが可能となる。   Each device is assigned a telephone number or an IP address as address information indicating a position on the network. Note that by using an IP address compatible with IPv6 (Internet Protocol Version 6), even if each device physically moves, it is possible to participate in the communication service using the same address.

また、各機器は、コミュニケーションサービスに参加している他機器へマルチキャストで映像音声データの送信を行ってもよい。また、特定の機器（例えばコミュニケーション装置Ａ１１）をサーバと設定し、サーバが他機器から映像音声データを受信して処理を行った後、他機器へマルチキャストしてもよい。   In addition, each device may transmit video / audio data by multicast to other devices participating in the communication service. In addition, a specific device (for example, the communication device A11) may be set as a server, and after the server receives and processes video / audio data from the other device, it may be multicast to the other device.

以上により、コミュニケーション装置Ａ１１とコミュニケーション装置Ｂ１２とは、複数拠点に位置する各機器が送信したリアルタイムな映像や音声を出力することが可能となり、よりリアルなコミュニケーションサービスを提供することができる。   As described above, the communication device A11 and the communication device B12 can output real-time video and audio transmitted from each device located at a plurality of locations, and can provide more realistic communication services.

次に、本実施の形態におけるコミュニケーション装置Ａ１１（又は、コミュニケーション装置Ｂ１２）が備える入出力装置の配置について説明する。図３は、本実施の形態のコミュニケーション装置が備える入出力装置の配置の一例を示す図である。   Next, the arrangement of input / output devices included in communication device A11 (or communication device B12) in the present embodiment will be described. FIG. 3 is a diagram illustrating an example of an arrangement of input / output devices included in the communication device according to the present embodiment.

コミュニケーション装置Ａ１１は、本体２０と、ディスプレイ２１と、メインカメラ２２と、マイク２３と、スピーカー２４ａ、２４ｂ及び２４ｃと、リモコン２６と、サブカメラ２７と、ノートＰＣ２８とを備えている。また、各入出力装置（ディスプレイ２１、メインカメラ２２、マイク２３、スピーカー２４ａ、２４ｂ及び２４ｃ、リモコン２６、サブカメラ２７、並びに、ノートＰＣ２８）は、本体２０と接続している。この接続は、有線回線であっても無線回線であってもよい。また、コミュニケーションサービスに参加する１人以上のユーザは、ディスプレイ２１の方向に向いて机２５の席に着くことを想定している。   The communication device A11 includes a main body 20, a display 21, a main camera 22, a microphone 23, speakers 24a, 24b and 24c, a remote controller 26, a sub camera 27, and a notebook PC 28. Each input / output device (display 21, main camera 22, microphone 23, speakers 24a, 24b and 24c, remote control 26, sub camera 27, and notebook PC 28) is connected to the main body 20. This connection may be a wired line or a wireless line. Further, it is assumed that one or more users participating in the communication service are seated at the desk 25 facing the display 21.

本体２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及びメモリなどを備えた情報処理装置である。本体２０は、各入出力装置の制御、入出力装置から入力した映像音声データの符号化処理、ネットワーク１０を介した通信制御処理、ネットワーク１０を介して受信した映像音声データの復号化処理、及び、復号化した映像音声データの入出力装置への出力処理などを行う。   The main body 20 is an information processing apparatus including a CPU (Central Processing Unit) and a memory. The main body 20 controls each input / output device, encoding processing of video / audio data input from the input / output device, communication control processing via the network 10, decoding processing of video / audio data received via the network 10, and The output processing of the decoded video / audio data to the input / output device is performed.

ディスプレイ２１は、映像などを表示する装置であり、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）又はＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）である。コミュニケーションサービスに参加するユーザの正面に位置するよう、机２５の前面に並べて配置される。ここでは１個のディスプレイが本体２０と接続されている。ここでは、ディスプレイは１個であるが、複数個のディスプレイを用いてもよく、その場合、他拠点での参加者の映像が、机２５の席に着いているよう表示される。他拠点の映像は、ディスプレイの個数に合わせて分割して表示されてもよい。   The display 21 is a device that displays an image and the like, and is, for example, an LCD (Liquid Crystal Display) or a PDP (Plasma Display Panel). It is arranged side by side on the front surface of the desk 25 so as to be positioned in front of the user participating in the communication service. Here, one display is connected to the main body 20. Here, although there is one display, a plurality of displays may be used. In this case, the images of the participants at other bases are displayed as if they are seated on the desk 25. The video of another base may be divided and displayed according to the number of displays.

メインカメラ２２は、デジタルビデオカメラなどの動画撮影機能を有する撮影装置である。ディスプレイ２１の上部に配置され、机２５の席に着くユーザを撮影する。   The main camera 22 is a photographing device having a moving image photographing function such as a digital video camera. A user who is placed at the top of the display 21 and takes a seat on the desk 25 is photographed.

マイク２３は、周辺の音声の集音を行う入力装置である。机２５の中央に配置する。また、机２５の席に着いたユーザの人数に合わせた個数の指向性マイクを、各ユーザの正面に位置するように配置してもよい。また、１個の無指向性マイクと１個以上の指向性マイクを組み合わせて配置してもよい。これにより、どの方向からの音声かを把握することが可能となり、他拠点で音声を出力する方向を制御することが可能となる。   The microphone 23 is an input device that collects surrounding sounds. Arranged at the center of the desk 25. Moreover, you may arrange | position the directional microphone of the number according to the number of the users who sat on the desk 25 so that it may be located in front of each user. One omnidirectional microphone and one or more directional microphones may be arranged in combination. As a result, it is possible to grasp the direction from which the sound is heard, and it is possible to control the direction in which the sound is output at another site.

スピーカー２４ａ、２４ｂ及び２４ｃは、ディスプレイ２１の背後に配置される。ここでは、３個のスピーカーが接続されている。これにより、ディスプレイ２１に表示されている映像に合わせて、音声を出力するスピーカーを制御することが可能となる。   The speakers 24 a, 24 b and 24 c are arranged behind the display 21. Here, three speakers are connected. Accordingly, it is possible to control the speaker that outputs sound in accordance with the video displayed on the display 21.

リモコン２６は、ユーザからの入力指示を受け、本体２０への操作入力信号を送信する操作入力装置である。机２５の席に着いたユーザにより操作可能であればよい。なお、ここでは、リモコンとしたが、本体２０に付属されるワンタッチボタン、タッチパネル、キーボード又はマウスなど、他の操作入力装置を用いてもよい。また、机２５の席に着いたユーザの人数に合わせた個数の操作入力装置を、各ユーザの正面に位置するように配置してもよい。   The remote control 26 is an operation input device that receives an input instruction from a user and transmits an operation input signal to the main body 20. It may be operable by a user who sits at the desk 25. Although the remote controller is used here, other operation input devices such as a one-touch button, a touch panel, a keyboard, or a mouse attached to the main body 20 may be used. Moreover, you may arrange | position the operation input device of the number according to the number of the users who sat on the desk 25 so that it may be located in front of each user.

サブカメラ２７は、会議者の手元をズームして撮影するための撮像装置で、サブ入力映像用として利用する。本体２０とは、Ｄ端子ケーブル、又は、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ケーブルなどを用いて接続される。なお、サブカメラ２７は固定されておらず、会議者が手にとって撮影を行ってもよい。また、顕微鏡型の固定カメラであってもよい。   The sub camera 27 is an imaging device for zooming and shooting the hand of the conference person, and is used for sub input video. The main body 20 is connected using a D terminal cable, an HDMI (High-Definition Multimedia Interface) cable, or the like. The sub camera 27 is not fixed, and the conference person may take a picture with his hand. Further, it may be a microscope-type fixed camera.

ノートＰＣ２８は、会議資料を共有するためのＰＣである。ノートＰＣ２８は、ＶＧＡ（Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ）ケーブルなどで本体２０と接続する。ノートＰＣ２８は、外部ディスプレイ表示モードを備え、外部ディスプレイ表示モードＯＮでサブ入力として本体２０に入力信号を送信する。   The notebook PC 28 is a PC for sharing meeting materials. The notebook PC 28 is connected to the main body 20 with a VGA (Video Graphics Array) cable or the like. The notebook PC 28 has an external display display mode, and transmits an input signal to the main body 20 as a sub input when the external display display mode is ON.

以上により、コミュニケーション装置Ａ１１は、他拠点とのコミュニケーションサービスを提供することが可能となる。つまり、ユーザがリモコン２６を操作して接続先（他拠点）を設定して通信を確立し、コミュニケーションサービス（メイン通信）を開始する。コミュニケーションサービス実行中は、メインカメラ２２が、机２５の席に着いたユーザの映像を撮影し、同時に、マイク２３が、音声を集音する。本体２０は、メインカメラ２２及びマイク２３から、自拠点のリアルタイムな映像音声データを取得し、符号化処理を行い、他拠点への送信を行う。また、本体２０は、他拠点の映像音声データを受信し、復号化処理を行い、ディスプレイ２１とスピーカー２４ａ、２４ｂ及び２４ｃとへの出力を行う。これにより、複数拠点間で相互にリアルタイムな映像及び音声を出力することが可能となり、よりリアルなコミュニケーションサービスを提供することができる。   As described above, the communication device A11 can provide a communication service with another base. That is, the user operates the remote control 26 to set a connection destination (another base), establish communication, and start a communication service (main communication). During the execution of the communication service, the main camera 22 captures the video of the user who sits on the desk 25, and at the same time, the microphone 23 collects sound. The main body 20 acquires real-time video and audio data of the local site from the main camera 22 and the microphone 23, performs an encoding process, and transmits to other sites. Further, the main body 20 receives the video / audio data of the other site, performs a decoding process, and outputs to the display 21 and the speakers 24a, 24b and 24c. Thereby, it becomes possible to mutually output real-time video and audio between a plurality of sites, and a more realistic communication service can be provided.

また、コミュニケーションサービス実行中に、ユーザがリモコン２６を操作して、サブカメラ２７又はノートＰＣ２８などのサブ入力映像を、ネットワーク１０を介して送受信することで、コミュニケーションサービスに参加している他機器とコンテンツ共有することが可能となる。なお、コンテンツ共有通信では映像データのみの通信を行い、音声データの通信は行わない。   In addition, during execution of the communication service, the user operates the remote control 26 to transmit / receive sub-input video such as the sub camera 27 or the notebook PC 28 via the network 10, so that other devices participating in the communication service can communicate with each other. Content can be shared. In content sharing communication, only video data communication is performed, and audio data communication is not performed.

図４は、本実施の形態におけるコミュニケーション装置Ａ１１のハードウェア構成を示すブロック図である。同図に示すように、コミュニケーション装置Ａ１１は、制御部３０と、音声符号化部３１と、音声復号化部３２と、画像符号化部３３と、画像復号化部３４と、電源回路３５と、タイマ回路３６と、音声処理部３７と、音声出力部３８と、音声入力部３９と、表示処理部４０と、表示部４１と、画像処理部４２と、画像入力部４３と、操作入力制御部４４と、操作入力部４５と、通信制御部４６と、送受信回路４７と、信号確認部６１と、通知部６２とを備えている。各処理部は、バスラインを通じて互いに接続されている。また、必要に応じて、バスラインには、ハードディスク装置４８及び読取装置４９を接続することが可能である。ハードディスク装置４８と読取装置４９とは、それぞれインタフェースを通じてバスラインに接続される。   FIG. 4 is a block diagram showing a hardware configuration of communication apparatus A11 in the present embodiment. As shown in the figure, the communication device A11 includes a control unit 30, an audio encoding unit 31, an audio decoding unit 32, an image encoding unit 33, an image decoding unit 34, a power supply circuit 35, Timer circuit 36, audio processing unit 37, audio output unit 38, audio input unit 39, display processing unit 40, display unit 41, image processing unit 42, image input unit 43, and operation input control unit 44, an operation input unit 45, a communication control unit 46, a transmission / reception circuit 47, a signal confirmation unit 61, and a notification unit 62. Each processing unit is connected to each other through a bus line. If necessary, a hard disk device 48 and a reading device 49 can be connected to the bus line. The hard disk device 48 and the reading device 49 are each connected to a bus line through an interface.

制御部３０は、ＣＰＵ５０と、ＲＯＭ５１と、ＲＡＭ５２とを備え、コミュニケーション装置Ａ１１全体の制御を行う。   The control unit 30 includes a CPU 50, a ROM 51, and a RAM 52, and controls the entire communication device A11.

ＣＰＵ５０は、単一のＣＰＵで構成されてもよく、複数のＣＰＵで構成されてもよい。ＲＯＭ５１は、ＣＰＵ５０の動作を規定するコンピュータプログラムを記憶している。コンピュータプログラムは、ハードディスク装置４８に記憶させることもできる。ＣＰＵ５０は、ＲＯＭ５１又はハードディスク装置４８が格納するコンピュータプログラムを、必要に応じてＲＡＭ５２に書き込みつつ、コンピュータプログラムが規定する処理を実行する。ＲＡＭ５２は、ＣＰＵ５０が処理を実行するのに伴って発生するデータを一時的に記憶する媒体としても機能する。ＲＯＭ５１には、フラッシュＲＯＭのように書き込みが可能で、電源を切っても記憶内容を保持できる不揮発性のメモリや記憶媒体も含まれる。ＲＡＭ５２には、電源を切ると記憶内容が保持されない揮発性のメモリや記憶媒体が含まれる。   The CPU 50 may be composed of a single CPU or a plurality of CPUs. The ROM 51 stores a computer program that defines the operation of the CPU 50. The computer program can also be stored in the hard disk device 48. The CPU 50 executes processing defined by the computer program while writing the computer program stored in the ROM 51 or the hard disk device 48 into the RAM 52 as necessary. The RAM 52 also functions as a medium for temporarily storing data generated as the CPU 50 executes processing. The ROM 51 includes a nonvolatile memory and a storage medium that can be written like a flash ROM and can retain stored contents even when the power is turned off. The RAM 52 includes a volatile memory or storage medium that does not retain the stored contents when the power is turned off.

音声符号化部３１は、音声処理部３７によって生成された音声データを、特定の符号化方法によって圧縮符号化することにより、符号化音声データに変換し、通信制御部４６に出力する。   The audio encoding unit 31 converts the audio data generated by the audio processing unit 37 into encoded audio data by compression encoding using a specific encoding method, and outputs the encoded audio data to the communication control unit 46.

音声復号化部３２は、通信制御部４６から出力された符号化音声データを、特定の復号化方法で復号化することにより再生可能な音声データを生成し、音声処理部３７に出力する。   The audio decoding unit 32 generates reproducible audio data by decoding the encoded audio data output from the communication control unit 46 using a specific decoding method, and outputs the audio data to the audio processing unit 37.

画像符号化部３３は、画像処理部４２によって生成された画像データを、特定の符号化方法によって圧縮符号化することにより、符号化画像データに変換し、通信制御部４６に出力する。   The image encoding unit 33 converts the image data generated by the image processing unit 42 into encoded image data by compression encoding using a specific encoding method, and outputs the encoded image data to the communication control unit 46.

画像復号化部３４は、通信制御部４６から出力された符号化画像データを、特定の復号化方法で復号化することにより再生可能な画像データを生成し、表示処理部４０に出力する。   The image decoding unit 34 generates reproducible image data by decoding the encoded image data output from the communication control unit 46 using a specific decoding method, and outputs the generated image data to the display processing unit 40.

電源回路３５は、電源キーのオン操作により、バッテリーパック又はアダプタ経由で受け取った電力を各処理部に供給し、コミュニケーション装置Ａ１１を動作可能な状態に起動する。また、通常モードと省電力モードとの複数のモードを備えてもよい。省電力モード時には、一部の処理部にのみ電力を供給することで、必要な電力を低減することができる。例えば、他拠点からの着呼待ち状態の場合、通信制御部４６と送受信回路４７とに電力を供給する省電力モードで動作し、着呼を受けた際に省電力モードから通常モードに切り替えることで、他処理部の動作を開始してもよい。   When the power key is turned on, the power supply circuit 35 supplies the power received via the battery pack or the adapter to each processing unit, and starts the communication device A11 in an operable state. Further, a plurality of modes of a normal mode and a power saving mode may be provided. In the power saving mode, the required power can be reduced by supplying power only to some of the processing units. For example, in the state of waiting for an incoming call from another base, it operates in the power saving mode for supplying power to the communication control unit 46 and the transmission / reception circuit 47, and switches from the power saving mode to the normal mode when an incoming call is received. Thus, the operation of the other processing unit may be started.

タイマ回路３６は、一定の周期でタイマ割込信号を出力する。   The timer circuit 36 outputs a timer interrupt signal at a constant cycle.

音声処理部３７は、１つ以上の音声入力部３９によって集音された音声信号をデジタル変換し、合成及び加工処理などを行い、音声符号化部３１に出力する。ノイズキャンセル機能などにより、よりクリアな音声データを生成することもできる。また、音声入力部３９が複数個存在する場合、音声処理部３７は、複数個の音声入力部３９の配置情報を管理し、配置に適した音声データを生成することが可能となる。さらに、音声処理部３７は、音声復号化部３２によって復号化された音声データの分割及び加工処理などを行い、生成した音声データを音声出力部３８に出力する。音声処理部３７は、複数個の音声出力部３８の配置情報を管理し、各音声出力部３８に適した複数個の音声データを生成することが可能となる。   The audio processing unit 37 digitally converts the audio signal collected by the one or more audio input units 39, performs synthesis and processing, and outputs the result to the audio encoding unit 31. Clearer audio data can also be generated by a noise cancellation function or the like. Further, when there are a plurality of voice input units 39, the voice processing unit 37 can manage arrangement information of the plurality of voice input units 39 and generate voice data suitable for the arrangement. Further, the voice processing unit 37 performs division and processing of the voice data decoded by the voice decoding unit 32 and outputs the generated voice data to the voice output unit 38. The sound processing unit 37 can manage arrangement information of the plurality of sound output units 38 and generate a plurality of sound data suitable for each sound output unit 38.

音声出力部３８は、音声データを出力する出力装置である。図３に示すスピーカー２４ａ、２４ｂ及び２４ｃに相当する。音声出力部３８は、音声処理部３７によって生成された音声データを出力する。   The audio output unit 38 is an output device that outputs audio data. This corresponds to the speakers 24a, 24b and 24c shown in FIG. The audio output unit 38 outputs the audio data generated by the audio processing unit 37.

音声入力部３９は、周辺の音声を集音する入力装置である。図３に示すマイク２３に相当する。音声入力部３９は、集音した音声信号を音声処理部３７に出力する。   The voice input unit 39 is an input device that collects peripheral voices. This corresponds to the microphone 23 shown in FIG. The voice input unit 39 outputs the collected voice signal to the voice processing unit 37.

表示処理部４０は、画像復号化部３４によって復号化された画像データの分割及び加工処理などを行い、生成した表示データを表示部４１に出力する。また、表示処理部４０は、複数個の表示部４１の配置情報を管理する。これにより、各表示部４１に適した複数個の表示データを生成することが可能となる。また、画像処理部４２から自拠点の画像データを受け取り、表示部４１に出力することで、自拠点の画像を表示することも可能である。   The display processing unit 40 divides and processes the image data decoded by the image decoding unit 34 and outputs the generated display data to the display unit 41. Further, the display processing unit 40 manages arrangement information of the plurality of display units 41. As a result, a plurality of display data suitable for each display unit 41 can be generated. In addition, it is possible to display the image of the local site by receiving the image data of the local site from the image processing unit 42 and outputting the image data to the display unit 41.

表示部４１は、画像や文字などを表示する装置である。図３に示すディスプレイ２１に相当する。表示部４１は、表示処理部４０によって生成された表示データを画面に表示する。   The display unit 41 is a device that displays images, characters, and the like. It corresponds to the display 21 shown in FIG. The display unit 41 displays the display data generated by the display processing unit 40 on the screen.

画像処理部４２は、１つ以上の画像入力部４３から出力される画像データの合成及び加工処理などを行い、画像符号化部３３に出力する。画像処理部４２は、複数個の画像入力部４３の配置情報を管理し、配置に適した画像データを生成することが可能となる。また、生成した画像データを表示処理部４０に出力することで、自拠点の画像データを表示部４１に直接表示することも可能である。さらに、画像処理部４２は、通知部６２から通知される遮断情報、及び、表示切替要求を元に、複数の画像入力部４３から受信した画像データを、各画像データの表示サイズ及び場所などの配置情報を変更したり、遮断情報を合成したりして表示データを生成する。   The image processing unit 42 performs composition processing and processing on the image data output from the one or more image input units 43 and outputs the resultant to the image encoding unit 33. The image processing unit 42 can manage the arrangement information of the plurality of image input units 43 and generate image data suitable for the arrangement. In addition, by outputting the generated image data to the display processing unit 40, it is possible to directly display the image data of the local site on the display unit 41. Furthermore, the image processing unit 42 converts the image data received from the plurality of image input units 43 based on the blocking information notified from the notification unit 62 and the display switching request, such as the display size and location of each image data. Display data is generated by changing arrangement information or synthesizing blocking information.

画像入力部４３は、デジタルビデオカメラなどの動画撮影機能を有する撮影装置である。画像入力部４３は、図３に示すメインカメラ２２、サブカメラ２７及びノートＰＣ２８に相当する。画像入力部４３は、信号確認部６１を経由して、撮影した画像データを画像処理部４２に出力する。また、画像入力部４３は、デジタルスチルカメラなどの静止画撮影機能のみの撮影装置であってもよく、撮影した静止画データを一定間隔で画像処理部４２に出力してもよい。   The image input unit 43 is a photographing device having a moving image photographing function such as a digital video camera. The image input unit 43 corresponds to the main camera 22, the sub camera 27, and the notebook PC 28 shown in FIG. The image input unit 43 outputs the captured image data to the image processing unit 42 via the signal confirmation unit 61. The image input unit 43 may be a photographing device having only a still image photographing function such as a digital still camera, and may output photographed still image data to the image processing unit 42 at regular intervals.

操作入力制御部４４は、操作入力部４５から出力された操作入力信号を受け取り、対応する制御データに変換して制御部３０に出力する。   The operation input control unit 44 receives the operation input signal output from the operation input unit 45, converts it into corresponding control data, and outputs it to the control unit 30.

操作入力部４５は、ユーザからの入力指示を受け付け、受け付けた入力指示を操作入力信号として操作入力制御部４４に出力する装置である。操作入力部４５は、図３に示すリモコン２６に相当する。なお、操作入力部４５は、キーボード又はマウスなど、他の操作入力装置であってもよい。また、ジャイロ機能及びセンサー機能などを用いて、入力指示を受けてもよい。なお、操作入力部４５は、１．メインカメラ２２からのメイン入力信号を相手装置へ送信するための通信確立を要求するメイン通信確立信号、２．相手装置との通信の切断を要求する通信切断信号、及び、３．サブカメラ２７などからのサブ入力信号を相手装置に送信することで、サブ入力信号を相手装置と共有するためのコンテンツ共有信号を少なくとも、操作入力信号として操作入力制御部４４に出力する。   The operation input unit 45 is a device that receives an input instruction from a user and outputs the received input instruction to the operation input control unit 44 as an operation input signal. The operation input unit 45 corresponds to the remote control 26 shown in FIG. The operation input unit 45 may be another operation input device such as a keyboard or a mouse. Further, an input instruction may be received using a gyro function, a sensor function, or the like. The operation input unit 45 includes: 1. main communication establishment signal for requesting establishment of communication for transmitting a main input signal from the main camera 22 to the counterpart device; 2. a communication disconnection signal for requesting disconnection of communication with the counterpart device; By transmitting a sub input signal from the sub camera 27 or the like to the counterpart device, at least a content sharing signal for sharing the sub input signal with the counterpart device is output to the operation input control unit 44 as an operation input signal.

通信制御部４６は、送受信回路４７を介して、他機器と自身との間で通信を確立し、ネットワークを介した映像音声データの送受信を行う。通信制御部４６は、例えば、呼接続制御（Ｃａｌｌ Ｃｏｎｔｒｏｌ）機能、及び、データ通信制御（ＩＰ、ＲＴＰ、ＲＴＣＰ、ＴＣＰなど）機能を有している。また、通信制御部４６は、音声符号化部３１によって符号化された符号化音声データと、画像符号化部３３によって符号化された符号化画像データとを受け取り、所定の方式で多重化を行い、送信する映像音声データを生成する。   The communication control unit 46 establishes communication between the other device and itself via the transmission / reception circuit 47, and transmits / receives video / audio data via the network. The communication control unit 46 has, for example, a call connection control (Call Control) function and a data communication control (IP, RTP, RTCP, TCP, etc.) function. Further, the communication control unit 46 receives the encoded audio data encoded by the audio encoding unit 31 and the encoded image data encoded by the image encoding unit 33, and multiplexes them by a predetermined method. The video / audio data to be transmitted is generated.

また、通信制御部４６は、送受信回路４７を介して受信した映像音声データを、所定の方式で多重分離を行うことで、符号化音声データと符号化画像データとに分け、符号化音声データを音声復号化部３２に出力し、符号化画像データを画像復号化部３４に出力する。また、コミュニケーション装置Ａ１１が複数の異なるネットワークに接続可能である場合、コミュニケーション装置Ａ１１は、各ネットワークに対応する複数個の通信制御部４６と複数個の送受信回路４７とを備える構成でもよい。   In addition, the communication control unit 46 demultiplexes the audio / video data received via the transmission / reception circuit 47 into encoded audio data and encoded image data by performing demultiplexing by a predetermined method, and converts the encoded audio data into The data is output to the audio decoding unit 32, and the encoded image data is output to the image decoding unit 34. When the communication device A11 can be connected to a plurality of different networks, the communication device A11 may include a plurality of communication control units 46 and a plurality of transmission / reception circuits 47 corresponding to each network.

送受信回路４７は、ネットワークを介したデータ送受信を行う回路である。例えば、ネットワークが無線回線の場合、通信制御部４６から受け取った送信データを、所定の方式で変調し、変調した送信データを無線搬送波に乗せて送信する機能を有する。さらに、送受信回路４７は、アンテナに誘起した高周波信号の中から所定の周波数帯の信号を受信し、受信した信号を復調して通信制御部４６に出力する機能を有する。   The transmission / reception circuit 47 is a circuit that performs data transmission / reception via a network. For example, when the network is a wireless line, the transmission data received from the communication control unit 46 is modulated by a predetermined method, and the modulated transmission data is transmitted on a wireless carrier wave. Further, the transmission / reception circuit 47 has a function of receiving a signal in a predetermined frequency band from the high-frequency signal induced in the antenna, demodulating the received signal, and outputting the demodulated signal to the communication control unit 46.

ハードディスク装置４８は、内蔵するハードディスクに対して、コンピュータプログラム又はデータを書き込み及び読み出す装置である。   The hard disk device 48 is a device that writes and reads computer programs or data to and from the built-in hard disk.

読取装置４９は、記録媒体（例えば、ＣＤ、ＤＶＤ又はメモリカードなど）に記録されたコンピュータプログラム又はデータを読み取る装置である。   The reading device 49 is a device that reads a computer program or data recorded on a recording medium (for example, a CD, a DVD, or a memory card).

信号確認部６１は、画像入力部４３からの入力信号の有無を確認し、入力信号が無いと判断した場合は、通知部６２に入力信号が無い旨を無信号通知として通知する。さらに、信号確認部６１は、無信号通知を通知後、入力信号が再取得された場合は、入力信号が再取得されたことを示す復旧通知を通知する。なお、信号確認部６１は、メイン入力信号及びサブ入力信号のそれぞれの入力信号の有無を確認する。   The signal confirmation unit 61 confirms the presence / absence of an input signal from the image input unit 43 and, when determining that there is no input signal, notifies the notification unit 62 that there is no input signal as a no-signal notification. Further, when the input signal is reacquired after notifying the no-signal notification, the signal confirmation unit 61 notifies the recovery notification indicating that the input signal is reacquired. In addition, the signal confirmation part 61 confirms the presence or absence of each input signal of a main input signal and a sub input signal.

通知部６２は、信号確認部６１からの無信号通知及び復旧通知などの信号確認情報に基づいて、画像処理部４２、及び、表示処理部４０に対して遮断情報、表示切替要求及びコンテンツ共有解除要求を通知する。遮断情報は、入力信号が遮断された旨を通知する情報であり、表示切替要求は、複数の入力映像の出力時の表示を切り替えることを通知する情報である。コンテンツ共有解除要求は、複数の入力映像のうち１つの入力映像のみを表示させることを通知する情報である。   Based on signal confirmation information such as no-signal notification and restoration notification from the signal confirmation unit 61, the notification unit 62 notifies the image processing unit 42 and the display processing unit 40 with blocking information, a display switching request, and content sharing cancellation. Notify the request. The blocking information is information for notifying that the input signal has been blocked, and the display switching request is information for notifying switching of the display when outputting a plurality of input videos. The content sharing cancellation request is information for notifying that only one input video is to be displayed among a plurality of input videos.

以上のように、コミュニケーション装置Ａ１１は、複数の入出力装置を備えたコンピュータとして構成されており、他拠点とのコミュニケーションサービスを提供することが可能となる。   As described above, the communication device A11 is configured as a computer including a plurality of input / output devices, and can provide communication services with other bases.

なお、音声出力部３８と、音声入力部３９と、表示部４１と、画像入力部４３と、操作入力部４５とを除く各処理部は、例えば、図３に示す本体２０に備えられる。   Note that the processing units other than the audio output unit 38, the audio input unit 39, the display unit 41, the image input unit 43, and the operation input unit 45 are provided in the main body 20 shown in FIG. 3, for example.

続いて、本実施の形態のコミュニケーション装置Ａ１１の機能構成について説明する。図５は、本実施の形態のサブ入力信号を送信する側の映像通信装置１００の構成を示すブロック図である。同図に示す映像通信装置１００は、特に、サブ入力信号を送信する側のコミュニケーション装置Ａ１１の本体２０に相当し、映像信号の送受信に関わる処理を行う装置である。   Next, the functional configuration of the communication device A11 according to the present embodiment will be described. FIG. 5 is a block diagram illustrating a configuration of the video communication apparatus 100 on the side that transmits the sub input signal according to the present embodiment. The video communication device 100 shown in the figure corresponds to the main body 20 of the communication device A11 on the side that transmits a sub input signal, and is a device that performs processing related to transmission / reception of video signals.

図５に示すように、映像通信装置１００は、メイン映像入力部１０１と、サブ映像入力部１０２と、信号検出部１０３と、通知部１０４と、送信データ生成部１０５と、通信部１０６と、表示データ生成部１０７と、映像出力部１０８とを備える。   As shown in FIG. 5, the video communication apparatus 100 includes a main video input unit 101, a sub video input unit 102, a signal detection unit 103, a notification unit 104, a transmission data generation unit 105, a communication unit 106, A display data generation unit 107 and a video output unit 108 are provided.

メイン映像入力部１０１は、メインカメラ２２と接続し、メインカメラ２２によって撮像されるメイン映像を示すメイン入力信号（メイン映像信号）を取得する。そして、メイン映像入力部１０１は、取得したメイン入力信号を送信データ生成部１０５に出力する。メイン映像（第１メイン映像とも記載）は、例えば、図３に示す机２５の席に着くユーザなどを撮像した映像である。なお、メイン映像入力部１０１は、図４に示す画像入力部４３と画像処理部４２とを接続するインタフェースである。   The main video input unit 101 is connected to the main camera 22 and acquires a main input signal (main video signal) indicating a main video imaged by the main camera 22. Then, the main video input unit 101 outputs the acquired main input signal to the transmission data generation unit 105. The main video (also referred to as the first main video) is, for example, a video obtained by capturing a user who sits at the desk 25 shown in FIG. The main video input unit 101 is an interface for connecting the image input unit 43 and the image processing unit 42 shown in FIG.

サブ映像入力部１０２は、サブカメラ２７と接続し、サブカメラ２７によって撮像されるサブ映像を示すサブ入力信号（サブ映像信号）を取得する。そして、サブ映像入力部１０２は、取得したサブ入力信号を、信号検出部１０３と送信データ生成部１０５と表示データ生成部１０７とに出力する。サブ映像は、例えば、ユーザの手元の資料などを撮像した映像である。なお、サブ映像入力部１０２は、ノートＰＣ２８など他の入力装置と接続し、他の入力装置から入力される映像信号をサブ入力信号として取得してもよい。また、サブ映像入力部１０２は、図４に示す画像入力部４３と信号確認部６１とを接続するインタフェースなどである。   The sub video input unit 102 is connected to the sub camera 27 and acquires a sub input signal (sub video signal) indicating a sub video imaged by the sub camera 27. Then, the sub video input unit 102 outputs the acquired sub input signal to the signal detection unit 103, the transmission data generation unit 105, and the display data generation unit 107. The sub video is, for example, a video obtained by capturing an image of a user's hand. Note that the sub video input unit 102 may be connected to another input device such as the notebook PC 28 to acquire a video signal input from the other input device as a sub input signal. Further, the sub video input unit 102 is an interface for connecting the image input unit 43 and the signal confirmation unit 61 shown in FIG.

信号検出部１０３は、図４に示す信号確認部６１に相当し、サブ映像入力部１０２によってサブ入力信号が取得されるか否か、すなわち、サブ入力信号の有無を検出する。信号検出部１０３は、サブ入力信号が取得されていない場合、サブ入力信号が取得されていないことを示す無信号通知を通知部１０４に出力する。また、サブ入力信号が再取得された場合に、その旨を示す復旧通知を通知部１０４に通知する。   The signal detection unit 103 corresponds to the signal confirmation unit 61 shown in FIG. 4 and detects whether or not a sub input signal is acquired by the sub video input unit 102, that is, the presence or absence of the sub input signal. When the sub input signal is not acquired, the signal detection unit 103 outputs a no-signal notification indicating that the sub input signal is not acquired to the notification unit 104. In addition, when the sub input signal is reacquired, the notification unit 104 is notified of a recovery notification indicating that.

通知部１０４は、図４に示す通知部６２に相当し、サブ入力信号が入力されているか否かに応じて、送信データ生成部１０５と表示データ生成部１０７とに通知する。具体的には、通知部１０４は、遮断情報通知部１４１と、表示切替要求通知部１４２とを備える。   The notification unit 104 corresponds to the notification unit 62 shown in FIG. 4 and notifies the transmission data generation unit 105 and the display data generation unit 107 according to whether or not a sub input signal is input. Specifically, the notification unit 104 includes a blocking information notification unit 141 and a display switching request notification unit 142.

遮断情報通知部１４１は、サブ入力信号が予め定められた第１期間継続して取得されていないことが信号検出部１０３によって検出された場合に、サブ入力信号が遮断されたことを示す遮断情報を生成する。そして、生成した遮断情報を送信データ生成部１０５と表示データ生成部１０７と表示切替要求通知部１４２とに通知する。   The blocking information notifying unit 141 indicates blocking information indicating that the sub input signal is blocked when the signal detecting unit 103 detects that the sub input signal has not been continuously acquired for a predetermined first period. Is generated. Then, the generated cutoff information is notified to the transmission data generation unit 105, the display data generation unit 107, and the display switching request notification unit 142.

具体的には、遮断情報通知部１４１は、信号検出部１０３から無信号通知を受け取ると同時に、遮断情報通知タイマ（図示せず）を起動させる。そして、第１期間が経過するまでに信号検出部１０３からサブ入力信号が取得されたことを示す復旧通知を受け取らない場合に、遮断情報を生成し、通知する。   Specifically, the cutoff information notification unit 141 starts a cutoff information notification timer (not shown) at the same time that the no-signal notification is received from the signal detection unit 103. And when not receiving the recovery notification which shows that the sub input signal was acquired from the signal detection part 103 before the 1st period passes, interruption | blocking information is produced | generated and notified.

なお、第１期間は、５秒、１０秒、１分などいかなる期間でもよい。また、第１期間は、０秒でもよい。すなわち、無信号通知を受け取ると同時に、遮断情報を生成し、通知してもよい。また、遮断情報通知タイマは、遮断情報を通知すると同時に、又は、信号検出部１０３から復旧通知を受け取ると同時に、リセットされる。   The first period may be any period such as 5 seconds, 10 seconds, or 1 minute. The first period may be 0 seconds. That is, at the same time that the no-signal notification is received, the cutoff information may be generated and notified. The cutoff information notification timer is reset at the same time as notification of cutoff information or at the same time as receiving a recovery notification from the signal detection unit 103.

表示切替要求通知部１４２は、遮断情報通知部１４１によって遮断情報が生成されてから、すなわち、遮断情報を受け取ってから予め定められた第２期間経過後に、表示切替要求を送信データ生成部１０５と表示データ生成部１０７とに通知する。表示切替要求は、メイン映像とサブ映像との表示を切り替えさせる指示である。   The display switching request notifying unit 142 sends a display switching request to the transmission data generating unit 105 after the blocking information is generated by the blocking information notifying unit 141, that is, after a predetermined second period has elapsed after receiving the blocking information. This is notified to the display data generation unit 107. The display switching request is an instruction to switch display between the main video and the sub video.

具体的には、表示切替要求通知部１４２は、遮断情報を受け取ると同時に、表示切替タイマ（図示せず）を起動させる。そして、第２期間が経過するまでに信号検出部１０３から復旧通知を受け取らない場合に、表示切替要求を通知する。   Specifically, the display switching request notifying unit 142 activates a display switching timer (not shown) at the same time that the blocking information is received. When the restoration notification is not received from the signal detection unit 103 until the second period elapses, a display switching request is notified.

なお、第２期間は、５秒、１０秒、１分などいかなる期間でもよい。また、第２期間は、０秒でもよい。すなわち、無信号通知を受け取ると同時に、表示切替要求を通知してもよい。また、表示切替タイマは、表示切替要求を通知すると同時に、又は、信号検出部１０３から復旧通知を受け取ると同時に、リセットされる。   The second period may be any period such as 5 seconds, 10 seconds, or 1 minute. The second period may be 0 seconds. In other words, the display switching request may be notified at the same time that the no-signal notification is received. In addition, the display switching timer is reset at the same time that the display switching request is notified or the recovery notification is received from the signal detection unit 103.

さらに、表示切替要求通知部１４２は、表示切替要求を通知してから予め定められた第３期間経過後に、コンテンツ共有解除要求を送信データ生成部１０５と表示データ生成部１０７とに通知する。   Further, the display switching request notification unit 142 notifies the transmission data generation unit 105 and the display data generation unit 107 of a content sharing cancellation request after a predetermined third period has elapsed since the display switching request was notified.

送信データ生成部１０５は、図４に示す画像符号化部３３と画像処理部４２とに相当し、メイン映像とサブ映像との少なくとも一方を含む送信データを生成する。このとき、遮断情報通知部１４１から遮断情報が通知された場合は、送信データ生成部１０５は、通知された遮断情報を含む送信データを生成する。具体的には、遮断情報が文字情報としてコミュニケーション装置Ｂ１２の表示部に表示されるように送信データを生成する。生成した送信データは、映像送信部１６１に出力される。   The transmission data generation unit 105 corresponds to the image encoding unit 33 and the image processing unit 42 illustrated in FIG. 4 and generates transmission data including at least one of the main video and the sub video. At this time, when blocking information is notified from the blocking information notification unit 141, the transmission data generation unit 105 generates transmission data including the notified blocking information. Specifically, the transmission data is generated so that the blocking information is displayed as character information on the display unit of the communication device B12. The generated transmission data is output to the video transmission unit 161.

また、表示切替要求通知部１４２から表示切替要求が通知された場合は、送信データ生成部１０５は、メイン映像がサブ映像より大きく表示されるように送信データを生成する。さらに、表示切替要求通知部１４２からコンテンツ共有解除要求が通知された場合、メイン映像が全画面表示されるように送信データを生成する。   When the display switching request is notified from the display switching request notifying unit 142, the transmission data generating unit 105 generates transmission data so that the main video is displayed larger than the sub video. Furthermore, when a content sharing cancellation request is notified from the display switching request notification unit 142, transmission data is generated so that the main video is displayed on the full screen.

通信部１０６は、図４に示す通信制御部４６と送受信回路４７とに相当し、他の機器との間で通信を確立し、確立した通信を利用してデータの送受信を行う。図５に示すように、通信部１０６は、映像送信部１６１と映像受信部１６２とを備える。   The communication unit 106 corresponds to the communication control unit 46 and the transmission / reception circuit 47 illustrated in FIG. 4, establishes communication with other devices, and transmits / receives data using the established communication. As illustrated in FIG. 5, the communication unit 106 includes a video transmission unit 161 and a video reception unit 162.

映像送信部１６１は、図４に示す通信制御部４６と送受信回路４７とに相当し、送信データ生成部１０５によって生成された送信データを他の機器にネットワーク１０を介して送信する。   The video transmission unit 161 corresponds to the communication control unit 46 and the transmission / reception circuit 47 illustrated in FIG. 4, and transmits the transmission data generated by the transmission data generation unit 105 to other devices via the network 10.

映像受信部１６２は、図４に示す通信制御部４６と送受信回路４７とに相当し、ネットワーク１０を介して他の機器から受信データを受信する。受信データは、例えば、他の機器が備えるカメラなどによって撮像された相手ユーザの画像などを含む。   The video receiving unit 162 corresponds to the communication control unit 46 and the transmission / reception circuit 47 shown in FIG. 4 and receives received data from other devices via the network 10. The received data includes, for example, an image of the other user captured by a camera provided in another device.

表示データ生成部１０７は、図４に示す画像復号化部３４と表示処理部４０とに相当し、受信データに含まれる映像（第２メイン映像とも記載）とサブ映像とを含む表示データを生成する。このとき、遮断情報通知部１４１から遮断情報が通知された場合は、表示データ生成部１０７は、通知された遮断情報と受信データに含まれる映像とを含む表示データを生成する。具体的には、遮断情報を文字情報としてディスプレイ２１に表示されるように表示データを生成する。生成した表示データは、映像出力部１０８に出力される。   The display data generation unit 107 corresponds to the image decoding unit 34 and the display processing unit 40 shown in FIG. 4, and generates display data including a video (also referred to as a second main video) included in the received data and a sub video. To do. At this time, when the blocking information is notified from the blocking information notification unit 141, the display data generation unit 107 generates display data including the notified blocking information and the video included in the received data. Specifically, display data is generated so that the blocking information is displayed on the display 21 as character information. The generated display data is output to the video output unit 108.

また、表示切替要求通知部１４２から表示切替要求が通知された場合は、表示データ生成部１０７は、受信データに含まれる映像がサブ映像より大きく表示されるように表示データを生成する。さらに、表示切替要求通知部１４２からコンテンツ共有解除要求が通知された場合、受信データに含まれる映像が全画面表示されるように送信データを生成する。   When the display switching request is notified from the display switching request notifying unit 142, the display data generating unit 107 generates display data so that the video included in the received data is displayed larger than the sub video. Furthermore, when a content sharing cancellation request is notified from the display switching request notification unit 142, transmission data is generated so that the video included in the received data is displayed on the full screen.

映像出力部１０８は、表示データ生成部１０７によって生成された表示データをディスプレイ２１に出力する。なお、映像出力部１０８は、図４に示す表示処理部４０と表示部４１とを接続するインタフェースである。   The video output unit 108 outputs the display data generated by the display data generation unit 107 to the display 21. The video output unit 108 is an interface that connects the display processing unit 40 and the display unit 41 shown in FIG.

続いて、本実施の形態のコミュニケーション装置の動作について説明する。具体的には、メインカメラ２２からの入力信号（以降、メイン入力信号と記載）とサブカメラ２７からの入力信号（以降、サブ入力信号と記載）との表示切替方法、及び、遮断情報の通知について詳細に説明する。なお、コミュニケーション装置Ａ１１とコミュニケーション装置Ｂ１２間でメイン通信を確立し、コミュニケーションＡ１１のサブカメラ２７によるサブ映像をコンテンツ共有する場合を例として、図６から図９を用いて説明する。   Next, the operation of the communication device according to the present embodiment will be described. Specifically, a display switching method between an input signal from the main camera 22 (hereinafter referred to as a main input signal) and an input signal from the sub camera 27 (hereinafter referred to as a sub input signal), and notification of cutoff information Will be described in detail. An example in which main communication is established between the communication device A11 and the communication device B12 and content of the sub video by the sub camera 27 of the communication A11 is shared will be described with reference to FIGS.

図６は、コミュニケーション装置Ａ１１におけるメイン通信の確立する動作とコンテンツの共有を開始する動作とを示すフローチャートである。   FIG. 6 is a flowchart showing an operation for establishing main communication and an operation for starting sharing of content in the communication apparatus A11.

図７は、コミュニケーション装置Ａ１１におけるサブ入力信号が遮断された場合の動作を示すフローチャートである。   FIG. 7 is a flowchart showing an operation when the sub input signal in the communication device A11 is interrupted.

図８は、コミュニケーション装置Ｂ１２の表示部に表示される画像遷移を示す図である。コミュニケーション装置Ｂ１２の表示部は、コミュニケーション装置Ａ１１から通信網を経由して受信したデータを表示している。   FIG. 8 is a diagram illustrating image transitions displayed on the display unit of the communication device B12. The display unit of the communication device B12 displays data received from the communication device A11 via the communication network.

なお、本実施の形態では、送信データ生成部１０５及び表示データ生成部１０７は、表示部に第１領域と、第１領域以下の大きさの第２領域とを定義し、それぞれの領域にメイン映像とサブ映像とをそれぞれ表示させるように送信データ又は表示データを生成する。ここでは、簡単のために親画面（第１領域）、子画面（第２領域）を定義し、親画面は全画面表示とし、子画面は、全画面表示の右上に小さく配置されるとする。   In the present embodiment, the transmission data generation unit 105 and the display data generation unit 107 define a first area and a second area having a size equal to or smaller than the first area in the display unit, and a main area in each area. Transmission data or display data is generated so that a video and a sub video are displayed. Here, for the sake of simplicity, a parent screen (first area) and a child screen (second area) are defined, the parent screen is displayed as a full screen, and the child screen is arranged small in the upper right of the full screen display. .

図９は、コミュニケーション装置Ａ１１の表示部４１に表示される画像遷移を示す図である。   FIG. 9 is a diagram illustrating image transition displayed on the display unit 41 of the communication device A11.

まず、メイン通信の確立とコンテンツの共有開始との動作について、図６、図８及び図９を用いて説明する。   First, operations for establishing main communication and starting sharing of content will be described with reference to FIGS. 6, 8, and 9.

最初にメイン入力信号を用いて、コミュニケーション装置Ａ１１とコミュニケーション装置Ｂ１２との間にメイン通信を確立する（Ｓ１０１）。   First, main communication is established between the communication device A11 and the communication device B12 using the main input signal (S101).

具体的には、コミュニケーション装置Ａ１１において、メインカメラ２２の電源を投入することにより、信号確認部６１がメイン入力信号を受け付ける。その後、会議者がリモコン２６からメイン通信確立要求を行うと、操作入力制御部４４は、メイン通信確立信号を通信制御部４６に送信し、通信制御部４６は、コミュニケーション装置Ｂ１２とのメイン通信を確立する。そして、データ通信制御を行うことで、双方のコミュニケーション装置のメイン入力信号から生成される画像データの送受信を開始する。   Specifically, in the communication apparatus A11, when the main camera 22 is turned on, the signal confirmation unit 61 receives the main input signal. Thereafter, when the conference person makes a main communication establishment request from the remote controller 26, the operation input control unit 44 transmits a main communication establishment signal to the communication control unit 46, and the communication control unit 46 performs main communication with the communication device B12. Establish. Then, by performing data communication control, transmission / reception of image data generated from the main input signals of both communication apparatuses is started.

このとき、コミュニケーション装置Ａ１１では、コミュニケーション装置Ｂ１２の表示部においてメイン入力信号が親画面として表示されるように、送信データ生成部１０５（画像処理部４２）が送信データを生成する。すなわち、送信データ生成部１０５は、コンテンツの共有が開始される前には、メイン入力信号に含まれるメイン映像を全画面表示させるように送信データを生成する。これにより、コミュニケーション装置Ｂ１２の表示部には、図８に示す映像２０１が表示される。図８に示すように、映像２０１は、コミュニケーション装置Ａ１１のメインカメラ２２が撮像したメイン映像（ここでは、３人の参加者）である。   At this time, in the communication device A11, the transmission data generation unit 105 (image processing unit 42) generates transmission data so that the main input signal is displayed as the main screen on the display unit of the communication device B12. That is, the transmission data generation unit 105 generates transmission data so that the main video included in the main input signal is displayed on the full screen before content sharing is started. Thereby, the video 201 shown in FIG. 8 is displayed on the display unit of the communication device B12. As shown in FIG. 8, the video 201 is a main video (here, three participants) captured by the main camera 22 of the communication device A11.

また、このとき、コミュニケーション装置Ａ１１では、表示データ生成部１０７（表示処理部４０）が、コミュニケーション装置Ｂ１２から受信した映像信号を用いて、ディスプレイ２１に表示させる表示データを生成する。表示データ生成部１０７は、送信データ生成部１０５と同様に、コンテンツの共有が開始される前には、コミュニケーション装置Ｂ１２から受信した映像信号に含まれる映像が全画面表示されるように表示データを生成する。これにより、ディスプレイ２１には、図９に示す映像３０１が表示される。図９に示すように、映像３０１は、コミュニケーション装置Ｂ１２のメインカメラが撮像したメイン映像（ここでは、１人の参加者）である。   At this time, in the communication device A11, the display data generation unit 107 (display processing unit 40) generates display data to be displayed on the display 21 using the video signal received from the communication device B12. Similar to the transmission data generation unit 105, the display data generation unit 107 displays the display data so that the video included in the video signal received from the communication device B12 is displayed on the full screen before content sharing is started. Generate. As a result, the video 301 shown in FIG. 9 is displayed on the display 21. As shown in FIG. 9, the video 301 is a main video (here, one participant) captured by the main camera of the communication device B12.

なお、呼接続制御、及び、データ通信制御については、入力映像から生成される画像データの送受信さえできれば、方法は問わない。   The call connection control and data communication control are not limited as long as image data generated from the input video can be transmitted and received.

コミュニケーション装置Ａ１１では、会議者の必要なタイミングで、サブカメラ２７などを用いて、コミュニケーション装置Ｂ１２とコンテンツ共有を行う。本実施の形態では、最初に確立したメイン通信を用いて、コンテンツ共有を行う。   The communication device A11 shares content with the communication device B12 using the sub camera 27 or the like at a timing required by the conference person. In the present embodiment, content sharing is performed using the main communication established first.

コンテンツ共有に備えて、信号検出部１０３（信号確認部６１）は、サブ入力信号が取得されるか否かを検出する（Ｓ１０２）。サブ入力信号が検出された場合（Ｓ１０２でＹｅｓ）、すなわち、会議者が、サブカメラ２７を本体２０に接続し、電源を投入した場合、信号検出部１０３（信号確認部６１）は、サブ入力信号を受け付け、コミュニケーション装置Ａ１１は、コンテンツ共有を開始する（Ｓ１０３）。   In preparation for content sharing, the signal detection unit 103 (signal confirmation unit 61) detects whether or not a sub input signal is acquired (S102). When the sub input signal is detected (Yes in S102), that is, when the conference person connects the sub camera 27 to the main body 20 and turns on the power, the signal detection unit 103 (signal confirmation unit 61) Upon receiving the signal, the communication device A11 starts content sharing (S103).

具体的には、送信データ生成部１０５は、メイン入力信号とサブ入力信号との表示位置を決定し、決定した表示位置にメイン映像とサブ映像とが表示されるように送信データを生成する。例えば、会議者がリモコン２６などを用いてコンテンツ共有要求を行ったとき、操作入力制御部４４はコンテンツ共有要求を受け付け、画像処理部４２に通知する。画像処理部４２は、サブ入力信号を親画面に設定し、メイン入力信号を子画面に設定する。つまり、画像処理部４２が表示位置を設定することにより、最初に確立したメイン通信路上で、コンテンツ共有を行う。そして、映像送信部１６１（通信制御部４６）は、画像処理部４２によって生成された送信データをコミュニケーション装置Ｂ１２に送信する。   Specifically, the transmission data generation unit 105 determines the display position of the main input signal and the sub input signal, and generates transmission data so that the main video and the sub video are displayed at the determined display position. For example, when the conference person makes a content sharing request using the remote control 26 or the like, the operation input control unit 44 receives the content sharing request and notifies the image processing unit 42 of the content sharing request. The image processing unit 42 sets the sub input signal to the parent screen and sets the main input signal to the child screen. That is, content sharing is performed on the main communication path established first by the image processing unit 42 setting the display position. Then, the video transmission unit 161 (communication control unit 46) transmits the transmission data generated by the image processing unit 42 to the communication device B12.

これにより、コミュニケーション装置Ｂ１２の表示部には、図８の映像２１１に示すように、親画面２１２にサブ映像が表示され、子画面２１３にメイン映像が表示される。   As a result, on the display unit of the communication device B12, the sub video is displayed on the main screen 212 and the main video is displayed on the sub screen 213, as indicated by the video 211 in FIG.

なお、このとき、必要に応じて、コミュニケーション装置Ａ１１の表示部４１にも、サブ映像を表示させてもよい。例えば、表示データ生成部１０７（表示処理部４０）は、図９の映像３１１に示すように、親画面３１２にサブ映像を表示し、子画面３１３にはコミュニケーション装置Ｂ１２から受信した映像を表示するように、表示データを生成する。   At this time, the sub video may be displayed on the display unit 41 of the communication device A11 as necessary. For example, the display data generation unit 107 (display processing unit 40) displays the sub video on the main screen 312 and the video received from the communication device B12 on the sub screen 313 as shown in the video 311 in FIG. Thus, display data is generated.

このようにして、コミュニケーション装置Ａ１１とコミュニケーション装置Ｂ１２との間でコンテンツ共有が開始される。   In this way, content sharing is started between the communication device A11 and the communication device B12.

続いて、サブ入力信号が何らかの原因で遮断されたときの動作について、図７〜図９を用いて説明する。なお、既にサブ映像が共有されているので、コミュニケーション装置Ｂ１２の表示部には、図８に示す映像２１１が表示されており、コミュニケーション装置Ａ１１の表示部４１には、図９に示す映像３１１が表示されているとする。   Next, an operation when the sub input signal is interrupted for some reason will be described with reference to FIGS. Since the sub video is already shared, the video 211 shown in FIG. 8 is displayed on the display unit of the communication device B12, and the video 311 shown in FIG. 9 is displayed on the display unit 41 of the communication device A11. Suppose that it is displayed.

コンテンツ共有の開始以降、信号検出部１０３（信号確認部６１）は、サブ入力信号が遮断しないか否かを常に確認する（Ｓ２０１）。   After the start of content sharing, the signal detection unit 103 (signal confirmation unit 61) always confirms whether or not the sub input signal is not blocked (S201).

サブ入力信号がサブカメラ２７の本体２０からのケーブル抜けなどにより、サブ入力信号の遮断が検出されると（Ｓ２０１でＹｅｓ）、信号検出部１０３（信号確認部６１）は、無信号通知を遮断情報通知部１４１に通知する（Ｓ２０２）。   When the sub input signal is detected to be blocked due to a cable disconnection from the main body 20 of the sub camera 27 or the like (Yes in S201), the signal detection unit 103 (signal confirmation unit 61) blocks no signal notification. The information notification unit 141 is notified (S202).

サブ入力信号が入力されていないので、コミュニケーション装置Ｂ１２の表示部には、図８の映像２２１に示すように、親画面２２２にはサブ映像が表示されず、子画面２２３のみにメイン映像が表示される。また、コミュニケーション装置Ａ１１のディスプレイ２１（表示部４１）には、図９の映像３２１に示すように、親画面３２２にはサブ映像が表示されず、子画面３２３のみにメイン映像が表示される。   Since the sub input signal is not input, the sub video is not displayed on the main screen 222 and the main video is displayed only on the sub screen 223 on the display unit of the communication device B12 as shown in the video 221 of FIG. Is done. Further, on the display 21 (display unit 41) of the communication device A11, as shown in the video 321 in FIG. 9, the sub video is not displayed on the parent screen 322, and the main video is displayed only on the child screen 323.

遮断情報通知部１４１は、無信号通知を受信すると同時に、遮断情報通知タイマを起動する。第１期間が経過するまでの間（Ｓ２０４でＮｏ）、信号検出部１０３は、サブ入力信号の入力が復旧したか否か、すなわち、サブ入力信号が再度入力されるか否かを検出する（Ｓ２０３）。サブ入力信号が再度入力された場合（Ｓ２０３でＹｅｓ）、信号検出部１０３は、復旧通知を遮断情報通知部１４１に出力し、サブ入力信号の有無の確認（Ｓ２０１）を続ける。   The blocking information notification unit 141 starts the blocking information notification timer simultaneously with receiving the no-signal notification. Until the first period elapses (No in S204), the signal detection unit 103 detects whether or not the input of the sub input signal is restored, that is, whether or not the sub input signal is input again ( S203). When the sub input signal is input again (Yes in S203), the signal detection unit 103 outputs a recovery notification to the cutoff information notification unit 141, and continues to check whether there is a sub input signal (S201).

遮断情報通知タイマは、一定時間内にサブ入力信号が再度検出できなければ、送信データ生成部１０５（画像処理部４２）及び表示データ生成部１０７（表示処理部４０）に対して、サブ入力が遮断されている旨を示す遮断情報を通知するためのタイマである。つまり、会議者にサブ入力が遮断されたことを通知するまでの期間を決定するためのタイマであり、一定時間はゼロ秒であってもよい。   If the sub-input signal cannot be detected again within a predetermined time, the blocking information notification timer receives a sub-input to the transmission data generation unit 105 (image processing unit 42) and the display data generation unit 107 (display processing unit 40). This is a timer for notifying blocking information indicating that blocking has occurred. That is, it is a timer for determining a period until notifying the conference person that the sub input is blocked, and the fixed time may be zero seconds.

遮断情報通知タイマが起動後、第１期間内にサブ入力信号が検出できなかった場合（Ｓ２０４でＹｅｓ）、遮断情報通知部１４１は、送信データ生成部１０５（画像処理部４２）と表示データ生成部１０７（表示処理部４０）と表示切替要求通知部１４２とに遮断情報を通知する（Ｓ２０５）。   When the sub-input signal cannot be detected within the first period after the blocking information notification timer is activated (Yes in S204), the blocking information notification unit 141 and the transmission data generation unit 105 (image processing unit 42) and display data generation Blocking information is notified to the unit 107 (display processing unit 40) and the display switching request notification unit 142 (S205).

送信データ生成部１０５（画像処理部４２）は、遮断情報を受信し、サブ入力信号が遮断されている旨を含めて送信データを生成し、生成した送信データを映像送信部１６１（通信制御部４６）に出力する。つまり、送信データ生成部１０５は、コミュニケーション装置Ｂ１２の表示部の第３領域に遮断情報が表示されるように送信データを生成する。これにより、コミュニケーション装置Ｂ１２の表示部には、図８の映像２３１に示すように、親画面２３２にはサブ映像が表示されず、遮断情報２３４が表示される。また、子画面２３３にはメイン映像が表示される。   The transmission data generation unit 105 (image processing unit 42) receives the blocking information, generates transmission data including that the sub input signal is blocked, and transmits the generated transmission data to the video transmission unit 161 (communication control unit). 46). That is, the transmission data generation unit 105 generates transmission data so that the blocking information is displayed in the third area of the display unit of the communication device B12. Thereby, on the display unit of the communication device B12, as shown in the video 231 of FIG. 8, the sub video is not displayed on the parent screen 232, but the blocking information 234 is displayed. A main video is displayed on the sub-screen 233.

表示データ生成部１０７（表示処理部４０）も同様に、サブ入力信号が遮断されている旨を含めて表示データを生成し、生成した表示データをディスプレイ２１（表示部４１）に出力する。つまり、表示データ生成部１０７は、ディスプレイ２１の第３領域に遮断情報が表示されるように表示データを生成する。これにより、コミュニケーション装置Ａ１１のディスプレイ２１（表示部４１）には、図９の映像３３１に示すように、親画面３３２にはサブ映像が表示されず、遮断情報３３４が表示される。また、子画面３３３にはメイン映像が表示される。   Similarly, the display data generation unit 107 (display processing unit 40) generates display data including that the sub input signal is blocked, and outputs the generated display data to the display 21 (display unit 41). That is, the display data generation unit 107 generates display data so that the blocking information is displayed in the third area of the display 21. As a result, on the display 21 (display unit 41) of the communication device A11, as shown in the video 331 of FIG. 9, the sub video is not displayed on the parent screen 332, but the blocking information 334 is displayed. In addition, the main video is displayed on the sub-screen 333.

表示切替要求通知部１４２は、遮断情報を受信すると同時に、表示切替タイマを起動する。第２期間が経過するまでの間（Ｓ２０７でＮｏ）、信号検出部１０３は、サブ入力信号の入力が復旧したか否か、すなわち、サブ入力信号が再度入力されるか否かを検出する（Ｓ２０６）。サブ入力信号が再度入力された場合（Ｓ２０６でＹｅｓ）、信号検出部１０３は、復旧通知を表示切替要求通知部１４２に出力し、サブ入力信号の有無の確認（Ｓ２０１）を続ける。   The display switching request notification unit 142 starts the display switching timer at the same time as receiving the blocking information. Until the second period elapses (No in S207), the signal detection unit 103 detects whether or not the input of the sub input signal is restored, that is, whether or not the sub input signal is input again ( S206). When the sub input signal is input again (Yes in S206), the signal detection unit 103 outputs a recovery notification to the display switching request notification unit 142, and continues to check whether there is a sub input signal (S201).

表示切替タイマは、一定時間内にサブ入力信号が検出できなかった場合、送信データ生成部１０５（画像処理部４２）及び表示データ生成部１０７（表示処理部４０）に対して、親画面、子画面の表示位置を切り替えさせる表示切替要求を送信するためのタイマである。表示切替タイマは、サブ入力信号がノートＰＣ２８であった場合に、一度、ノートＰＣの入力を切断し、別のノートＰＣを接続する場合などに、タイマなしに表示位置の切り替えが行われると、画面のちらつきによる会議者の不快感を低減する効果がある。   When the sub-input signal cannot be detected within a certain time, the display switching timer instructs the transmission data generation unit 105 (image processing unit 42) and the display data generation unit 107 (display processing unit 40) to display the parent screen and the child screen. This is a timer for transmitting a display switching request for switching the display position of the screen. The display switching timer is configured such that when the sub input signal is the notebook PC 28, when the display position is switched without the timer when the notebook PC is once disconnected and another notebook PC is connected. There is an effect of reducing the discomfort of the conference participant due to the flickering of the screen.

表示切替タイマが起動後、第２期間内にサブ入力信号が検出できなかった場合（Ｓ２０７でＹｅｓ）、表示切替要求通知部１４２は、送信データ生成部１０５（画像処理部４２）と表示データ生成部１０７（表示処理部４０）とに表示切替要求を通知する（Ｓ２０８）。   If the sub input signal cannot be detected within the second period after the display switching timer is activated (Yes in S207), the display switching request notification unit 142 and the transmission data generation unit 105 (image processing unit 42) and display data generation A display switching request is notified to the unit 107 (display processing unit 40) (S208).

送信データ生成部１０５（画像処理部４２）は、表示切替要求を受信し、親画面をメイン入力信号が含むメイン映像とし、子画面をサブ入力信号が含むサブ映像に設定する。すなわち、送信データ生成部１０５は、表示切替要求が通知された場合、親画面にメイン映像が表示されるように送信データを生成する。このとき、サブ入力信号が取得されていないので子画面には、無信号状態を示す映像（黒画面など）が表示される。これにより、コミュニケーション装置Ｂ１２の表示部には、図８の映像２４１に示すように、親画面２４２には、メイン映像が表示される。また、子画面２４３にサブ入力信号なしの映像が表示される。   The transmission data generation unit 105 (image processing unit 42) receives the display switching request, sets the main screen as the main video included in the main input signal, and sets the sub-screen as the sub video included in the sub input signal. That is, when the display switching request is notified, the transmission data generation unit 105 generates transmission data so that the main video is displayed on the parent screen. At this time, since the sub input signal has not been acquired, an image (such as a black screen) indicating a no-signal state is displayed on the child screen. As a result, the main video is displayed on the main screen 242 on the display unit of the communication device B12 as shown in the video 241 in FIG. Further, an image without a sub input signal is displayed on the sub-screen 243.

コミュニケーション装置Ａ１１の表示データ生成部１０７（表示処理部４０）も同様に、親画面にはメイン入力信号が含むメイン映像、子画面にサブ入力信号が含むサブ映像を設定する。すなわち、表示データ生成部１０７も、表示切替要求が通知された場合、親画面にメイン映像が表示されるように表示データを生成する。このとき、サブ入力信号が取得されていないので子画面には、無信号状態を示す映像（黒画面など）が表示される。これにより、ディスプレイ２１（表示部４１）には、図９の映像３４１に示すように、親画面３４２には、メイン映像が表示され、子画面３４３にはサブ入力信号なしの映像が表示される。   Similarly, the display data generation unit 107 (display processing unit 40) of the communication device A11 sets the main video including the main input signal on the parent screen and the sub video including the sub input signal on the child screen. That is, the display data generation unit 107 also generates display data so that the main video is displayed on the parent screen when the display switching request is notified. At this time, since the sub input signal has not been acquired, an image (such as a black screen) indicating a no-signal state is displayed on the child screen. As a result, as shown in the video 341 in FIG. 9, the main video is displayed on the main screen 342 and the video without the sub input signal is displayed on the sub-screen 343 on the display 21 (display unit 41). .

この後、表示切替要求通知部１４２は、表示切替要求を通知すると同時に、コンテンツ共有解除タイマを起動する。第３期間が経過するまでの間（Ｓ２１０でＮｏ）、信号検出部１０３は、サブ入力信号の入力が復旧したか否か、すなわち、サブ入力信号が再度入力されるか否かを検出する（Ｓ２０９）。サブ入力信号が再度入力された場合（Ｓ２０９でＹｅｓ）、信号検出部１０３は、復旧通知を表示切替要求通知部１４２に出力し、サブ入力信号の有無の確認（Ｓ２０１）を続ける。   Thereafter, the display switching request notification unit 142 notifies the display switching request and starts the content sharing cancellation timer at the same time. Until the third period elapses (No in S210), the signal detection unit 103 detects whether or not the input of the sub input signal is restored, that is, whether or not the sub input signal is input again ( S209). When the sub input signal is input again (Yes in S209), the signal detection unit 103 outputs a recovery notification to the display switching request notification unit 142, and continues to check whether there is a sub input signal (S201).

コンテンツ共有解除タイマは、一定期間内にサブ入力信号が検出できなかった場合に、サブ入力信号の表示を解除する、すなわち、子画面を表示させなくするためのタイマである。   The content sharing cancellation timer is a timer for canceling the display of the sub input signal when the sub input signal is not detected within a certain period, that is, for preventing the child screen from being displayed.

コンテンツ共有解除タイマが起動後、第３期間内にサブ入力信号が検出できなかった場合（Ｓ２１０でＹｅｓ）、表示切替要求通知部１４２は、コンテンツ共有解除要求を送信データ生成部１０５（画像処理部４２）と表示データ生成部１０７（表示処理部４０）とに通知する（Ｓ２１１）。   If the sub input signal cannot be detected within the third period after the content sharing cancellation timer is activated (Yes in S210), the display switching request notification unit 142 sends a content sharing cancellation request to the transmission data generation unit 105 (image processing unit). 42) and the display data generation unit 107 (display processing unit 40) (S211).

送信データ生成部１０５（画像処理部４２）は、子画面を消去することにより、親画面のみを表示させるように送信データを生成する。これにより、コミュニケーション装置Ｂ１２の表示部には、図８の映像２０１に示すように、メイン映像のみが表示される。   The transmission data generation unit 105 (image processing unit 42) generates transmission data so that only the parent screen is displayed by deleting the child screen. Thereby, only the main video is displayed on the display unit of the communication device B12 as shown in the video 201 of FIG.

同様に、表示データ生成部１０７（表示処理部４０）は、子画面を消去することにより、親画面のみを表示させるように表示データを生成する。これにより、コミュニケーション装置Ａ１１のディスプレイ２１（表示部４１）には、図９の映像３０１に示すように、コミュニケーション装置Ｂ１２から受信したメイン映像のみが表示される。   Similarly, the display data generation unit 107 (display processing unit 40) generates display data so that only the parent screen is displayed by deleting the child screen. Thus, only the main video received from the communication device B12 is displayed on the display 21 (display unit 41) of the communication device A11 as shown in the video 301 of FIG.

以上のように、本実施の形態の映像通信装置１００（コミュニケーション装置Ａ１１）は、サブ入力信号の有無を確認し、サブ入力信号が遮断された場合に遮断情報として、自装置の表示部と相手装置の表示部とに表示させるように送信データ及び表示データを生成する。   As described above, the video communication apparatus 100 (communication apparatus A11) according to the present embodiment checks the presence / absence of the sub input signal, and when the sub input signal is blocked, the display unit of the own apparatus and the partner Transmission data and display data are generated so as to be displayed on the display unit of the apparatus.

これにより、本実施の形態の映像通信装置１００を用いた電子会議システムでは、表示部に黒画面（信号が無いことを示す画面）が表示された場合であっても、表示部に遮断情報が表示される。したがって、参加者はサブ入力信号が遮断されていることを容易に確認することができる。   Thereby, in the electronic conference system using the video communication apparatus 100 of the present embodiment, even when a black screen (screen indicating that there is no signal) is displayed on the display unit, the blocking information is displayed on the display unit. Is displayed. Therefore, the participant can easily confirm that the sub input signal is blocked.

また、現在、電子会議システムは会議用途で使用されることが主流であるが、今後、家庭などに普及し、祖父母の家庭と、遠く離れた場所にある子や孫の家庭とのコミュニケーションに用いられる可能性がある。その際、電子機器の操作に疎いユーザが使用することも想定されるため、ユーザ操作を簡略化し、機器の状態を明確化することが求められる。   At present, electronic conferencing systems are mainly used for conferencing purposes, but in the future, they will be widely used in homes, etc., and will be used for communication between grandparents' homes and homes of children and grandchildren located far away. There is a possibility that. At that time, since it is assumed that a user who is not familiar with the operation of the electronic device is used, it is required to simplify the user operation and clarify the state of the device.

そこで、本実施の形態の映像通信装置１００は、遮断情報を通知した後に、所定の期間（第２期間）が経過すれば、サブ映像の表示を親画面から子画面に参加者の操作なしに自動的に変更する。したがって、参加者が本装置の操作に疎い場合であっても、スムーズに電子会議を継続することができる。   Therefore, the video communication apparatus 100 according to the present embodiment displays the sub video from the parent screen to the child screen without any operation by the participant if a predetermined period (second period) elapses after the blocking information is notified. Change automatically. Therefore, even if the participant is not familiar with the operation of the present apparatus, the electronic conference can be continued smoothly.

なお、サブ入力信号を受ける側のコミュニケーション装置Ｂ１２は、呼接続制御、データ通信制御、及び、コンテンツ共有機能を備える装置であればよい。具体的には、コミュニケーション装置Ｂ１２は、図５に示すメイン映像入力部１０１と、送信データ生成部１０５と、映像送信部１６１と、映像受信部１６２と、表示データ生成部１０７と、映像出力部１０８とに相当する処理部を備えていればよい。なお、このとき、コミュニケーション装置Ｂ１２が備える送信データ生成部１０５と表示データ生成部１０７とは、表示位置を変更する機能などは必要ではない。   Note that the communication device B12 on the side receiving the sub input signal may be a device having call connection control, data communication control, and a content sharing function. Specifically, the communication device B12 includes a main video input unit 101, a transmission data generation unit 105, a video transmission unit 161, a video reception unit 162, a display data generation unit 107, and a video output unit illustrated in FIG. And a processing unit corresponding to 108 may be provided. At this time, the transmission data generation unit 105 and the display data generation unit 107 included in the communication device B12 do not need a function of changing the display position.

なお、コンテンツ共有解除要求を行う前に、図１０に示す映像４４１のようにコンテンツ共有解除待ちである旨を示す解除情報４４４を表示させてもよい。なお、映像４４１は、図８の映像２４１に相当する。   Before making a content sharing cancellation request, cancellation information 444 indicating that content sharing cancellation is awaiting may be displayed as shown in an image 441 in FIG. The video 441 corresponds to the video 241 in FIG.

具体的には、送信データ生成部１０５が表示を切り替えると同時に、送信データ生成部１０５は、解除情報４４４が表示されるように送信データを生成する。表示データ生成部１０７も同様に、表示を切り替えると同時に、解除情報４４４が表示されるように表示データを生成する。解除情報４４４は、例えば、表示切替要求通知部１４２によって生成され、送信データ生成部１０５と表示データ生成部１０７とに出力される。   Specifically, at the same time as the transmission data generation unit 105 switches the display, the transmission data generation unit 105 generates transmission data so that the release information 444 is displayed. Similarly, the display data generation unit 107 generates display data so that the release information 444 is displayed at the same time as the display is switched. The release information 444 is generated by, for example, the display switching request notification unit 142 and output to the transmission data generation unit 105 and the display data generation unit 107.

また、本実施の形態では、親画面と子画面とを用いて説明を行ったが、子画面を利用せず、親画面のみで、メイン入力信号とサブ入力信号との切替を行ってもよい。図１１は、コミュニケーション装置Ｂ１２の表示部に表示される画像遷移の異なる一例を示す図である。   Further, in the present embodiment, the description has been given using the parent screen and the child screen. However, the main input signal and the sub input signal may be switched using only the parent screen without using the child screen. . FIG. 11 is a diagram illustrating an example of different image transitions displayed on the display unit of the communication device B12.

同図に示すように、コンテンツ共有開始前は、コミュニケーション装置Ｂ１２の表示部は、映像５０１（図８の映像２０１に相当する）を表示する。映像５０１は、コミュニケーション装置Ａ１１のメインカメラ２２から取得したメイン映像である。   As shown in the figure, before the content sharing is started, the display unit of the communication device B12 displays a video 501 (corresponding to the video 201 in FIG. 8). The video 501 is a main video acquired from the main camera 22 of the communication device A11.

コンテンツ共有が開始されると（図６のＳ１０３）、表示部は、映像５１１（図８の映像２１１に相当する）を表示する。映像５１１は、コミュニケーション装置Ａ１１のサブカメラ２７から取得したサブ映像である。   When content sharing is started (S103 in FIG. 6), the display unit displays a video 511 (corresponding to the video 211 in FIG. 8). The video 511 is a sub video acquired from the sub camera 27 of the communication device A11.

このように、コンテンツ共有が開始されると、コミュニケーション装置Ｂ１２の表示部は、メイン映像を表示せずにサブ映像のみを表示させてもよい。すなわち、コミュニケーション装置Ａ１１の送信データ生成部１０５は、コミュニケーション装置Ｂ１２の表示部にサブ映像のみが表示されるように送信データを生成してもよい。   As described above, when content sharing is started, the display unit of the communication device B12 may display only the sub video without displaying the main video. That is, the transmission data generation unit 105 of the communication device A11 may generate transmission data so that only the sub video is displayed on the display unit of the communication device B12.

サブ入力信号が遮断すると（図７のＳ２０１でＹｅｓ）、表示部は、映像５２１（図８の映像２２１に相当する）を表示する。映像５２１は、無信号であることを示す黒画面などである。   When the sub input signal is cut off (Yes in S201 in FIG. 7), the display unit displays the video 521 (corresponding to the video 221 in FIG. 8). The video 521 is a black screen indicating that there is no signal.

第１期間経過後に（図７のＳ２０４でＹｅｓ）、表示部は、映像５３１（図８の映像２３１又は２４１に相当する）を表示する。映像５３１は、無信号であることを示す黒画面などの上に、遮断情報５３４が表示された映像である。すなわち、コミュニケーション装置Ａ１１の送信データ生成部１０５は、コミュニケーション装置Ｂ１２の表示部に、遮断情報が表示されるように送信データを生成する。   After the first period has elapsed (Yes in S204 in FIG. 7), the display unit displays the video 531 (corresponding to the video 231 or 241 in FIG. 8). Video 531 is a video in which blocking information 534 is displayed on a black screen or the like indicating no signal. That is, the transmission data generation unit 105 of the communication device A11 generates transmission data so that the blocking information is displayed on the display unit of the communication device B12.

さらに、第２期間が経過すると（図７のＳ２０６でＹｅｓ）、表示部は、映像５０１（図８の映像２０１に相当する）を表示する。すなわち、コミュニケーション装置Ａ１１の送信データ生成部１０５は、表示切替要求が通知された場合、コミュニケーション装置Ｂ１２の表示部にメイン映像が表示されるように送信データを生成する。   Further, when the second period elapses (Yes in S206 in FIG. 7), the display unit displays a video 501 (corresponding to the video 201 in FIG. 8). That is, when the display switching request is notified, the transmission data generation unit 105 of the communication device A11 generates transmission data so that the main video is displayed on the display unit of the communication device B12.

以上のように、親画面と子画面とを用いずに、メイン映像とサブ映像とを切り替えて表示させる場合は、特にコミュニケーション装置Ｂ１２側の参加者にとって、サブ映像が遮断された場合には、この遮断の要因を特定することは困難である。なぜなら、メイン映像の通信が切断された場合も、サブ映像のみが遮断された場合も、映像５２１のような黒画面が表示部に表示されるためである。   As described above, when the main video and the sub video are switched and displayed without using the main screen and the sub screen, especially for the participant on the communication device B12 side, when the sub video is blocked, It is difficult to identify the cause of this blockage. This is because a black screen like the video 521 is displayed on the display unit regardless of whether the communication of the main video is cut off or only the sub video is cut off.

本実施の形態では、サブ入力信号が遮断された場合には、映像５３１に示すように、遮断情報５３４が表示されるので、コミュニケーション装置Ｂ１２側の参加者も、容易にサブ入力信号が遮断されたことを認識することができる。   In the present embodiment, when the sub input signal is blocked, the block information 534 is displayed as shown in the video 531, so that the participant on the communication device B12 side can easily block the sub input signal. Can be recognized.

また、本実施の形態では、サブ入力信号の遮断は、ケーブル抜けとして説明したが、サブ入力信号の遮断は、サブカメラ２７（画像入力部４３）の電池切れ、電源ＯＦＦ、Ｄ端子信号の切断、ＨＤＭＩ信号の切断などであってもよい。特に、ＨＤＭＩ上のＣＥＣ（Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏｎｔｒｏｌ）制御などで、信号停止命令がサブカメラ２７から送信される場合、会議者が意図するサブ入力遮断と判断し、サブ入力信号の遮断を検出（Ｓ２０１でＹｅｓ）後、即座にメイン映像を親画面に表示してもよい。すなわち、表示部は、映像２２１から映像２４１又は映像２０１に表示を変更してもよい。   In this embodiment, the sub input signal is cut off as a cable disconnection. However, the sub input signal is cut off of the battery of the sub camera 27 (image input unit 43), the power is turned off, and the D terminal signal is cut off. The HDMI signal may be disconnected. In particular, when a signal stop command is transmitted from the sub-camera 27 in CEC (Consumer Electronics Control) control on HDMI, etc., it is determined that the sub-input signal is blocked by the conference, and the blocking of the sub-input signal is detected (S201 (Yes), the main video may be immediately displayed on the main screen. That is, the display unit may change the display from the video 221 to the video 241 or the video 201.

具体的には、信号検出部１０３（信号確認部６１）がサブカメラ２７からの信号停止命令を受信し、受信した信号停止命令を通知部１０４（通知部６２）に出力する。通知部１０４では、信号停止命令を受信すると、表示切替タイマを起動することなく、表示切替要求を送信データ生成部１０５と表示データ生成部１０７とに出力する。   Specifically, the signal detection unit 103 (signal confirmation unit 61) receives a signal stop command from the sub camera 27, and outputs the received signal stop command to the notification unit 104 (notification unit 62). When receiving the signal stop command, the notification unit 104 outputs a display switching request to the transmission data generation unit 105 and the display data generation unit 107 without starting the display switching timer.

このように、通知部１０４は、サブ入力信号を停止することを示す停止命令をユーザから受け取った場合に、表示切替要求を送信データ生成部１０５及び表示データ生成部１０７に出力してもよい。これにより、ユーザが意図的にサブ入力信号を停止した場合に、第２期間を待つ必要なく、メイン映像を大きく表示させることができるので、よりスムーズに電子会議を継続することができる。   In this way, the notification unit 104 may output a display switching request to the transmission data generation unit 105 and the display data generation unit 107 when receiving a stop command indicating that the sub input signal is stopped from the user. Thereby, when the user intentionally stops the sub input signal, the main video can be displayed in a large size without having to wait for the second period, so that the electronic conference can be continued more smoothly.

なお、本実施の形態では、遮断情報通知タイマ、表示切替タイマ及びコンテンツ共有解除タイマを用いたが、通知部１０４は、各タイマを起動せずに、即座に遮断情報、表示切替要求又はコンテンツ共有解除要求を通知してもよい。すなわち、上述の第１期間、第２期間及び第３期間をそれぞれ０秒としてもよい。   In this embodiment, the blocking information notification timer, the display switching timer, and the content sharing cancellation timer are used. However, the notification unit 104 can immediately block the blocking information, the display switching request, or the content sharing without starting each timer. A cancellation request may be notified. That is, the first period, the second period, and the third period described above may be 0 seconds.

また、本実施の形態では、メイン映像とサブ映像との表示位置は、親画面のみと、親画面＋子画面との２つを用いて説明を行ったが、左右画面、上下画面、上下左右画面などであっても構わない。このとき、各画面の大きさは同じ大きさであってもよい。また、遮断情報の通知箇所についても、画面下側と説明したが、ディスプレイ２１（表示部４１）に表示さえすれば、どこであっても構わない。   In the present embodiment, the display position of the main video and the sub video has been described using only the parent screen and the parent screen + slave screen. It may be a screen. At this time, the size of each screen may be the same size. Moreover, although the notification location of the cutoff information has been described as the lower side of the screen, it may be anywhere as long as it is displayed on the display 21 (display unit 41).

また、本実施の形態では、遮断情報の通知方法は、親画面に対して行ったが、音声により会議者に通知してもよい。つまり、送信データ生成部１０５及び表示データ生成部１０７は、遮断情報を音声として出音されるように送信データ又は表示データを生成してもよい。   Further, in the present embodiment, the blocking information notification method is performed on the main screen, but the conference person may be notified by voice. That is, the transmission data generation unit 105 and the display data generation unit 107 may generate transmission data or display data so that the blocking information is output as sound.

また、親画面ではなく、本体２０に備えられている液晶画面又はＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）などの遮断情報などのユーザに提示すべき情報を表示する情報表示部を用いてもよい。   Moreover, you may use the information display part which displays the information which should be shown to users, such as interruption | blocking information, such as not a main screen but the liquid crystal screen with which the main body 20 is equipped, or LED (Light Emitting Diode).

また、コミュニケーション装置Ａ１１のサブ入力信号の遮断が検出された際、コミュニケーション装置Ａ１１のメインカメラ２２は、サブカメラ２７本体を映像の中から検出し、ズーム撮影し、コミュニケーション装置Ａ１１の表示部４１に出力することにより、遮断された原因の特定に用いてもよい。   When the interruption of the sub input signal of the communication device A11 is detected, the main camera 22 of the communication device A11 detects the main body of the sub camera 27 from the video, performs zoom photography, and displays it on the display unit 41 of the communication device A11. By outputting, it may be used to identify the cause of the interruption.

また、本実施の形態では、コミュニケーション装置Ａ１１の信号確認部６１が信号の遮断を検出するように説明したが、コミュニケーション装置Ｂ１２の表示処理部にて、画像解析機能を備え、サブ入力信号映像が一面黒画面になった場合にサブ入力信号が遮断されたと判断して、本実施の形態と同様の遮断情報通知、及び、表示切替制御を行ってもよい。   Further, in the present embodiment, the signal confirmation unit 61 of the communication device A11 has been described as detecting the blockage of the signal. However, the display processing unit of the communication device B12 has an image analysis function, and the sub input signal video is displayed. It may be determined that the sub input signal is blocked when the screen is black, and the same block information notification and display switching control as in the present embodiment may be performed.

（実施の形態２）
実施の形態１では、サブカメラ２７によるコンテンツ共有は、メインカメラ２２による通信と同一の通信で行われていたが、本実施の形態では、メインカメラ２２による通信とは別に、コンテンツ共有用の通信を確立し、確立したコンテンツ共有用の通信でコンテンツ共有を行う。このとき、コミュニケーション装置Ａ１１は、無信号通知をコミュニケーション装置Ｂ１２に通知するのみで、遮断情報の通知、及び、表示位置の切替処理などは、コミュニケーション装置Ｂ１２が実施する。したがって、まず、以下では、コミュニケーション装置Ａ１１の機能構成について説明する。 (Embodiment 2)
In the first embodiment, the content sharing by the sub camera 27 is performed by the same communication as the communication by the main camera 22. However, in the present embodiment, the content sharing communication is performed separately from the communication by the main camera 22. And share the content with the established content sharing communication. At this time, the communication device A11 only notifies the communication device B12 of a no-signal notification, and the communication device B12 carries out notification of blocking information, switching processing of the display position, and the like. Accordingly, first, the functional configuration of the communication device A11 will be described below.

図１２は、本実施の形態のサブ入力信号を送信する側の映像通信装置６００の機能構成を示すブロック図である。映像通信装置６００は、コミュニケーション装置Ａ１１に相当し、映像信号の送受信に関わる処理を行う装置である。同図の映像通信装置６００は、図５の映像通信装置１００と比較して、信号検出部１０３の代わりに信号検出部６０３を備え、通知部１０４の通知部６０４を備え、送信データ生成部１０５の代わりに送信データ生成部６０５を備え、通信部１０６の代わりに通信部６０６を備える点が異なっている。以下では、実施の形態１と同じ点は説明を省略し、異なる点を中心に説明する。   FIG. 12 is a block diagram illustrating a functional configuration of the video communication apparatus 600 on the side that transmits the sub input signal according to the present embodiment. The video communication device 600 corresponds to the communication device A11 and is a device that performs processing related to transmission / reception of video signals. Compared with the video communication device 100 of FIG. 5, the video communication device 600 of FIG. 5 includes a signal detection unit 603 instead of the signal detection unit 103, a notification unit 604 of the notification unit 104, and a transmission data generation unit 105. The transmission data generation unit 605 is provided instead of the communication unit 106, and the communication unit 606 is provided instead of the communication unit 106. In the following, description of the same points as in the first embodiment will be omitted, and different points will be mainly described.

信号検出部６０３は、信号検出部１０３と同様に、サブ映像入力部１０２によってサブ入力信号が取得されるか否かを検出する。信号検出部６０３は、検出結果に応じて、無信号通知及び復旧通知を通知部６０４と通信部６０６とに通知する。   Similarly to the signal detection unit 103, the signal detection unit 603 detects whether or not a sub input signal is acquired by the sub video input unit 102. The signal detection unit 603 notifies the notification unit 604 and the communication unit 606 of a no-signal notification and a recovery notification according to the detection result.

通知部６０４は、サブ入力信号が取得されているか否かに応じて、表示データ生成部１０７に遮断情報及び表示切替要求を通知する。図１２に示すように、通知部６０４は、遮断情報通知部６４１と表示切替要求通知部６４２とを備える。   The notification unit 604 notifies the display data generation unit 107 of the cutoff information and the display switching request depending on whether or not the sub input signal is acquired. As illustrated in FIG. 12, the notification unit 604 includes a blocking information notification unit 641 and a display switching request notification unit 642.

遮断情報通知部６４１は、遮断情報通知部１４１と同様の処理を行う。ただし、遮断情報を表示データ生成部１０７のみに通知する点が異なる。   The blocking information notification unit 641 performs the same processing as the blocking information notification unit 141. However, the difference is that only the display data generation unit 107 is notified of the blocking information.

表示切替要求通知部６４２は、表示切替要求通知部１４２と同様の処理を行う。ただし、表示切替要求を表示データ生成部１０７のみに通知する点が異なる。   The display switching request notification unit 642 performs the same processing as the display switching request notification unit 142. However, the difference is that only the display data generation unit 107 is notified of the display switching request.

送信データ生成部６０５は、メイン映像入力部１０１によって取得された第１メイン映像を含むメイン送信データと、サブ映像入力部１０２によって取得されたサブ映像を含むサブ送信データとを生成する。生成したメイン送信データ及びサブ送信データは、通信部６０６が備える映像送信部６６１に出力される。なお、第１メイン映像は、例えば、コミュニケーション装置Ａ１１が備えるメインカメラ２２がユーザなどを撮影した映像である。   The transmission data generation unit 605 generates main transmission data including the first main video acquired by the main video input unit 101 and sub transmission data including the sub video acquired by the sub video input unit 102. The generated main transmission data and sub transmission data are output to the video transmission unit 661 included in the communication unit 606. The first main video is, for example, a video taken by the main camera 22 included in the communication device A11, such as a user.

通信部６０６は、メイン送信データ用のメイン通信と、サブ送信データ用のサブ通信との２つの通信を確立し、確立した２つの通信を利用してデータの送受信を行う。図１２に示すように、通信部６０６は、映像送信部６６１と映像受信部６６２とを備える。   The communication unit 606 establishes two communications, a main communication for main transmission data and a sub-communication for sub-transmission data, and transmits and receives data using the established two communications. As illustrated in FIG. 12, the communication unit 606 includes a video transmission unit 661 and a video reception unit 662.

映像送信部６６１は、メイン通信を用いてメイン送信データを他の映像通信装置（コミュニケーション装置Ｂ１２）に送信する。さらに、サブ通信を用いてサブ送信データをコミュニケーション装置Ｂ１２に送信する。また、信号検出部６０３から無信号通知又は復旧通知が通知された場合、当該無信号通知又は復旧通知をメイン通信又はサブ通信を用いてコミュニケーション装置Ｂ１２に送信する。   The video transmission unit 661 transmits main transmission data to another video communication device (communication device B12) using main communication. Furthermore, sub transmission data is transmitted to communication apparatus B12 using sub communication. In addition, when no signal notification or recovery notification is notified from the signal detection unit 603, the no signal notification or recovery notification is transmitted to the communication device B12 using main communication or sub communication.

映像受信部６６２は、メイン通信を用いて他の映像通信装置（コミュニケーション装置Ｂ１２）からメイン受信データを受信する。メイン受信データは、例えば、コミュニケーション装置Ｂ１２が備えるメインカメラなどによって撮像された相手ユーザの画像などを含む。   The video receiver 662 receives main received data from another video communication device (communication device B12) using main communication. The main reception data includes, for example, an image of the other user captured by a main camera provided in the communication device B12.

以上のように、本実施の形態の映像通信装置６００（コミュニケーション装置Ａ１１）は、サブ入力信号の有無をコミュニケーション装置Ｂ１２に送信する。   As described above, the video communication apparatus 600 (communication apparatus A11) of the present embodiment transmits the presence / absence of the sub input signal to the communication apparatus B12.

続いて、コミュニケーション装置Ｂ１２の機能構成について説明する。   Next, the functional configuration of the communication device B12 will be described.

図１３は、本実施の形態のサブ入力信号を受信する側の映像通信装置７００の機能構成を示すブロック図である。映像通信装置７００は、コミュニケーション装置Ｂ１２に相当し、映像信号の送受信に関わる処理を行う装置である。同図に示すように、映像通信装置７００は、メイン映像入力部７０１と、通知部７０４と、送信データ生成部７０５と、通信部７０６と、表示データ生成部７０７と、映像出力部７０８とを備える。   FIG. 13 is a block diagram illustrating a functional configuration of the video communication apparatus 700 on the side receiving the sub input signal according to the present embodiment. The video communication device 700 corresponds to the communication device B12, and is a device that performs processing related to transmission / reception of video signals. As shown in the figure, the video communication apparatus 700 includes a main video input unit 701, a notification unit 704, a transmission data generation unit 705, a communication unit 706, a display data generation unit 707, and a video output unit 708. Prepare.

メイン映像入力部７０１は、メインカメラ７２２と接続し、メインカメラ７２２によって撮像される第２メイン映像を示すメイン入力信号を取得する。そして、取得したメイン入力信号を送信データ生成部７０５に出力する。なお、第２メイン映像は、コミュニケーション装置Ｂ１２が備えるメインカメラ７２２がユーザなどを撮影した映像であり、コミュニケーション装置Ａ１１が備えるディスプレイ２１に表示される。   The main video input unit 701 is connected to the main camera 722 and acquires a main input signal indicating a second main video imaged by the main camera 722. Then, the acquired main input signal is output to transmission data generation section 705. Note that the second main video is a video taken by the main camera 722 provided in the communication device B12 to photograph a user or the like, and is displayed on the display 21 provided in the communication device A11.

通知部７０４は、映像受信部７６２が映像通信装置６００（コミュニケーション装置Ａ１１）から送信される無信号通知に基づいて、遮断情報及び表示切替要求などを表示データ生成部７０７に通知する。図１３に示すように、通知部７０４は、遮断情報通知部７４１と表示切替要求通知部７４２とを備える。   The notification unit 704 notifies the display data generation unit 707 of blocking information, a display switching request, and the like based on the no-signal notification transmitted from the video communication device 600 (communication device A11) by the video reception unit 762. As illustrated in FIG. 13, the notification unit 704 includes a blocking information notification unit 741 and a display switching request notification unit 742.

遮断情報通知部７４１は、映像受信部７６２から無信号通知を受け取った場合に、遮断情報を生成する。なお、遮断情報を生成する処理は、遮断情報通知部１４１又は６４１と同様である。そして、生成した遮断情報を表示データ生成部７０７と表示切替要求通知部７４２とに通知する。なお、遮断情報は、実施の形態１と同様に、コミュニケーション装置Ａ１１が備えるサブカメラ２７などからのサブ入力信号が入力されていないことを示す情報である。   The blocking information notification unit 741 generates blocking information when a no-signal notification is received from the video reception unit 762. In addition, the process which produces | generates interruption | blocking information is the same as that of the interruption | blocking information notification part 141 or 641. Then, the generated cutoff information is notified to the display data generation unit 707 and the display switching request notification unit 742. Note that the blocking information is information indicating that a sub input signal from the sub camera 27 and the like included in the communication device A11 is not input, as in the first embodiment.

表示切替要求通知部７４２は、遮断情報通知部７４１から遮断情報を受け取ってから予め定められた第２期間経過後に、表示切替要求を表示データ生成部７０７に通知する。なお、表示切替要求を通知する処理は、表示切替要求通知部１４２又は６４２と同様である。   The display switching request notifying unit 742 notifies the display data generating unit 707 of the display switching request after a predetermined second period has elapsed since receiving the blocking information from the blocking information notifying unit 741. The process of notifying the display switching request is the same as that of the display switching request notifying unit 142 or 642.

送信データ生成部７０５は、第２メイン映像を含むメイン受信データを生成する。生成したメイン受信データは、通信部７０６が備える映像送信部７６１に出力される。   The transmission data generation unit 705 generates main reception data including the second main video. The generated main reception data is output to the video transmission unit 761 provided in the communication unit 706.

通信部７０６は、メイン通信とサブ通信との２つの通信を利用してデータの送受信を行う。図１３に示すように、通信部７０６は、映像送信部７６１と映像受信部７６２とを備える。   The communication unit 706 transmits and receives data using two communications, main communication and sub-communication. As illustrated in FIG. 13, the communication unit 706 includes a video transmission unit 761 and a video reception unit 762.

映像送信部７６１は、メイン通信を用いてメイン受信データを映像通信装置６００（コミュニケーション装置Ａ１１）に送信する。   The video transmission unit 761 transmits main reception data to the video communication device 600 (communication device A11) using main communication.

映像受信部７６２は、メイン通信を用いてメイン送信データを映像通信装置６００（コミュニケーション装置Ａ１１）から受信する。さらに、サブ通信を用いてサブ送信データをコミュニケーション装置Ａ１１から受信する。また、無信号通知又は復旧通知を受信し、受信した無信号通知又は復旧通知を遮断情報通知部７４１に出力する。   The video receiver 762 receives main transmission data from the video communication device 600 (communication device A11) using main communication. Furthermore, sub transmission data is received from communication apparatus A11 using sub communication. Further, it receives a no-signal notification or a recovery notification, and outputs the received no-signal notification or recovery notification to the blocking information notification unit 741.

表示データ生成部７０７は、第１メイン映像とサブ映像とを含む表示データを生成する。このとき、遮断情報通知部７４１から遮断情報が通知された場合は、表示データ生成部７０７は、通知された遮断情報と第１映像とを含む表示データを生成する。生成した表示データは、映像出力部７０８に出力される。また、表示切替要求通知部７４２から表示切替要求が通知された場合は、表示データ生成部７０７は、受信データに含まれる映像がサブ映像より大きく表示されるように表示データを生成する。   The display data generation unit 707 generates display data including the first main video and the sub video. At this time, when the blocking information is notified from the blocking information notification unit 741, the display data generation unit 707 generates display data including the notified blocking information and the first video. The generated display data is output to the video output unit 708. When the display switching request is notified from the display switching request notification unit 742, the display data generation unit 707 generates display data so that the video included in the received data is displayed larger than the sub video.

映像出力部７０８は、表示データ生成部７０７によって生成された表示データをディスプレイ７２１に出力する。   The video output unit 708 outputs the display data generated by the display data generation unit 707 to the display 721.

以上のように、本実施の形態の映像通信装置７００（コミュニケーション装置Ｂ１２）は、コミュニケーション装置Ａ１１からサブ入力信号の有無に関する情報（無信号通知及び復旧通知）を受信し、当該情報に基づいて、遮断情報の通知、及び、表示位置の切替処理などを行う。つまり、どのタイミングで遮断情報をディスプレイ７２１に表示させるか、どのタイミングで映像の表示を変更するかなどは、実施の形態１とは異なり、サブ入力信号を受信する側のコミュニケーション装置Ｂ１２が行う。   As described above, the video communication apparatus 700 (communication apparatus B12) of the present embodiment receives information (no signal notification and recovery notification) regarding the presence or absence of the sub input signal from the communication apparatus A11, and based on the information, Notification of blocking information, display position switching processing, and the like are performed. That is, unlike in the first embodiment, the communication device B12 on the side that receives the sub input signal determines at what timing the blocking information is displayed on the display 721 and at what timing the video display is changed.

続いて、本実施の形態のコミュニケーション装置の動作について説明する。なお、コミュニケーション装置Ｂ１２のディスプレイ７２１に表示される映像について、図８を用いて説明する。   Next, the operation of the communication device according to the present embodiment will be described. An image displayed on the display 721 of the communication device B12 will be described with reference to FIG.

図１４は、コミュニケーション装置Ａ１１におけるメイン通信とサブ通信とを確立する動作とコンテンツの共有を開始する動作とを示すフローチャートである。   FIG. 14 is a flowchart showing an operation of establishing main communication and sub-communication and an operation of starting content sharing in the communication device A11.

最初に、メイン入力信号を用いて、コミュニケーション装置Ａ１１とコミュニケーション装置Ｂ１２との間にメイン通信が確立される（Ｓ３０１）。なお、具体的な処理については、実施の形態１（図７のＳ１０１）と同様であるので説明を省略する。これにより、ディスプレイ７２１には、図８に示す映像２０１が表示される。映像２０１は、コミュニケーション装置Ａのメインカメラ２２が撮影した映像である。   First, main communication is established between the communication device A11 and the communication device B12 using the main input signal (S301). Note that the specific processing is the same as that in the first embodiment (S101 in FIG. 7), and thus the description thereof is omitted. As a result, the video 201 shown in FIG. 8 is displayed on the display 721. A video 201 is a video taken by the main camera 22 of the communication apparatus A.

次に、コンテンツ共有に備えて、信号検出部１０３は、サブ入力信号が入力されるか否かを検出する（Ｓ３０２）。サブ入力信号が検出された場合（Ｓ３０２でＹｅｓ）、コミュニケーション装置Ａ１１とコミュニケーション装置Ｂ１２との間で、サブ入力信号を通信するためのサブ通信を確立する（Ｓ３０２）。これにより、ディスプレイ７２１には、図８に示す映像２１１が表示される。すなわち、親画面２１２には、サブカメラ２７が撮影したサブ映像が表示され、子画面２１３には、メインカメラ２２が撮影したメイン映像が表示される。   Next, in preparation for content sharing, the signal detection unit 103 detects whether or not a sub-input signal is input (S302). When the sub input signal is detected (Yes in S302), sub communication for communicating the sub input signal is established between the communication device A11 and the communication device B12 (S302). As a result, the video 211 shown in FIG. 8 is displayed on the display 721. In other words, the sub video captured by the sub camera 27 is displayed on the main screen 212, and the main video captured by the main camera 22 is displayed on the sub screen 213.

このように、本実施の形態では、メイン入力信号用のメイン通信とサブ入力信号用のサブ通信との２つの通信を用いる。したがって、メイン入力信号に含まれるメイン映像と、サブ入力信号に含まれるサブ映像との両方を表示させるための合成処理は、サブ入力信号を受信する側のコミュニケーション装置Ｂ１２が実行する。   Thus, in the present embodiment, two communications are used: main communication for main input signal and sub communication for sub input signal. Therefore, the compositing process for displaying both the main video included in the main input signal and the sub video included in the sub input signal is executed by the communication device B12 on the side receiving the sub input signal.

以下では、コミュニケーション装置Ｂ１２（映像通信装置７００）の動作のうち、特に、サブ入力信号が信号検出部６０３によって取得されない場合の動作について説明する。   Hereinafter, among the operations of the communication device B12 (video communication device 700), an operation when the sub input signal is not acquired by the signal detection unit 603 will be described.

図１５は、コミュニケーション装置Ｂ１２におけるサブ入力信号が遮断された場合の動作を示すフローチャートである。同図に示す処理は、実施の形態１で説明したコミュニケーション装置Ａ１１の動作とほぼ同じである。同じ処理ステップには同じ参照符号を付している。   FIG. 15 is a flowchart illustrating an operation when the sub input signal is blocked in the communication device B12. The process shown in the figure is almost the same as the operation of communication apparatus A11 described in the first embodiment. The same reference numerals are assigned to the same processing steps.

まず、映像受信部７６２は、コミュニケーション装置Ａ１１から無信号通知を受信した場合（Ｓ４０１でＹｅｓ）、受信した無信号通知を遮断情報通知部７４１に出力する。このとき、サブ入力信号が受信されていないので、ディスプレイ７２１には、図８の映像２２１が表示される。   First, when receiving no signal notification from the communication device A11 (Yes in S401), the video reception unit 762 outputs the received no signal notification to the blocking information notification unit 741. At this time, since the sub input signal is not received, the video 221 in FIG. 8 is displayed on the display 721.

遮断情報通知部７４１は、無信号通知を受信すると同時に、遮断情報通知タイマを起動する。第１期間が経過するまでの間に（Ｓ２０４でＮｏ）、映像受信部７６２がコミュニケーション装置Ａ１１から復旧通知を受け取った場合、すなわち、サブ送信データを再び受信した場合（Ｓ２０３でＹｅｓ）、表示データ生成部７０７は、再受信したサブ送信データに含まれるサブ映像とメイン映像とを含む表示データを生成する。このとき、ディスプレイ７２１には、図８の映像２２１が表示される。   The blocking information notification unit 741 starts the blocking information notification timer simultaneously with receiving the no-signal notification. When the video reception unit 762 receives a recovery notification from the communication device A11 until the first period elapses (No in S204), that is, when the sub transmission data is received again (Yes in S203), the display data The generation unit 707 generates display data including the sub video and the main video included in the re-received sub transmission data. At this time, the video 221 shown in FIG. 8 is displayed on the display 721.

遮断情報通知タイマを起動後、復旧通知を受け取ることなく第１期間が経過した場合（Ｓ２０４でＹｅｓ）、遮断情報通知部７４１は、遮断情報を生成し、表示切替要求通知部７４２と、表示データ生成部７０７とに通知する（Ｓ２０５）。表示データ生成部７０７は、受信した遮断情報とメイン映像とを含む表示データを生成する。これにより、ディスプレイ７２１には、図８の映像２３１が表示される。   When the first period has elapsed without receiving a recovery notification after starting the blocking information notification timer (Yes in S204), the blocking information notification unit 741 generates blocking information, and displays the display switching request notification unit 742 and the display data. This is notified to the generation unit 707 (S205). The display data generation unit 707 generates display data including the received blocking information and the main video. As a result, the video 231 shown in FIG. 8 is displayed on the display 721.

表示切替要求通知部７４２は、遮断情報を受信すると同時に、表示切替タイマを起動する。第２期間が経過するまでの間に（Ｓ２０７でＮｏ）、映像受信部７６２がコミュニケーション装置Ａ１１から復旧通知を受け取った場合、すなわち、サブ送信データを再び受信した場合（Ｓ２０６でＹｅｓ）、表示データ生成部７０７は、再受信したサブ送信データに含まれるサブ映像とメイン映像とを含む表示データを生成する。このとき、ディスプレイ７２１には、図８の映像２２１が表示される。   The display switching request notifying unit 742 starts the display switching timer at the same time that the blocking information is received. Until the second period elapses (No in S207), when the video reception unit 762 receives a recovery notification from the communication device A11, that is, when the sub transmission data is received again (Yes in S206), the display data The generation unit 707 generates display data including the sub video and the main video included in the re-received sub transmission data. At this time, the video 221 shown in FIG. 8 is displayed on the display 721.

表示切替タイマを起動後、復旧通知を受け取ることなく第２期間が経過した場合（Ｓ２０７でＹｅｓ）、表示切替要求通知部７４２は、表示切替要求を表示データ生成部７０７に通知する。表示データ生成部７０７は、表示切替要求を受信し、親画面をメイン入力信号が含むメイン映像とし、子画面をサブ入力信号が含むサブ映像に設定する（Ｓ２０８）。これにより、ディスプレイ７２１には、図８の映像２４１が表示される。   When the second period has elapsed without receiving a recovery notification after starting the display switching timer (Yes in S207), the display switching request notification unit 742 notifies the display data generation unit 707 of the display switching request. The display data generation unit 707 receives the display switching request, sets the main screen as the main video included in the main input signal, and sets the sub-screen as the sub video included in the sub input signal (S208). Thereby, the video 241 in FIG. 8 is displayed on the display 721.

そして、表示切替要求通知部１４２は、表示切替要求を通知すると同時に、コンテンツ共有解除タイマを起動する。第３期間が経過するまでの間に（Ｓ２１０でＮｏ）、映像受信部７６２がコミュニケーション装置Ａ１１から復旧通知を受け取った場合、すなわち、サブ送信データを再び受信した場合（Ｓ２０９でＹｅｓ）、表示データ生成部７０７は、再受信したサブ送信データに含まれるサブ映像とメイン映像とを含む表示データを生成する。このとき、ディスプレイ７２１には、図８の映像２２１が表示される。   Then, the display switching request notification unit 142 notifies the display switching request and starts the content sharing cancellation timer at the same time. When the video reception unit 762 receives a recovery notification from the communication device A11 until the third period elapses (No in S210), that is, when the sub transmission data is received again (Yes in S209), the display data The generation unit 707 generates display data including the sub video and the main video included in the re-received sub transmission data. At this time, the video 221 shown in FIG. 8 is displayed on the display 721.

コンテンツ共有解除タイマが起動後、第３期間内にサブ入力信号が検出できなかった場合（Ｓ２１０でＹｅｓ）、表示切替要求通知部７４２は、コンテンツ共有解除要求を表示データ生成部７０７に通知する（Ｓ２１１）。表示データ生成部７０７は、子画面を消去することにより、親画面のみを表示させるように表示データを生成する。これにより、ディスプレイ７２１には、図８の映像２０１が表示される。   When the sub input signal cannot be detected within the third period after the content sharing cancellation timer is activated (Yes in S210), the display switching request notification unit 742 notifies the display data generation unit 707 of the content sharing cancellation request ( S211). The display data generation unit 707 generates display data so that only the parent screen is displayed by deleting the child screen. As a result, the video 201 in FIG. 8 is displayed on the display 721.

以上のように、本実施の形態の映像通信装置６００（コミュニケーション装置Ａ１１）及び映像通信装置７００（コミュニケーション装置Ｂ１２）を用いた映像通信システム（電子会議システム）は、メイン通信とサブ通信との２つの通信を用いて映像データの送受信を行う。このとき、サブ映像を受信する側の映像通信装置７００は、サブ映像の受信の有無に応じて、サブ映像が受信されていない場合に遮断情報をディスプレイ７２１に表示させる。   As described above, the video communication system (electronic conference system) using the video communication apparatus 600 (communication apparatus A11) and the video communication apparatus 700 (communication apparatus B12) according to the present embodiment has two main communication and sub-communication systems. Video data is transmitted and received using two communications. At this time, the video communication device 700 on the side receiving the sub video displays the blocking information on the display 721 when the sub video is not received according to whether or not the sub video is received.

これにより、メイン用の通信とサブ用の通信との２つの通信を用いている場合であっても、双方の表示部に遮断情報が表示される。したがって、電子会議システムに参加している参加者は、ディスプレイ７２１に表示された遮断情報を見ることで、サブ入力信号が遮断されていることを容易に確認することができる。   Thereby, even if it is a case where two communication, main communication and sub communication, is used, interruption | blocking information is displayed on both display parts. Therefore, the participant participating in the electronic conference system can easily confirm that the sub input signal is blocked by looking at the blocking information displayed on the display 721.

さらに、本実施の形態の映像通信装置６００及び７００は、実施の形態１と同様に、遮断情報を通知した後に、サブ映像の表示を親画面から子画面に参加者の操作なしに自動的に変更する。したがって、参加者が本装置の操作に疎い場合であっても、スムーズに電子会議を継続することができる。   Further, as in the first embodiment, the video communication apparatuses 600 and 700 according to the present embodiment automatically display the sub video from the parent screen to the child screen after notifying the blocking information without any participant operation. change. Therefore, even if the participant is not familiar with the operation of the present apparatus, the electronic conference can be continued smoothly.

（実施の形態３）
本実施の形態では、実施の形態２と同様に、メインカメラ２２によるメイン通信とは別に、コンテンツ共有用のサブ通信を確立する場合について、実施の形態２とは異なる方法で、遮断情報の通知、及び、表示切替要求の通知を実現する。 (Embodiment 3)
In the present embodiment, in the same manner as in the second embodiment, notification of blocking information is performed in a manner different from that in the second embodiment when establishing sub-communication for content sharing separately from the main communication by the main camera 22. And notification of a display switching request.

図１６は、本実施の形態のサブ入力信号を送信する側の映像通信装置８００の機能構成を示すブロック図である。映像通信装置８００は、コミュニケーション装置Ａ１１に相当し、映像信号の送受信に関わる処理を行う装置である。同図に示す映像通信装置８００は、図１２の映像通信装置と比較して、通知部６０４の代わりに通知部８０４を備え、通信部６０６の代わりに通信部８０６を備える点が異なっている。以下では、実施の形態２と同じ点は説明を省略し、異なる点を中心に説明する。   FIG. 16 is a block diagram illustrating a functional configuration of the video communication apparatus 800 on the side that transmits the sub input signal according to the present embodiment. The video communication device 800 corresponds to the communication device A11 and is a device that performs processing related to transmission / reception of video signals. The video communication apparatus 800 shown in the figure is different from the video communication apparatus in FIG. 12 in that a notification unit 804 is provided instead of the notification unit 604 and a communication unit 806 is provided instead of the communication unit 606. In the following, description of the same points as in the second embodiment will be omitted, and different points will be mainly described.

通知部８０４は、サブ入力信号が取得されているか否かに応じて、遮断情報及び表示切替要求を表示データ生成部１０７と、通信部８０６が備える映像送信部８６１とに通知する。図１６に示すように、通知部８０４は、遮断情報通知部８４１と、表示切替要求通知部８４２とを備える。   The notification unit 804 notifies the display data generation unit 107 and the video transmission unit 861 included in the communication unit 806 of the cutoff information and the display switching request depending on whether or not the sub input signal is acquired. As illustrated in FIG. 16, the notification unit 804 includes a blocking information notification unit 841 and a display switching request notification unit 842.

遮断情報通知部８４１は、遮断情報通知部６４１と同様の処理を行う。ただし、遮断情報を表示データ生成部１０７だけでなく、通信部８０６が備える映像送信部８６１にも通知する点が異なる。   The blocking information notification unit 841 performs the same process as the blocking information notification unit 641. However, the difference is that not only the display data generation unit 107 but also the video transmission unit 861 included in the communication unit 806 is notified of the cutoff information.

表示切替要求通知部８４２は、表示切替要求通知部６４２と同様の処理を行う。ただし、表示切替要求を表示データ生成部１０７だけでなく、映像送信部８６１にも通知する点が異なる。   The display switching request notification unit 842 performs the same processing as the display switching request notification unit 642. However, the difference is that not only the display data generation unit 107 but also the video transmission unit 861 is notified of the display switching request.

通信部８０６は、通信部６０６と同様に、メイン送信データ用のメイン通信と、サブ送信データ用のサブ通信との２つの通信を確立し、確立した２つの通信を利用してデータの送受信を行う。図１６に示すように、通信部８０６は、映像送信部８６１と映像受信部６６２とを備える。なお、映像受信部６６２は、実施の形態２と同様の処理を行うので、ここでは説明を省略する。   Similar to the communication unit 606, the communication unit 806 establishes two communications, a main communication for main transmission data and a sub communication for sub transmission data, and transmits and receives data using the two established communications. Do. As illustrated in FIG. 16, the communication unit 806 includes a video transmission unit 861 and a video reception unit 662. Note that the video receiving unit 662 performs the same processing as in the second embodiment, and a description thereof will be omitted here.

映像送信部８６１は、メイン通信を用いて他の映像通信装置（コミュニケーション装置Ｂ１２）にメイン受信データを送信する。さらに、サブ通信を用いてサブ送信データをコミュニケーション装置Ｂ１２に送信する。また、信号検出部６０３から無信号通知若しくは復旧通知が通知された場合、遮断情報通知部８４１から遮断情報が通知された場合、又は、表示切替要求通知部８４２から表示切替要求が通知された場合、映像送信部８６１は、当該無信号通知、復旧通知、遮断情報又は表示切替要求をメイン通信又はサブ通信を用いてコミュニケーション装置Ｂ１２に送信する。例えば、これらの通知は、ＲＴＣＰパケットのＡＰＰ（Ａｐｐｌｉｃａｔｉｏｎ−ｄｅｆｉｎｅｄ）パケットを利用して送信される。   The video transmission unit 861 transmits main reception data to another video communication device (communication device B12) using main communication. Furthermore, sub transmission data is transmitted to communication apparatus B12 using sub communication. Also, when no signal notification or recovery notification is notified from the signal detection unit 603, when blocking information is notified from the blocking information notification unit 841, or when a display switching request is notified from the display switching request notification unit 842 The video transmission unit 861 transmits the no-signal notification, the recovery notification, the cutoff information, or the display switching request to the communication device B12 using the main communication or the sub communication. For example, these notifications are transmitted using an RTCP packet APP (Application-defined) packet.

以上のように、本実施の形態の映像通信装置８００（コミュニケーション装置Ａ１１）は、サブ入力信号の有無を示す情報、遮断情報及び表示切替要求をコミュニケーション装置Ｂ１２に送信する。   As described above, the video communication apparatus 800 (communication apparatus A11) according to the present embodiment transmits information indicating the presence / absence of a sub input signal, blocking information, and a display switching request to the communication apparatus B12.

続いて、本実施の形態のコミュニケーション装置Ｂ１２の機能構成について説明する。   Subsequently, a functional configuration of the communication device B12 according to the present embodiment will be described.

図１７は、本実施の形態のサブ入力信号を受信する側の映像通信装置９００の機能構成を示すブロック図である。映像通信装置９００は、コミュニケーション装置Ｂ１２に相当し、映像信号の送受信に関わる処理を行う装置である。同図に示すように、映像通信装置９００は、図１３の映像通信装置７００と比較して、通信部７０６の代わりに通信部９０６を備え、表示データ生成部７０７の代わりに表示データ生成部９０７を備える点が異なっている。以下では、実施の形態２と同じ点は説明を省略し、異なる点を中心に説明する。   FIG. 17 is a block diagram illustrating a functional configuration of the video communication apparatus 900 on the side receiving the sub input signal according to the present embodiment. The video communication device 900 corresponds to the communication device B12, and is a device that performs processing related to transmission / reception of video signals. As shown in the figure, the video communication apparatus 900 includes a communication unit 906 instead of the communication unit 706 and a display data generation unit 907 instead of the display data generation unit 707, as compared with the video communication apparatus 700 of FIG. Is different. In the following, description of the same points as in the second embodiment will be omitted, and different points will be mainly described.

通信部９０６は、メイン通信とサブ通信との２つの通信を利用してデータの送受信を行う。図１７に示すように、通信部９０６は、映像送信部７６１と映像受信部９６２とを備える。なお、映像送信部７６１は、実施の形態２と同様の処理を行うので、ここでは説明を省略する。   The communication unit 906 transmits and receives data using two communications, main communication and sub-communication. As illustrated in FIG. 17, the communication unit 906 includes a video transmission unit 761 and a video reception unit 962. Note that the video transmission unit 761 performs the same processing as in the second embodiment, and a description thereof will be omitted here.

映像受信部９６２は、メイン通信を用いてメイン送信データを映像通信装置７００（コミュニケーション装置Ａ１１）から受信する。さらに、サブ通信を用いてサブ送信データをコミュニケーション装置Ａ１１から受信する。また、無信号通知、復旧通知、遮断情報又は表示切替要求を受信し、受信したこれらの情報を表示データ生成部９０７に出力する。   The video receiver 962 receives main transmission data from the video communication device 700 (communication device A11) using main communication. Furthermore, sub transmission data is received from communication apparatus A11 using sub communication. In addition, a no-signal notification, a recovery notification, blocking information, or a display switching request is received, and the received information is output to the display data generation unit 907.

表示データ生成部９０７は、表示データ生成部７０７と同様の処理を行う。無信号通知などを映像受信部９６２から受け取る点が、実施の形態２の表示データ生成部７０７とは異なる。   The display data generation unit 907 performs the same processing as the display data generation unit 707. The display data generation unit 707 of the second embodiment is different from the display data generation unit 707 in that a no-signal notification or the like is received from the video reception unit 962.

以上のように、本実施の形態の映像通信装置９００（コミュニケーション装置Ｂ１２）は、コミュニケーション装置Ａ１１からサブ入力信号の有無に関する情報（無信号通知及び復旧通知）、遮断情報、及び、表示切替要求を受信し、受信したこれらの情報を用いて表示データを生成する。つまり、どのタイミングで遮断情報をディスプレイ７２１に表示させるか、どのタイミングで映像の表示を変更するかなどは、実施の形態１と同様に、サブ入力信号を送信する側のコミュニケーション装置Ａ１１が行う。   As described above, the video communication apparatus 900 (communication apparatus B12) of the present embodiment receives information (no-signal notification and recovery notification) on the presence / absence of a sub input signal, blocking information, and display switching request from the communication apparatus A11. The display data is generated using the received information. That is, the communication device A11 on the side that transmits the sub-input signal determines at what timing the blocking information is displayed on the display 721 and at what timing the video display is changed, as in the first embodiment.

続いて、本実施の形態のコミュニケーション装置の動作について説明する。なお、コミュニケーション装置Ｂ１２のディスプレイ７２１に表示される映像について、図８を用いて説明する。   Next, the operation of the communication device according to the present embodiment will be described. An image displayed on the display 721 of the communication device B12 will be described with reference to FIG.

また、メイン通信とサブ通信とを確立し、コンテンツ共有を開始するまでの処理は、実施の形態２（図１４）と同じであるので、ここでは説明を省略する。さらに、サブ入力信号を送信する側の映像通信装置８００の動作については、実施の形態１と同じであるので、ここでは説明を省略する。よって、以下では、映像通信装置９００（コミュニケーション装置Ｂ１２）の動作を中心に説明する。   Further, since the process from establishing main communication and sub-communication and starting content sharing is the same as that of the second embodiment (FIG. 14), description thereof is omitted here. Furthermore, since the operation of the video communication apparatus 800 on the side that transmits the sub input signal is the same as that of the first embodiment, the description thereof is omitted here. Therefore, hereinafter, the operation of the video communication apparatus 900 (communication apparatus B12) will be mainly described.

図１８は、コミュニケーション装置Ｂ１２におけるサブ入力信号が遮断された場合の動作を示すフローチャートである。なお、ディスプレイ７２１には、コンテンツ共有が開始されることで、映像２１１が表示されている。このとき、コミュニケーション装置Ａ１１側でサブ入力信号が遮断された場合には、ディスプレイ７２１には、映像２２１が表示される。このとき、コミュニケーション装置Ａの遮断情報通知部８４１から映像送信部８６１を介して遮断情報が送信される。   FIG. 18 is a flowchart showing an operation when the sub input signal is blocked in the communication device B12. Note that a video 211 is displayed on the display 721 when content sharing is started. At this time, when the sub input signal is cut off on the communication device A11 side, the video 221 is displayed on the display 721. At this time, the blocking information is transmitted from the blocking information notification unit 841 of the communication device A via the video transmission unit 861.

映像受信部９６２は、遮断情報を受信し、受信した遮断情報を表示データ生成部９０７に出力する（Ｓ５０１）。表示データ生成部９０７は、受信した遮断情報と第１メイン映像とを含む表示データを生成する。生成した表示データは、映像出力部７０８を介してディスプレイ７２１に出力される。このとき、ディスプレイ７２１には、図８の映像２３１が表示される。   The video reception unit 962 receives the cutoff information and outputs the received cutoff information to the display data generation unit 907 (S501). The display data generation unit 907 generates display data including the received blocking information and the first main video. The generated display data is output to the display 721 via the video output unit 708. At this time, the video 231 in FIG. 8 is displayed on the display 721.

ここで、映像受信部９６２が復旧通知を受信した場合（Ｓ５０２でＹｅｓ）、表示データ生成部９０７は、第１メイン映像とサブ映像とを含む表示データを生成する。そして、生成した表示データは、映像出力部７０８を介してディスプレイ７２１に出力される。このとき、ディスプレイ７２１には、図８の映像２１１が表示される。   If the video reception unit 962 receives the restoration notification (Yes in S502), the display data generation unit 907 generates display data including the first main video and the sub video. The generated display data is output to the display 721 via the video output unit 708. At this time, the video 211 in FIG. 8 is displayed on the display 721.

復旧通知を受信することなく、映像受信部９６２が表示切替要求を受信した場合には（Ｓ５０２でＮｏ）、表示データ生成部９０７は、親画面をメイン入力信号が含むメイン映像とし、子画面をサブ入力信号が含むサブ映像に設定する（Ｓ５０３）。これにより、図８の映像２４１が表示される。   When the video reception unit 962 receives the display switching request without receiving the recovery notification (No in S502), the display data generation unit 907 sets the parent screen as the main video included in the main input signal, and sets the child screen as the sub screen. The sub video included in the sub input signal is set (S503). Thereby, the video 241 in FIG. 8 is displayed.

ここで、映像受信部９６２が復旧通知を受信した場合（Ｓ５０４でＹｅｓ）、表示データ生成部９０７は、第１メイン映像とサブ映像とを含む表示データを生成する。そして、生成した表示データは、映像出力部７０８を介してディスプレイ７２１に出力される。このとき、ディスプレイ７２１には、図８の映像２１１が表示される。   Here, when the video reception unit 962 receives the restoration notification (Yes in S504), the display data generation unit 907 generates display data including the first main video and the sub video. The generated display data is output to the display 721 via the video output unit 708. At this time, the video 211 in FIG. 8 is displayed on the display 721.

復旧通知を受信することなく、映像受信部９６２がコンテンツ共有解除要求を受信した場合には（Ｓ５０４でＮｏ）、表示データ生成部９０７は、第１メイン映像のみが表示されるように表示データを生成する。そして、生成した表示データは、映像出力部７０８を介してディスプレイ７２１に出力される。このとき、ディスプレイ７２１には、図８の映像２０１が表示される。   When the video receiving unit 962 receives the content sharing cancellation request without receiving the restoration notification (No in S504), the display data generating unit 907 displays the display data so that only the first main video is displayed. Generate. The generated display data is output to the display 721 via the video output unit 708. At this time, the image 201 in FIG. 8 is displayed on the display 721.

以上のように、本実施の形態の映像通信装置８００（コミュニケーション装置Ａ１１）及び映像通信装置９００（コミュニケーション装置Ｂ１２）を用いた映像通信システム（電子会議システム）は、実施の形態２と同様に、メイン通信とサブ通信との２つの通信を用いて映像データの送受信を行う。このとき、サブ映像を受信する側の映像通信装置９００は、サブ映像を送信する側の映像通信装置８００から送信される無信号通知、遮断情報、及び、表示切替要求などに従って、遮断情報の表示、及び、表示の切り替えなどを行う。   As described above, the video communication system (electronic conference system) using the video communication apparatus 800 (communication apparatus A11) and the video communication apparatus 900 (communication apparatus B12) of the present embodiment is similar to the second embodiment. Video data is transmitted and received using two communications, main communication and sub communication. At this time, the video communication device 900 on the side of receiving the sub video displays the cutoff information according to the no-signal notification, the cutoff information, the display switching request, and the like transmitted from the video communication device 800 on the side of transmitting the sub video. And switching the display.

これにより、メイン用の通信とサブ用の通信との２つの通信を用いている場合であっても、双方の表示部に遮断情報が表示される。したがって、電子会議システムに参加している参加者は、ディスプレイ７２１に表示された遮断情報を見ることで、サブ入力信号が遮断されていることを容易に確認することができる。   Thereby, even if it is a case where two communication, main communication and sub communication, is used, interruption | blocking information is displayed on both display parts. Therefore, the participant participating in the electronic conference system can easily confirm that the sub input signal is blocked by looking at the blocking information displayed on the display 721.

さらに、本実施の形態の映像通信装置８００及び９００は、実施の形態１及び２と同様に、遮断情報を通知した後に、サブ映像の表示を親画面から子画面に参加者の操作なしに自動的に変更する。したがって、参加者が本装置の操作に疎い場合であっても、スムーズに電子会議を継続することができる。   Furthermore, as in the first and second embodiments, the video communication apparatuses 800 and 900 according to the present embodiment automatically display the sub-video from the parent screen to the child screen after notifying the cutoff information without any participant operation. Change. Therefore, even if the participant is not familiar with the operation of the present apparatus, the electronic conference can be continued smoothly.

以上、本発明の映像通信装置、映像通信方法及び映像通信システムについて、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。   The video communication apparatus, the video communication method, and the video communication system according to the present invention have been described based on the embodiments. However, the present invention is not limited to these embodiments. Unless it deviates from the meaning of this invention, the form which carried out the various deformation | transformation which those skilled in the art can think to the said embodiment, and the form constructed | assembled combining the component in a different embodiment is also contained in the scope of the present invention. .

また、サブ映像を送信する側のコミュニケーション装置Ａ１１では、ディスプレイ２１（表示部４１）の親画面にサブ映像を表示させる必要はなく、子画面に表示させてもよい。あるいは、サブ映像を表示させなくてもよい。つまり、メイン映像を全画面表示させてもよい。   Further, in the communication device A11 on the side of transmitting the sub video, it is not necessary to display the sub video on the main screen of the display 21 (display unit 41), and it may be displayed on the sub screen. Alternatively, the sub video may not be displayed. That is, the main video may be displayed on the full screen.

また、実施の形態２では、遮断情報の生成、表示切替要求の通知、及び、コンテンツ共有解除要求の通知を、サブ入力信号を受信する側のコミュニケーション装置Ｂ１２が行うのに対して、実施の形態１及び３では、これらの処理をサブ入力信号を送信する側のコミュニケーション装置Ａ１１が行う。これに対して、どの処理をどちらの装置に実行させてもよい。例えば、コミュニケーション装置Ａ１１が遮断情報の生成を行い、コミュニケーション装置Ｂ１２が表示切替要求の通知とコンテンツ共有解除要求の通知を行ってもよい。   In the second embodiment, the communication apparatus B12 that receives the sub input signal performs the generation of the blocking information, the notification of the display switching request, and the notification of the content sharing cancellation request. In 1 and 3, these processes are performed by the communication device A11 on the side of transmitting the sub input signal. On the other hand, which process may be executed by which apparatus. For example, the communication device A11 may generate blocking information, and the communication device B12 may notify a display switching request and a content sharing release request.

なお、本発明は、上述したように、映像通信装置及び映像通信方法として実現できるだけではなく、本実施の形態の映像通信方法をコンピュータに実行させるためのプログラムとして実現してもよい。また、当該プログラムを記録するコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体として実現してもよい。さらに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、これらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信されてもよい。   As described above, the present invention can be realized not only as a video communication apparatus and a video communication method, but also as a program for causing a computer to execute the video communication method of the present embodiment. Moreover, you may implement | achieve as recording media, such as computer-readable CD-ROM which records the said program. Furthermore, it may be realized as information, data, or a signal indicating the program. These programs, information, data, and signals may be distributed via a communication network such as the Internet.

また、本発明は、映像通信装置を構成する構成要素の一部又は全部を、１個のシステムＬＳＩから構成してもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ及びＲＡＭなどを含んで構成されるコンピュータシステムである。   In the present invention, some or all of the components constituting the video communication apparatus may be configured from one system LSI. The system LSI is an ultra-multifunctional LSI manufactured by integrating a plurality of components on a single chip. Specifically, the system LSI is a computer system including a microprocessor, a ROM, a RAM, and the like. .

以上のように、本発明の映像通信装置は、画面表示の無信号状態の原因を明示的に理解することができるという効果を奏し、電子会議システムなどに利用することができる。   As described above, the video communication apparatus of the present invention has an effect that the cause of the no-signal state of the screen display can be clearly understood, and can be used for an electronic conference system or the like.

実施の形態１における２拠点でのコミュニケーションシステムの構成を示す図である。1 is a diagram showing a configuration of a communication system at two bases in Embodiment 1. FIG. 実施の形態１における多拠点でのコミュニケーションシステムの構成の一例を示す図である。1 is a diagram showing an example of a configuration of a communication system at multiple locations in Embodiment 1. FIG. 実施の形態１におけるコミュニケーション装置が備える入出力装置の配置の一例を示す図である。3 is a diagram illustrating an example of an arrangement of input / output devices included in the communication device in Embodiment 1. FIG. 実施の形態１におけるコミュニケーション装置のハードウェア構成の一例を示すブロック図である。3 is a block diagram illustrating an example of a hardware configuration of a communication device according to Embodiment 1. FIG. 実施の形態１におけるサブ入力信号を送信する側の映像通信装置の機能構成を示すブロック図である。3 is a block diagram illustrating a functional configuration of a video communication device on a side that transmits a sub input signal in Embodiment 1. FIG. 実施の形態１におけるコミュニケーション装置のメイン通信を確立する動作とコンテンツの共有を開始する動作を示すフローチャートである。4 is a flowchart illustrating an operation for establishing main communication and an operation for starting content sharing in the communication device according to the first embodiment. 実施の形態１におけるコミュニケーション装置のサブ入力信号が遮断された場合の動作を示すフローチャートである。4 is a flowchart showing an operation when a sub input signal of the communication device in Embodiment 1 is interrupted. 実施の形態１におけるサブ入力信号を受信する側のコミュニケーション装置の表示部における画像遷移の一例を示す図である。6 is a diagram illustrating an example of image transition in the display unit of the communication device on the side of receiving a sub input signal in Embodiment 1. FIG. 実施の形態１におけるサブ入力信号を送信する側のコミュニケーション装置の表示部における画像遷移の一例を示す図である。6 is a diagram showing an example of image transition in the display unit of the communication device on the side of transmitting a sub input signal in Embodiment 1. FIG. 実施の形態１におけるコミュニケーション装置の表示部における解除通知が含まれる画面の一例を示す図である。6 is a diagram illustrating an example of a screen including a cancellation notification in the display unit of the communication device according to Embodiment 1. FIG. 実施の形態１におけるサブ入力信号を受信する側のコミュニケーション装置の表示部に表示される画像遷移の異なる一例を示す図である。6 is a diagram showing an example of different image transitions displayed on the display unit of the communication device on the side of receiving a sub input signal in Embodiment 1. FIG. 実施の形態２におけるサブ入力信号を送信する側の映像通信装置の機能構成を示すブロック図である。10 is a block diagram illustrating a functional configuration of a video communication apparatus on a side that transmits a sub input signal in Embodiment 2. FIG. 実施の形態２におけるサブ入力信号を受信する側の映像通信装置の機能構成を示すブロック図である。6 is a block diagram illustrating a functional configuration of a video communication device on a side that receives a sub input signal in Embodiment 2. FIG. 実施の形態２におけるコミュニケーション装置のメイン通信とサブ通信とを確立する動作とコンテンツの共有を開始する動作とを示すフローチャートである。10 is a flowchart showing an operation for establishing main communication and sub-communication and an operation for starting content sharing in the communication apparatus according to the second embodiment. 実施の形態２におけるサブ入力信号を受信する側のコミュニケーション装置のサブ入力信号が遮断された場合の動作を示すフローチャートである。10 is a flowchart showing an operation when the sub input signal of the communication device on the side receiving the sub input signal in the second embodiment is blocked. 実施の形態３におけるサブ入力信号を送信する側の映像通信装置の機能構成を示すブロック図である。FIG. 10 is a block diagram illustrating a functional configuration of a video communication apparatus on a side that transmits a sub input signal according to a third embodiment. 実施の形態３におけるサブ入力信号を受信する側の映像通信装置の機能構成を示すブロック図である。10 is a block diagram illustrating a functional configuration of a video communication apparatus on a side that receives a sub input signal in Embodiment 3. FIG. 実施の形態３におけるサブ入力信号を受信する側のコミュニケーション装置のサブ入力信号が遮断された場合の動作を示すフローチャートである。10 is a flowchart showing an operation when a sub input signal of a communication device on the side of receiving a sub input signal in Embodiment 3 is cut off.

符号の説明Explanation of symbols

１０ ネットワーク
１１ コミュニケーション装置Ａ
１２ コミュニケーション装置Ｂ
１３ ノートＰＣ
１４ カメラ
１５ ＰＤＡ
１６ 携帯電話
１７ サーバ
１８ インターネット
１９ デスクトップＰＣ
２０ 本体
２１、７２１ ディスプレイ
２２、７２２ メインカメラ
２３ マイク
２４ａ、２４ｂ、２４ｃ スピーカー
２５ 机
２６ リモコン
２７ サブカメラ
２８ ノートＰＣ
３０ 制御部
３１ 音声符号化部
３２ 音声復号化部
３３ 画像符号化部
３４ 画像復号化部
３５ 電源回路
３６ タイマ回路
３７ 音声処理部
３８ 音声出力部
３９ 音声入力部
４０ 表示処理部
４１ 表示部
４２ 画像処理部
４３ 画像入力部
４４ 操作入力制御部
４５ 操作入力部
４６ 通信制御部
４７ 送受信回路
５０ ＣＰＵ
５１ ＲＯＭ
５２ ＲＡＭ
６１ 信号確認部
６２、１０４、６０４、７０４、８０４ 通知部
１００、６００、７００、８００、９００ 映像通信装置
１０１、７０１ メイン映像入力部
１０２ サブ映像入力部
１０３、６０３ 信号検出部
１０５、６０５、７０５ 送信データ生成部
１０６、６０６、７０６、８０６、９０６ 通信部
１０７、７０７、９０７ 表示データ生成部
１０８、７０８ 映像出力部
１４１、６４１、７４１、８４１ 遮断情報通知部
１４２、６４２、７４２、８４２ 表示切替要求通知部
１６１、６６１、７６１、８６１ 映像送信部
１６２、６６２、７６２、９６２ 映像受信部
２０１、２１１、２２１、２３１、２４１、３０１、３１１、３２１、３３１、３４１、４４１、５０１、５１１、５２１、５３１ 映像
２１２、２２２、２３２、２４２、３１２、３２２、３３２、３４２ 親画面
２１３、２２３、２３３、２４３、３１３、３２３、３３３、３４３ 子画面
２３４、３３４、５３４ 遮断情報
４４４ 解除情報 10 Network 11 Communication device A
12 Communication device B
13 Notebook PC
14 Camera 15 PDA
16 Mobile phone 17 Server 18 Internet 19 Desktop PC
20 Main body 21, 721 Display 22, 722 Main camera 23 Microphone 24a, 24b, 24c Speaker 25 Desk 26 Remote control 27 Sub camera 28 Notebook PC
30 control unit 31 audio encoding unit 32 audio decoding unit 33 image encoding unit 34 image decoding unit 35 power supply circuit 36 timer circuit 37 audio processing unit 38 audio output unit 39 audio input unit 40 display processing unit 41 display unit 42 image Processing unit 43 Image input unit 44 Operation input control unit 45 Operation input unit 46 Communication control unit 47 Transmission / reception circuit 50 CPU
51 ROM
52 RAM
61 Signal confirmation unit 62, 104, 604, 704, 804 Notification unit 100, 600, 700, 800, 900 Video communication device 101, 701 Main video input unit 102 Sub video input unit 103, 603 Signal detection unit 105, 605, 705 Transmission data generation unit 106, 606, 706, 806, 906 Communication unit 107, 707, 907 Display data generation unit 108, 708 Video output unit 141, 641, 741, 841 Blocking information notification unit 142, 642, 742, 842 Display switching Request notification unit 161,661,761,861 Video transmission unit 162,662,762,962 Video reception unit 201,211,221,231,241,301,311,321,331,341,441,501,511,521 531 video 212, 222, 232, 242, 312 322, 332 and 342 parent screen 213,223,233,243,313,323,333,343 child screen 234,334,534 blocking information 444 release information

Claims (16)

他の映像通信装置との間で通信する映像通信装置であって、
第１映像を示す第１映像信号を取得する第１入力手段と、
第２映像を示す第２映像信号を取得する第２入力手段と、
前記第１映像と前記第２映像とのうち少なくとも前記第２映像を含む第１送信データを生成する送信データ生成手段と、
前記送信データ生成手段によって生成された第１送信データを前記他の映像通信装置に送信し、かつ、第３映像を含む受信データを前記他の映像通信装置から受信する通信手段と、
前記通信手段によって受信された受信データを用いて、前記第３映像を含む表示データを生成する表示データ生成手段と、
前記表示データ生成手段によって生成された表示データを第１表示装置に出力する出力手段と、
前記第２入力手段によって前記第２映像信号が取得されるか否かを検出する信号検出手段と、
前記信号検出手段によって、前記第２映像信号が取得されていないことが検出された場合、前記第２映像信号が遮断されたことを示す遮断情報を生成し、生成した遮断情報を前記送信データ生成手段と前記表示データ生成手段とに通知する通知手段とを備え、
前記送信データ生成手段は、前記遮断情報が通知された場合、当該遮断情報を含む第２送信データを生成し、
前記通信手段は、前記送信データ生成手段によって生成された第２送信データを前記他の映像通信装置に送信し、
前記表示データ生成手段は、前記遮断情報が通知された場合、当該遮断情報と前記第３映像とを含む前記表示データを生成する
映像通信装置。 A video communication device that communicates with other video communication devices,
First input means for acquiring a first video signal indicating a first video;
Second input means for acquiring a second video signal indicating the second video;
Transmission data generating means for generating first transmission data including at least the second video out of the first video and the second video;
Communication means for transmitting the first transmission data generated by the transmission data generating means to the other video communication apparatus and receiving reception data including a third video from the other video communication apparatus;
Display data generating means for generating display data including the third video image using received data received by the communication means;
Output means for outputting the display data generated by the display data generating means to the first display device;
Signal detection means for detecting whether or not the second video signal is acquired by the second input means;
When the signal detecting means detects that the second video signal is not acquired, it generates blocking information indicating that the second video signal is blocked, and generates the generated blocking information as the transmission data. A notification means for notifying the display data generation means and the display data generation means,
The transmission data generating means generates second transmission data including the blocking information when the blocking information is notified,
The communication unit transmits the second transmission data generated by the transmission data generation unit to the other video communication device;
The display data generation unit generates the display data including the block information and the third video when the block information is notified. 前記送信データ生成手段は、前記他の映像通信装置によって第２表示装置に前記第２映像が表示されるように前記第１送信データを生成し、
前記通知手段は、さらに、表示を切り替えさせることを示す表示切替要求を前記送信データ生成手段に通知し、
前記送信データ生成手段は、前記表示切替要求が通知された場合、前記第２表示装置に前記第１映像が表示されるように前記第２送信データを生成する
請求項１記載の映像通信装置。 The transmission data generating means generates the first transmission data so that the second video is displayed on the second display device by the other video communication device,
The notification means further notifies the transmission data generation means of a display switching request indicating that the display is to be switched,
The video communication device according to claim 1, wherein the transmission data generation unit generates the second transmission data so that the first video is displayed on the second display device when the display switching request is notified. 前記送信データ生成手段は、前記第２表示装置の所定の第１領域に前記第２映像が表示され、前記第１領域以下の大きさである第２領域に前記第１映像が表示されるように前記第１送信データを生成し、前記表示切替要求が通知された場合、前記第１領域に前記第１映像が表示されるように前記第２送信データを生成する
請求項２記載の映像通信装置。 The transmission data generating means displays the second video in a predetermined first area of the second display device, and displays the first video in a second area having a size equal to or smaller than the first area. 3. The video communication according to claim 2, wherein when the first transmission data is generated and the display switching request is notified, the second transmission data is generated so that the first video is displayed in the first area. apparatus. 前記通知手段は、前記信号検出手段によって予め定められた第１期間継続して前記第２映像信号が取得されていないことが検出された場合に前記遮断情報を生成する
請求項２又は３記載の映像通信装置。 The said notification means produces | generates the said interruption | blocking information, when it detects that the said 2nd video signal is not acquired continuously for the 1st predetermined period by the said signal detection means. Video communication device. 前記通知手段は、前記遮断情報を生成してから予め定められた第２期間経過後に、前記表示切替要求を前記送信データ生成手段に通知する
請求項２〜４のいずれか１項に記載の映像通信装置。 The video according to any one of claims 2 to 4, wherein the notification unit notifies the transmission data generation unit of the display switching request after a predetermined second period has elapsed since the generation of the blocking information. Communication device. 前記通知手段は、さらに、前記表示切替要求を通知してから予め定められた第３期間経過後に、前記第１映像のみを表示させることを示す解除要求を前記送信データ生成手段に通知し、
前記送信データ生成手段は、前記解除要求が通知された場合、前記第１映像が全画面表示されるように前記第２送信データを生成する
請求項２〜５のいずれか１項に記載の映像通信装置。 The notification means further notifies the transmission data generation means of a release request indicating that only the first video is displayed after a predetermined third period has elapsed since the notification of the display switching request.
The video according to any one of claims 2 to 5, wherein, when the release request is notified, the transmission data generation unit generates the second transmission data so that the first video is displayed on a full screen. Communication device. 前記送信データ生成手段は、前記信号検出手段によって、前記第２映像信号が取得されていないことが検出された後に、前記第２映像信号が再取得されたことが検出された場合、前記第２映像を含む前記第１送信データを生成する
請求項２〜６のいずれか１項に記載の映像通信装置。 When the transmission data generation unit detects that the second video signal has been acquired again after the signal detection unit detects that the second video signal has not been acquired, The video communication device according to claim 2, wherein the first transmission data including video is generated. 前記通知手段は、前記第２映像信号を停止することを示す停止命令をユーザから受け取ると同時に、前記表示切替要求を前記送信データ生成手段に出力する
請求項２又は３記載の映像通信装置。 4. The video communication apparatus according to claim 2, wherein the notifying unit receives a stop command indicating that the second video signal is to be stopped from a user and simultaneously outputs the display switching request to the transmission data generating unit. 前記送信データ生成手段は、前記遮断情報を文字情報として前記第２表示装置の所定の第３領域に表示されるように前記第２送信データを生成する
請求項１〜８のいずれか１項に記載の映像通信装置。 The transmission data generation unit generates the second transmission data so that the blocking information is displayed as character information in a predetermined third area of the second display device. The video communication apparatus described. 前記送信データ生成手段は、さらに、前記遮断情報が音声として出音されるように前記第２送信データを生成する
請求項１〜８のいずれか１項に記載の映像通信装置。 The video communication device according to any one of claims 1 to 8, wherein the transmission data generation unit further generates the second transmission data so that the blocking information is output as a sound. 前記映像通信装置は、さらに、
前記表示データのうち前記遮断情報を表示する情報表示部を備える
請求項１〜８のいずれか１項に記載の映像通信装置。 The video communication device further includes:
The video communication device according to claim 1, further comprising an information display unit that displays the blocking information among the display data. 第１映像通信装置と第２映像通信装置とを備える映像通信システムであって、
前記第１映像通信装置は、
第１映像を示す第１映像信号を取得する第１入力手段と、
第２映像を示す第２映像信号を取得する第２入力手段と、
前記第１映像を含む第１送信データと、前記第２映像を含む第２送信データとを生成する第１送信データ生成手段と、
前記第２映像通信装置との間で第１通信と第２通信とを確立し、確立した第１通信を利用して、前記第１送信データを送信し、かつ、第３映像を含む第３受信データを受信し、さらに、確立した第２通信を利用して前記第２送信データを送信する第１通信手段と、
前記第１通信手段によって受信された第３受信データを用いて、前記第３映像を含む第１表示データを生成する第１表示データ生成手段と、
前記第１表示データ生成手段によって生成された第１表示データを第１表示装置に出力する第１出力手段と、
前記第２入力手段によって前記第２映像信号が取得されるか否かを検出し、前記第２映像信号が取得されない場合に、当該第２映像信号が取得されないことを示す無信号通知を前記第１通信手段に通知する信号検出手段と、
前記信号検出手段によって、前記第２映像信号が取得されていないことが検出された場合、前記第２映像信号が遮断されたことを示す遮断情報を生成し、生成した遮断情報を前記第１表示データ生成手段に通知する第１通知手段とを備え、
前記第１通信手段は、前記無信号通知が通知された場合、前記第１通信又は前記第２通信を利用して当該無信号通知を送信し、
前記第１表示データ生成手段は、前記遮断情報が通知された場合、当該遮断情報と前記第３映像とを含む前記第１表示データを生成し、
前記第２映像通信装置は、
前記第３映像を示す第３映像信号を取得する第３入力手段と、
前記第３映像を含む前記第３受信データを生成する第２送信データ生成手段と、
前記第１通信を利用して、前記第１送信データを受信し、かつ、前記第３受信データを送信し、さらに、前記第２通信を利用して前記第２送信データを受信する第２通信手段と、
前記第１映像と前記第２映像との少なくとも一方を含む第２表示データを生成する第２表示データ生成手段と、
前記第２表示データ生成手段によって生成された第２表示データを第２表示装置に出力する第２出力手段と、
前記第２通信手段が前記第１映像通信装置から前記無信号通知を受け取った場合に、前記遮断情報を生成し、生成した遮断情報を前記第２表示データ生成手段に通知する第２通知手段とを備え、
前記第２表示データ生成手段は、前記遮断情報が通知された場合、当該遮断情報を含む表示データを生成する
映像通信システム。 A video communication system comprising a first video communication device and a second video communication device,
The first video communication device
First input means for acquiring a first video signal indicating a first video;
Second input means for acquiring a second video signal indicating the second video;
First transmission data generating means for generating first transmission data including the first video and second transmission data including the second video;
A first communication and a second communication are established with the second video communication device, the first transmission data is transmitted using the established first communication, and a third video including a third video is transmitted. First communication means for receiving the received data and further transmitting the second transmission data using the established second communication;
First display data generating means for generating first display data including the third video image using third received data received by the first communication means;
First output means for outputting the first display data generated by the first display data generating means to the first display device;
Whether or not the second video signal is acquired by the second input means is detected, and when the second video signal is not acquired, a no-signal notification indicating that the second video signal is not acquired A signal detection means for notifying one communication means;
When the signal detecting means detects that the second video signal is not acquired, it generates blocking information indicating that the second video signal is blocked, and displays the generated blocking information in the first display. First notification means for notifying the data generation means,
The first communication means transmits the no-signal notification using the first communication or the second communication when the no-signal notification is notified,
The first display data generating means generates the first display data including the blocking information and the third video when the blocking information is notified,
The second video communication device is:
Third input means for acquiring a third video signal indicating the third video;
Second transmission data generating means for generating the third reception data including the third video;
Second communication that receives the first transmission data using the first communication, transmits the third reception data, and further receives the second transmission data using the second communication. Means,
Second display data generating means for generating second display data including at least one of the first video and the second video;
Second output means for outputting the second display data generated by the second display data generating means to a second display device;
Second notification means for generating the blocking information and notifying the generated display information to the second display data generating means when the second communication means receives the no-signal notification from the first video communication device; With
The said 2nd display data production | generation means produces | generates the display data containing the said interruption | blocking information, when the said interruption | blocking information is notified. 第１映像通信装置と第２映像通信装置とを備える映像通信システムであって、
前記第１映像通信装置は、
第１映像を示す第１映像信号を取得する第１入力手段と、
第２映像を示す第２映像信号を取得する第２入力手段と、
前記第１映像を含む第１送信データと、前記第２映像を含む第２送信データとを生成する第１送信データ生成手段と、
前記第２映像通信装置との間で第１通信と第２通信とを確立し、確立した第１通信を利用して、前記第１送信データを送信し、かつ、第３映像を含む第３受信データを受信し、さらに、確立した第２通信を利用して前記第２送信データを送信する第１通信手段と、
前記第１通信手段によって受信された第３受信データを用いて、前記第３映像を含む第１表示データを生成する第１表示データ生成手段と、
前記第１表示データ生成手段によって生成された第１表示データを第１表示装置に出力する第１出力手段と、
前記第２入力手段によって前記第２映像信号が取得されるか否かを検出する信号検出手段と、
前記信号検出手段によって、前記第２映像信号が取得されていないことが検出された場合、前記第２映像信号が遮断されたことを示す遮断情報を生成し、生成した遮断情報を前記第１表示データ生成手段と前記第１通信手段とに通知する第１通知手段とを備え、
前記第１通信手段は、前記遮断情報が通知された場合、前記第１通信又は前記第２通信を利用して当該遮断情報を送信し、
前記第１表示データ生成手段は、前記遮断情報が通知された場合、当該遮断情報と前記第３映像とを含む前記第１表示データを生成し、
前記第２映像通信装置は、
前記第３映像を示す第３映像信号を取得する第３入力手段と、
前記第３映像を含む前記第３受信データを生成する第２送信データ生成手段と、
前記第１通信を利用して、前記第１送信データを受信し、かつ、前記第３受信データを送信し、さらに、前記第２通信を利用して前記第２送信データを受信する第２通信手段と、
前記第１映像と前記第２映像との少なくとも一方を含む第２表示データを生成する第２表示データ生成手段と、
前記第２表示データ生成手段によって生成された第２表示データを第２表示装置に出力する第２出力手段とを備え、
前記第２表示データ生成手段は、前記遮断情報が通知された場合、当該遮断情報を含む表示データを生成する
映像通信システム。 A video communication system comprising a first video communication device and a second video communication device,
The first video communication device
First input means for acquiring a first video signal indicating a first video;
Second input means for acquiring a second video signal indicating the second video;
First transmission data generating means for generating first transmission data including the first video and second transmission data including the second video;
A first communication and a second communication are established with the second video communication device, the first transmission data is transmitted using the established first communication, and a third video including a third video is transmitted. First communication means for receiving the received data and further transmitting the second transmission data using the established second communication;
First display data generating means for generating first display data including the third video image using third received data received by the first communication means;
First output means for outputting the first display data generated by the first display data generating means to the first display device;
Signal detection means for detecting whether or not the second video signal is acquired by the second input means;
When the signal detecting means detects that the second video signal is not acquired, it generates blocking information indicating that the second video signal is blocked, and displays the generated blocking information in the first display. First notification means for notifying the data generation means and the first communication means;
When the blocking information is notified, the first communication means transmits the blocking information using the first communication or the second communication,
The first display data generating means generates the first display data including the blocking information and the third video when the blocking information is notified,
The second video communication device is:
Third input means for acquiring a third video signal indicating the third video;
Second transmission data generating means for generating the third reception data including the third video;
Second communication that receives the first transmission data using the first communication, transmits the third reception data, and further receives the second transmission data using the second communication. Means,
Second display data generating means for generating second display data including at least one of the first video and the second video;
Second output means for outputting the second display data generated by the second display data generating means to a second display device;
The said 2nd display data production | generation means produces | generates the display data containing the said interruption | blocking information, when the said interruption | blocking information is notified The video communication system. 他の映像通信装置との間で通信する映像通信方法であって、
第１映像を示す第１映像信号を取得する第１入力ステップと、
第２映像を示す第２映像信号を取得する第２入力ステップと、
前記第１映像と前記第２映像とのうち少なくとも前記第２映像を含む第１送信データを生成する送信データ生成ステップと、
前記送信データ生成ステップで生成された第１送信データを前記他の映像通信装置に送信し、かつ、第３映像を含む受信データを前記他の映像通信装置から受信する通信ステップと、
前記通信ステップで受信された受信データを用いて、前記第３映像を含む表示データを生成する表示データ生成ステップと、
前記表示データ生成ステップで生成された表示データを第１表示装置に出力する出力ステップと、
前記第２入力ステップで前記第２映像信号が取得されるか否かを検出する信号検出ステップと、
前記信号検出ステップで前記第２映像信号が取得されていないことが検出された場合、前記第２映像信号が遮断されたことを示す遮断情報を生成し、生成した遮断情報を通知する通知ステップとを含み、
前記送信データ生成ステップで、前記遮断情報が通知された場合、当該遮断情報を含む第２送信データを生成し、
前記通信ステップでは、前記送信データ生成ステップで生成された第２送信データを前記他の映像通信装置に送信し、
前記表示データ生成ステップでは、前記遮断情報が通知された場合、当該遮断情報と前記第３映像とを含む前記表示データを生成する
映像通信方法。 A video communication method for communicating with other video communication devices,
A first input step of obtaining a first video signal indicating the first video;
A second input step of obtaining a second video signal indicating the second video;
A transmission data generation step of generating first transmission data including at least the second video out of the first video and the second video;
A communication step of transmitting the first transmission data generated in the transmission data generation step to the other video communication device and receiving reception data including a third video from the other video communication device;
A display data generation step of generating display data including the third video using the reception data received in the communication step;
An output step of outputting the display data generated in the display data generation step to the first display device;
A signal detection step of detecting whether or not the second video signal is acquired in the second input step;
A notification step of generating blocking information indicating that the second video signal has been blocked and notifying the generated blocking information when it is detected that the second video signal is not acquired in the signal detection step; Including
When the blocking information is notified in the transmission data generation step, the second transmission data including the blocking information is generated,
In the communication step, the second transmission data generated in the transmission data generation step is transmitted to the other video communication device,
In the display data generation step, when the blocking information is notified, the display data including the blocking information and the third video is generated. 他の映像通信装置との間で通信する集積回路であって、
第１映像を示す第１映像信号を取得する第１入力手段と、
第２映像を示す第２映像信号を取得する第２入力手段と、
前記第１映像と前記第２映像とのうち少なくとも前記第２映像を含む第１送信データを生成する送信データ生成手段と、
前記送信データ生成手段によって生成された第１送信データを前記他の映像通信装置に送信し、かつ、第３映像を含む受信データを前記他の映像通信装置から受信する通信手段と、
前記通信手段によって受信された受信データを用いて、前記第３映像を含む表示データを生成する表示データ生成手段と、
前記表示データ生成手段によって生成された表示データを第１表示装置に出力する出力手段と、
前記第２入力手段によって前記第２映像信号が取得されるか否かを検出する信号検出手段と、
前記信号検出手段によって前記第２映像信号が取得されていないことが検出された場合、前記第２映像信号が遮断されたことを示す遮断情報を生成し、生成した遮断情報を前記送信データ生成手段と前記表示データ生成手段とに通知する通知手段とを備え、
前記送信データ生成手段は、前記遮断情報が通知された場合、当該遮断情報を含む第２送信データを生成し、
前記通信手段は、前記送信データ生成手段によって生成された第２送信データを前記他の映像通信装置に送信し、
前記表示データ生成手段は、前記遮断情報が通知された場合、当該遮断情報と前記第３映像とを含む前記表示データを生成する
集積回路。 An integrated circuit that communicates with other video communication devices,
First input means for acquiring a first video signal indicating a first video;
Second input means for acquiring a second video signal indicating the second video;
Transmission data generating means for generating first transmission data including at least the second video out of the first video and the second video;
Communication means for transmitting the first transmission data generated by the transmission data generating means to the other video communication apparatus and receiving reception data including a third video from the other video communication apparatus;
Display data generating means for generating display data including the third video image using received data received by the communication means;
Output means for outputting the display data generated by the display data generating means to the first display device;
Signal detection means for detecting whether or not the second video signal is acquired by the second input means;
When the signal detecting means detects that the second video signal is not acquired, it generates blocking information indicating that the second video signal is blocked, and uses the generated blocking information as the transmission data generating means. And notifying means for notifying the display data generating means,
The transmission data generating means generates second transmission data including the blocking information when the blocking information is notified,
The communication unit transmits the second transmission data generated by the transmission data generation unit to the other video communication device;
The display data generation means generates the display data including the block information and the third video when the block information is notified. 他の映像通信装置との間で通信する映像通信方法をコンピュータに実行させるプログラムであって、
第１映像を示す第１映像信号を取得する第１入力ステップと、
第２映像を示す第２映像信号を取得する第２入力ステップと、
前記第１映像と前記第２映像とのうち少なくとも前記第２映像を含む第１送信データを生成する送信データ生成ステップと、
前記送信データ生成ステップで生成された第１送信データを前記他の映像通信装置に送信し、かつ、第３映像を含む受信データを前記他の映像通信装置から受信する通信ステップと、
前記通信ステップで受信された受信データを用いて、前記第３映像を含む表示データを生成する表示データ生成ステップと、
前記表示データ生成ステップで生成された表示データを第１表示装置に出力する出力ステップと、
前記第２入力ステップで前記第２映像信号が取得されるか否かを検出する信号検出ステップと、
前記信号検出ステップで前記第２映像信号が取得されていないことが検出された場合、前記第２映像信号が遮断されたことを示す遮断情報を生成し、生成した遮断情報を通知する通知ステップとを含み、
前記送信データ生成ステップで、前記遮断情報が通知された場合、当該遮断情報を含む第２送信データを生成し、
前記通信ステップでは、前記送信データ生成ステップで生成された第２送信データを前記他の映像通信装置に送信し、
前記表示データ生成ステップでは、前記遮断情報が通知された場合、当該遮断情報と前記第３映像とを含む前記表示データを生成する
プログラム。 A program for causing a computer to execute a video communication method for communicating with other video communication devices,
A first input step of obtaining a first video signal indicating the first video;
A second input step of obtaining a second video signal indicating the second video;
A transmission data generation step of generating first transmission data including at least the second video out of the first video and the second video;
A communication step of transmitting the first transmission data generated in the transmission data generation step to the other video communication device and receiving reception data including a third video from the other video communication device;
A display data generation step of generating display data including the third video using the reception data received in the communication step;
An output step of outputting the display data generated in the display data generation step to the first display device;
A signal detection step of detecting whether or not the second video signal is acquired in the second input step;
A notification step of generating blocking information indicating that the second video signal has been blocked and notifying the generated blocking information when it is detected that the second video signal is not acquired in the signal detection step; Including
When the blocking information is notified in the transmission data generation step, the second transmission data including the blocking information is generated,
In the communication step, the second transmission data generated in the transmission data generation step is transmitted to the other video communication device,
In the display data generation step, when the blocking information is notified, the display data including the blocking information and the third video is generated.
JP2008324602A 2008-12-19 2008-12-19 Video communication apparatus, video communication method and video communication system Pending JP2010147939A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008324602A JP2010147939A (en) 2008-12-19 2008-12-19 Video communication apparatus, video communication method and video communication system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008324602A JP2010147939A (en) 2008-12-19 2008-12-19 Video communication apparatus, video communication method and video communication system

Publications (1)

Publication Number Publication Date
JP2010147939A true JP2010147939A (en) 2010-07-01

Family

ID=42567875

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008324602A Pending JP2010147939A (en) 2008-12-19 2008-12-19 Video communication apparatus, video communication method and video communication system

Country Status (1)

Country Link
JP (1) JP2010147939A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013015193A1 (en) * 2011-07-22 2013-01-31 シャープ株式会社 Content delivery device, reception device, relay device, content delivery system, content delivery method and program
JP2015210503A (en) * 2014-04-30 2015-11-24 シャープ株式会社 Information processing unit and method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013015193A1 (en) * 2011-07-22 2013-01-31 シャープ株式会社 Content delivery device, reception device, relay device, content delivery system, content delivery method and program
JP2015210503A (en) * 2014-04-30 2015-11-24 シャープ株式会社 Information processing unit and method

Similar Documents

Publication Publication Date Title
JP6171263B2 (en) Remote conference system and remote conference terminal
CN109413453B (en) Video playing method, device, terminal and storage medium
CN112911197B (en) Video information processing system, mobile communication terminal, and video information processing method
JP2007082223A (en) Portable terminal and display method utilizing the same
JP2005123804A (en) Communication system and method
CN109194972B (en) Live stream acquisition method and device, computer equipment and storage medium
WO2011030230A1 (en) Sharing video streams in communication sessions
JP4331049B2 (en) Data transmission apparatus and data transmission method
WO2011088803A1 (en) Method, device and system for sharing data among handsets
JP2014220732A (en) Information processing apparatus, information processing method, and program
US8786631B1 (en) System and method for transferring transparency information in a video environment
JP2018056766A (en) Television conference device
US20100066806A1 (en) Internet video image producing method
CN102202206B (en) Communication equipment
JP2013225850A (en) Video communication apparatus, video communication server and video processing method for video communication
JP2011082694A (en) System and device for communication conference
JP2011055444A (en) Communication device
US20140362166A1 (en) Incoming call display method, electronic device, and incoming call display system
JP2010147939A (en) Video communication apparatus, video communication method and video communication system
JP2009267663A (en) Imaging device, imaging method, imaging control program, and mobile terminal device
US11516434B1 (en) Routing visual content from different camera systems to different applications during video call
JP2005151073A (en) Portable terminal equipment having videophone function
CN112153404B (en) Code rate adjusting method, code rate detecting method, code rate adjusting device, code rate detecting device, code rate adjusting equipment and storage medium
KR100747581B1 (en) Mobile terminal having cameras and method for transmitting and receiving data using the same
JP2008125025A (en) Switching device, switching method, switching device control program, recording medium and communication equipment