JP6352217B2 - Communication system and control method thereof - Google Patents
Communication system and control method thereofInfo
- Publication number
- JP6352217B2 JP6352217B2 JP2015090765A JP2015090765A JP6352217B2 JP 6352217 B2 JP6352217 B2 JP 6352217B2 JP 2015090765 A JP2015090765 A JP 2015090765A JP 2015090765 A JP2015090765 A JP 2015090765A JP 6352217 B2 JP6352217 B2 JP 6352217B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- interactive
- distance
- display unit
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Description
本発明は、コミュニケーションシステムおよびその制御方法に関する。 The present invention relates to a communication system and a control method thereof.
近年、遠隔操作技術とロボット技術とを組み合わせて、人が遠方からある場所で存在（プレゼンス）するように相手側に感じさせながらコミュニケーションをとることができるコミュニケーションシステムが検討されている（例えば、非特許文献１参照）。 In recent years, a communication system has been studied that combines remote operation technology and robot technology so that a person can feel the presence (presence) of a person in a certain place from a distance and communicate with the other party (for example, non-existing). Patent Document 1).
上述したようなコミュニケーションシステムでは、対話の一方（オペレータ）の側および他方（現地対話者）の側にそれぞれ、映像表示部と映像撮影部とを有する対話装置が設けられる。対話装置はそれぞれ、自装置の映像撮影部の撮影映像を他方の装置の映像表示部に表示させる。さらに、現地対話者側の対話装置には移動機構が設けられており、オペレータは、遠隔操作により現地対話者側の対話装置を移動させることで、オペレータが主体となって、誰とコミュニケーションをとるか、どこの場所にいくのかを制御することができる。オペレータが現地対話者側の対話装置を主体的に制御することで、対話の相手側にオペレータの存在をより感じさせながらコミュニケーションを図ることができる。 In the communication system as described above, a dialog device having a video display unit and a video shooting unit is provided on one side (operator) side and the other side (local talker) side of the dialog. Each interactive device causes the video image of the video device of its own device to be displayed on the video display unit of the other device. In addition, the dialog device on the local dialog side is provided with a moving mechanism, and the operator can communicate with whom, mainly by the operator, by moving the dialog device on the local dialog side by remote control. Or where to go. When the operator actively controls the dialog device on the local dialog side, communication can be achieved while making the other party of the dialog feel more of the presence of the operator.
上述したようなコミュニケーションシステムでは、例えば、現地対話者側の対話装置と現地対話者との間の距離（以下、対面距離と称する）が大きすぎると、オペレータ側の対話装置の映像表示部の表示映像において現地対話者が小さくなりすぎたり、現地対話者が現地対話者側の対話装置の映像表示部の表示映像を見にくくなったりする。そのため、対面距離を適切に保つことが重要である。ここで、オペレータにとって適切な対面距離と現地対話者にとって適切な対面距離とは異なることがあり、オペレータおよび現地対話者の双方が、より適切な状況で映像を見ながらコミュニケーションを図ることが難しいという課題がある。 In the communication system as described above, for example, if the distance between the dialog device on the local dialog side and the local dialog person (hereinafter referred to as the “face-to-face distance”) is too large, the display on the video display unit of the dialog device on the operator side The local conversation person becomes too small in the video, or the local conversation person becomes difficult to see the display image on the video display unit of the conversation apparatus on the local conversation person side. Therefore, it is important to keep the facing distance appropriately. Here, the face-to-face distance appropriate for the operator and the face-to-face distance appropriate for the local talker may differ, and it is difficult for both the operator and the local talker to communicate while viewing the video in a more appropriate situation. There are challenges.
また、上述したようなコミュニケーションシステムでは、オペレータによる現地対話者側の対話装置の制御を確保するために、現地対話者が現地対話者側の対話装置に触れることができないことが好ましい。しかしながら、非特許文献１においては、この点について考慮されていないという課題がある。
Further, in the communication system as described above, it is preferable that the local talker cannot touch the dialog device on the local talker side in order to ensure the control of the dialog device on the local talker side by the operator. However, Non-Patent
本発明の目的は、上述した課題を解決し、オペレータによる対話装置の制御を確保しつつ、対話の当事者双方が、より適切な状況で映像を見ながらコミュニケーションを図ることができるコミュニケーションシステムおよびその制御方法を提供することにある。 An object of the present invention is to solve the above-described problems, and to ensure control of the dialog device by the operator, while allowing both parties of the dialog to communicate while viewing the video in a more appropriate situation, and its control It is to provide a method.
上記課題を解決するため、本発明に係るコミュニケーションシステムは、映像表示部と映像撮影部とをそれぞれ有する第１の対話装置および第２の対話装置を備え、前記第１の対話装置および第２の対話装置それぞれの映像撮影部の撮影映像を他方の対話装置の映像表示部に表示させるコミュニケーションシステムであって、前記第１の対話装置は、移動機構をさらに有し、前記第１の対話装置側の第１の対話者と前記第１の対話装置との間の距離である対面距離が所定距離以上となり、かつ、前記第１の対話装置および前記第２の対話装置それぞれの映像表示部の表示映像が、前記第１の対話者および前記第２の対話装置側の第２の対話者それぞれにとって適した表示となるように、前記移動機構による前記第１の対話装置の移動と、前記第１の対話装置および前記第２の対話装置それぞれの映像表示部の表示とを制御する制御手段を備える。 In order to solve the above-described problems, a communication system according to the present invention includes a first interactive device and a second interactive device each having a video display unit and a video photographing unit, and the first interactive device and the second interactive device. A communication system for displaying a captured image of a video photographing unit of each interactive device on a video display unit of the other interactive device, wherein the first interactive device further includes a moving mechanism, and the first interactive device side The face-to-face distance, which is the distance between the first interactive person and the first interactive apparatus, is equal to or greater than a predetermined distance, and the display on the video display unit of each of the first interactive apparatus and the second interactive apparatus Movement of the first interactive device by the moving mechanism, so that the video is a display suitable for each of the first interactive user and the second interactive device on the second interactive device side, A control means for controlling the display of one of the interactive device and the second respective interaction device of the video display unit.
また、上記課題を解決するため、本発明に係る制御方法は、映像表示部と映像撮影部と移動機構とを有する第１の対話装置と、映像表示部と映像撮影部とを有する第２の対話装置とを備え、前記第１の対話装置および第２の対話装置それぞれの映像撮影部の撮影映像を他方の対話装置の映像表示部に表示させるコミュニケーションシステムの制御方法であって、前記第１の対話装置側の第１の対話者と前記第１の対話装置との間の距離である対面距離が所定距離以上となり、かつ、前記第１の対話装置および前記第２の対話装置それぞれの映像表示部の表示映像が、前記第１の対話者および前記第２の対話装置側の第２の対話者それぞれにとって適した表示となるように、前記移動機構による前記第１の対話装置の移動と、前記第１の対話装置および前記第２の対話装置それぞれの映像表示部の表示とを制御するステップを含む。 In order to solve the above-described problem, a control method according to the present invention includes a first interactive device having a video display unit, a video shooting unit, and a moving mechanism, a second display unit having a video display unit, and a video shooting unit. A communication system control method for displaying a video image captured by the video imaging unit of each of the first interactive device and the second interactive device on a video display unit of the other interactive device. The face-to-face distance, which is the distance between the first interactive person on the interactive apparatus side and the first interactive apparatus, is equal to or greater than a predetermined distance, and the images of the first interactive apparatus and the second interactive apparatus, respectively. The movement of the first interactive device by the moving mechanism so that the display video of the display unit is a display suitable for each of the first interactive person and the second interactive person on the second interactive device side. , The first dialogue device And a step of controlling the display of the second interactive device each of the video display unit.
本発明に係るコミュニケーションシステムおよびその制御方法によれば、オペレータによる対話装置の制御を確保しつつ、対話の当事者双方が、より適切な状況で映像を見ながらコミュニケーションを図ることができる。 According to the communication system and the control method thereof according to the present invention, both parties of the conversation can communicate while watching the video in a more appropriate situation while ensuring the control of the dialogue apparatus by the operator.
以下、本発明の実施の形態について説明する。 Embodiments of the present invention will be described below.
図１は、本発明の一実施形態に係るコミュニケーションシステム１の構成を示す図である。本実施形態に係るコミュニケーションシステム１は、遠隔地にある対話者同士が、相手側の映像を見ながら対話を行うことができ、さらに、対話者の一方であるオペレータが、対話者の他方である現地対話者側の対話装置を制御することができるシステムである。
FIG. 1 is a diagram showing a configuration of a
図１に示すコミュニケーションシステム１は、遠隔操作端末１０と、テレプレゼンスロボット２０と、遠隔操作端末１０およびテレプレゼンスロボット２０と通信可能なサーバ３０とを有する。
The
遠隔操作端末１０は、オペレータ（第２の対話者）側に設けられる対話装置（第２の対話装置）である。遠隔操作端末１０は、映像表示部と、オペレータが映像表示部の表示を見ている状態でオペレータを撮影可能な映像撮影部とを備える。遠隔操作端末１０は、映像撮影部の撮影映像の映像データをサーバ３０に送信するとともに、サーバ３０から送信されてきた映像データに示される映像を映像表示部に表示する。また、遠隔操作端末１０は、テレプレゼンスロボット２０を遠隔操作するための入力を受け付け、サーバ３０に送信する。遠隔操作端末１０の具体例としては、カメラ機能を備えたタブレット端末、スマートフォン、パーソナルコンピュータなどがある。
The
テレプレゼンスロボット２０は、現地対話者（第１の対話者）側に設けられる対話装置（第１の対話装置）である。テレプレゼンスロボット２０は、映像表示部と、現地対話者が映像表示部の表示を見ている状態で現地対話者を撮影可能な映像撮影部と、テレプレゼンスロボット２０を移動させる移動機構と、テレプレゼンスロボット２０と現地対話者との距離である対面距離を測定する測距センサとを備える。テレプレゼンスロボット２０は、映像撮影部の撮影映像の映像データをサーバ３０に送信するとともに、サーバ３０から送信されてきた映像データに示される映像を映像表示部に表示する。また、テレプレゼンスロボット２０は、テレプレゼンスロボット２０を遠隔操作するための信号をサーバ３０から受信すると、その信号に従い動作する。また、テレプレゼンスロボット２０は、測距センサにより対面距離を測定し、測定結果をサーバ３０に送信する。
The
図２は、テレプレゼンスロボット２０の外観斜視図である。
FIG. 2 is an external perspective view of the
図２に示すように、テレプレゼンスロボット２０は、例えば、映像表示部２１および映像撮影部２２を備えたスマートフォンやタブレット端末などの通信装置２３が、通信装置２３との通信機能を有する台車型装置２４に搭載されて構成される。台車型装置２４には測距センサ２５が設けられており、測距センサ２５による対面距離の測定結果は、通信装置２３に送信される。通信装置２３は、映像撮影部２２の撮影映像の映像データや、測距センサ２５による対面距離の測定結果などをサーバ３０に送信する。また、通信装置２３は、サーバ３０から遠隔操作端末１０の撮影映像の映像データを受信すると、その映像データに示される映像を映像表示部２１に表示させる。
As shown in FIG. 2, the
図１を再び参照すると、サーバ３０は、遠隔操作端末１０およびテレプレゼンスロボット２０それぞれから送信されてきた映像データを、他方の装置に送信する。また、サーバ３０は、対面距離が所定距離（現地対話者がテレプレゼンスロボット２０に触れることができない距離）以上となり、かつ、遠隔操作端末１０およびテレプレゼンスロボット２０それぞれの映像表示部の表示映像が、オペレータおよび現地対話者それぞれにとって適した表示となるように、テレプレゼンスロボット２０の移動機構による移動と、遠隔操作端末１０およびテレプレゼンスロボット２０それぞれの映像表示部の表示（例えば、倍率）とを制御する信号を、制御対象の装置に送信する。
Referring to FIG. 1 again, the
図３は、サーバ３０の要部構成を示すブロック図である。
FIG. 3 is a block diagram illustrating a main configuration of the
図３に示すサーバ３０は、制御手段３１を有する。
The
制御手段３１は、遠隔操作端末１０から映像データ（オペレータ側の映像を示す映像データ）を受信すると、その映像データをテレプレゼンスロボット２０に送信する。また、制御手段３１は、テレプレゼンスロボット２０から映像データ（現地対話者側の映像を示す映像データ）を受信すると、その映像データを遠隔操作端末１０に送信する。
When receiving the video data (video data indicating the video on the operator side) from the
また、制御手段３１は、遠隔操作端末１０から受信した遠隔操作端末１０へのキー入力や、テレプレゼンスロボット２０から受信した対面距離の測定結果などに基づき、テレプレゼンスロボット２０の移動機構の駆動を制御する移動指示信号や、遠隔操作端末１０およびテレプレゼンスロボット２０それぞれの映像表示部の表示を制御する信号を制御対象の装置に送信する。
Further, the control means 31 drives the moving mechanism of the
次に、サーバ３０の動作について説明する。
Next, the operation of the
図４は、サーバ３０の動作を概念的に示す図である。図４において、横軸は、テレプレゼンスロボット２０と現地対話者との距離を示す。
FIG. 4 is a diagram conceptually illustrating the operation of the
上述したように、オペレータにとって適した対面距離と現地対話者にとって適した対面距離とは異なることがある。以下では、オペレータにとって適した対面距離をオペレータ適切距離と称し、現地対話者にとって適した対面距離を現地対話者適切距離と称する。また、現地対話者がテレプレゼンスロボット２０に直接触れることができない距離を制御距離と称する。制御距離は、テレプレゼンスロボット２０を移動させることで確保すべき対面距離である。なお、制御距離は、一定値としてもよいし、現地対話者の身長などから算出した値であってもよい。
As described above, the face-to-face distance suitable for the operator may be different from the face-to-face distance suitable for the local talker. In the following, the face-to-face distance suitable for the operator is referred to as the operator appropriate distance, and the face-to-face distance suitable for the local talker is referred to as the local talker appropriate distance. Further, the distance that the local talker cannot directly touch the
図４においては、現地対話者適切距離＜制御距離＜オペレータ適切距離であり、現在の対面距離が現地対話者適切距離と制御距離との間にあるとする。なお、現地対話者適切距離、制御距離およびオペレータ適切距離の大きさは、この順に限られるものではない。 In FIG. 4, it is assumed that the local conversation person appropriate distance <control distance <operator appropriate distance, and the current facing distance is between the local conversation person appropriate distance and the control distance. In addition, the magnitude | sizes of local dialogue person suitable distance, control distance, and operator suitable distance are not restricted in this order.
この場合、現在の対面距離が制御距離よりも小さいため、サーバ３０は、テレプレゼンスロボット２０を現地対話者から遠ざける方向にテレプレゼンスロボット２０を移動させる。こうすることで、テレプレゼンスロボット２０と現地対話者との間に、現地対話者がテレプレゼンスロボット２０に直接触れることができない距離を保つことができる。しかしながら、テレプレゼンスロボット２０を現地対話者から遠ざけることで、対面距離が現地対話者適切距離から離れ、現地対話者にとってはテレプレゼンスロボット２０の映像表示部の表示が小さく、見にくくなってしまうことがある。そこで、サーバ３０は、テレプレゼンスロボット２０の映像表示部の表示を拡大させる。こうすることで、テレプレゼンスロボット２０が現地対話者から遠ざかっても、テレプレゼンスロボット２０の映像表示部の表示は拡大されるので、見かけ上、対面距離を現地対話者適切距離に近づけることができ、現地対話者は、より適切な状況で映像を見ることができる。
In this case, since the current facing distance is smaller than the control distance, the
図４に示す例では、対面距離が制御距離となるようにテレプレゼンスロボット２０を移動させても、対面距離はオペレータ適切距離には達していない。そのため、オペレータにとっては、遠隔操作端末１０の映像表示部の表示映像において現地対話者が小さくしか表示されておらず、見にくいことが考えられる。そこで、サーバ３０はさらに、遠隔操作端末１０の映像表示部の表示を拡大させてもよい。こうすることで、遠隔操作端末１０の映像表示部の表示は拡大されるので、見かけ上、対面距離をオペレータ適切距離に近づけることができ、オペレータは、より適切な状況で映像を見ることができる。
In the example shown in FIG. 4, even if the
なお、サーバ３０は、現地対話者の行動（現地対話者の歩行による位置の移動など）に基づき、現地対話者適切距離を推定する。具体的には、サーバ３０は、測距センサ２５の測定結果から、テレプレゼンスロボット２０を現地対話者から遠ざけても、現地対話者がテレプレゼンスロボット２０に近づいてくると判定した場合には、現地対話者が対面距離を近づけたいと考えていると判定し、現在の現地対話者適切距離よりも短い値を現地対話者適切距離として設定する。
Note that the
このように、現地対話者がテレプレゼンスロボット２０に向かって近づいているか否かにより現地対話者適切距離を推定することで、現地対話者はテレプレゼンスロボット２０の映像表示部の表示が小さくて見にくい場合には、テレプレゼンスロボット２０に向かって近づくことで、現地対話者の意図に沿った現地対話者適切距離が設定される。そのため、直観的な現地対話者適切距離の設定が可能となる。
In this way, by estimating the appropriate distance for the local talker based on whether or not the local talker is approaching the
また、サーバ３０は、オペレータの行動（例えば、遠隔操作端末１０へのキー入力、オオペレータの姿勢の変化など）に基づき、オペレータ適切距離を推定する。具体的には、サーバ３０は、遠隔操作端末１０の映像撮影部の撮影画像におけるオペレータの顔の大きさの変化に基づき、オペレータの姿勢の変化（前のめりになったか、後ろに引いたか）を検出する。そして、サーバ３０は、オペレータが前のめりになったと判定した場合には、オペレータが対面距離を近づけたいと考えていると判定し、現在のオペレータ適切距離よりも短い値をオペレータ適切距離として設定する。一方、サーバ３０は、オペレータが後ろに引いたと判定した場合には、オペレータが対面距離を離したいと考えていると判定し、現在のオペレータ適切距離よりも長い値をオペレータ適切距離として設定する。
Further, the
また、サーバ３０は、オペレータによる遠隔操作端末１０へのキー入力に基づき、オペレータ適切距離を判定してもよい。具体的には、サーバ３０は、オペレータが所定のキー、例えば、「＋」キーを押下した場合には、オペレータが対面距離を近づけたいと考えていると判定し、現在のオペレータ適切距離よりも短い値をオペレータ適切距離として設定する。一方、サーバ３０は、オペレータが所定のキー、例えば、「−」キーを押下した場合には、オペレータが対面距離を離したいと考えていると判定し、現在のオペレータ適切距離よりも長い値をオペレータ適切距離として設定する。
Further, the
次に、サーバ３０（制御手段３１）の動作の詳細について説明する。 Next, details of the operation of the server 30 (control means 31) will be described.
図５は、サーバ３０の動作の一例を示すフローチャートである。
FIG. 5 is a flowchart illustrating an example of the operation of the
まず、サーバ３０は、テレプレゼンスロボット２０の測距センサ２５の測定値（センサ値）が安定しているか否かを判定する（ステップＳ１０１）。
First, the
測距センサ２５のセンサ値が安定していないと判定した場合には（ステップＳ１０１：Ｎｏ）、サーバ３０は、ステップＳ１０１の処理を繰り返す。
When it is determined that the sensor value of the
測距センサ２５のセンサ値が安定していると判定した場合には（ステップＳ１０１：Ｙｅｓ）、サーバ３０は、測距センサ２５により測定された現在の対面距離が制御距離より大きいか否かを判定する（ステップＳ１０２）。
When it is determined that the sensor value of the
現在の対面距離が制御距離より大きくないと判定した場合には（ステップＳ１０２：Ｎｏ）、サーバ３０は、対面距離が大きくなるようにテレプレゼンスロボット２０を移動させる旨を示す移動指示信号をテレプレゼンスロボット２０に送信し、テレプレゼンスロボット２０を現地対話者から離す。また、テレプレゼンスロボット２０を現地対話者から離すことで、現地対話者にとっては、テレプレゼンスロボット２０の映像表示部の表示が小さくなり見にくくなるので、サーバ３０は、映像表示部の表示映像を拡大させる（ステップＳ１０３）。なお、テレプレゼンスロボット２０の移動量および映像表示部の表示映像の拡大量は予め設定された値である。
If it is determined that the current facing distance is not greater than the control distance (step S102: No), the
次に、サーバ３０は、対面距離が伸びたか否かを判定する（ステップＳ１０４）。
Next, the
対面距離が伸びたと判定した場合には（ステップＳ１０４：Ｙｅｓ）、すなわち、現地対話者がテレプレゼンスロボット２０に向かって移動していない場合には、現地対話者は、映像表示部の表示が見にくいということが無いため、その場にとどまっていると考えられる。そのため、サーバ３０は、調整動作を終え、ステップＳ１０２の処理に戻る。
If it is determined that the facing distance has increased (step S104: Yes), that is, if the local talker is not moving toward the
対面距離が伸びていないと判定した場合には（ステップＳ１０４：Ｎｏ）、すなわち、現地対話者がテレプレゼンスロボット２０に向かって移動している場合には、現地対話者は、映像表示部の表示が見にくく、テレプレゼンスロボット２０に向かって移動していると考えられる。そこで、サーバ３０は、テレプレゼンスロボット２０の映像表示部の表示映像の映像サイズの調整（映像の拡大）が可能であるか否かを判定する（ステップＳ１０５）。
When it is determined that the facing distance is not extended (step S104: No), that is, when the local talker is moving toward the
テレプレゼンスロボット２０の映像表示部の表示映像の映像サイズの調整が可能であると判定した場合には（ステップＳ１０５：Ｙｅｓ）、サーバ３０は、ステップＳ１０３におけるテレプレゼンスロボット２０の位置および映像表示部の表示映像の映像サイズの調整を所定回数だけ試行したか否かを判定する（ステップＳ１０６）。
When it is determined that the video size of the video displayed on the video display unit of the
ステップＳ１０３における調整を所定回数だけ試行していないと判定した場合には（ステップＳ１０６：Ｎｏ）、サーバ３０は、ステップＳ１０３の処理に戻る。
If it is determined that the adjustment in step S103 has not been attempted a predetermined number of times (step S106: No), the
テレプレゼンスロボット２０の映像表示部の表示映像の映像サイズの調整が可能でないと判定した場合（ステップＳ１０５：Ｎｏ）、および、ステップＳ１０３における調整を所定回数だけ試行したと判定した場合には（ステップＳ１０６：Ｙｅｓ）、サーバ３０は、後述するステップＳ１０７の処理に進む。
When it is determined that the video size of the video displayed on the video display unit of the
現在の対面距離が制御距離より大きいと判定した場合には（ステップＳ１０２：Ｙｅｓ）、サーバ３０は、オペレータから対面距離を更に離す旨が入力されたか否かを判定する（ステップＳ１０７）。なお、対面距離を更に離す旨の入力としては、上述したように、遠隔操作端末１０の「−」キーの押下、オペレータの姿勢が後ろに引くように変化したことなどがある。
When it is determined that the current facing distance is greater than the control distance (step S102: Yes), the
対面距離を更に離す旨が入力されたと判定した場合には（ステップＳ１０７：Ｙｅｓ）、サーバ３０は、テレプレゼンスロボット２０の映像表示部の表示映像の映像サイズの調整が可能であるか否かを判定する（ステップＳ１０８）。
If it is determined that the fact that the facing distance is further separated is input (step S107: Yes), the
テレプレゼンスロボット２０の映像表示部の表示映像の映像サイズの調整が可能であると判定した場合には（ステップＳ１０８：Ｙｅｓ）、サーバ３０は、対面距離が大きくなるようにテレプレゼンスロボット２０を移動させる旨を示す移動指示信号をテレプレゼンスロボット２０に送信し、テレプレゼンスロボット２０を現地対話者から離す。また、サーバ３０は、テレプレゼンスロボット２０の映像表示部の表示映像の映像サイズを変更（例えば、拡大）する（ステップＳ１０９）。
If it is determined that the video size of the video displayed on the video display unit of the
対面距離を更に離す旨が入力されていないと判定した場合には（ステップＳ１０７：Ｎｏ）、サーバ３０は、対面距離を近づける旨が入力されたか否かを判定する（ステップＳ１１０）。なお、対面距離を近づける旨の入力としては、上述したように、遠隔操作端末１０の「＋」キーの押下、オペレータの姿勢が前のめりに変化したことなどがある。
When it is determined that the fact that the facing distance is further separated is not input (step S107: No), the
対面距離を近づける旨が入力されていないと判定した場合には（ステップＳ１１０：Ｎｏ）、サーバ３０は、ステップＳ１０１の処理に戻る。
If it is determined that the fact that the facing distance is to be reduced is not input (step S110: No), the
テレプレゼンスロボット２０の映像表示部の表示映像の映像サイズの調整が可能でないと判定した場合（ステップＳ１０８：Ｎｏ）、および、対面距離を近づける旨が入力されたと判定した場合には（ステップＳ１１０：Ｙｅｓ）、サーバ３０は、遠隔操作端末１０の映像表示部の表示映像の映像サイズの調整が可能であるか否かを判定する（ステップＳ１１１）。
When it is determined that the image size of the display image on the image display unit of the
遠隔操作端末１０の映像表示部の表示映像の映像サイズの調整が可能でないと判定した場合には（ステップＳ１１１：Ｎｏ）、サーバ３０は、ステップＳ１０１の処理に戻る。
When it is determined that the video size of the display video on the video display unit of the
遠隔操作端末１０の映像表示部の表示映像の映像サイズの調整が可能であると判定した場合には（ステップＳ１１１：Ｙｅｓ）、サーバ３０は、遠隔操作端末１０の映像表示部の表示映像の映像サイズを変更（拡大）する（ステップＳ１１２）。なお、対面距離を近づける旨が入力された場合には、オペレータは、現地対話者の映像の拡大を要求していると考えられる。この場合、テレプレゼンスロボット２０を現地対話者に近づけることで、現地対話者の映像の拡大させることも考えられる。しかしながら、テレプレゼンスロボット２０を現地対話者に近づけると、対面距離が制御距離以下となることもある。そのため、サーバ３０は、遠隔操作端末１０の映像表示部の表示映像を拡大させることで、見かけ上の対面距離をオペレータ最適距離に近づけ、より適切な状況でオペレータが映像を見ることができるようにする。
When it is determined that the video size of the display video on the video display unit of the
図５においては、サーバ３０は、制御距離、現地対話者適切距離およびオペレータ適切距離を考慮して、対面距離と、遠隔操作端末１０およびテレプレゼンスロボット２０それぞれの映像表示部の表示とを調整する例を用いて説明したが、これに限られるものではない。
In FIG. 5, the
図６は、サーバ３０が、制御距離および現地対話者適切距離を考慮して、対面距離およびテレプレゼンスロボット２０の映像表示部の表示の調整を行う場合の動作を示すフローチャートである。なお、図６において、図５と同様の処理については同じ符号を付し、説明を省略する。
FIG. 6 is a flowchart illustrating an operation in the case where the
現在の対面距離が制御距離より大きくなく（ステップＳ１０２：Ｎｏ）、テレプレゼンスロボット２０を移動させても対面距離が伸びていないと判定した場合には（ステップＳ１０４：Ｎｏ）、サーバ３０は、ステップＳ１０３における調整を所定回数だけ試行したか否かを判定する（ステップＳ２０１）。
If the current facing distance is not greater than the control distance (step S102: No) and it is determined that the facing distance has not increased even if the
ステップＳ１０３における調整を所定回数だけ試行していないと判定した場合には（ステップＳ２０１：Ｎｏ）、サーバ３０は、ステップＳ１０３の処理に戻る。
If it is determined that the adjustment in step S103 has not been tried a predetermined number of times (step S201: No), the
一方、現在の対面距離が制御距離より大きいと判定した場合（ステップＳ１０２：Ｙｅｓ）、および、ステップＳ１０３における調整を所定回数だけ試行したと判定した場合には（ステップＳ２０１：Ｙｅｓ）、サーバ３０は、ステップＳ１０１の処理に戻る。
On the other hand, when it is determined that the current facing distance is greater than the control distance (step S102: Yes), and when it is determined that the adjustment in step S103 has been attempted a predetermined number of times (step S201: Yes), the
図５および図６においては、サーバ３０は、制御距離を考慮して、対面距離および表示の調整を行う場合の動作について説明したが、これに限られるものではない。対面距離を制御距離より大きくする必要が必ずしも無い場合には、制御距離を考慮せず、オペレータ適切距離および現地対話者適切距離だけを考慮して、対面距離および表示の調整を行ってもよい。図７は、制御距離を考慮しない場合のサーバ３０の動作を示すフローチャートである。
5 and 6, the
まず、サーバ３０は、対面距離を離す旨あるいは対面距離を縮める旨のオペレータ入力があるか否かを判定する（ステップＳ３０１）。なお、対面距離を更に離す旨の入力としては、上述したように、遠隔操作端末１０の「−」キーの押下、オペレータの姿勢が後ろに引くように変化したことなどがある。また、対面距離を近づける旨の入力としては、上述したように、遠隔操作端末１０の「＋」キーの押下、オペレータの姿勢が前のめりに変化したことなどがある。
First, the
オペレータ入力が無い場合には（ステップＳ３０１：Ｎｏ）、サーバ３０は、ステップＳ３０１の処理を繰り返す。
When there is no operator input (step S301: No), the
オペレータ入力がある場合には（ステップＳ３０１：Ｙｅｓ）、サーバ３０は、テレプレゼンスロボット２０の映像表示部の表示映像の映像サイズの調整が可能であるか否かを判定する（ステップＳ３０２）。
If there is an operator input (step S301: Yes), the
テレプレゼンスロボット２０の映像表示部の表示映像の映像サイズの調整が可能であると判定した場合には（ステップＳ３０２：Ｙｅｓ）、サーバ３０は、後述するステップＳ３０４における調整を所定回数だけ試行したか否かを判定する（ステップＳ３０３）。
If it is determined that the video size of the video displayed on the video display unit of the
ステップＳ３０４における調整を所定回数だけ試行していないと判定すると（ステップＳ３０３：Ｎｏ）、サーバ３０は、対面距離を離す（対面距離を縮める）旨が入力された場合には、テレプレゼンスロボット２０と現地対話者との距離を離す（縮める）とともに、テレプレゼンスロボット２０の映像表示部の映像表示を拡大（縮小）する（ステップＳ３０４）。
If it is determined that the adjustment in step S304 has not been attempted a predetermined number of times (step S303: No), the
次に、サーバ３０は、対面距離を離す（対面距離を縮める）旨が入力された場合には、対面距離が伸びたか否か（縮んだか否か）を判定する（ステップＳ３０５）。
Next, the
対面距離が伸びていない（縮んでいない）と判定した場合には（ステップＳ３０５：Ｎｏ）、サーバ３０は、ステップＳ３０２の処理に戻る。
When it is determined that the facing distance is not extended (not contracted) (step S305: No), the
テレプレゼンスロボット２０の映像表示部の表示映像の映像サイズの調整が可能でないと判定した場合（ステップＳ３０２：Ｎｏ）、および、ステップＳ３０４における調整を所定回数だけ試行したと判定した場合には（ステップＳ３０３：Ｙｅｓ）、サーバ３０は、遠隔操作端末１０の映像表示部の表示映像の映像サイズの調整が可能であるか否かを判定する（ステップＳ３０６）。
When it is determined that the video size of the display video on the video display unit of the
遠隔操作端末１０の映像表示部の表示映像の映像サイズの調整が可能でないと判定した場合には（ステップＳ３０６：Ｎｏ）、サーバ３０は、ステップＳ３０１の処理に戻る。
When it is determined that the video size of the display video on the video display unit of the
遠隔操作端末１０の映像表示部の表示映像の映像サイズの調整が可能であると判定した場合には（ステップＳ３０６：Ｙｅｓ）、サーバ３０は、遠隔操作端末１０の映像表示部の表示映像の映像サイズを変更（拡大あるいは縮小）し（ステップＳ３０７）、ステップＳ３０１の処理に戻る。
When it is determined that the video size of the display video on the video display unit of the
なお、図７においては、テレプレゼンスロボット２０の映像表示部の表示映像の映像サイズを調整した後に、遠隔操作端末１０の映像表示部の表示映像の映像サイズを調整する例を用いて説明したが、これに限られるものではない。遠隔操作端末１０の映像表示部の表示映像の映像サイズを調整した後に、テレプレゼンスロボット２０の映像表示部の表示映像の映像サイズを調整してもよい。
In FIG. 7, the description has been given using an example in which the video size of the display video of the video display unit of the
また、本実施形態においては、サーバ３０が制御手段３１を備える例を用いて説明したが、これに限られるものではなく、遠隔操作端末１０あるいはテレプレゼンスロボット２０が制御手段３１を備えていてもよい。
In the present embodiment, the
このように、本実施形態に係るコミュニケーションシステム１は、映像表示部と映像撮影部とを有する遠隔操作端末１０（第２の対話端末）と、映像表示部と映像撮影部と移動機構とを有するテレプレゼンスロボット２０（第１の対話端末）とを備え、各対話装置の映像撮影部の撮影映像を他方の対話装置の映像表示部に表示させる。さらに、コミュニケーションシステム１は、テレプレゼンスロボット２０と現地対話者との間の距離である対面距離が所定距離以上となり、かつ、各対話装置の映像表示部の表示映像が、現地対話者およびオペレータそれぞれにとって適した表示となるように、移動機構によるテレプレゼンスロボット２０の移動と、遠隔操作端末１０およびテレプレゼンスロボット２０それぞれの映像表示部の表示と、を制御する制御手段３１を備える。
As described above, the
そのため、テレプレゼンスロボット２０と現地対話者との間に、所定距離（現地対話者がテレプレゼンスロボット２０に直接触れることができない距離）以上の間隔を確保することができるので、オペレータによる対話装置（テレプレゼンスロボット２０）の制御を確保することができる。また、遠隔操作端末１０およびテレプレゼンスロボット２０それぞれの映像表示部による表示が、現地対話者およびオペレータそれぞれにとって適した表示となるので、対話の当事者双方が、より適切な状況で映像を見ながらコミュニケーションを図ることができる。
For this reason, an interval equal to or greater than a predetermined distance (a distance at which the local talker cannot directly touch the telepresence robot 20) can be secured between the
本発明を図面および実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形または修正を行うことが容易であることに注意されたい。したがって、これらの変形または修正は本発明の範囲に含まれることに留意されたい。例えば、各ブロックあるいはステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数のブロックあるいはステップを１つに組み合わせたり、或いは分割したりすることが可能である。 Although the present invention has been described based on the drawings and embodiments, it should be noted that those skilled in the art can easily make various variations or modifications based on the present disclosure. Therefore, it should be noted that these variations or modifications are included in the scope of the present invention. For example, functions included in each block or step can be rearranged so as not to be logically contradictory, and a plurality of blocks or steps can be combined into one or divided.
１ コミュニケーションシステム
１０ 遠隔操作端末
２０ テレプレゼンスロボット
２１ 映像表示部
２２ 映像撮影部
２３ 通信装置
２４ 台車型装置
２５ 測距センサ
３０ サーバ
３１ 制御手段
DESCRIPTION OF
Claims (3)
前記第１の対話装置は、移動機構をさらに有し、
前記第１の対話装置側の第１の対話者と前記第１の対話装置との間の距離である対面距離が所定距離以上となり、かつ、前記第１の対話装置および前記第２の対話装置それぞれの映像表示部の表示映像が、前記第１の対話者および前記第２の対話装置側の第２の対話者それぞれにとって適した表示となるように、前記移動機構による前記第１の対話装置の移動と、前記第１の対話装置および前記第２の対話装置それぞれの映像表示部の表示とを制御する制御手段を備えることを特徴とするコミュニケーションシステム。 A first interactive device and a second interactive device each having a video display unit and a video photographing unit, and the other interactive device displays a video image taken by the respective video photographing units of the first interactive device and the second interactive device. A communication system to be displayed on the video display section of
The first interactive apparatus further includes a moving mechanism,
The facing distance, which is the distance between the first interactive person on the first interactive apparatus side and the first interactive apparatus, is equal to or greater than a predetermined distance, and the first interactive apparatus and the second interactive apparatus The first interactive device by the moving mechanism so that the display video of each video display unit is a display suitable for the first interactive person and the second interactive person on the second interactive device side. And a control means for controlling the movement of the first display device and the display of the video display section of each of the first dialog device and the second dialog device.
前記制御手段は、前記第１の対話装置を移動させた後、前記対面距離が縮まらない場合には、前記第１の対話装置の映像表示部の表示が前記第１の対話者にとって適切であると判定することを特徴とするコミュニケーションシステム。 The communication system according to claim 1,
If the facing distance is not reduced after moving the first interactive device, the control means is suitable for the first interactive person to display the video display unit of the first interactive device. A communication system characterized by judging.
前記第１の対話装置側の第１の対話者と前記第１の対話装置との間の距離である対面距離が所定距離以上となり、かつ、前記第１の対話装置および前記第２の対話装置それぞれの映像表示部の表示映像が、前記第１の対話者および前記第２の対話装置側の第２の対話者それぞれにとって適した表示となるように、前記移動機構による前記第１の対話装置の移動と、前記第１の対話装置および前記第２の対話装置それぞれの映像表示部の表示とを制御するステップを含む制御方法。 A first interactive device having a video display unit, a video photographing unit, and a moving mechanism, and a second interactive device having a video display unit and a video photographing unit, the first interactive device and the second interactive device A communication system control method for displaying a video image of a video image capturing unit of each device on a video display unit of the other interactive device,
The facing distance, which is the distance between the first interactive person on the first interactive apparatus side and the first interactive apparatus, is equal to or greater than a predetermined distance, and the first interactive apparatus and the second interactive apparatus The first interactive device by the moving mechanism so that the display video of each video display unit is a display suitable for the first interactive person and the second interactive person on the second interactive device side. And a control method including a step of controlling the movement of the first interactive device and the display of the video display unit of each of the first interactive device and the second interactive device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015090765A JP6352217B2 (en) | 2015-04-27 | 2015-04-27 | Communication system and control method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015090765A JP6352217B2 (en) | 2015-04-27 | 2015-04-27 | Communication system and control method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016208416A JP2016208416A (en) | 2016-12-08 |
| JP6352217B2 true JP6352217B2 (en) | 2018-07-04 |
Family
ID=57490692
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015090765A Active JP6352217B2 (en) | 2015-04-27 | 2015-04-27 | Communication system and control method thereof |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6352217B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11766789B2 (en) | 2020-12-22 | 2023-09-26 | Toyota Jidosha Kabushiki Kaisha | Shooting system, shooting method therefor, and program |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6817557B2 (en) * | 2017-05-22 | 2021-01-20 | パナソニックＩｐマネジメント株式会社 | Communication control method, communication control device, and communication control program |
| JP6788845B2 (en) * | 2017-06-23 | 2020-11-25 | パナソニックＩｐマネジメント株式会社 | Remote communication methods, remote communication systems and autonomous mobile devices |
| JP7106097B2 (en) * | 2018-05-30 | 2022-07-26 | 東京都公立大学法人 | telepresence system |
| JP7402145B2 (en) * | 2020-11-13 | 2023-12-20 | 本田技研工業株式会社 | Remote control systems, mobile robots, and operating terminals |
-
2015
- 2015-04-27 JP JP2015090765A patent/JP6352217B2/en active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11766789B2 (en) | 2020-12-22 | 2023-09-26 | Toyota Jidosha Kabushiki Kaisha | Shooting system, shooting method therefor, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016208416A (en) | 2016-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6352217B2 (en) | Communication system and control method thereof | |
| US10404921B2 (en) | Zoom input and camera information | |
| EP3062196B1 (en) | Method and apparatus for operating and controlling smart devices with hand gestures | |
| CN108184070B (en) | Shooting method and terminal | |
| JP6071866B2 (en) | Display control device, display device, imaging system, display control method, and program | |
| US9652823B2 (en) | Method and terminal device for controlling display of video image | |
| CN111093023B (en) | Video shooting method and electronic equipment | |
| EP3197148A1 (en) | Method for controlling motions and actions of an apparatus including an image capture device | |
| KR20140089146A (en) | Method for providing video communication and an electronic device thereof | |
| WO2012088800A1 (en) | Method, device and system for displaying pictures in display terminal | |
| WO2014027567A1 (en) | Image processing system, image processing method, and program | |
| CN111966314A (en) | Image projection method, image projection device, mobile terminal and projection equipment | |
| JP2016009023A (en) | Information processing device, display control device, control methods therefor, system, and program | |
| JP5871779B2 (en) | Camera system | |
| JP6367759B2 (en) | Display image zoom terminal, display image zoom method, and display image zoom program | |
| WO2020000393A1 (en) | Image processing method and apparatus, first electronic device, and image processing system | |
| US10298884B2 (en) | System and method of precision remote PTZ control of IP cameras | |
| US10877648B2 (en) | Client device, monitoring system, method for displaying images on a screen and computer program | |
| US8943411B1 (en) | System, method, and computer program for displaying controls to a user | |
| CN106527442B (en) | Balance car control system | |
| JP6001140B2 (en) | Information processing apparatus and information processing method | |
| CN110955328B (en) | Control method and device of electronic equipment and storage medium | |
| US10992868B2 (en) | Electronic device, image display method, non- transitory computer-readable recording medium storing program, and image capturing system | |
| JP5769527B2 (en) | Information processing apparatus and information processing method | |
| JP2015228549A (en) | Information processing device for controlling camera, method therefor, program and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170623 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180523 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180605 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180606 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6352217 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |