JP2017147555A - 情報端末、プログラム、通信制御方法、通信システム - Google Patents

情報端末、プログラム、通信制御方法、通信システム Download PDF

Info

Publication number
JP2017147555A
JP2017147555A JP2016027022A JP2016027022A JP2017147555A JP 2017147555 A JP2017147555 A JP 2017147555A JP 2016027022 A JP2016027022 A JP 2016027022A JP 2016027022 A JP2016027022 A JP 2016027022A JP 2017147555 A JP2017147555 A JP 2017147555A
Authority
JP
Japan
Prior art keywords
information terminal
terminal
information
communication
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016027022A
Other languages
English (en)
Inventor
厚 小久保
Atsushi Kokubo
厚 小久保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2016027022A priority Critical patent/JP2017147555A/ja
Priority to US15/377,523 priority patent/US20170237938A1/en
Priority to EP17155174.0A priority patent/EP3214835A1/en
Publication of JP2017147555A publication Critical patent/JP2017147555A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1615Programme controls characterised by special kind of manipulator, e.g. planar, scara, gantry, cantilever, space, closed chain, passive/active joints and tendon driven manipulators
    • B25J9/162Mobile manipulator, movable base with manipulator arm mounted on it
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1689Teleoperation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N2007/145Handheld terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Function (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

【課題】機器に搭載された場合でも画像又は音声の品質低下を抑制できる情報端末を提供すること。【解決手段】所定の機器に搭載され、前記機器の操作を受け付ける第二の情報端末10Aと通信する情報端末10Bであって、前記機器の周囲を撮像して第一の画像データを生成する第一の撮像手段14と、前記第一の画像データを前記第二の情報端末に送信する送信手段11と、前記操作に応じて前記機器の動作状態を判断する動作状態判断手段32と、前記動作状態に応じて前記送信手段による前記第一の画像データの送信及び停止を制御するか、又は、前記第一の撮像手段とは異なる第二の撮像手段が前記機器の周囲を撮像して生成した第二の画像データの送信及び停止を制御する画像データ送信制御手段33と、を有する。【選択図】図12

Description

本発明は、情報端末、プログラム、通信制御方法及び通信システムに関する。
インターネットやLAN(Local Area Network)等の通信ネットワークを介して、複数の拠点の間で情報端末を用いてテレビ会議を行うテレビ会議システムが普及している。
また、遠隔地のユーザが遠隔操作によりロボットを制御する技術が知られている(例えば、特許文献1参照)。特許文献1に記載の技術によれば、ユーザは遠隔ステーションから遠隔操作によりロボットを移動させることができる。
ロボットに情報端末Bを搭載しておけば、例えば在宅勤務する社員Aが情報端末Aでロボットを操作して社内の社員Bの近くまで移動させ、情報端末Bが取得した社員Bの表情を情報端末Aで確認したりし自分の表情を情報端末Bに表示させながら社員Bと会話することができる。つまり、簡易的な会議を行うことができる。このような用途に適したロボットはテレプレゼンスロボットと呼ばれる。
テレプレゼンスロボットに搭載される情報端末Bはカメラを有しており、このカメラが撮像した画像をテレプレゼンスロボットの操作者(社員A)が自分の情報端末Aで見てテレプレゼンスロボットを操作する。しかし、カメラの画角には限界があるため、多方面の画像を見ながら操作者(社員A)がより容易かつ安全にテレプレゼンスロボットを制御することが困難であった。
そこで、テレプレゼンスロボットに情報端末Bとは別のカメラを搭載することが検討される。情報端末Bとこの別のカメラはそれぞれ個別に情報端末Aに画像を送信するので、操作者(社員A)は多方面の画像を見ながら容易かつ安全にテレプレゼンスロボットを操作することができる。しかしながら、情報端末Bと別のカメラが個別に通信帯域を使用して画像を操作者(社員A)の情報端末Aに送信するため通信帯域が圧迫される場合がある。この場合、情報端末Bが送信する画像と音声の品質が低下したり、操作者(社員A)の情報端末Aが取得し情報端末Bに送信される画像と音声の品質が低下したりするという問題がある。
本発明は、上記課題に鑑み、機器に搭載された場合でも画像又は音声の品質低下を抑制できる情報端末を提供することを目的とする。
本発明は、所定の機器に搭載され、前記機器の操作を受け付ける第二の情報端末と通信する情報端末であって、前記機器の周囲を撮像して第一の画像データを生成する第一の撮像手段と、前記第一の画像データを前記第二の情報端末に送信する送信手段と、前記操作に応じて前記機器の動作状態を判断する動作状態判断手段と、前記動作状態に応じて前記送信手段による前記第一の画像データの送信及び停止を制御するか、又は、前記第一の撮像手段とは異なる第二の撮像手段が前記機器の周囲を撮像して生成した第二の画像データの送信及び停止を制御する画像データ送信制御手段と、を有する。
機器に搭載された場合でも画像又は音声の品質低下を抑制できる情報端末を提供することができる。
通信システムの概略構成図の一例等である。 移動装置に複数のカメラが搭載された通信システムの概略構成図の一例である。 通信システムの構成例を示す図である。 情報端末のハードウェア構成例を示す図である。 通信管理システムのハードウェア構成例を示す図である。 移動装置のハードウェア構成例を示す図である。 通信システムの機能構成例を示す図である。 通信システムの通信の準備段階の処理の例を示すシーケンス図である。 情報端末に表示される宛先選択画面の一例を示す図である。 通信システムの通信処理の例を示すシーケンス図である。 動作状態の判断方法を模式的に説明する図の一例である。 サブ端末が画像と音声の送信を停止する手順を示すシーケンス図の一例である。 動作状態の判断方法を模式的に説明する図の一例である。 サブ端末が画像と音声の送信を停止する手順を示すシーケンス図の一例である。 サブ端末が画像と音声の送信を停止する手順を示すシーケンス図の一例である。 サブ端末が表示部に情報端末からの画像を表示することが好ましいユースケースを説明する図の一例である。 サブ端末が画像と音声の送信を停止する手順を示すシーケンス図の一例である。
以下、本発明を実施するための形態について図面を参照しながら説明する。
<テレプレゼンスロボットを用いた会議について>
図1(a)は、テレプレゼンスロボットを用いた通信システムの概略構成図の一例を示す。社内801にテレプレゼンスロボット(以下、単に移動装置20という)が配置されており、自宅802に操作者810が存在している。移動装置20には情報端末10Bが配置されており、操作者810は情報端末10Aを有している。
情報端末10A、10Bはそれぞれカメラとマイクを有しており互いに画像と音声を送受信する。また、情報端末10Aでは移動装置20の移動などに関する操作を受け付けるアプリが動作しており、操作者810は情報端末10Bが送信する画像を確認しながら操作指示を入力する。操作者810が入力した操作指示は情報端末10Aから情報端末10Bに送信される。
情報端末10Bと移動装置20はBluetooth(登録商標)などの近距離無線で通信でき、情報端末10Bは操作指示に基づいて移動装置20を制御するので、操作者810は遠隔地(自宅)から移動装置20を移動させることができる。
このようにして移動装置20を移動させることで、図1(b)に示すように、操作者810は所望の相手820と会話することができる。図1(b)では、操作者810はAさん820aの場所まで移動装置20を移動させてAさんと会話し、次に、Bさん820bの場所まで移動装置20を移動させてBさんと会話している。
しかし、情報端末10Aのカメラが1つだと操作者810が移動装置20の周囲の状況を確認しづらい。そこで、移動装置20に搭載されるカメラの数を増やすことが検討される。
図2は移動装置20に複数のカメラが搭載された通信システムの概略構成図の一例を示す。図2では移動装置20にカメラとして3つの情報端末10B1〜10B3が搭載されている。なお、情報端末10B2は説明のため情報端末10B1と並んで記載されているが、実際の情報端末10B2は情報端末10B1と背中合わせになっている。
情報端末10B1〜10B3はそれぞれカメラを有するため、情報端末10Aには3つの画像C1〜C3が表示される。情報端末10B1〜10B3のカメラは、例えば、前方、後方、及び、下方を撮像するように配置されている。従って、操作者810が移動装置20の周囲の状況を確認しながら移動装置20を移動させることができる。
しかし、一方で、情報端末10B1〜10B3はそれぞれカメラが撮像した画像C1〜C3を情報端末10Aに送信しようとするため通信帯域が圧迫され、情報端末10Aに送信されるまでに画像C1〜C3の画質や音声が劣化する(例えば、画像がフリーズする、画像の一部が欠落する、遅延が生じるなど)場合がある。情報端末10Aが情報端末10B1〜10B3にそれぞれ画像を送信する場合はさらに画像C1〜C3の画質や音声が劣化しやすい。
そこで、本実施形態の情報端末10B2、10B3は、移動装置20が停止した場合、カメラが撮像した画像C2,C3及び情報端末10B2、10B3が取得した音声の送信を停止する。移動装置20が停止する場合は、多方面の画像の必要性が低下するので、情報端末10B2、10B3が画像C2,C3の送信を停止しても不都合が生じにくい。また、情報端末10B1は画像C1と音声の送信を継続するので、操作者810は相手820の表情を確認しながら会話することができる。従って、本実施形態の通信システム1は、移動装置20の移動中、操作者810が移動装置20の周囲を確認しながら移動装置20を操作させることができ、移動装置20が停止すると操作者810は良好な品質の画像と音声で相手820と会話できる。
<用語について>
操作者810は移動装置20を操作する者である。操作者810は情報端末10Aを使用するユーザでもあるが、本実施形態では操作者と称する。
会話の相手820は社内などの人であるが、犬や猫などの動物でもよい。また、移動装置20は、操作者810が相手と話すために使用されなくてもよい。例えば、移動装置20が社内などをパトロールするような場合、情報端末10Bは画像や音声を情報端末10Aに送信すればよく、操作者が会話しない場合がある。
移動装置20が移動する場所は社内に限られず、建物の屋内、電車や船などの内部など移動装置20が移動可能な場所であればよい。また、屋内に限られず公園などの屋外、水中、空中などを移動してもよい。また、操作者がいる場所も自宅等には限られない。
<システム構成例>
図3は、一実施形態に係る通信システムの構成例を示す図である。通信システム1は、複数の情報端末(10A,10B,10C,10D,10E)、移動装置20、中継装置30、及び、通信管理システム50等を有する。なお、以下の説明の中で、複数の情報端末(10A,10B,10C,10D,10E)のうち、任意の情報端末を示す場合「情報端末10」を用いる。また、図3の情報端末10の数は一例である。
情報端末10、中継装置30、通信管理システム50は、それぞれ、通信ネットワーク2を介して、他の情報端末、装置、システムとの間で通信可能に接続されている。通信ネットワーク2は、例えば、LAN(Local Area Network)、インターネット、携帯電話網、あるいは専用線等を含んでいてもよい。
情報端末10は、例えば、タブレット端末、スマートフォン、PC(Personal Computer)等の汎用の情報処理装置、又は専用のテレビ会議装置等の通信端末である。情報端末10は、他の1つ以上の情報端末との間で、例えば、画像データ、音声データ等を送受信することにより、例えば、テレビ会議等を行うことができる。
また、図3において、情報端末10B1〜B3は、移動装置20と無線又は有線で通信可能に接続されており、通信システム1に対応するアプリケーションプログラム(以下、アプリと呼ぶ)を実行することにより、情報端末10B1〜B3の少なくとも1つは移動装置20の走行機能を制御することができる。あるいは、情報端末10B1〜B3は、移動装置20と一体化された移動可能な情報端末10であっても良い。以下では、情報端末10B1〜B3のうち任意の情報端末10を情報端末10Bと称す。
情報端末10B1〜B3は、操作者が周囲を確認しやすい配置で移動装置に搭載されている。一例として、情報端末10B1は前方を撮像できるように配置され、情報端末10B2は後方を撮像できるように配置され、情報端末10B3は下方を撮像できるように配置されている。ただし、情報端末10B1〜B3の配置はこれに限れられない。また、情報端末10Bは2つでもよいし4つ以上でもよい。また、情報端末10B1〜B3のうち1台だけがディスプレイを有していれば他の情報端末10Bはカメラ機能だけを有していればよい。
他の情報端末10、例えば、情報端末10Aは、通信システム1に対応するアプリを実行することにより、情報端末10Bとテレビ会議を行うと共に、情報端末10Bを介して、移動装置20を遠隔操作することができる。例えば、情報端末10Aは、テレビ会議の表示画面に表示された操作ボタンを操作することにより、情報端末10Bを搭載した移動装置20を、例えば、前後、左右等に移動させることができる。
移動装置20は、移動装置20に取り付けられた情報端末10Bからの制御に応じて、例えば、複数の車輪を駆動することにより、「前進」、「後退」、「右旋回」、「左旋回」等の移動を行う走行機能を有する装置である。なお、図3に示す移動装置20の外観はあくまで一例である。移動装置20は、移動装置20に搭載された情報端末10Bからの操作指示に応じて、情報端末10Bと共に移動可能であればよい。なお、移動装置20は、情報端末10Bが制御する機器の一例である。
中継装置30は、例えば、情報処理装置、又は1つ以上の情報処理装置を含むシステムであり、複数の情報端末10間で送受信されるコンテンツデータを中継する。ただし、中継装置30を介することなく、複数の情報端末10が直接、コンテンツデータを送受信してもよい。
通信管理システム50は、例えば、情報処理装置、又は1つ以上の情報処理装置を含むシステムである。通信管理システム50は、例えば、情報端末10からのログイン認証、情報端末10の通信状況の管理、宛先リストの等の管理、及び複数の情報端末10間で中継装置30を介して通信を行うセッションの制御等を行う。
また、本実施形態では、通信管理システム50は、情報端末10B及び移動装置20を操作する権利である操作権を管理する。例えば、通信管理システム50は、情報端末10Bと同じセッション(例えばテレビ会議)に参加する複数の情報端末10のうち、情報端末10Bを操作できる情報端末10が1台以下となるように情報端末10Bの操作権を管理する。
一実施形態において、セッションは、中継装置30が、複数の情報端末10間で画像データ、及び音データ(音声その他の音)を含むコンテンツデータを中継することで実現される。
上記の構成において、例えば、情報端末10Aの操作者は、情報端末10Bと通信を行い、情報端末10B及び移動装置20を遠隔操作により移動させることができる。これにより、情報端末10Aの操作者は、情報端末10B及び移動装置20を任意の会話相手の近くに移動させて、テレビ会議等を行うことができる。
また、情報端末10Aの操作者が移動装置20の操作に慣れていない場合、情報端末10Aの操作者は、例えば、移動装置20の操作に慣れている情報端末10Cのユーザにテレビ会議への参加を要請し、テレビ会議で移動装置20の操作を依頼することができる。
さらに、本実施形態では、通信管理システム50は操作権を管理し、例えば、操作権を有する情報端末10Aから、情報端末10Cに操作権を譲渡することができる。
このように、本実施形態に係る通信システムによれば、移動装置20を制御可能な情報端末10Bを含む通信システム1において、情報端末10Aの操作者が、情報端末10Cのユーザに移動装置20の操作を、容易に依頼することができるようになる。
なお、本実施形態では、コミュニケーションシステムの一例としてのビデオ会議システム、コミュニケーション管理システムの一例としてのテレビ会議管理システム、及びコミュニケーション情報端末の一例としてのテレビ会議端末を想定し、通信システム1、通信管理システム50、及び情報端末10について説明する。即ち、情報端末10及び通信管理システム50は、テレビ会議システムに適用されるだけでなく、他のコミュニケーションシステムにも適用される。例えば、通信システム1は電話システムであり、情報端末10は、IP(Internet Protocol)電話機、インターネット電話機、PC(Personal Computer)、ノートPC、スマートフォンやタブレット端末等のモバイル端末等であっても良い。
なお、実施形態において、「テレビ会議」は、「ビデオ会議」と置き換え可能に用いられる。
<ハードウェア構成>
(情報端末のハードウェア構成)
図4は、本発明の一実施形態に係る情報端末のハードウェア構成例を示す図である。情報端末10は、一般的なコンピュータの構成を含み、例えば、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103、フラッシュメモリ104、及びSSD(Solid State Drive)105等を有する。また、情報端末10は、メディアI/F(Interface)107、入力部108、表示部109、ネットワークI/F111、カメラ112、撮像素子I/F113、マイク114、スピーカ115、及び音声入出力I/F116等を有する。さらに、情報端末10は、外部機器接続I/F117、近距離無線通信部118、及びバス119等を有する。
CPU101は、例えば、ROM102や、フラッシュメモリ104等からプログラムやデータを読出し、処理を実行することで、情報端末10が備える各機能を実現する演算装置である。ROM102は、IPL(Initial Program Loader)等のCPU101の起動に用いられるプログラム等を予め記憶した不揮発性のメモリである。RAM103は、CPU101のワークエリア等として利用される揮発性のメモリである。
フラッシュメモリ104は、例えば、OS(Operating System)、アプリケーションプログラム、及び各種のデータ等を記憶するストレージデバイスである。SSD105は、CPU101の制御に従ってフラッシュメモリ104に対する各種データの読み出し、書き込みを制御する。メディアI/F107は、例えば、メモリカード等の記録媒体である記録メディア106に対するデータの読み出し又は書き込み(記憶)を制御する。
入力部108は、例えば、タッチパネル、キーボード、ポインティングデバイス等のユーザからの入力操作を受け付けるための入力装置である。表示部109は、ユーザに向けた各種の表示を行う表示装置である。なお、入力部108、及び表示部109は、例えば、タッチパネルとディスプレイが一体化されたタッチパネルディスプレイ等の表示入力部110であっても良い。
ネットワークI/F111は、情報端末10が通信ネットワーク2を利用してデータを送信したり受信したりするための通信インタフェースである。カメラ112は、CPU101の制御に従って被写体を撮像するための撮像素子を含む。撮像素子I/F113は、カメラ112による撮像を制御すると共に、撮像したデータを所定の画像データに変換する。マイク114は、収音した音声を電気信号に変換する。スピーカ115は、音声信号を音声に変換して出力する。音声入出力I/F116は、マイク114及びスピーカ115による音声の入出力を制御する。
外部機器接続I/F117は、例えば、USB(Universal Serial Bus)等の外部機器を接続するためのインタフェースである。外部機器には、例えば、図3の移動装置20等が含まれる。
近距離無線通信部118は、例えば、Bluetooth(登録商標)や、Bluetooth(登録商標) Low Energy等の近距離無線通信により、外部機器(例えば移動装置20)と通信するための通信インタフェースである。バス119は、上記の各構成に共通に接続され、アドレス信号、データ信号、及び各種の制御信号等を伝達する。
(通信管理システム、中継装置のハードウェア構成)
図5は、一実施形態に係る通信管理システムのハードウェア構成例を示す図である。通信管理システム50は、一般的なコンピュータの構成を有しており、例えば、CPU501、ROM502、RAM503、HD504、HDD(Hard Disk Drive)505、メディアドライブ507、及びディスプレイ508等を有する。また、通信管理システム50は、ネットワークI/F509、キーボード511、マウス512、CD−ROMドライブ514、及びバス510等を有する。
CPU501は、例えば、ROM502、HD504等に格納されたプログラムやデータを読出し、処理を実行することにより、通信管理システム50が備える各機能を実現する演算装置である。ROM502は、IPL等のCPU501の起動に用いられるプログラム等を予め記憶した不揮発性のメモリである。RAM503は、CPU501のワークエリア等として利用される揮発性のメモリである。
HD504は、例えば、OSや、アプリケーションプログラム等のプログラムや、各種のデータを記憶するストレージ装置である。HDD505は、CPU501の制御に従って、HD504に対する各種データの読み出し又は書き込みを制御する。ディスプレイ508は、例えば、カーソル、メニュー、ウィンドウ、文字、又は画像等の各種の情報を表示する表示装置である。
ネットワークI/F509は、通信ネットワーク2を利用してデータ通信を行うための通信インタフェースである。キーボード511は、ユーザによる文字、数値、各種指示などの入力操作を受け付けるための入力装置の一例である。マウス512は、ユーザによる各種指示の選択や実行、処理対象の選択、カーソルの移動等の操作を受け付けるポインティングデバイスの一例である。
メディアドライブ507は、例えば、メモリカード等の記録メディア506に対するデータの読み出しや、書き込み(記憶)を制御する。CD−ROMドライブ514は、着脱可能な記録媒体の一例としてのディスク513に対するデータの読み出し又は書き込みを制御する。バス510は、上記の各構成要素を電気的に接続し、アドレス信号、データ信号、及び各種の制御信号等を伝達する。
なお、上記のコンピュータのハードウェア構成はあくまで一例である。例えば、ディスプレイ508、キーボード511、マウス512等は、通信管理システム50の外部に外付けされているものであっても良い。
中継装置30は、通信管理システム50と同様のハードウェア構成を有しているものとする。なお、情報端末10、中継装置30、及び通信管理システム50用の各プログラムは、インストール可能な形式又は実行可能な形式のファイルによって、コンピュータで読み取り可能な記録メディアに記録されて流通されるようにしても良い。また、上記記録メディアの例として、CD−R(Compact Disc Recordable)、DVD(Digital Versatile Disk)、ブルーレイディスク等が挙げられる。また、各プログラムが記憶されたCD−ROM等の記録メディア、並びに、これらプログラムが記憶されたHD504は、プログラム製品(Program Product)として、国内又は国外へ提供されることができる。
(移動装置のハードウェア構成)
図6は、一実施形態に係る移動装置のハードウェア構成例を示す図である。移動装置20は、例えば、CPU401、RAM402、ROM403、外部機器I/F404、近距離無線通信部405、車輪駆動部406、操舵部407等を有する。
CPU401は、ROM403等に格納されたプログラムを実行することにより、移動装置20の各機能を実現する演算装置である。RAM402は、CPU401のワークエリア等として用いられる揮発性のメモリである。ROM403は、移動装置20のプログラム等を記憶する不揮発性のメモリである。ROM403は、例えば、フラッシュROM等の書き換え可能な不揮発性メモリであっても良い。
外部機器I/F404は、情報端末10の外部機器接続I/F117等と有線接続し、通信を行うための有線通信インタフェースである。
近距離無線通信部405は、例えば、情報端末10の近距離無線通信部118と同じ無線通信方式により無線通信を行うための無線通信インタフェースである。移動装置20は、例えば、外部機器I/F404、又は近距離無線通信部405により、情報端末10と通信可能であれば良い。
車輪駆動部406は、移動装置20を移動させるための車輪を駆動させる駆動装置の一例である。車輪駆動部406には、例えば、モータ等が含まれる。
操舵部407は、車輪駆動部406によって移動する移動装置20の操舵を行う操舵装置の一例である。操舵部407は、例えば、車輪の向きや傾きを変えるものであっても良いし、左右の車輪の回転数や、速度等を制御することにより、移動装置20の向きを変えるもの等であっても良い。
<機能構成>
図7は、通信システム1の機能構成例を示す図である。
(情報端末10Aの機能構成)
情報端末10Aは、例えば、移動装置20等の機器の制御のための操作指示を受け付けるが、移動装置20等の機器の制御機能を持たない情報端末10である。情報端末10Aは、送受信部11、操作入力受付部12、通信制御部13、撮像部14、音声入力部15a、音声出力部15b、表示制御部16、及び記憶・読出部17を有している。これらの各部は、図4に示されている各構成要素のいずれかが、フラッシュメモリ104からRAM103上に展開された情報端末10用のプログラムに従ったCPU101からの命令によって動作することで実現される機能又は手段である。また、情報端末10は、図4に示されているRAM103、及び図4に示されているフラッシュメモリ104によって実現される記憶部18を有している。
(情報端末10Bの機能構成)
情報端末10Bは、移動装置20に搭載された情報端末10であり移動装置20に搭載された数だけ存在する。図7では3つであり、それぞれを情報端末10B1〜10B3と称する。情報端末10B1〜10B3にはメイン端末とサブ端末という区別がある。メイン端末は常に(移動装置20の動作状態に依存せずに)画像と音声を情報端末10Aに送信する。サブ端末は、移動装置20が停止した場合、情報端末10Aに画像と音声を送信することを停止する。サブ端末とメイン端末の区別は通信管理システム50が保持しており、情報端末10Bが通信管理システム50に問い合わせることで判断できる。メイン端末とサブ端末が区別されるのは、メイン端末とサブ端末で画像と音声の送信及び停止に関する制御が異なるためである。
なお、移動装置20を制御するのはメイン端末であるとして説明するが、サブ端末が移動装置20を制御しても支障はない。
情報端末10Bは、例えば、移動装置20等の機器の制御機能を有する情報端末10の一例である。情報端末10Bは、前述した情報端末10Aの機能構成に加えて、操作指示受信部19a、操作指示認証部19b、機器制御部19c、機器間通信部19d、メインサブ判断部31、機器状態判断部32、及び、画像音声制御部33等を有する。
(情報端末10の各機能構成)
次に、情報端末10(情報端末10A及び情報端末10B)の各機能構成について詳細に説明する。なお、以下では、情報端末10の各機能構成を説明するにあたって、図4に示されている各構成要素のうち、情報端末10の各機能構成を実現させるための主な構成要素との関係も説明する。
送受信部11は、図4に示されているCPU101からの命令、及びネットワークI/F111によって実現され、通信ネットワーク2を介して他の情報端末、装置又はシステムと各種データ(又は情報)の送受信を行う。この送受信部11は、所望の宛先端末と通話を開始する前から、通信管理システム50より、宛先候補としての各情報端末の状態を示す各状態情報の受信を開始する。なお、この状態情報は、各情報端末10の稼動状態(ONラインかOFFラインかの状態)だけでなく、ONラインの場合、さらに通話可能であるか、通話中であるか等の詳細な状態を示す。
操作入力受付部12は、図4に示されているCPU101からの命令、並びに図4に示されている入力部108等によって実現され、ユーザによる各種入力を受け付ける。例えば、ユーザが、情報端末10の電源をONさせる操作を行うと、操作入力受付部12が操作を受け付けて電源をONに制御する。
通信制御部13は、図4に示されているCPU101からの命令によって実現される。通信制御部13は、例えば、上記電源ONの受付を契機として、送受信部11から通信ネットワーク2を介して通信管理システム50に、ログインを要求する旨を示すログイン要求情報、及び要求元端末の現時点のIPアドレスを自動的に送信する。また、ユーザが、情報端末10の電源をOFFする操作を行うと、送受信部11が通信管理システム50へ電源をOFFする旨の状態情報を送信した後に、操作入力受付部12が電源をOFFにする。これにより、通信管理システム50側では、情報端末10が電源ONから電源OFFになったことを把握することができる。
また、通信制御部13は、中継装置30を介して、他の情報端末10とコンテンツデータの送受信を行う通信セッションの確立や、切断等、様々な通信制御を行う。なお、本実施形態に係る通信制御部13は、通信管理システム50に送信するセッションの制御情報(例えば、後述する開始要求情報、開始応答情報等)に、情報端末10の通信ID(Identification)を含めて送信する。
通信IDは、情報端末10を用いてコンテンツデータの送受信を行うセッションに参加可能なアカウントの識別情報の一例である。通信IDは、例えば、ユーザの識別情報であるユーザID、アプリの識別情報であるアプリID、情報端末10の契約者の識別情報である契約ID等であっても良い。
撮像部14は、図4に示されているCPU101からの命令、並びに図4に示されているカメラ112及び撮像素子I/F113によって実現され、被写体を撮像して得られた撮像データを、所定の画像(映像)データに変換して出力する。
音声入力部15aは、図4に示されているCPU101からの命令、及び図4に示されている音声入出力I/F116によって実現され、マイク114によってユーザの音声が音声信号に変換された後、この音声信号を所定の音声データに変換して出力する。音声出力部15bは、図4に示されているCPU101からの命令、及び図4に示されている音声入出力I/F116等によって実現され、音声データを音声信号に変換してスピーカに出力して、スピーカ115から音声を出力させる。
表示制御部16は、図4に示されているCPU101からの命令によって実現される。表示制御部16は、例えば、情報端末10が受信したコンテンツデータに含まれる画像データを表示部109、又は表示入力部110等に表示させる。また、表示制御部16は、通信管理システム50から受信した宛先リストの情報を表示部109に送信して、表示部109に宛先リストを表示させることができる。
記憶・読出部17は、図4に示されているCPU101からの命令及び図4に示すSSD105等によって実現され、又はCPU101からの命令によって実現される。記憶・読出部17は、記憶部18に各種データを記憶したり、記憶部18に記憶された各種データを読み出したりする処理を行う。
記憶部18には、例えば、前述した通信IDと通信IDに対応するパスワード等の認証情報が記憶される。また、記憶部18には、通信管理システム50から通知された、情報端末10B及び移動装置20の操作権に関する様々な情報(例えば、操作権、譲渡権等)が記憶される。さらに、記憶部18には、宛先端末との通話を行う際に受信される画像データ及び音声データが、受信される度に上書き記憶される。このうち、上書きされる前の画像データによって表示部109等に画像が表示され、上書きされる前の音声データによってスピーカ115から音声が出力される。
なお、本実施形態の通信ID、後述の中継装置ID等は、それぞれ情報端末10、中継装置30等を一意に識別するために使われる言語、文字、記号、又は各種のしるし等の識別情報の一例を示す。また、通信ID及び中継装置IDは、上記言語、文字、記号、及び各種のしるしのうち、少なくとも2つが組み合わされた識別情報であっても良い。
続いて、情報端末10Bに含まれる各機能構成について説明する。
操作指示受信部19aは、例えば、図4に示されているCPU101からの命令によって実現され、送受信部11を介して、他の情報端末10から情報端末10Bに対する機器(移動装置20)の制御を要求する操作指示情報を受信する。この操作指示情報には、例えば、操作指示情報を送信した情報端末10の通信ID、及び要求する制御内容を示す操作指示等が含まれる。
操作指示認証部19bは、例えば、図4に示されているCPU101からの命令によって実現され、操作指示受信部19aが受信した操作指示情報が、情報端末10Bの操作権を有する情報端末10からの情報であるかどうかを認証する。例えば、操作指示認証部19bは、通信管理システム50から通知された、情報端末10Bの操作権を有する情報端末10の通信IDを記憶部18に記憶しておく。また、操作指示認証部19bは、操作指示受信部19aが操作指示情報を受信すると、受信した操作指示情報に含まれる通信IDと、記憶部18に記憶された情報端末10の操作権を有する情報端末10の通信IDとを比較し、一致した場合に認証を許可する。
機器制御部19cは、例えば、図4に示されているCPU101からの命令によって実現され、操作指示受信部19aで受信され、操作指示認証部19bで認証が許可された操作指示情報に含まれる操作指示に基づいて、移動装置20を制御する。
機器間通信部19dは、例えば、図4に示されているCPU101からの命令、及び図4の近距離無線通信部118、又は外部機器接続I/F117等によって実現される。本実施形態では、機器間通信部19dは、近距離無線通信部118を用いて移動装置20と通信を行うものとして以下の説明を行う。
メインサブ判断部31は、例えば、図4に示されているCPU101からの命令によって実現され、情報端末10Bがメイン端末かサブ端末かを判断する。後述するように、通信管理システム50はメインサブ端末管理DB5006で情報端末10Bがメイン端末かサブ端末かを管理している。メインサブ判断部31は、ログイン時に通信管理システム50から自機がメイン端末かサブ端末かを取得する。あるいは、メイン端末かサブ端末かが事前に記憶部18(のうち不揮発性の部分)に記憶されている。
機器状態判断部32は、例えば、図4に示されているCPU101からの命令によって実現され、移動装置20の現在の動作状態を判断する。動作状態には少なくとも移動中と停止中がある。この他の動作状態があってもよい。機器状態判断部32がどのように動作状態を判断するかは主に2通りあり、1つは移動装置20から動作状態を取得する方法、もう1つは操作指示情報に基づく方法である。
画像音声制御部33は、例えば、図4に示されているCPU101からの命令によって実現され、自機がサブ端末の場合、移動装置20が移動中は画像と音声を情報端末10Aに送信し、移動装置20が停止中は画像と音声の送信を停止する。自機がメイン端末の場合、移動装置20が停止中でも画像と音声の送信を継続する。
(移動装置の機能構成)
移動装置20は、例えば、機器間通信部21、及び走行制御部22等を有する。機器間通信部21は、例えば、図6に示されているCPU401からの命令、及び外部機器I/F404、又は近距離無線通信部405等によって実現される。ここでは、機器間通信部21は、近距離無線通信部405を用いて情報端末10Bと通信を行うものとする。
走行制御部22は、例えば、図6に示されているCPU401からの命令によって実現される。走行制御部22は、情報端末10Aから取得した制御内容に応じて、例えば、図6の車輪駆動部406、及び操舵部407を制御することにより、移動装置20を前進、後退、左旋回、右旋回等の移動(走行)を制御する。
(通信管理システムの機能構成)
通信管理システム50は、送受信部51、端末認証部52、端末管理部53、宛先リスト管理部54、セッション管理部55、機器操作権管理部56、及び記憶・読出部57等を有している。これら各部は、図5に示されている各構成要素のいずれかが、HD504からRAM503上に展開された通信管理システム50用のプログラムに従ったCPU501からの命令によって動作することで実現される機能又は機能する手段である。また、通信管理システム50は、図5に示されているHD504等により実現される記憶部5000を有している。
(通信管理システムの各機能構成)
次に、通信管理システム50の各機能構成について詳細に説明する。なお、以下では、通信管理システム50の各機能構成を説明するにあたって、図5に示されている各構成要素のうち、通信管理システム50の各機能構成を実現させるための主な構成要素との関係も説明する。
送受信部51は、図5に示されているCPU501からの命令、及び図5に示されているネットワークI/F509によって実行され、通信ネットワーク2を介して他の情報端末、装置又はシステムと各種データ(又は情報)の送受信を行う。
端末認証部52は、図5に示されているCPU501からの命令によって実現される。端末認証部52は、例えば、送受信部51を介して受信されたログイン要求情報に含まれている通信ID及びパスワードの組合せが、認証管理DB(Database)5002に含まれるか否かを判断することにより情報端末10の認証を行う。
端末管理部53は、図5に示されているCPU501からの命令によって実現され、端末管理DB5003に、通信ID毎の、宛先名、稼動状態、要求情報等の受信日時、及び要求元端末のIPアドレス等を関連付けて記憶して、管理する。例えば、端末管理部53は、ユーザが情報端末10の電源をONからOFFにすることで、情報端末10から送られてきた、電源をOFFする旨の状態情報に基づいて、端末管理DB5003のONラインを示す稼動状態をOFFラインに変更する。なお、端末管理DB5003については後述する。
また、端末管理部53は、図5に示されているCPU501からの命令によって実現され、ログイン要求した要求元端末の通信IDをキーとして、宛先リスト管理DB5004を検索し、要求元端末と通話することができる宛先端末の通信IDを抽出する。さらに、端末管理部53は、ログイン要求してきた要求元端末の通信IDをキーとして、宛先リスト管理DB5004を検索し、上記要求元端末の通信IDを宛先端末の候補として登録している他の要求元端末の通信IDも抽出する。
さらに、端末管理部53は、抽出された宛先端末の候補の通信IDを検索キーとして、前述した端末管理DB5003を検索し、抽出された通信ID毎に稼動状態を読み出す。これにより、端末管理部53は、ログイン要求してきた要求元端末と通話することができる宛先端末の候補の稼動状態を取得することができる。また、端末管理部53は、抽出された通信IDを検索キーとして、前述した端末管理DB5003を検索し、ログイン要求してきた要求元端末の稼動状態も取得する。
宛先リスト管理部54は、図5に示されているCPU501からの命令によって実現され、宛先リスト管理DB5004の各要求元端末の通信ID毎に、宛先端末の通信IDを追加又は削除する。なお、宛先リスト管理DB5004については後述する。
セッション管理部(セッション管理手段)55は、図5に示されているCPU501からの命令によって実現され、通信管理システム50が管理するセッションの制御を行う。セッションの制御には、例えば、セッションを確立するための制御、確立されたセッションに情報端末10を参加させる制御、セッションを切断する制御、セッションIDの生成等が含まれる。また、セッション管理部55は、セッションの識別情報であるセッションIDに対応づけて、セッションの開始を要求した情報端末10の要求元通信ID、及び宛先端末の宛先通信ID等を、セッション管理DB5005に記憶して、管理する。なお、セッション管理DB5005については後述する。
機器操作権管理部(設定手段)56は、図5に示されているCPU501からの命令によって実現され、例えば、移動装置20等の機器の制御を行う情報端末10(以下、機器制御端末と呼ぶ場合がある)の操作を行う権利である操作権を管理する。例えば、機器操作権管理部56は、機器制御端末との間の通信を介して移動装置20等の機器を操作可能な情報端末10が情報端末10Aである設定から情報端末10Bである設定に変更する。
好ましくは、機器操作権管理部56は、機器制御端末の操作権を他の情報端末10に譲渡する権利である譲渡権の管理も行う。なお、譲渡権の管理は必須ではない。
好ましくは、機器操作権管理部56は、例えば、機器制御端末を管理するユーザや、機器制御端末の操作に慣れているユーザ等、予め定められた機器操作の担当者の情報端末10である「機器操作担当端末」の情報(例えば通信ID)の管理も行う。なお、機器操作担当端末の管理は必須ではない。
記憶・読出部57は、図5に示されているCPU501からの命令及びHDD505によって実現され、又はCPU501からの命令によって実現される。記憶・読出部57は、記憶部5000への各種データを記憶、及び記憶部5000からの各種データの読み出しを行う。
<通信管理システムが管理する情報の例>
ここで、通信管理システム50の記憶部5000に記憶されている各管理DBについて説明する。
Figure 2017147555
通信管理システム50の記憶部5000に記憶された機器操作権管理DB5001には、例えば、表1に示されているような機器操作権管理テーブル601が含まれる。この機器操作権管理テーブル601では、例えば、移動装置20等の機器の制御を行う機器制御端末の通信IDに対応づけて、「譲渡権保有端末」、「操作権保有端末」、及び「機器操作担当端末」等の情報が管理されている。
「譲渡権保有端末」の情報は、機器制御端末を操作する権利である機器操作権を譲渡する権利(以下、譲渡権と呼ぶ)を有する情報端末10を識別するための情報(例えば通信ID)である。機器操作権管理部56は、例えば、機器制御端末と最初にセッションを確立した情報端末10の通信IDを、譲渡権保有端末として記憶し、管理する。また、機器操作権管理部56は、機器操作権を譲渡された情報端末10から、機器操作権が返却された場合、譲渡権を持った情報端末10を、操作権保有端末として記憶し、管理する。なお、「譲渡権保有端末」の情報はオプションであり、必須ではない。
「操作権保有端末」の情報は、機器制御端末を操作する権利である機器操作権を有する情報端末10を識別するための情報(例えば通信ID)である。機器操作権管理部56は、例えば、現在、機器制御端末の機器操作権を有している情報端末10の通信IDを、「操作権保有端末」として記憶し、管理する。
「機器操作担当端末」の情報は、例えば、機器制御端末を管理するユーザや、機器制御端末の操作に慣れているユーザ等の予め定められた機器操作の担当者が利用する情報端末10を識別するための情報(例えば通信ID)である。「機器操作担当端末」の情報には、例えば、機器制御端末毎に、予め決められた担当者の通信IDが記憶されている。この情報は、例えば、図9に示す宛先選択画面(宛先が選択される画面)において、機器操作の担当者が利用する情報端末10の選択を容易にするために用いられる。なお、「機器操作担当端末」の情報はオプションであり、必須ではない。
なお、機器操作権管理テーブル601の情報のうち、「未使用」は、機器制御端末が現在使用されていない(セッションに参加していない)ことを示している。また、機器操作権管理テーブル601の情報のうち、「未対応端末」は、機器制御端末ではないことを示している。機器操作権管理DB5001、及び機器操作権管理テーブル601は、機器制御端末を操作する権利である操作権を有する情報端末10の情報を記憶する記憶手段の一例である。
Figure 2017147555
通信管理システム50の記憶部5000に記憶された認証管理DB5002には、例えば、表2に示されているような認証管理テーブル602が含まれる。この認証管理テーブル602では、通信管理システム50によって管理される情報端末10の通信IDと、通信IDに対応するパスワードとが関連付けられて管理されている。例えば、表2に示されている認証管理テーブル602において、通信IDが「01aa」の情報端末10のパスワードは、「aaaa」であることが示されている。
Figure 2017147555
通信管理システム50の記憶部5000に記憶された端末管理DB5003には、例えば、表3に示されているような端末管理テーブル603が含まれる。この端末管理テーブル603では、情報端末10の通信ID毎に、各情報端末10を宛先とした場合の宛先名、各情報端末10の稼動状態、後述のログイン要求情報が通信管理システム50で受信された受信日時、及び情報端末10のIPアドレスが関連付けられて管理される。例えば、表3に示されている端末管理テーブル603において、通信IDが「01aa」の情報端末10は、端末名が「日本 東京事業所 AA端末」で、稼動状態が「ONライン(通信可能)」であることが示されている。また、通信IDが「01aa」の情報端末10は、通信管理システム50でログイン要求情報が受信された日時が「20xx年4月10日の13時40分」で、IPアドレスが「1.2.1.3」であることが示されている。
Figure 2017147555
通信管理システム50の記憶部5000に記憶された宛先リスト管理DB5004には、例えば、表4に示されているような宛先リスト管理テーブル701が含まれる。この宛先リスト管理テーブル701では、テレビ会議における通信の開始を要求する要求元端末の通信IDに対して、宛先端末の候補として登録されている宛先端末の通信IDが全て関連付けられて管理される。例えば、表4に示されている宛先リスト管理テーブル701において、通信IDが「01aa」である要求元端末から通信の開始を要求することができる宛先端末の候補は、通信IDが「01b1」、「01b2」、及び「01b3」の情報端末である。この宛先端末の候補は、任意の要求元端末から通信管理システム50に対する追加又は削除の要請により、宛先リスト管理部54によって追加又は削除されることで更新される。
Figure 2017147555
通信管理システム50の記憶部5000に記憶されたセッション管理DB5005には、例えば、表5に示されているようなセッション管理テーブル702が含まれる。このセッション管理テーブル702には、セッションの識別情報であるセッションID毎に、中継に使用される中継装置30の中継装置ID、要求元端末の通信ID、宛先端末の通信ID、及びセッションの開始日時等の情報が管理される。例えば、表5に示されているセッション管理テーブル702において、セッションID「se2」のセッションは、要求元通信ID「01ad」と宛先通信「01ca」との間で行われていることが示されている。また、セッションID「se2」のセッションは、中継装置ID「111b」の中継装置を介して、「20xx/4/10 13:11:11」に開始されたことが示されている。
Figure 2017147555
通信管理システム50の記憶部5000に記憶されたメインサブ端末管理DB5006には、例えば、表5に示されているようなメインサブ端末管理テーブル703が含まれる。このメインサブ端末管理テーブル703には、メイン端末の通信IDとサブ端末の通信IDが対応付けて管理されている。例えば、表6に示されているメインサブ端末管理テーブル703において、メイン端末の通信IDは「01b1」であり、このメイン端末のサブ端末の通信IDは「01b2,01b3」であることが示されている。情報端末10の管理者は予めメイン端末とサブ端末を通信管理システム50に登録しておく。
<処理の流れ>
次に、通信システム1の処理の流れについて説明する。
(準備段階の処理)
図8は、通信システム1の通信の準備段階の処理の例を示すシーケンス図である。ここでは、一例として、情報端末10A、情報端末10B1、及び情報端末10B2による、セッションを開始する前の準備段階における処理について説明する。情報端末10B3については省略されているが情報端末10B1、及び情報端末10B2と同様に扱われる。なお、以下の説明の中で、情報端末10Aの通信IDは「01aa」、情報端末10B1の通信IDは「01b1」、情報端末10B2の通信IDは「01b2」であるものとする。また、図8では管理情報用セッションによって、各種管理情報が送受信されるものとする。
まず、要求元端末である情報端末10Aの操作者が、例えば、情報端末10Aの電源をONにする操作を行うと、図7に示されている操作入力受付部12が電源ONにする操作を受け付けて、情報端末10Aの電源をONにする(ステップS21)。
そして、通信制御部13は、上記の電源ONを契機とし、送受信部11から通信ネットワーク2を介して通信管理システム50に、ログインを要求するログイン要求情報を送信する(ステップS22)。なお、ログイン要求情報が、情報端末10Aの電源をONにする操作によって送信されるのは一例であって、例えば、ユーザによる入力部108への操作や、アプリの起動等によって送信されるものであっても良い。
また、ログイン要求情報には、要求元としての自機である情報端末10Aを識別するための通信ID(要求元通信ID)及びパスワードが含まれている。これら通信ID及びパスワードは、例えば、記憶・読出部17を介して記憶部18から読み出された情報である。また、情報端末10Aから通信管理システム50へログイン要求情報が送信される際に、受信側である通信管理システム50は、送信側である情報端末10AのIPアドレスを把握することができる。
次に、通信管理システム50の端末認証部52は、送受信部51を介して受信したログイン要求情報に含まれている通信ID及びパスワードを検索キーとして、前述した認証管理テーブル602を検索する。端末認証部52は、情報端末10Aから受信したログイン要求情報に含まれる通信ID及びパスワードの組合せが、認証管理テーブル602に含まれるか否かによって認証を行う(ステップS23)。
端末認証部52により、正当な利用権限を有する情報端末10Aからのログイン要求であると判断された場合、端末管理部53は、端末管理テーブル603に記録されている情報端末10Aの通信ID「01aa」の稼動状態を、「ONライン(通信可能)」に変更する。このとき、端末管理部53は、受信日時を更新し、また、必要に応じて、情報端末10のIPアドレスを更新する(ステップS24)。これにより、端末管理テーブル603には、情報端末10Aの通信ID「01aa」に、稼動状態「ONライン(通信可能)」、受信日時「20xx.4.10.13:40」及び情報端末10AのIPアドレス「1.2.1.3」が関連付けて管理される。
そして、通信管理システム50の送受信部51は、上記の端末認証部52によって得られた認証結果が示された認証結果情報を、通信ネットワーク2を介して、上記ログイン要求してきた要求元端末である情報端末10Aに送信する(ステップS25)。ここでは、端末認証部52によって正当な利用権限を有する情報端末であると判断された場合について、以下で説明する。
通信管理システム50の端末管理部53は、ログイン要求した要求元端末(情報端末10A)の通信ID「01aa」を検索キーとして、宛先リスト管理テーブル701を検索する。これにより、端末管理部53は、要求元端末(情報端末10A)と通信することができる宛先端末の候補の通信IDを抽出する(ステップS26)。ここでは、一例として、要求元端末(情報端末10A)の通信ID「01aa」に対応する宛先端末の通信IDとして、「01b1」、「01b2」、「01b3」が抽出されるものとする。
次に、端末管理部53は、抽出された宛先端末の候補の通信ID(「01b1」、「01b2」、「01b3」)を検索キーとして、端末管理テーブル603を検索する。これにより、抽出された通信ID毎に稼動状態を読み出すことにより、通信ID(「01b1」、「01b2」、「01b3」)の各稼動状態を取得する(ステップS27)。
次に、送受信部51は、宛先端末の候補の通信ID(「01b1」、「01b2」、「01b3」)のそれぞれの稼動状態が含まれた宛先状態情報を、要求元端末(情報端末10A)に送信する(ステップS28)。これにより、要求元端末(情報端末10A)は、この要求元端末(情報端末10A)の宛先端末の候補となる通信ID(「01b1」、「01b2」、「01b3」)の現時点の稼動状態を把握することができる。
さらに、通信管理システム50の端末管理部53は、ログイン要求してきた要求元端末(情報端末10A)の通信ID「01aa」を検索キーとして、宛先リスト管理テーブル701を検索する。これにより、端末管理部53は、要求元端末(情報端末10A)の通信ID「01aa」を宛先端末の候補として登録している他の要求元通信IDを抽出する(ステップS29)。表4に示されている宛先リスト管理テーブル701では、抽出される他の要求元端末の通信IDは、「01b1」、「01b2」及び「01b3」である。
次に、通信管理システム50の端末管理部53は、上記ログイン要求して来た要求元端末(情報端末10A)の通信ID「01aa」を検索キーとして、端末管理テーブル603を検索する。これにより、端末管理部53は、ログイン要求してきた要求元端末(情報端末10A)の稼動状態を取得する(ステップS30)。
また、通信管理システム50の端末管理部53は、要求元端末(情報端末10A)の通信ID「01aa」がメイン端末かサブ端末かをメインサブ端末管理テーブル703を参照して判断する(ステップS31)。すなわち、通信ID「01aa」がメイン端末とサブ端末のどちらに登録されているかを判断する。
通信管理システム50の送受信部11は、メイン端末又はサブ端末のどちらであるかを示す端末区別を要求元端末(情報端末10A)に送信する(S32)。端末区別は、メイン、サブ又はそのどちらでもないことを示すNoneのいずれかが送信される。情報端末10AはどちらでもないのでNoneが送信される。
そして、通信管理システム50の端末管理部53は、上記ステップS29で抽出された通信ID(「01b1」、「01b2」、「01b3」)のうち、端末管理テーブル603で稼動状態が「ONライン(通信可能)」となっている通信ID(「01b1」、「01b2」、「01b3」)を抽出する。また、送受信部51は、抽出された通信ID(「01b1」、「01b2」、「01b3」)に対応する情報端末10B1、情報端末10B2に、要求元端末(情報端末10A)の通信ID「01aa」と稼動状態「ONライン(通信可能)」が含まれる宛先状態情報を送信する(ステップS33−1、2)。
なお、送受信部51が情報端末10B1、情報端末10B2に宛先状態情報を送信する際に、各通信ID(「01b1」、「01b2」)に基づいて、端末管理部53は端末管理テーブル603で管理されている情報端末10のIPアドレスを参照する。これにより、ログイン要求した要求元端末(情報端末10A)を宛先として通信することができる宛先端末(端末10B1、10B2)のそれぞれに、要求元端末(情報端末10A)の通信ID「01aa」、及び稼動状態「ONライン」を伝えることができる。
一方、他の情報端末10B1、10B2、10B3でも、例えば、電源ONの操作等に応じて、上記ステップS22〜S33−1、33−2の処理と同様の処理を行う。情報端末10B1、10B2、10B3の電源ONは例えば移動装置20の管理者などによって行われる。ステップS32では、情報端末10B1に端末区別(メイン)が送信され、情報端末10B2、10B3には端末区別(サブ)が送信される。
<宛先選択画面>
図9は、情報端末10Aに表示される宛先選択画面の一例を示す図である。図9に示す宛先選択画面1201には、ユーザに宛先の情報端末10の選択を促すメッセージ1202と、宛先の情報端末10を選択する複数のボタン1203が表示されている。情報端末10Aの操作者は、例えば、表示された複数のボタン1203の中から1つのボタン1203を選択することにより、セッションへの参加を要求する宛先端末を選択する。
複数のボタン1203には、メイン端末かサブ端末かの端末区別1204が表示される。端末区別1204は、図8のステップS28の宛先状態情報にメインサブ端末管理DB5006から読み出された端末区別が含まれることで表示可能である。情報端末10Aの操作者は少なくともメイン端末を選択してセッションへの参加を要求する。本実施形態では情報端末10Aが3つのサブ端末ともセッションを確立するので、情報端末10Aの操作者はサブ端末も選択してセッションへの参加を要求する。サブ端末とセッションを確立する場合、情報端末10Aの操作者がメイン端末を選択するだけで、メイン端末及びサブ端末のいずれとも自動的にセッションが確立してもよい。あるいは、メイン端末又はサブ端末のいずれかを選択することで、サブ端末と自動的にセッションが確立してもよい。この場合、通信管理システム50は、図10の開始要求情報に含まれる要求元通信IDがメイン端末又はサブ端末である情報端末10Bの通信IDを読み出して、これらに対しても開始要求情報が送信されたと見なす。
(通信処理)
図10は、通信システムの通信処理の例を示すシーケンス図である。ここでは、情報端末10Aと、移動装置20を制御可能な機器制御端末である情報端末10B1との間で通信を開始する通信管理方法の例について説明する。
ステップS901において、情報端末10Aの操作入力受付部12は情報端末10Aの操作者による、宛先端末(情報端末10B1)の選択操作を受け付ける。
情報端末10Aの送受信部11は通信管理システム50にセッションの開始を要求する開始要求情報を送信する(ステップS902)。この開始要求情報には、例えば、要求元端末である情報端末10Aの通信IDである要求元通信ID、宛先端末である情報端末10B1の通信IDである宛先通信ID等が含まれる。また、開始要求情報には、情報端末10AのIPアドレス(要求元IPアドレス)等の情報も含まれる。
ステップS903において、情報端末10Aから開始要求情報を受信した通信管理システム50の端末管理部53は、開始要求情報に含まれる要求元端末(情報端末10A)の通信ID「01aa」に基づいて、端末管理DB5003を更新する。例えば、端末管理部53は、情報端末10Aの通信ID「01aa」に対応する稼動状態の情報を「ONライン(通信中)」に変更し、受信日時の情報も更新する。
ステップS904において、通信管理システム50のセッション管理部55は、宛先端末である情報端末10B1にセッションの開始を要求する開始要求情報を送信する。この開始要求情報には、例えば、要求元端末である情報端末10Aの要求元通信IDが含まれる。
ステップS905において、通信管理システム50から開始要求情報を受信した情報端末10B1は、通信管理システム50に開始応答情報を送信する。この開始応答情報には、例えば、情報端末10B1の宛先通信ID等が含まれる。
ステップS906において、情報端末10B1から開始応答情報を受信した通信管理システム50の端末管理部53は、開始応答情報に含まれる情報端末10B1の通信ID「01b1」に基づいて、端末管理DB5003を更新する。例えば、端末管理部53は、端末10B1の通信ID「01b1」に対応する稼動状態の情報を「ONライン(通信中)」に変更し、受信日時の情報を更新する。
ステップS907において、通信管理システム50のセッション管理部55は、セッションを識別するための識別情報であるセッションIDを採番する。また、セッション管理部55は、作成されたセッションIDを、要求元通信ID(情報端末10Aの通信ID)、及び宛先通信ID(端末10B1の通信ID)と対応づけてセッション管理DB5005に記憶する。
ステップS908において、通信管理システム50の機器操作権管理部56は、要求元端末である情報端末10Aを、機器制御端末である情報端末10B1の操作権、及び譲渡権を有する情報端末10として、機器操作権管理DB5001に記憶する。例えば、機器操作権管理部56は、機器操作権管理テーブル601において、機器制御端末「01b1」に対応する「譲渡権保有端末」、及び「操作権保有端末」に、情報端末10Aの通信ID「01aa」を記憶する。
ステップS909において、通信管理システム50のセッション管理部55は、中継装置30に、セッション情報を送信する。このセッション情報には、例えば、ステップS907で作成されたセッションID等の情報が含まれる。
ステップS910aにおいて、通信管理システム50のセッション管理部55は、情報端末10Aにセッションの開始を指示する開始指示情報を送信する。同様に、ステップS910bにおいて、通信管理システム50のセッション管理部55は、情報端末10B1にセッションの開始を指示する開始指示情報を送信する。
これらの開始指示情報には、例えば、セッションID、及び情報端末10B1の譲渡権、操作権に関する情報が含まれる。この情報端末10B1の譲渡権、操作権に関する情報は、例えば、機器操作権管理テーブル601の「譲渡権保有端末」、「操作権保有端末」等に対応する情報である。
上記の処理により、通信管理システム50、情報端末10Aは、情報端末10B1の操作権、及び譲渡権に関する情報を保有する。
なお、オプションとして、情報端末10Aに送信される開始指示情報には、機器操作権管理テーブル601の「機器操作担当端末」に対応する情報が含まれていても良い。
ステップS911aにおいて、情報端末10Aは、受信した開始指示情報に基づいて、中継装置30との間でセッションを確立する。同様に、ステップ911bにおいて、情報端末10B1は、受信した開始指示情報に基づいて、中継装置30との間でセッションを確立する。
これにより、情報端末10Aと情報端末10B1は、同じセッションIDの通信セッションに参加し、画像データや音声データ等のコンテンツデータを送受信することにより、例えば、テレビ会議を行うことができる(S912)。なお、情報端末10Aは、情報端末10B2、10B3とも同様にセッションを確立する。
また、情報端末10Aは、確立された通信セッションを用いて、情報端末10B1との間で機器(例えば移動装置20)の操作に関する情報を送受信することができる。
なお、機器の操作に関する情報の送受信は、通信セッションを用いずに、通信管理システム50を介した制御セッションを用いて送受信されるものであっても良いし、通信ネットワーク2等を介して、情報端末10Aと情報端末10Bとの間で送受信されるものであっても良い。
ここでは、情報端末10Aは、確立されたセッションを用いて、情報端末10B1との間で機器(例えば移動装置20)の操作に関する情報を送受信するものとして以下の説明を行う。
ステップS913において、情報端末10Aの操作者が、機器の操作画面に入力を行うと、入力された操作に応じた操作指示情報が、通信セッションを用いて送信される。この操作指示情報には、例えば、情報端末10Aの通信ID、及び操作者の操作内容に応じた操作指示が含まれる。
ステップS914おいて、情報端末10Bの操作指示受信部19aが、情報端末10Aから送信された操作指示情報を受信すると、操作指示認証部19bは、受信した操作指示情報の認証処理を行う。例えば、操作指示認証部19bは、操作指示情報に含まれる通信IDと、通信管理システム50から通知された情報端末10B1の操作権を保有する情報端末の通信IDとを比較し、両者が一致した場合、操作指示情報の認証を許可する。また、操作指示認証部19bは、認証が許可された操作指示情報を機器制御部19cに通知する。
ステップS915において、情報端末10B1の操作指示認証部19bは、認証結果を情報端末10Aに通知する。ここでは、ステップS914の認証結果がOK(許可)であるものとして以下の説明を行う。
ステップS916において、情報端末10B1の機器制御部19cは、通知された操作指示情報に含まれる操作指示に基づいて、機器間通信部19dを介して、移動装置20を制御する。
<動作状態の判断>
続いて、情報端末10Bが移動装置20の動作状態を判断する3つの方法をそれぞれ説明する。
<<動作状態を判断 その1>>
この方法では、情報端末10Bが移動装置20から動作状態を取得して移動装置20から動作状態を判断する。従って、移動装置20が移動中か停止中かは、メイン端末又はサブ端末のうち、操作権保有端末と通信して操作指示情報によって移動装置20を制御する情報端末が判断する。本実施形態ではメイン端末が移動装置20を制御するとして説明する。
図11は、動作状態の判断方法を模式的に説明する図の一例である。図11(a)は移動装置20と一体の情報端末10Bを示す。この場合、情報端末10Bは移動装置20の動作状態を常に監視しているか又は任意のタイミングで動作状態を取得できる。従って、例えば、移動装置20のハードウェアの状態から動作状態を判断できる。
図11(b)は移動装置20に搭載された情報端末10Bを示す。このように移動装置20と情報端末10Bが別体の場合、情報端末10Bは近距離無線通信840などで移動装置20と通信する。従って、移動装置20と通信を行い、ハードウェアの状態を取得することで動作状態を判断できる。
なお、移動中又は停止中の最終的な判断は、取得した動作状態が一定時間継続したことを条件にして判断してもよい。
動作状態を判断した情報端末10B1は、移動装置20に搭載された他の情報端末10B2,10B3に判断結果を通知する。これにより、サブ端末は画像と音声の送信を停止できる。通知経路は近距離無線通信840でもよいし、通信管理システム50を介してもよい。なお、サブ端末は周囲の撮像そのものを停止してもよい。
図12は、サブ端末である情報端末10B2、10B3が画像と音声の送信を停止する手順を示すシーケンス図の一例である。図12の処理は、セッションが確立している間、繰り返し実行される。図12では、情報端末10Aが操作権保有端末である。
S1:情報端末Aの操作入力受付部12が操作者の操作を受け付けると、送受信部11が操作指示情報を通信管理システム50を介して情報端末10B1に送信する。操作指示情報が情報端末10B1に送信されるのは、メイン端末が移動装置20を制御するためであり、サブ端末が移動装置20を制御する場合はサブ端末に送信される。ここでは、例えば前進という操作指示情報が送信されたものとする。
S2:情報端末10B1の操作指示受信部19aは操作指示情報を受信し、情報端末10B1の機器制御部19cは、通知された操作指示情報に含まれる操作指示に基づいて、機器間通信部19dを介して、移動装置20を制御する。
S3:移動装置20の機器間通信部21は制御を受け付け、走行制御部22は移動装置20を前進させる。
S4:移動装置20の走行制御部22は動作状態を情報端末10B1に送信する。ここでは前進中や移動中などが送信される。
S5:情報端末10B1の機器状態判断部32は移動装置20から送信された動作状態を取得し、どのような動作状態かを判断する。ここで、同じ動作状態が一定時間継続した場合に、該動作状態であると判断してもよい。
S6:情報端末10B1の送受信部11は動作状態を情報端末10B2,10B3に送信する。これにより、サブ端末である情報端末10B2,10B3は動作状態に応じて画像と音声の送信又は停止を制御することができる。送信経路は、通信管理システム50を介してもよいし、Bluetooth(登録商標)などの近距離無線通信で直接、送信してもよい。なお、ステップS6では前進中又は移動中などの動作状態が送信される。
S7:情報端末10B2,10B3の送受信部11は動作状態を受信し、情報端末10B2,10B3の画像音声制御部33が画像と音声に関する制御を行う。移動装置20は前進中又は移動中なので、画像音声制御部33は画像と音声を送信すると判断するが、すでに送信しているのでそのまま送信を継続する。
S8:このため、情報端末10B2、10B3から画像と音声が情報端末10Aに送信される。なお、メイン端末である情報端末10B1は常に画像と音声を送信するため図12では送信のステップが省略されている。
S9:次に、ステップS1と同様に、情報端末10Aの送受信部11が操作指示情報を通信管理システム50を介して情報端末10B1に送信する。ここでは、例えば停止という操作指示情報が送信されたものとする。
S10:情報端末10B1の操作指示受信部19aは操作指示情報を受信し、情報端末10B1の機器制御部19cは、通知された操作指示情報に含まれる操作指示に基づいて、機器間通信部19dを介して、移動装置20を制御する。
S11:移動装置20の機器間通信部21は制御を受け付け、走行制御部22は移動装置20を停止させる。
S12:移動装置20の走行制御部22は動作状態を情報端末10B1に送信する。ここでは停止中などが送信される。
S13:情報端末10B1の機器状態判断部32は移動装置20から送信された動作状態を取得する。ここで、同じ動作状態が一定時間継続した場合に、該動作状態であると判断してもよい。
S14:情報端末10B1の送受信部11は動作状態を情報端末10B2,10B3に送信する。これにより、サブ端末である情報端末10B2,10B3は動作状態に応じて画像と音声の送信又は停止を制御することができる。なお、ステップS15では停止中などの動作状態が送信される。
S15:情報端末10B2,10B3の送受信部11は動作状態を受信し、情報端末10B2,10B3の画像音声制御部33が画像と音声に関する制御を行う。移動装置20は停止中なので、画像音声制御部33は画像と音声の送信を停止する。なお、画像に比べ音声は通信帯域を圧迫しにくいので音声を停止しなくてもよい。また、音声のみを停止してもよい。
このような動作状態の判断方法では、情報端末10Bが移動装置20から動作状態を取得して判断するので、現在の移動装置20の状態を正確に判断できる。
移動装置20が停止しても情報端末10B1は画像と音声の送信を継続し、情報端末10B2と10B3は画像と音声の送信を停止するので、情報端末10B1が送信する画像と音声の品質が低下しにくくなる。情報端末10Aが送信する画像と音声の品質も低下しにくくなる。
<<動作状態を判断 その2>>
この方法では、情報端末10B1〜B3のそれぞれに操作指示情報が送信され、サブ端末のみが操作指示情報に基づいて移動装置20の動作状態を判断する。
図13は、動作状態の判断方法を模式的に説明する図の一例である。操作権保有端末である情報端末10Aからの操作指示情報によって移動装置20を制御する情報端末10Bは1台のみであるが、操作指示情報は移動装置20に搭載されている全ての情報端末10Aに対して送信される。サブ端末である情報端末10B2,10B3は操作指示情報によって、移動中か停止中かを判断する。なお、移動中か停止中の最終的な判断は、操作指示情報が送信されてから一定時間、別の操作指示情報が送信されないことを条件にして判断してもよい。従って、ロボットが移動中か停止中かは、画像と音声の送信を停止するサブ端末のみが判断する。ただし、メイン端末が判断してサブ端末に通知することもできる。
図14は、サブ端末である情報端末10B2、10B3が画像と音声の送信を停止する手順を示すシーケンス図の一例である。図14の処理は、セッションが確立している間、繰り返し実行される。図14では、情報端末10Aが操作権保有端末である。
S1、S2:情報端末Aの操作入力受付部12が操作者の操作を受け付けると、送受信部11が操作指示情報を通信管理システム50を介して情報端末10B1、10B2、10B3に送信する。情報端末10B1〜B3に送信されることで、移動装置20を制御する情報端末10B1は移動装置20を制御し、そうでない情報端末10B2、10B3は操作指示情報で移動装置20の動作状態を判断できる。
S3:情報端末10B1の操作指示受信部19aは操作指示情報を受信し、情報端末10B1の機器制御部19cは、通知された操作指示情報に含まれる操作指示に基づいて、機器間通信部19dを介して、移動装置20を制御する。
S4:移動装置20の機器間通信部21は制御を受け付け、走行制御部22は移動装置20を前進させる。なお、移動装置20の走行制御部22は動作状態を情報端末10B1に送信してよいが、情報端末10B1は動作状態を判断しない。
S5:情報端末10B2、10B3の機器状態判断部32は操作指示情報に基づいて動作状態を判断する。ここで、操作指示情報が送信されてから一定時間、別の操作指示情報が送信されないことを条件にして判断してもよい。
S6:情報端末10B2,10B3の画像音声制御部33が画像と音声に関する制御を行う。移動装置20は前進中又は移動中なので、画像音声制御部33は画像と音声を送信すると判断するが、すでに送信しているのでそのまま送信を継続する。
S7:このため、情報端末10B2、10B3から画像と音声が情報端末10Aに送信される。なお、メイン端末である情報端末10B1は常に画像と音声を送信するため送信のシーケンスは図14で省略されている。
S8、S9:次に、ステップS1と同様に、情報端末10Aの送受信部11が操作指示情報を通信管理システム50を介して情報端末10B1に送信する。ここでは、例えば停止という操作指示情報が送信されたものとする。
S10:情報端末10B1の操作指示受信部19aは操作指示情報を受信し、情報端末10B1の機器制御部19cは、通知された操作指示情報に含まれる操作指示に基づいて、機器間通信部19dを介して移動装置20を制御する。
S11:移動装置20の機器間通信部21は制御を受け付け、走行制御部22は移動装置20を停止させる。
S12:情報端末10B2、10B3の機器状態判断部32は操作指示情報に基づいて動作状態を判断する。ここでは停止という操作指示情報が送信されたので、移動装置20が停止すると判断する。ここで、操作指示情報が送信されてから一定時間、別の操作指示情報が送信されないことを条件にして判断してもよい。
S13:情報端末10B2,10B3の画像音声制御部33が画像と音声に関する制御を行う。移動装置20は停止中なので、画像音声制御部33は画像と音声を停止すると判断し、画像と音声と停止させる。なお、サブ端末は周囲の撮像そのものを停止してもよい。
このような動作状態の判断方法では、サブ端末のそれぞれが操作指示情報により動作状態を判断するので、メイン端末の処理負荷が増大することを抑制できる。また、メイン端末からサブ端末へ動作状態の通知を不要にできる。
また、情報端末10B1は画像と音声の送信を継続するが、情報端末10B2と10B3は画像と音声の送信を停止するので、情報端末10B1が送信する画像と音声の品質が低下しにくくなる。情報端末10Aが送信する画像と音声の品質も低下しにくくなる。
<<動作状態を判断 その3>>
移動装置20が停止した場合は、情報端末10Aにとって多方面の画像の必要性が低下するとして、サブ端末が画像と音声の送信を停止した。次に、移動装置20が停止する場合、操作者810が相手と会話をしたい状況であることを想定して、情報端末10Aへのマイク114への入力があるかどうかを判断する通信システムについて説明する。
図15は、サブ端末である情報端末10B2、B3が画像と音声の送信を停止する手順を示すシーケンス図の一例である。図15の処理では、図12との相違を主に説明する。ステップS1〜S4の処理は図12と同様でよい。
S5:情報端末10B1の機器状態判断部32は移動装置20から送信された動作状態を取得し、どのような動作状態かを判断する。また、機器状態判断部32は情報端末10Aから音声データが送信されたか否か、及び、送信された音声データの音量が閾値以上か否かを判断する。ステップS5では、移動装置20は移動中であり、閾値以上の音声データも送信されていないものとする。
S6:従って、情報端末10B1の送受信部11は移動中という動作状態と音声出力なしを情報端末10B2,10B3に送信する。これにより、サブ端末は動作状態と情報端末10Aのマイク114への入力があるかどうかに基づいて画像と音声の送信又は停止を制御することができる。ステップS7では画像と音声の送信を停止しない。以降のステップS8〜S12の処理は図12と同様である。
S13-1:情報端末10Aが音声データを情報端末10B1に送信する。
S13-2:情報端末10B1の機器状態判断部32は移動装置20から送信された動作状態を取得する。
S14:情報端末10B1の送受信部11は停止中という動作状態と音声出力有りを情報端末10B2,10B3に送信する。これにより、サブ端末は動作状態と情報端末10Aのマイク114への入力があるかどうかに基づいて画像と音声の送信又は停止を制御することができる。
S15:情報端末10B2,10B3は、動作状態が停止中かつ音声出力有りなので、画像と音声の送信を停止すると判断する。
このような動作状態の判断方法では、操作者が会話するために移動装置20が停止した場合にサブ端末が画像と音声の送信を停止できる。また、会話するためある程度の時間、機器が停止していると予想される場合に画像と音声の送信を停止できる。
なお、ステップS13−1の音声データが、情報端末10Aから情報端末10B2,10B3にも送信される場合、ステップS13−1で音声データが送信されなくてもよい。
また、図15の判断方法は図14の判断方法(その2)にも適用できる。この場合、情報端末10Aから情報端末10B2、B3に音声データが送信されてもよいし、情報端末10B1から情報端末10B2、B3に音声データが送信されてもよい。
<サブ端末が表示する画像について>
情報端末10Aが多方面の画像を受信するためにサブ端末は撮像機能を有していればよく、サブ端末が表示部109に情報端末10Aから送信された画像を表示する必要性は高くない。しかし、サブ端末のユースケースによってはサブ端末が表示部109に情報端末10Aからの画像を表示することが好ましい場合がある。
図16は、サブ端末が表示部109に情報端末10Aからの画像を表示することが好ましいユースケースを説明する図の一例である。サブ端末の1つの情報端末10B2は表示部109が移動方向に対し逆方向を向いている。移動装置20はお客様850などを目的地まで案内するために目的地まで移動するが、移動の間、メイン端末の表示部109だけでなく後方に画面があるサブ端末の表示部109に情報端末10Aの操作者810の顔などが映っている方が、お客様が安心しやすい。一方、移動装置20が停止した場合、操作者810の顔が表示されなくてもお客様は不都合を感じにくい。従って、図16のように、サブ端末が表示部109に情報端末10Aからの画像を表示する場合、移動装置20が停止することでサブ端末が表示部109への画像の表示を停止してよい。これにより、サブ端末である情報端末10B2、10B3は情報端末10Aから画像を受信する必要がなくなるので、通信帯域が空きメイン端末の情報端末10B1が送信する画像と音声の品質を向上させやすくなる。
図17は、サブ端末である情報端末10B2、10B3が画像と音声の送信を停止する手順を示すシーケンス図の一例である。図17の処理では、図12との相違を主に説明する。ステップS1〜S15の処理は図12と同様である。
S16:ステップS15で画像と音声の送信を停止すると、情報端末10B1の送受信部11はサブ端末に対する画像を停止させる画像停止要求を通信管理システム50に送信する。通信管理システム50は中継装置30に対し、情報端末10Aが送信する画像と音声を情報端末10B2,10B3に中継することを停止させる。これにより、情報端末10Aは、情報端末10B1には画像を送信するが、情報端末10B2,10B3には画像を送信しなくなる。従って、通信帯域が空きメイン端末の情報端末10B1が送信する画像と音声の品質を向上させやすくなる。なお、画像停止要求は情報端末10B2,B3が情報端末10Aに送信してもよい。また、サブ端末は画像停止要求だけでなく又は画像停止要求の代わりに、音声の停止を情報端末10Aに要求してもよい。
また、移動装置20が移動を再開すると、情報端末10B1(又は情報端末10B2,10B3)は画像再開要求を通信管理システム50に送信する。これにより、移動中は情報端末10B1〜B3が、情報端末10Aからの画像を表示できる。
また、情報端末10Aが画像の送信を停止している間、サブ端末である情報端末10B2,10B3は予め保持している画像を表示してもよい。例えば「移動を再開するまでしばらくお待ちください」などのメッセージを表示部109に表示する。これにより、情報端末10B2,10B3が画像の表示を停止しても、お客様850が唐突感を感じることを抑制できる。
なお、図17の処理は図14の判断方法(その2)にも適用できる。この場合、画像と音声の送信を停止した情報端末10B2、10B3が通信管理システム50に対し音声停止要求を送信する。
<その他の適用例>
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
例えば、本実施形態では操作指示が通信セッションで送信されると説明したが、コンテンツデータのセッションで送信されてもよい。
また、本実施形態ではメイン端末と同等の機能を有するサブ端末が移動装置20に搭載されていたが、サブ端末は撮像機能と画像データの情報端末10Aへの送信機能、及び、メイン端末との通信機能を有していればよい。メイン端末との通信機能は、上記のその2の判断方法ではなくてもよい。
また、本実施例では、中継装置30を介して情報端末10が通信しているが、情報端末10は中継装置を介さずに通信してもよい。このような通信の通信プロトコルとして例えばWebRTC(Web Real-Time Communication)が知られている。
また、図7などの構成例は、通信管理システム50及び情報端末10による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。通信管理システム50及び情報端末10の処理は、処理内容に応じてさらに多くの処理単位に分割することもできる。また、1つの処理単位がさらに多くの処理を含むように分割することもできる。
また、本実施例では説明の都合上、通信管理システム50と中継装置30を別々の装置として説明したが、両者の機能が統合された装置が通信管理システム50と中継装置30の機能を提供してもよい。
また、通信システム1が複数の通信管理システム50を有していてもよく、通信管理システム50の機能が複数のサーバに分散して設置されていてもよい。
また、通信管理システム50が記憶部5000に有する各データベースの1つ以上は通信ネットワーク2上に存在していてもよい。
なお、移動装置20は所定の機器の一例であり、カメラ112は第一の撮像手段、第二の撮像手段の一例であり、送受信部11は送信手段と第二の送信手段の一例であり、機器状態判断部32は動作状態判断手段の一例であり、画像音声制御部33は画像データ送信制御手段の一例である。情報端末10Bは第一の情報端末の一例であり、情報端末10Aは第二の情報端末の一例であり、操作指示受信部19aは操作指示情報受信手段の一例であり、機器制御部19cは機器制御手段の一例である。操作入力受付部12は操作入力受付手段の一例である。
サブ端末の一例が情報端末である場合、サブ端末が撮像する画像データが第一の画像データの一例であり、メイン端末の一例が情報端末である場合、メイン端末が撮像する画像データが第一の画像データの一例であり、サブ端末のカメラ112が第二の撮像手段の一例であり、サブ端末が撮像した画像データが第二の画像データの一例である。情報端末10Aが送信する画像データは第三の画像データの一例である。本実施形態で説明された通信システム1が行う処理は通信制御方法の一例である。
1 通信システム
10 情報端末
19a 操作指示受信部
19b 操作指示認証部
19c 機器制御部
20 移動装置)
31 メインサブ判断部
32 機器状態判断部
33 画像音声制御部
50 通信管理システム
特表2012−523890号公報

Claims (10)

  1. 所定の機器に搭載され、前記機器の操作を受け付ける第二の情報端末と通信する情報端末であって、
    前記機器の周囲を撮像して第一の画像データを生成する第一の撮像手段と、
    前記第一の画像データを前記第二の情報端末に送信する送信手段と、
    前記操作に応じて前記機器の動作状態を判断する動作状態判断手段と、
    前記動作状態に応じて前記送信手段による前記第一の画像データの送信及び停止を制御するか、又は、前記第一の撮像手段とは異なる第二の撮像手段が前記機器の周囲を撮像して生成した第二の画像データの送信及び停止を制御する画像データ送信制御手段と、を有する情報端末。
  2. 前記画像データ送信制御手段は、前記機器の前記動作状態に関係なく、前記第一の画像データ又は前記第二の画像データのいずれかの送信を継続させる請求項1に記載の情報端末。
  3. 前記画像データ送信制御手段は、前記動作状態判断手段により判断された前記機器の前記動作状態が前記機器の停止中を示す場合、前記第一の画像データの送信を停止させるか、又は、前記第二の画像データの送信を停止させる請求項1又は2に記載の情報端末。
  4. 前記第二の情報端末から前記機器を操作するための操作指示情報を受信する操作指示情報受信手段と、
    前記操作指示情報に基づいて前記機器を制御する機器制御手段と、を有し、
    前記動作状態判断手段は前記機器から、前記機器制御手段の制御により生じた前記動作状態を取得することで前記動作状態を判断する請求項1〜3のいずれか1項に記載の情報端末。
  5. 前記第二の情報端末から前記機器を操作するための操作指示情報を受信する操作指示情報受信手段、を有し、
    前記動作状態判断手段は、前記操作指示情報受信手段が受信した前記操作指示情報に基づいて前記動作状態を判断する請求項1〜3のいずれか1項に記載の情報端末。
  6. 前記画像データ送信制御手段は、前記動作状態が前記機器の停止中を示し、かつ、前記第二の情報端末から送信された音声データの音量が閾値以上の場合に、前記第一の画像データの送信を停止させるか、又は、前記第二の画像データの送信を停止させる請求項4又は5に記載の情報端末。
  7. 前記動作状態判断手段により判断された前記機器の前記動作状態が前記機器の停止中を示す場合、前記第二の情報端末が送信する第三の画像データの送信を停止させる請求項3に記載の情報端末。
  8. 所定の機器に搭載され、前記機器の操作を受け付ける第二の情報端末と通信する情報端末を、
    前記機器の周囲を撮像して第一の画像データを生成する第一の撮像手段と、
    前記第一の画像データを前記第二の情報端末に送信する送信手段と、
    前記操作に応じて前記機器の動作状態を判断する動作状態判断手段と、
    前記動作状態に応じて前記送信手段による前記第一の画像データの送信及び停止を制御するか、又は、前記第一の撮像手段とは異なる第二の撮像手段が前記機器の周囲を撮像して生成した第二の画像データの送信及び停止を制御する画像データ送信制御手段として機能させるためのプログラム。
  9. 所定の機器に搭載され、前記機器の操作を受け付ける第二の情報端末と通信する情報端末が行う通信制御方法であって、
    第一の撮像手段が、前記機器の周囲を撮像して第一の画像データを生成するステップと、
    送信手段が、前記第一の画像データを前記第二の情報端末に送信するステップと、
    動作状態判断手段が、前記操作に応じて前記機器の動作状態を判断するステップと、
    画像データ送信制御手段が、前記動作状態に応じて前記送信手段による前記第一の画像データの送信及び停止を制御するか、又は、前記第一の撮像手段とは異なる第二の撮像手段が前記機器の周囲を撮像して生成した第二の画像データの送信及び停止を制御するステップと、を有する通信制御方法。
  10. 所定の機器に搭載された第一の情報端末と、前記機器の操作を受け付け前記第一の情報端末と通信する第二の情報端末とを有する通信システムであって、
    前記第一の情報端末は、
    前記機器の周囲を撮像して第一の画像データを生成する第一の撮像手段と、
    前記第一の画像データを前記第二の情報端末に送信する送信手段と、
    前記操作に応じて前記機器の動作状態を判断する動作状態判断手段と、
    前記動作状態に応じて前記送信手段による前記第一の画像データの送信及び停止を制御するか、又は、前記第一の撮像手段とは異なる第二の撮像手段が前記機器の周囲を撮像して生成した第二の画像データの送信及び停止を制御する画像データ送信制御手段と、を有し、
    前記第二の情報端末は、
    前記機器を制御するための操作を受け付ける操作入力受付手段と、
    前記機器を制御するための操作指示情報を、前記機器を制御する前記第一の情報端末に向けて送信する第二の送信手段と、を有する通信システム。
JP2016027022A 2016-02-16 2016-02-16 情報端末、プログラム、通信制御方法、通信システム Pending JP2017147555A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016027022A JP2017147555A (ja) 2016-02-16 2016-02-16 情報端末、プログラム、通信制御方法、通信システム
US15/377,523 US20170237938A1 (en) 2016-02-16 2016-12-13 Information terminal, recording medium, communication control method, and communication system
EP17155174.0A EP3214835A1 (en) 2016-02-16 2017-02-08 Information terminal, recording medium, communication control method, and communication system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016027022A JP2017147555A (ja) 2016-02-16 2016-02-16 情報端末、プログラム、通信制御方法、通信システム

Publications (1)

Publication Number Publication Date
JP2017147555A true JP2017147555A (ja) 2017-08-24

Family

ID=58094171

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016027022A Pending JP2017147555A (ja) 2016-02-16 2016-02-16 情報端末、プログラム、通信制御方法、通信システム

Country Status (3)

Country Link
US (1) US20170237938A1 (ja)
EP (1) EP3214835A1 (ja)
JP (1) JP2017147555A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022136220A (ja) * 2018-07-24 2022-09-15 株式会社リコー 通信端末、通信システム、通信方法及びプログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018186412A (ja) * 2017-04-26 2018-11-22 キヤノン株式会社 撮像装置、情報処理装置、情報処理方法及びプログラム
EP3645470A4 (en) * 2017-06-27 2020-08-05 NCH Corporation COMPOSITION AND METHOD OF INHIBITION OF CORROSION AND SCALE FORMATION
US11212439B2 (en) * 2018-07-24 2021-12-28 Ricoh Company, Ltd. Communication terminal, display method, and non-transitory computer-readable medium for displaying images and controller
CN109955254B (zh) * 2019-04-30 2020-10-09 齐鲁工业大学 移动机器人控制***及机器人末端位姿的遥操作控制方法
US20210001487A1 (en) * 2019-07-03 2021-01-07 Ricoh Company, Ltd. Information processing apparatus, information processing method, and storage medium
FR3131998A1 (fr) * 2022-01-20 2023-07-21 Xavier Lacroix Station mobile de visio visite autonome

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10145777A (ja) * 1996-11-05 1998-05-29 Hitachi Denshi Ltd 移動体におけるカメラ映像表示装置
JP2003226437A (ja) * 2002-02-04 2003-08-12 Mitsubishi Heavy Ind Ltd コンテナ荷役搬送機器の遠隔操作システム
JP2003291723A (ja) * 2002-04-01 2003-10-15 Sharp Corp 撮像装置
JP2004261941A (ja) * 2003-03-04 2004-09-24 Sharp Corp コミュニケーションロボットおよびコミュニケーションシステム
JP2012523890A (ja) * 2009-04-17 2012-10-11 インタッチ・テクノロジーズ・インコーポレーテッド ソフトウェアモジュール方式、プロジェクタ、及びレーザポインタを備えたテレプレゼンスロボットシステム
JP2014505934A (ja) * 2010-12-30 2014-03-06 アイロボット コーポレイション 可動式ロボットシステム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8306664B1 (en) * 2010-05-17 2012-11-06 Anybots 2.0, Inc. Self-balancing robot having a shaft-mounted head
US9654644B2 (en) * 2012-03-23 2017-05-16 Dolby Laboratories Licensing Corporation Placement of sound signals in a 2D or 3D audio conference
US9361021B2 (en) * 2012-05-22 2016-06-07 Irobot Corporation Graphical user interfaces including touchpad driving interfaces for telemedicine devices
US9393490B2 (en) * 2014-04-14 2016-07-19 International Business Machines Corporation Simulation based on audio signals

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10145777A (ja) * 1996-11-05 1998-05-29 Hitachi Denshi Ltd 移動体におけるカメラ映像表示装置
JP2003226437A (ja) * 2002-02-04 2003-08-12 Mitsubishi Heavy Ind Ltd コンテナ荷役搬送機器の遠隔操作システム
JP2003291723A (ja) * 2002-04-01 2003-10-15 Sharp Corp 撮像装置
JP2004261941A (ja) * 2003-03-04 2004-09-24 Sharp Corp コミュニケーションロボットおよびコミュニケーションシステム
JP2012523890A (ja) * 2009-04-17 2012-10-11 インタッチ・テクノロジーズ・インコーポレーテッド ソフトウェアモジュール方式、プロジェクタ、及びレーザポインタを備えたテレプレゼンスロボットシステム
JP2014505934A (ja) * 2010-12-30 2014-03-06 アイロボット コーポレイション 可動式ロボットシステム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022136220A (ja) * 2018-07-24 2022-09-15 株式会社リコー 通信端末、通信システム、通信方法及びプログラム
JP7338755B2 (ja) 2018-07-24 2023-09-05 株式会社リコー 通信端末、通信システム、通信方法及びプログラム

Also Published As

Publication number Publication date
US20170237938A1 (en) 2017-08-17
EP3214835A1 (en) 2017-09-06

Similar Documents

Publication Publication Date Title
US20230090669A1 (en) Transmission management apparatus
JP2017147555A (ja) 情報端末、プログラム、通信制御方法、通信システム
US9819772B2 (en) Information processing apparatus and recording medium
US20180109758A1 (en) Transmission system, transmission terminal, method and program
JP2016171424A (ja) 通信システム、伝送端末、通信方法、プログラム
JP6414223B2 (ja) 操作システム、通信端末、通信システム、操作方法、及びプログラム
US20170230472A1 (en) Server apparatus and transmission system
US10277644B2 (en) Transmission system, transmission terminal, method, and program
US20200162617A1 (en) Communication system, non-transitory computer-readable medium, and terminal apparatus
JP6163788B2 (ja) 通信端末、通信方法、及びプログラム
JP2017034530A (ja) 通信管理システム、通信システム、通信管理方法、及びプログラム
JP6787443B2 (ja) 伝送システム、伝送端末、方法、および、プログラム
JP6019707B2 (ja) 伝送管理システム、伝送システム、及び伝送管理システム用プログラム
US20170111409A1 (en) Transmission terminal, automatic response method, and recording medium
JP2014003427A (ja) 伝送管理システム、伝送端末、伝送システム、及び、伝送管理システム用プログラム
JP6295628B2 (ja) 伝送管理システム、伝送管理方法及びプログラム
JP2016171373A (ja) サービス提供装置、通信方法、通信システム、及び、プログラム
JP6569353B2 (ja) 伝送システム、情報処理装置、プログラム、伝送方法
JP2015061086A (ja) 伝送端末及びプログラム
JP2024054420A (ja) 通信システム、通信方法、プログラム
JP6582659B2 (ja) 通信管理システム、情報処理装置、及びプログラム
JP6812645B2 (ja) 通信端末、通信システム、通信方法、及びプログラム
JP2016123011A (ja) 管理システム、通信端末、通信システム、管理方法、及びプログラム
JP6167576B2 (ja) 通信端末、通信方法、及びプログラム
JP2018046410A (ja) 通信システム、情報処理装置、通信方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200107

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200714