JP2018046410A - Communication system, information processing apparatus, communication method, and program - Google Patents
Communication system, information processing apparatus, communication method, and program Download PDFInfo
- Publication number
- JP2018046410A JP2018046410A JP2016179669A JP2016179669A JP2018046410A JP 2018046410 A JP2018046410 A JP 2018046410A JP 2016179669 A JP2016179669 A JP 2016179669A JP 2016179669 A JP2016179669 A JP 2016179669A JP 2018046410 A JP2018046410 A JP 2018046410A
- Authority
- JP
- Japan
- Prior art keywords
- terminal
- unit
- video data
- information processing
- communication
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Abstract
Description
本発明は、通信システム、情報処理装置、通信方法、及びプログラムに関する。 The present invention relates to a communication system, an information processing apparatus, a communication method, and a program.
例えば、インターネットやLAN(Local Area Network)等の通信ネットワークを介して、複数の拠点の間で通信端末を用いてテレビ会議を行うテレビ会議システムが普及している。 For example, a video conference system that performs a video conference using a communication terminal between a plurality of bases via a communication network such as the Internet or a LAN (Local Area Network) has become widespread.
これに関連する技術として、テレビ会議システムにおいて、映像データの種類によって最適な解像度、フレームレート、解像度で映像を送信する技術が知られている(例えば、特許文献1参照)。 As a technology related to this, in a video conference system, a technology is known in which video is transmitted at an optimal resolution, frame rate, and resolution depending on the type of video data (see, for example, Patent Document 1).
また、複数の遠隔ステーションと、遠隔操作により移動可能な複数のロボットとを有するテレプレゼンスロボットシステムにおいて、遠隔ステーションからロボットを制御する技術が知られている(例えば、特許文献2参照)。 In a telepresence robot system having a plurality of remote stations and a plurality of robots that can be moved by remote operation, a technique for controlling the robots from the remote stations is known (see, for example, Patent Document 2).
例えば、テレビ会議システム等の通信システムにおいて、特許文献2に示されるようなロボットを会議用の情報端末として利用することができる。このような場合、遠隔操作で移動可能なロボット等の情報端末(以下、移動端末と呼ぶ)を操作する操作者は、例えば、移動端末から送られる映像を見ながら、移動端末の遠隔操作を行うことが考えられる。
For example, in a communication system such as a video conference system, a robot as disclosed in
このような通信システムおいて、移動端末が移動している場合、移動端末から送信される映像データは、操作者が移動端末の周辺の状況をリアルタイムで確認し易いように配信されることが望ましい。一方、テレビ会議を行っている場合、移動端末から送信される映像データは、参加者の顔や、文字等の確認を容易に確認し易いように配信されることが望ましい。 In such a communication system, when the mobile terminal is moving, the video data transmitted from the mobile terminal is preferably distributed so that the operator can easily confirm the situation around the mobile terminal in real time. . On the other hand, when a video conference is being performed, it is desirable that the video data transmitted from the mobile terminal is distributed so as to easily confirm the participant's face, characters, and the like.
しかし、従来の通信システムでは、移動機能を有する機器に搭載される第1の情報処理装置から、機器の移動操作を行う第2の情報処理装置に対して、機器の移動状態に応じた映像を配信することは困難である。 However, in the conventional communication system, an image corresponding to the moving state of the device is displayed from the first information processing device mounted on the device having the moving function to the second information processing device that performs the moving operation of the device. It is difficult to deliver.
本発明の実施の形態は、上記問題点に鑑みてなされたものであって、移動機能を有する機器に搭載される第1の情報処理装置から、機器の移動操作を行う第2の情報処理装置に対して、機器の移動状態に応じた映像を配信する通信システムを提供することを目的とする。 The embodiment of the present invention has been made in view of the above problems, and is a second information processing apparatus that performs a moving operation of a device from a first information processing device mounted on a device having a moving function. On the other hand, it aims at providing the communication system which distributes the image | video according to the movement state of an apparatus.
上記課題を解決するため、本発明の一実施形態に係る通信システムは、移動機能を有する機器に搭載され、所定の制御情報に従って前記移動機能を制御する第1の情報処理装置と、前記機器への移動操作を受付し、該移動操作に対応する前記制御情報を前記第1の情報処理装置に送信する第2の情報処理装置とを含む通信システムであって、前記機器の周辺の映像データを撮像する撮像部と、前記機器の移動状態を判断する判断部と、前記第1の情報処理装置から前記第2の情報処理装置に送信する前記映像データの加工方法を、前記機器の移動状態に応じて異なる加工方法に決定する決定部と、を有する。 In order to solve the above problems, a communication system according to an embodiment of the present invention is mounted on a device having a moving function, and controls the moving function according to predetermined control information. And a second information processing apparatus that transmits the control information corresponding to the movement operation to the first information processing apparatus, wherein video data around the device is acquired. An imaging unit that captures an image, a determination unit that determines a movement state of the device, and a processing method of the video data that is transmitted from the first information processing device to the second information processing device are set to the movement state of the device. And a determining unit that determines a different processing method according to the method.
本発明の実施の形態によれば、移動機能を有する機器に搭載される第1の情報処理装置から、機器の移動操作を行う第2の情報処理装置に対して、機器の移動状態に応じた映像を配信する通信システムを提供することができる。 According to the embodiment of the present invention, a first information processing device mounted on a device having a movement function is adapted to a second information processing device that performs a device movement operation according to the movement state of the device. A communication system for distributing video can be provided.
本発明を実施するための形態を、以下の実施例に基づき図面を参照しつつ説明する。以下で説明する実施例は一例に過ぎず、本発明が適用される実施形態は、以下の実施例に限られない。
なお、実施例を説明するための全図において、同一機能を有するものは同一符号を用い、繰り返しの説明は省略する。
EMBODIMENT OF THE INVENTION The form for implementing this invention is demonstrated, referring drawings based on the following Examples. Examples described below are merely examples, and embodiments to which the present invention is applied are not limited to the following examples.
In all the drawings for explaining the embodiments, the same reference numerals are used for those having the same function, and repeated explanation is omitted.
<システム構成>
図1は、一実施形態に係る通信システムの構成例を示す図である。通信システム1は、複数の端末(10A,10B,10C,10D,10E)、移動装置20、中継装置30、及び、管理装置50等を有する。なお、以下の説明の中で、複数の端末(10A,10B,10C,10D,10E)のうち、任意の端末を示す場合「端末10」を用いる。また、通信の開始を要求する要求元としての端末10を示す場合「要求元端末」を用い、要求先である宛先としての端末10を示す場合「宛先端末」を用いる。
<System configuration>
FIG. 1 is a diagram illustrating a configuration example of a communication system according to an embodiment. The
端末10、中継装置30、及び管理装置50は、それぞれ、通信ネットワーク2を介して、他の端末、装置、システムと通信可能に接続されている。通信ネットワーク2は、例えば、LAN(Local Area Network)、インターネット、携帯電話網、あるいは専用線等を含んでいても良い。なお、以下の説明の中で、管理装置50と中継装置30とを含むシステムを通信管理システム100と呼ぶ。
The
端末(情報処理装置)10は、例えば、タブレット端末、スマートフォン、PC(Personal Computer)等の汎用の情報端末、又は専用のテレビ会議装置等の情報処理装置である。端末10は、他の1つ以上の端末との間で、例えば、画像データ、音声データ等を送受信することにより、例えば、テレビ会議等を行うことができる。
The terminal (information processing apparatus) 10 is, for example, a general-purpose information terminal such as a tablet terminal, a smartphone, or a PC (Personal Computer), or an information processing apparatus such as a dedicated video conference apparatus. The
端末10B(第1の情報処理装置)は、移動装置20に搭載され、移動装置20と無線又は有線で通信可能である。また、端末10Bは、通信システム1に対応するアプリケーションプログラム(以下、アプリと呼ぶ)を実行することにより、他の端末10(例えば、端末10A)から受信する所定の制御情報に従って、移動装置20の移動機能を制御することができる。なお、端末10Bは、移動装置20と一体化された移動可能な端末10であっても良い。
The
他の端末10の一例である端末10A(第2の情報処理装置)は、通信システム1に対応するアプリを実行することにより、端末10Bとテレビ会議を行うと共に、端末10Bを介して、移動装置20を遠隔操作することができる。
The
例えば、端末10Aは、テレビ会議の表示画面に操作ボタンを表示させて、端末10Bを搭載した移動装置20の移動操作を受付し、受付した移動操作に対応する制御情報を端末10Bに送信する。これにより、端末10Aは、端末10Bを搭載した移動装置20を、例えば、前後、左右等に移動させることができる。
For example, the
移動装置20は、移動装置20に搭載された端末10Bからの制御に応じて、例えば、複数の車輪を駆動することにより、「前進」、「後退」、「右旋回」、「左旋回」等の移動を行う移動機能を有する機器である。なお、図1に示す移動装置20の外観はあくまで一例である。移動装置20は、移動装置20に搭載された端末10Bからの制御に応じて、端末10Bと共に移動可能な装置であれば、他の外観であっても良い。
The
中継装置30は、通信ネットワーク2に接続された情報処理装置、又は1つ以上の情報処理装置を含むシステムであり、複数の端末10間で送受信されるコンテンツデータ(例えば、映像データ)を中継する。
The
管理装置50は、通信ネットワーク2に接続された情報処理装置、又は1つ以上の情報処理装置を含むシステムである。管理装置50は、例えば、端末10からのログイン認証、端末10の通信状況の管理、宛先リストの等の管理、及び複数の端末10間で中継装置30を介して通信を行うセッションの制御等を行う。
The
また、管理装置50は、端末10B及び移動装置20を操作する権利である操作権を管理する。例えば、管理装置50は、端末10Bと同じセッション(例えばテレビ会議)に参加する複数の端末10のうち、端末10Bを操作できる端末10が1台以下となるように端末10Bの操作権を管理する。
In addition, the
一実施形態において、セッションは、中継装置30が、複数の端末10間で映像データ等を含むコンテンツデータを中継することで実現される。
In one embodiment, the session is realized by the
通信システム1では、例えば、端末10Aと端末10Bとの間において、管理装置50を介して、各種の管理情報を送受信するための管理情報用のセッションseiが確立される。端末10A及び端末10Bは、この管理情報用のセッションseiを利用して、例えば、通信用のセッションを確立するための呼制御用データ等、各種の管理データを送受信することができる。また、端末10Aと端末10Bとの間では、例えば、中継装置30を介して、映像データや音データ等のコンテンツデータを伝送するための通信用のセッションsed(以下、単にセッションと呼ぶ)が確立される。
In the
端末10Aは、管理情報用のセッションseiを利用して、例えば、端末10Bとの間でセッションを確立し、確立したセッションを利用して、映像データ等を含むコンテンツデータを送受信することができる。 The terminal 10A can establish a session with, for example, the terminal 10B using the management information session sei, and can transmit and receive content data including video data and the like using the established session.
上記の構成において、端末10Aの利用者は、端末10Bと通信を行い、例えば、端末10Bから送信される端末10Bの周辺の映像を見ながら、端末10B及び移動装置20を遠隔操作し、移動させることができる。これにより、端末10Aの利用者は、例えば、端末10B及び移動装置20を任意の利用者の近くに移動させて、テレビ会議等を行うことができるようになる。
In the above configuration, the user of the terminal 10A communicates with the terminal 10B, and remotely operates and moves the terminal 10B and the moving
また、本実施形態に係る通信システム1では、端末10B又は移動装置20の移動状態(例えば、移動中、停止中等)を判断し、端末10Bが送信する映像データを移動状態に応じた配信データに加工して配信する。
Further, in the
例えば、通信システム1は、端末10B又は移動装置20が移動中である場合、端末10Bが送信する映像データを、フレームレートを優先して加工し、配信する。また、通信システム1は、端末10B又は移動装置20が停止中である場合、会議等を高画質で行うために、端末10Bが送信する映像データを、画質や解像度を優先して加工し、配信する。
For example, when the terminal 10B or the
このように、本実施形態に係る通信システム1は、端末10Bが送信する映像データを、端末10B又は移動装置20が移動中であるか否かによって、映像データの配信方法を切換える。
As described above, the
これにより、本実施形態に係る通信システム1によれば、移動機能を有する移動装置20に搭載される端末10Bから、機器の移動操作を行う端末10Aに対して、移動装置20の移動状態に応じた映像を配信することができるようになる。
Thereby, according to the
なお、本実施形態では、コミュニケーションシステムの一例としてのビデオ会議システム、コミュニケーション管理システムの一例としてのテレビ会議管理システム、及びコミュニケーション端末の一例としてのテレビ会議端末を想定し、通信システム1、管理装置50、及び端末10について説明する。即ち、端末10及び管理装置50は、テレビ会議システムに適用されるだけでなく、他のコミュニケーションシステムにも適用される。例えば、通信システム1は電話システムであり、端末10は、IP(Internet Protocol)電話機、インターネット電話機、PC(Personal Computer)、ノートPC、スマートフォンやタブレット端末等のモバイル端末等であっても良い。
In this embodiment, a
なお、実施形態において、「テレビ会議」は、「ビデオ会議」と置き換え可能に用いられる。 In the embodiment, “video conference” is used interchangeably with “video conference”.
<ハードウェア構成>
(端末のハードウェア構成)
図2は、本発明の一実施形態に係る端末のハードウェア構成例を示す図である。端末10は、一般的なコンピュータの構成を含み、例えば、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103、フラッシュメモリ104、及びSSD(Solid State Drive)105等を有する。また、端末10は、メディアI/F(Interface)107、入力部108、表示部109、ネットワークI/F111、カメラ112、撮像素子I/F113、マイク114、スピーカ115、及び音声入出力I/F116等を有する。さらに、端末10は、外部機器接続I/F117、近距離無線通信部118、及びバス119等を有する。
<Hardware configuration>
(Device hardware configuration)
FIG. 2 is a diagram illustrating a hardware configuration example of a terminal according to an embodiment of the present invention. The terminal 10 includes a general computer configuration, for example, a CPU (Central Processing Unit) 101, a ROM (Read Only Memory) 102, a RAM (Random Access Memory) 103, a
CPU101は、例えば、ROM102や、フラッシュメモリ104等からプログラムやデータを読出し、処理を実行することで、端末10が備える各機能を実現する演算装置である。ROM102は、IPL(Initial Program Loader)等のCPU101の起動に用いられるプログラム等を予め記憶した不揮発性のメモリである。RAM103は、CPU101のワークエリア等として利用される揮発性のメモリである。
The
フラッシュメモリ104は、例えば、OS(Operating System)、アプリケーションプログラム、及び各種のデータ等を記憶するストレージデバイスである。SSD105は、CPU101の制御に従ってフラッシュメモリ104に対する各種データの読み出し、書き込みを制御する。メディアI/F107は、例えば、メモリカード等の記憶媒体である記録メディア106に対するデータの読み出し又は書き込み(記憶)を制御する。
The
入力部108は、例えば、タッチパネル、キーボード、ポインティングデバイス等の利用者からの入力操作を受け付けるための入力装置である。表示部109は、利用者に向けた各種の表示を行う表示装置である。なお、入力部108、及び表示部109は、例えば、タッチパネルとディスプレイが一体化されたタッチパネルディスプレイ等の表示入力部110であっても良い。
The
ネットワークI/F111は、端末10が通信ネットワーク2を利用してデータ伝送をするための通信インタフェースである。カメラ112は、CPU101の制御に従って被写体を撮像するための撮像素子を含む。撮像素子I/F113は、カメラ112による撮像を制御すると共に、撮像したデータを所定の画像データに変換する。マイク114は、収音した音声を電気信号に変換する。スピーカ115は、音声信号を音声に変換して出力する。音声入出力I/F116は、マイク114及びスピーカ115による音声の入出力を制御する。
The network I /
外部機器接続I/F117は、例えば、USB(Universal Serial Bus)等の外部機器を接続するためのインタフェースである。外部機器には、例えば、図1の移動装置20等が含まれる。
The external device connection I /
近距離無線通信部118は、例えば、Bluetooth(登録商標)や、Bluetooth Low Energy(以下、BLEと呼ぶ)等の近距離無線通信により、外部機器(例えば移動装置20)と通信するための通信インタフェースである。バス119は、上記の各構成に共通に接続され、アドレス信号、データ信号、及び各種の制御信号等を伝達する。
The short-range
(管理装置、中継装置のハードウェア構成)
図3は、一実施形態に係る管理装置、及び中継装置のハードウェア構成例を示す図である。管理装置50は、一般的なコンピュータの構成を有しており、例えば、CPU501、ROM502、RAM503、HD504、HDD(Hard Disk Drive)505、メディアドライブ507、及びディスプレイ508等を有する。また、管理装置50は、ネットワークI/F509、キーボード511、マウス512、CD−ROMドライブ514、及びバス510等を有する。
(Hardware configuration of management device and relay device)
FIG. 3 is a diagram illustrating a hardware configuration example of a management device and a relay device according to an embodiment. The
CPU501は、例えば、ROM502、HD504等に格納されたプログラムやデータを読出し、処理を実行することにより、管理装置50が備える各機能を実現する演算装置である。ROM502は、IPL等のCPU501の起動に用いられるプログラム等を予め記憶した不揮発性のメモリである。RAM503は、CPU501のワークエリア等として利用される揮発性のメモリである。
The
HD504は、例えば、OSや、アプリケーションプログラム等のプログラムや、各種のデータを記憶するストレージ装置である。HDD505は、CPU501の制御に従って、HD504に対する各種データの読み出し又は書き込みを制御する。ディスプレイ508は、例えば、カーソル、メニュー、ウィンドウ、文字、又は画像等の各種の情報を表示する表示装置である。
The
ネットワークI/F509は、通信ネットワーク2を利用してデータ通信を行うための通信インタフェースである。キーボード511は、利用者による文字、数値、各種指示などの入力操作を受け付けるための入力装置の一例である。マウス512は、利用者による各種指示の選択や実行、処理対象の選択、カーソルの移動等の操作を受け付けるポインティングデバイスの一例である。
A network I /
メディアドライブ507は、例えば、メモリカード等の記録メディア506に対するデータの読み出しや、書き込み(記憶)を制御する。CD−ROMドライブ514は、着脱可能な記憶媒体の一例としてのディスク513に対するデータの読み出し又は書き込みを制御する。バス510は、上記の各構成要素を電気的に接続し、アドレス信号、データ信号、及び各種の制御信号等を伝達する。
The media drive 507 controls reading and writing (storage) of data with respect to a
なお、上記のコンピュータのハードウェア構成はあくまで一例である。例えば、ディスプレイ208、キーボード211、マウス212等は、管理装置50の外部に外付けされているものであっても良い。
Note that the hardware configuration of the computer is just an example. For example, the display 208, the keyboard 211, the mouse 212, and the like may be externally attached to the outside of the
中継装置30は、管理装置50と同様のハードウェア構成を有しているものとする。なお、端末10、中継装置30、及び管理装置50用の各プログラムは、インストール可能な形式又は実行可能な形式のファイルによって、コンピュータで読み取り可能な記録メディアに記録されて流通されるようにしても良い。また、上記記録メディアの例として、CD−R(Compact Disc Recordable)、DVD(Digital Versatile Disk)、ブルーレイディスク等が挙げられる。また、各プログラムが記憶されたCD−ROM等の記録メディア、並びに、これらプログラムが記憶されたHD504は、プログラム製品(Program Product)として、国内又は国外へ提供されることができる。
The
(移動装置のハードウェア構成)
図4は、一実施形態に係る移動装置のハードウェア構成例を示す図である。移動装置20は、例えば、CPU401、RAM402、ROM403、外部機器I/F404、近距離無線通信部405、車輪駆動部406、操舵部407等を有する。
(Hardware configuration of mobile device)
FIG. 4 is a diagram illustrating a hardware configuration example of the mobile device according to the embodiment. The
CPU401は、ROM403等に格納されたプログラムを実行することにより、移動装置20の各機能を実現する演算装置である。RAM402は、CPU401のワークエリア等として用いられる揮発性のメモリである。ROM403は、移動装置20のプログラム等を記憶する不揮発性のメモリである。ROM403は、例えば、フラッシュROM等の書き換え可能な不揮発性メモリであっても良い。
The
外部機器I/F404は、図2に示した端末10の外部機器接続I/F117等と有線
接続し、通信を行うための有線通信インタフェースである。
The external device I /
近距離無線通信部405は、例えば、図2に示した端末10の近距離無線通信部118と同じ無線通信方式(例えばBLE通信)により無線通信を行うための無線通信インタフェースである。移動装置20は、例えば、外部機器I/F404、又は近距離無線通信部405により、端末10と通信可能であれば良い。
The short-range
車輪駆動部406は、移動装置20を移動させるための車輪を駆動させる駆動装置の一例である。車輪駆動部406には、例えば、モータ等が含まれる。
The
操舵部407は、車輪駆動部406によって移動する移動装置20の操舵を行う操舵装置の一例である。操舵部407は、例えば、車輪の向きを変えるものであっても良いし、左右の車輪の回転数や、速度等を制御することにより、移動装置20の向きを変えるもの等であっても良い。
The
<機能構成>
図5は、一実施形態に係る通信システムの機能構成例を示す図である。図5の例では、通信システム1には、通信ネットワーク2を介して互いに通信可能に接続された通信管理システム100、端末10A、及び端末10Bが含まれる。なお、通信管理システム100は、図1の管理装置50、及び中継装置30に対応している。
<Functional configuration>
FIG. 5 is a diagram illustrating a functional configuration example of a communication system according to an embodiment. In the example of FIG. 5, the
(端末10Aの機能構成)
端末10Aは、例えば、移動装置20等の移動機能を有する機器に接続されていない端末10の一例である。
(Functional configuration of terminal 10A)
The terminal 10A is an example of the terminal 10 that is not connected to a device having a moving function such as the
端末10Aは、例えば、送受信部11、操作入力受付部12、通信制御部13、撮像部14、音声入力部15a、音声出力部15b、表示制御部16、記憶・読出部17、及び制御情報送信部41等を有する。また、端末10Aは、移動状態判断部B42、及び加工方法決定部C43等をさらに有していても良い。これらの各部は、図2に示されている各構成要素のいずれかが、フラッシュメモリ104からRAM103上に展開された端末10用のプログラムに従ったCPU101からの命令によって動作することで実現される機能、又は機能する手段である。また、端末10は、図2に示されているRAM103、及び図2に示されているフラッシュメモリ104によって実現される記憶部18を有している。
The terminal 10A includes, for example, a transmission /
(端末10Bの機能構成)
端末10Bは、例えば、移動装置20等の移動機能の有する機器を制御する制御機能を有する端末10の一例である。端末10Bは、例えば、端末10Aと同様に、送受信部11、操作入力受付部12、通信制御部13、撮像部14、音声入力部15a、音声出力部15b、表示制御部16、記憶・読出部17、及び記憶部18等を有する。
(Functional configuration of terminal 10B)
The terminal 10B is an example of the terminal 10 having a control function for controlling a device having a moving function such as the
また、端末10Bは、例えば、操作指示受信部31、操作指示認証部32、機器制御部33、機器間通信部34、移動状態判断部A35、及び加工方法決定部A36等を有する。なお、加工方法決定部A36の機能は、通信管理システム100の加工方法決定部B59で実現されるものであっても良い。この場合、端末10Bは、加工方法決定部A36を有していなくても良い。
Further, the terminal 10B includes, for example, an operation
(端末10の各機能構成)
次に、端末10Aと端末10Bとに共通する各機能構成について説明する。
(Each functional configuration of terminal 10)
Next, each functional configuration common to the terminal 10A and the terminal 10B will be described.
送受信部11は、図2に示されているCPU101からの命令、及び図2に示されているネットワークI/F111等によって実現され、通信ネットワーク2を介して他の端末、装置又はシステムと各種データ(または情報)の送受信を行う。送受信部11は、宛先端末と通信を開始する前から、通信管理システム100より、宛先候補としての各端末10の状態を示す各状態情報の受信を開始する。なお、この状態情報は、各端末10の稼動状態(オンラインかオフラインかの状態)だけでなく、オンラインの場合、さらに通信可能であるか、通信中であるか等の詳細な状態を示す。
The transmission /
操作入力受付部12は、図2に示されているCPU101からの命令、並びに図2に示されている入力部108等によって実現され、利用者による各種入力を受け付ける。例えば、利用者が、端末10の電源をオンさせる操作を行うと、図5に示されている操作入力受付部12が操作を受け付けて、電源をオンに制御する。
The operation
通信制御部13は、図2に示されているCPU101からの命令によって実現される。通信制御部13は、例えば、上記電源オンの受付を契機として、送受信部11から通信ネットワーク2を介して通信管理システム100に、ログインを要求する旨を示すログイン要求情報、及び要求元端末の現時点のIPアドレスを自動的に送信する。また、利用者が、端末10の電源をオフする操作を行うと、送受信部11が通信管理システム100へ電源をオフする旨の状態情報を送信した後に、操作入力受付部12が電源をオフにする。これにより、通信管理システム100側では、端末10が電源オンから電源オフになったことを把握することができる。
The
また、通信制御部13は、中継装置30を介して、他の端末10とコンテンツデータの送受信を行う通信セッションの確立や、切断等、様々な通信制御を行う。なお、本実施形態に係る通信制御部13は、管理装置50に送信するセッションの制御情報(例えば、後述する開始要求情報、開始応答情報等)に、端末10の端末ID(Identification)を含めて送信する。
In addition, the
端末IDは、端末10を用いてコンテンツデータの伝送を行うセッションに参加可能なアカウントの識別情報の一例である。端末IDは、例えば、利用者の識別情報である利用者ID、アプリの識別情報であるアプリID、端末10の契約者の識別情報である契約ID等であっても良い。
The terminal ID is an example of identification information of an account that can participate in a session in which content data is transmitted using the
撮像部14は、図2に示されているCPU101からの命令、並びに図2に示されているカメラ112及び撮像素子I/F113によって実現され、被写体を撮像して得られた撮像データを、所定の画像(映像)データに変換して出力する。例えば、撮像部14は、端末10の周辺の映像データを撮像する。
The
音声入力部15aは、図2に示されているCPU101からの命令、及び図2に示されている音声入出力I/F116によって実現され、マイク114によって利用者の音声が音声信号に変換された後、この音声信号を所定の音声データに変換して出力する。音声出力部15bは、図2に示されているCPU101からの命令、及び図2に示されている音声入出力I/F116等によって実現され、音声データを音声信号に変換してスピーカに出力して、スピーカ115から音声を出力させる。
The
表示制御部16は、図3に示されているCPU101からの命令によって実現される。表示制御部16は、例えば、端末10が受信したコンテンツデータに含まれる映像や、移動装置20への操作を受付するための機器操作画面等を表示部109、表示入力部110等に表示させる。また、表示制御部16は、通信管理システム100から受信した宛先リストの情報を表示部109に送信して、表示部109に宛先リストを表示させることができる。
The
記憶・読出部17は、図2に示されているCPU101からの命令及び図2に示すSSD105等によって実現され、又はCPU101からの命令によって実現される。記憶・読出部17は、記憶部18に各種データを記憶したり、記憶部18に記憶された各種データを読み出したりする処理を行う。
The storage /
記憶部18には、例えば、前述した端末IDと端末IDに対応するパスワード等の認証情報が記憶される。また、記憶部18には、管理装置50から通知された、端末10B及び移動装置20の操作権に関する様々な情報(例えば、操作権、譲渡権等)が記憶される。さらに、記憶部18には、宛先端末との通信を行う際に受信される画像データ及び音声データが、受信される度に上書き記憶される。このうち、上書きされる前の画像データによって表示部109等に画像が表示され、上書きされる前の音声データによってスピーカ115から音声が出力される。
The
なお、本実施形態の端末ID、後述の中継装置ID等は、それぞれ端末10、中継装置30等を一意に識別するために使われる言語、文字、記号、又は各種のしるし等の識別情報の一例を示す。また、端末ID及び中継装置IDは、上記言語、文字、記号、及び各種のしるしのうち、少なくとも2つが組み合わされた識別情報であっても良い。
Note that the terminal ID and the relay device ID described later are examples of identification information such as language, characters, symbols, and various signs used to uniquely identify the terminal 10, the
(端末10Bの各機能構成)
続いて、端末10Bに含まれる各機能構成について説明する。
(Each functional configuration of terminal 10B)
Subsequently, each functional configuration included in the terminal 10B will be described.
操作指示受信部31は、例えば、図2に示されているCPU101からの命令によって実現され、送受信部11を介して、他の端末10(例えば端末10A)から端末10Bに対して機器(移動装置20)の制御を要求する操作指示情報を受信する。この操作指示情報には、例えば、操作指示情報を送信した端末10の端末ID、及び要求する制御内容を示す制御情報等が含まれる。
The operation
操作指示認証部32は、例えば、図2に示されているCPU101からの命令によって実現され、操作指示受信部31が受信した操作指示情報が、端末10Bの操作権を有する端末10からの情報であるかどうかを認証する。例えば、操作指示認証部32は、通信管理システム100から通知された、端末10Bの操作権を有する端末10の端末IDを記憶部18に記憶しておく。また、操作指示認証部32は、操作指示受信部31が操作指示情報を受信すると、受信した操作指示情報に含まれる端末IDと、記憶部18に記憶された端末10の操作権を有する端末10の端末IDとを比較し、一致した場合に認証を許可する。
The operation
機器制御部33は、例えば、図2に示されているCPU101からの命令によって実現され、操作指示受信部31で受信されて、操作指示認証部32で認証が許可された操作指示情報に含まれる制御情報に基づいて、移動装置20を制御する。
The
機器間通信部34は、例えば、図2に示されているCPU101からの命令、及び図2の近距離無線通信部118、又は外部機器接続I/F117等によって実現される。
The
移動状態判断部A(判断部の一例)35は、例えば、図2に示されているCPU101からの命令によって実現され、移動装置20(及び端末10B)の移動状態を判断する。
The movement state determination unit A (an example of a determination unit) 35 is realized by, for example, a command from the
移動状態判断部A35は、例えば、移動装置20が移動している「移動中」状態(第1の状態)であるか、移動装置20が移動していない「停止中」状態(第2の状態)であるかを判断する。
The movement state determination unit A35 is, for example, a “moving” state (first state) in which the moving
あるいは、移動状態判断部A35は、例えば、移動装置20の移動速度が所定の速度以上(第1の状態の別の一例)であるか、移動装置20の移動速度が所定の速度未満(第2の状態の別の一例)であるかを判断するもの等であっても良い。ここでは、移動状態判断部A35が、移動装置20が「移動中」状態であるか、「停止中」状態であるかを判断するものとして、以下の説明を行う。
Alternatively, for example, the movement state determination unit A35 determines whether the movement speed of the
なお、移動状態判断部A35が、移動装置20の移動状態を判断する方法には、いくつかの方法が考えられる。
There are several possible methods for the movement state determination unit A35 to determine the movement state of the moving
一例として、移動状態判断部A35は、機器間通信部34を用いて、移動装置20から移動状態を示す情報を取得することにより、移動装置20の移動状態を判断することができる。このとき、移動状態判断部A35は、取得した移動状態が所定の時間継続した場合に、移動状態が変化したと判断するもの等であっても良い。
As an example, the movement state determination unit A <b> 35 can determine the movement state of the
なお、端末10Bと移動装置20とが一体型の端末10である場合、移動状態判断部A35は、後述する走行制御部22から、一体型の端末10の移動状態を示す情報を取得することにより、一体型の端末10の移動状態を判断すれば良い。
When the terminal 10B and the
別の一例として、移動状態判断部A35は、移動装置20の操作を行うための端末10Aから受信する制御情報等によって、移動装置20の移動状態を判断するものであっても良い。例えば、移動状態判断部A35は、端末10Aから受信する制御情報が移動装置20の移動を指示する情報である場合、移動装置20が「移動中」状態に移行したと判断するものであっても良い。また、移動状態判断部A35は、端末10Aから受信する制御情報が移動装置20の停止を指示する情報である場合、移動装置20が「停止中」状態に移行したと判断するものであっても良い。このとき、移動状態判断部A35は、受信した制御情報による状態が所定の時間継続した場合に、移動状態が変化したと判断するもの等であっても良い。
As another example, the movement state determination unit A35 may determine the movement state of the
加工方法決定部A(決定部の一例)36は、例えば、図2に示されているCPU101からの命令によって実現される。加工方法決定部A36は、端末10Bから端末10Aに送信する、撮像部14が移動装置20の周辺を撮像した映像データの加工方法を、移動装置20の移動状態に応じて異なる加工方法に決定する。
The processing method determination unit A (an example of a determination unit) 36 is realized by, for example, an instruction from the
例えば、加工方法決定部A36は、移動状態判断部A35が判断した移動装置20の移動状態が「移動中」状態(第1の状態)である場合、映像データの加工方法を、フレームレートを優先した加工方法(第1の加工方法)に決定する。
For example, when the movement state of the moving
一方、加工方法決定部A36は、移動状態判断部A35が判断した移動装置20の移動状態が「停止中」状態(第2の状態)である場合、映像データの加工方法を、画質、解像度等を優先した加工方法(第2の加工方法)に決定する。
On the other hand, when the movement state of the moving
例えば、端末10Aに配信される配信データの通信速度が一定である場合、映像データの解像度を下げる(例えば、540×720ドットから、270×360ドットの解像度に変更する)ことにより、より高いフレームレートで映像データを送信することができる。 For example, when the communication speed of the distribution data distributed to the terminal 10A is constant, a higher frame can be obtained by reducing the resolution of the video data (for example, changing the resolution from 540 × 720 dots to 270 × 360 dots). Video data can be transmitted at a rate.
同様に、端末10Aに配信される配信データの通信速度が一定である場合、映像データの色深度(画質の一例)を下げる(例えば、24ビットから、8ビットの色深度に変更する)ことにより、より高いフレームレートで映像データを送信することができる。 Similarly, when the communication speed of the distribution data distributed to the terminal 10A is constant, the color depth (an example of image quality) of the video data is lowered (for example, the color depth is changed from 24 bits to 8 bits). The video data can be transmitted at a higher frame rate.
一方、端末10Aに配信される配信データの通信速度が一定である場合、映像データのフレームレートを下げる(例えば、30fpsから、15fpsのフレームレートに変更する)ことにより、より高い解像度(又は画質)で映像データを送信することができる。 On the other hand, when the communication speed of the distribution data distributed to the terminal 10A is constant, the resolution (or image quality) is increased by lowering the frame rate of the video data (for example, changing from 30 fps to 15 fps). Video data can be transmitted with.
加工方法決定部A36は、移動装置20(及び端末10B)の移動状態に応じて、フレームレートを優先して映像データを加工するか、画質・解像度を優先して映像データを加工するかを決定(変更)する。 The processing method determination unit A36 determines whether to process the video data with priority on the frame rate or to process the video data with priority on the image quality / resolution according to the moving state of the mobile device 20 (and the terminal 10B). (change.
(移動装置の機能構成)
移動装置20は、例えば、機器間通信部21、及び走行制御部22等を有する。
(Functional configuration of mobile device)
The
機器間通信部21は、例えば、図4に示されているCPU401からの命令、及び外部機器I/F404、又は近距離無線通信部405等によって実現される。ここでは、機器間通信部21は、近距離無線通信部405を用いて端末10Bと通信を行うものとする。
The
走行制御部22は、例えば、図4に示されているCPU401からの命令によって実現される。走行制御部22は、例えば、端末10Bの機器制御部33の制御に従って、図4の車輪駆動部406、及び操舵部407を制御することにより、移動装置20を移動(例えば、前進、後退、左旋回、右旋回等)させる。
The traveling
(端末10Aの各機能構成)
続いて、端末10Aに含まれる各機能構成について説明する。
(Each functional configuration of terminal 10A)
Subsequently, each functional configuration included in the terminal 10A will be described.
制御情報送信部41は、例えば、図2に示されているCPU101からの命令によって実現され、表示制御部16が表示させた機器操作画面に対して行われた移動操作に対応する制御情報を含む操作指示情報を端末10Bに送信する。
The control information transmission unit 41 is realized by, for example, a command from the
移動状態判断部B(判断部の別の一例)42は、例えば、図2に示されているCPU101からの命令によって実現され、移動装置20(及び端末10B)の移動状態を判断する。例えば、移動状態判断部B42は、移動装置20の操作を行うために、制御情報送信部41が端末10Bに送信する制御情報等によって、移動装置20の移動状態を判断する。
The movement state determination unit B (another example of the determination unit) 42 is realized by, for example, a command from the
例えば、移動状態判断部B42は、制御情報送信部41が、端末10Bに移動を指示する制御情報を送信したとき、端末10Bが「移動中」状態に移行したと判断し、端末10Bに停止を指示する制御情報を送信したとき「停止中」状態に移行したと判断する。 For example, when the control information transmission unit 41 transmits control information instructing movement to the terminal 10B, the movement state determination unit B42 determines that the terminal 10B has shifted to the “moving” state, and stops the terminal 10B. When the control information to be instructed is transmitted, it is determined that the state has shifted to the “stopped” state.
加工方法決定部C(決定部の別の一例)43は、例えば、図2に示されているCPU101からの命令によって実現される。加工方法決定部C43は、端末10Aから端末10Bに送信する、撮像部14が撮像した映像データの加工方法を、移動状態判断部B42が判断した移動装置20の移動状態に応じて異なる加工方法に決定する。なお、加工方法決定部C43による映像データの加工方法の決定方法は、例えば、端末10Bの加工方法決定部A36と同様で良い。
The processing method determination unit C (another example of the determination unit) 43 is realized by, for example, an instruction from the
(通信管理システムの機能構成)
通信管理システム100は、例えば、図1に示す管理装置50、中継装置30等の1つ以上の情報処理装置によって構成される。ここでは、説明を容易にするため、通信管理システム100が、1つの情報処理装置で構成されるものとして以下の説明を行う。ただし、これはあくまで一例であり、以下に示す各機能構成は、複数の情報処理装置(例えば、管理装置50、中継装置30等)に分散して設けられているものであっても良い。
(Functional configuration of communication management system)
The
通信管理システム100は、送受信部51、端末認証部52、端末管理部53、宛先リスト管理部54、セッション管理部55、機器操作権管理部56、データ中継部57、映像データ加工部58、加工方法決定部B59、及び記憶・読出部60等を有している。これら各部は、図3に示されている各構成要素のいずれかが、HD204からRAM203上に展開されたプログラムに従ったCPU201からの命令によって動作することで実現される機能又は機能する手段である。また、通信管理システム100は、図3に示されているHD204等により実現される記憶部5000を有している。
The
なお、加工方法決定部B59の機能は、端末10Bの加工方法決定部A36で実現されるものであっても良い。 Note that the function of the processing method determination unit B59 may be realized by the processing method determination unit A36 of the terminal 10B.
(通信管理システムの各機能構成)
次に、通信管理システム100の各機能構成について詳細に説明する。
(Each functional configuration of the communication management system)
Next, each functional configuration of the
送受信部51は、図3に示されているCPU201からの命令、及び図3に示されているネットワークI/F209によって実行され、通信ネットワーク2を介して他の端末、装置又はシステムと各種データ(または情報)の送受信を行う。
The transmission /
端末認証部52は、図3に示されているCPU201からの命令によって実現される。端末認証部52は、例えば、送受信部51を介して受信されたログイン要求情報に含まれている端末ID及びパスワードの組合せが、認証管理DB(Database)5002に含まれるか否かを判断することにより端末10の認証を行う。
The
端末管理部53は、図3に示されているCPU201からの命令によって実現され、端末管理DB5003に、端末ID毎の、宛先名、稼動状態、要求情報等の受信日時、及び要求元端末のIPアドレス等を関連付けて記憶して、管理する。例えば、端末管理部53は、利用者が端末10の電源をオンからオフにすることで、端末10から送られてきた、電源をオフする旨の状態情報に基づいて、端末管理DB5003のオンラインを示す稼動状態をオフラインに変更する。なお、端末管理DB5003については後述する。
The
また、端末管理部53は、ログインを要求した要求元端末の端末IDをキーとして、宛先リスト管理DB5004を検索し、要求元端末と通信することができる宛先端末の端末IDを抽出する。さらに、端末管理部53は、ログインを要求してきた要求元端末の端末IDをキーとして、宛先リスト管理DB5004を検索し、上記要求元端末の端末IDを宛先端末の候補として登録している他の要求元端末の端末IDも抽出する。
Also, the
さらに、端末管理部53は、抽出された宛先端末の候補の端末IDを検索キーとして、前述した端末管理DB5003を検索し、抽出された端末ID毎に稼動状態を読み出す。これにより、端末管理部53は、ログイン要求してきた要求元端末と通信することができる宛先端末の候補の稼動状態を取得することができる。また、端末管理部53は、抽出された端末IDを検索キーとして、前述した端末管理DB5003を検索し、ログイン要求してきた要求元端末の稼動状態も取得する。
Further, the
宛先リスト管理部54は、図3に示されているCPU201からの命令によって実現され、宛先リスト管理DB5004の各要求元端末の端末ID毎に、宛先端末の端末IDを追加又は削除する。なお、宛先リスト管理DB5004については後述する。
The destination
セッション管理部55は、図3に示されているCPU201からの命令によって実現され、通信管理システム100が管理するセッションの制御を行う。セッションの制御には、例えば、セッションを確立するための制御、確立されたセッションに端末10を参加させる制御、セッションを切断する制御、セッションIDの生成等が含まれる。また、セッション管理部55は、セッションの識別情報であるセッションIDに対応づけて、セッションの開始を要求した端末10の要求元端末ID、及び宛先の端末10の宛先端末ID等を、セッション管理DB5005に記憶して、管理する。なお、セッション管理DB5005については後述する。
The
機器操作権管理部56は、図3に示されているCPU201からの命令によって実現され、例えば、移動装置20等の機器の制御を行う端末10(以下、機器制御端末と呼ぶ場合がある)の操作を行う権利である操作権を管理する。例えば、機器操作権管理部56は、機器制御端末との間の通信を介して移動装置20等の機器を操作可能な端末10が端末10Aである設定から端末10Cである設定に変更する。
The device operation
好ましくは、機器操作権管理部56は、機器制御端末の操作権を他の端末10に譲渡する権利である譲渡権の管理も行う。なお、譲渡権の管理は必須ではない。
Preferably, the device operation
好ましくは、機器操作権管理部56は、例えば、機器制御端末を管理する利用者や、機器制御端末の操作に慣れている利用者等、予め定められた機器操作の担当者の端末10である「機器操作担当端末」の情報(例えば端末ID)の管理も行う。なお、機器操作担当端末の管理は必須ではない。
Preferably, the device operation
データ中継部(配信部)57は、図3に示されているCPU201からの命令によって実現され、セッションを識別するための識別情報であるセッションIDに基づいて、同じセッションに参加する複数の端末10間のコンテンツデータ(映像データ等)を中継する。
The data relay unit (distribution unit) 57 is realized by a command from the CPU 201 illustrated in FIG. 3, and a plurality of
例えば、データ中継部57は、端末10Bから送信される映像データを受信し、受信した映像データを用いて映像データ加工部58が生成した配信データを、端末10Aに配信する。また、データ中継部57は、端末10Aから送信される映像データを受信し、受信した映像データを用いて映像データ加工部58が生成した配信データを、端末10Bに配信するものであっても良い。
For example, the
映像データ加工部(生成部)58は、図3に示されているCPU201からの命令によって実現される。映像データ加工部58は、端末10Bの加工方法決定部A36、又は通信管理システム100の加工方法決定部B59が決定した映像データの加工方法に従って、映像データを加工し、端末10A(又は端末10B)に配信する配信データを生成する。
The video data processing unit (generation unit) 58 is realized by a command from the CPU 201 shown in FIG. The video
例えば、映像データ加工部58は、映像データの加工方法がフレームレート優先の加工方法に決定された場合、映像データの加工方法が画質・解像度優先の加工方法に決定された場合より、高いフレームレートで映像データを加工(例えば、符号化)する。また、映像データ加工部58は、映像データの加工方法が画質・解像度優先の加工方法に決定された場合、映像データの加工方法がフレームレート優先の加工方法に決定された場合より、良い画質、又は高い解像度で映像データを加工(例えば、符号化)する。
For example, when the video data processing method is determined to be the frame rate priority processing method, the video
なお、本実施形態では、映像データの加工方法を特に限定しないが、一例として、映像データ加工部58は、H.264 SVC(Scalable Video Cording)でスケーラブル映像符号化された映像データを用いて、映像データを加工することができる。
In the present embodiment, the video data processing method is not particularly limited, but as an example, the video
H.264 SVCは、映像符号化の規格であり、H.264 SVCで符号化された映像データには、必要最低限の映像要素であるベースレイヤと、拡張レイヤとが含まれる。この拡張レイヤには、例えば、画像の高精細化に寄与する空間レイヤ、フレームレートに寄与する時間レイヤ、S/N(Signal/Noise)比の向上に寄与するS/N比レイヤ等が含まれる。 H. H.264 SVC is a video coding standard. The video data encoded by H.264 SVC includes a base layer and an enhancement layer, which are the minimum necessary video elements. This extension layer includes, for example, a spatial layer that contributes to higher definition of the image, a time layer that contributes to the frame rate, an S / N ratio layer that contributes to an improvement in the S / N (Signal / Noise) ratio, and the like. .
例えば、映像データ加工部58は、端末10BからH.264 SVCで符号化された映像データを受信し、映像データに含まれるベースレイヤと時間レイヤとを用いて配信データを生成することにより、フレームレートを優先した配信データを生成することができる。
For example, the video
同様に、映像データ加工部58は、映像データに含まれるベースレイヤと空間レイヤとを用いて配信データを生成することにより解像度を優先した配信データを生成することができる。さらに、映像データ加工部58は、映像データに含まれるベースレイヤとS/N比レイヤとを用いて配信データを生成することにより、S/N(画質の一例)を優先した配信データを生成することができる。
Similarly, the video
なお、H.264 SVCで符号化された映像を用いた配信データの生成は、映像データ加工部58による配信データの生成方法の一例である。
H. The generation of distribution data using video encoded by H.264 SVC is an example of a method of generating distribution data by the video
別の一例として、映像データ加工部58は、フレームレートを優先する場合のフレームレートや解像度の情報、及び画質・解像度を優先する場合のフレームレートや解像度の情報等を含む加工方法管理情報を、予め記憶部5000に記憶しておくものであっても良い。この場合、映像データ加工部58は、加工方法管理情報に従って、フレームレートを優先した配信データ、又は画質・解像度を優先した配信データを生成する。
As another example, the video
加工方法決定部B(決定部の別の一例)59は、例えば、図3に示されているCPU201からの命令によって実現される。加工方法決定部B59は、映像データ加工部58による映像データの加工方法を、端末10B(又は端末10A)から受信した移動装置20の移動状態を示す情報に応じて異なる加工方法に決定する。なお、映像データの加工方法を決定する方法は、例えば、端末10Bの加工方法決定部A36による決定方法と同様で良い。
The processing method determination unit B (another example of the determination unit) 59 is realized by, for example, an instruction from the CPU 201 illustrated in FIG. The processing method determination unit B59 determines the processing method of the video data by the video
記憶・読出部60は、図3に示されているCPU201からの命令及びHDD205によって実現され、又はCPU201からの命令によって実現される。記憶・読出部60は、記憶部5000への各種データを記憶、及び記憶部5000からの各種データの読み出しを行う。
The storage /
<通信システムで管理する情報の例>
ここで、通信システム1で管理する各情報の例について説明する。
<Example of information managed by communication system>
Here, an example of each piece of information managed by the
図6、7は、一実施形態に係る通信システムで管理する情報の例を示す図である。 6 and 7 are diagrams illustrating examples of information managed by the communication system according to the embodiment.
(機器操作権管理テーブル)
通信管理システム100の記憶部5000に記憶された機器操作権管理DB5001には、例えば、図6(A)に示されているような機器操作権管理テーブル601が含まれる。この機器操作権管理テーブル601では、例えば、移動装置20等の機器の制御を行う機器制御端末の端末IDに対応づけて、「譲渡権保有端末」、「操作権保有端末」、及び「機器操作担当端末」等の情報が管理されている。
(Device operation right management table)
The device operation
「譲渡権保有端末」の情報は、機器制御端末を操作する権利である機器操作権を譲渡する権利(以下、譲渡権と呼ぶ)を有する端末10を識別するための情報(例えば端末ID)である。機器操作権管理部56は、例えば、機器制御端末と最初にセッションを確立した端末10の端末IDを、譲渡権保有端末として記憶し、管理する。また、機器操作権管理部56は、機器操作権を譲渡された端末10から、機器操作権が返却された場合、譲渡権を持った端末10を、操作権保有端末として記憶し、管理する。なお、「譲渡権保有端末」の情報はオプションであり、必須ではない。
The “transfer right possessing terminal” information is information (for example, terminal ID) for identifying the terminal 10 having the right to transfer the device operation right (hereinafter referred to as transfer right) that is the right to operate the device control terminal. is there. For example, the device operation
「操作権保有端末」の情報は、機器制御端末を操作する権利である機器操作権を有する端末10を識別するための情報(例えば端末ID)である。機器操作権管理部56は、例えば、現在、機器制御端末の機器操作権を有している端末10の端末IDを、「操作権保有端末」として記憶し、管理する。
The “operation right possessing terminal” information is information (for example, a terminal ID) for identifying the terminal 10 having the device operation right that is the right to operate the device control terminal. For example, the device operation
「機器操作担当端末」の情報は、例えば、機器制御端末を管理する利用者や、機器制御端末の操作に慣れている利用者等の予め定められた機器操作の担当者が利用する端末10を識別するための情報(例えば端末ID)である。「機器操作担当端末」の情報には、例えば、機器制御端末毎に、予め決められた担当者の端末IDが記憶されている。この情報は、例えば、図12で後述する宛先選択画面において、機器操作の担当者が利用する端末10の選択を容易にするために用いられる。なお、「機器操作担当端末」の情報はオプションであり、必須ではない。 The information on the “device operation charge terminal” includes, for example, the terminal 10 used by a predetermined person in charge of device operation such as a user who manages the device control terminal or a user who is used to operating the device control terminal. Information for identification (for example, a terminal ID). For example, a terminal ID of a person in charge determined in advance for each device control terminal is stored in the “device operation charge terminal” information. This information is used, for example, to facilitate selection of the terminal 10 used by the person in charge of device operation on the destination selection screen described later with reference to FIG. Note that the information on “device operation charge terminal” is optional and not essential.
なお、機器操作権管理テーブル601の情報のうち、「未使用」は、機器制御端末が現在使用されていない(セッションに参加していない)ことを示している。また、機器操作権管理テーブル601の情報のうち、「未対応端末」は、機器制御端末ではないことを示している。機器操作権管理DB5001、及び機器操作権管理テーブル601は、機器制御端末を操作する権利である操作権を有する端末の情報を記憶する記憶手段の一例である。
Note that “unused” in the information of the device operation right management table 601 indicates that the device control terminal is not currently used (not participating in a session). Further, “unsupported terminal” in the information of the device operation right management table 601 indicates that it is not a device control terminal. The device operation
(認証管理テーブル)
通信管理システム100の記憶部5000に記憶された認証管理DB5002には、例えば、図6(B)に示されているような認証管理テーブル602が含まれる。この認証管理テーブル602では、通信管理システム100によって管理される端末10の端末IDと、端末IDに対応するパスワードとが関連付けられて管理されている。例えば、図6(B)に示されている認証管理テーブル602において、端末IDが「01aa」の端末10のパスワードは、「aaaa」であることが示されている。
(Authentication management table)
The
(端末管理テーブル)
通信管理システム100の記憶部5000に記憶された端末管理DB5003には、例えば、図6(C)に示されているような端末管理テーブル603が含まれる。この端末管理テーブル603では、端末10の端末ID毎に、各端末10を宛先とした場合の宛先名、各端末10の稼動状態、後述のログイン要求情報が通信管理システム100で受信された受信日時、及び端末10のIPアドレスが関連付けられて管理される。例えば、図6(C)に示されている端末管理テーブル603において、端末IDが「01aa」の端末10は、端末名が「日本 東京事業所 AA端末」で、稼動状態が「オンライン(通信可能)」であることが示されている。また、端末IDが「01aa」の端末10は、通信管理システム100でログイン要求情報が受信された日時が「20xx年4月10日の13時40分」で、IPアドレスが「1.2.1.3」であることが示されている。
(Terminal management table)
The
(宛先リスト管理テーブル)
通信管理システム100の記憶部5000に記憶された宛先リスト管理DB5004には、例えば、図7(A)に示されているような宛先リスト管理テーブル701が含まれる。この宛先リスト管理テーブル701では、テレビ会議における通信の開始を要求する要求元端末の端末IDに対して、宛先端末の候補として登録されている宛先端末の端末IDが全て関連付けられて管理される。例えば、図7(A)に示されている宛先リスト管理テーブル701において、端末IDが「01ab」である要求元端末から通信の開始を要求することができる宛先端末の候補は、端末IDが「01aa」、「01ca」、及び「01cb」の端末である。この宛先端末の候補は、任意の要求元端末から通信管理システム100に対する追加又は削除の要請により、宛先リスト管理部54によって追加又は削除されることで更新される。
(Destination list management table)
The destination
(セッション管理テーブル)
通信管理システム100の記憶部5000に記憶されたセッション管理DB5005には、例えば、図7(B)に示されているようなセッション管理テーブル702が含まれる。このセッション管理テーブル702には、セッションの識別情報であるセッションID毎に、中継に使用される中継装置30の中継装置ID、要求元端末の端末ID、宛先端末の端末ID、及びセッションの開始日時等の情報が管理される。例えば、図7(B)に示されているセッション管理テーブル702において、セッションID「se2」のセッションは、要求元端末ID「01ad」と宛先通信「01ca」との間で行われていることが示されている。また、セッションID「se2」のセッションは、中継装置ID「111b」の中継装置を介して、「20xx/4/10 13:11:11」に開始されたことが示されている。
(Session management table)
The
(加工方法管理情報)
通信管理システム100に含まれる映像データ加工部58は、一例として、図7(C)に示すような加工方法管理情報703に基づいて、映像データの加工を行う。
(Processing method management information)
As an example, the video
図7(C)の例では、映像データ加工部58は、フレームレート優先で映像データを加工する場合、解像度「270×360」ドット、フレームレート「30fps」の配信データを生成することが示されている。この場合、映像データ加工部58は、例えば、配信データのフレームレートが「30fps」に近づくように、配信データの解像度下げて配信データを生成する。なお、映像データ加工部58は、フレームレートが「30fps」の値に達した場合、解像度を「270×360」ドットより高い値に設定するものであっても良い。
In the example of FIG. 7C, the video
また、映像データ加工部58は、画質・解像度優先で映像データを加工する場合、解像度「540×720」ドット、フレームレート「15fps」で配信データを生成することが示されている。この場合、映像データ加工部58は、例えば、配信データの解像度が「540×720」に近づくように、配信データのフレームレートを下げて配信データを生成する。なお、映像データ加工部58は、解像度が「540×720」の値に達した場合、フレームレートを「15fps」より高い値に設定するものであっても良い。
Further, it is shown that the video
なお、図7(C)に示す加工方法管理情報703、及び加工方法管理情報703を用いた映像データの加工方法は一例であり、映像データ加工部58による映像データの加工方法は、他の方法であっても良い。
Note that the processing
<処理の流れ>
続いて、通信システム1による通信方法の処理の流れについて説明する。
<Process flow>
Next, a processing flow of the communication method by the
(準備段階の処理)
図8は、一実施形態に係る通信システムの準備段階の処理の例を示すシーケンス図である。ここでは、一例として、端末10A、端末10B、及び端末10Cによる、セッションを開始する前の準備段階における処理について説明する。なお、以下の説明の中で、端末10Aの端末IDは「01aa」、端末10Bの端末IDは「01ab」、端末10Cの端末IDは「01ac」であるものとする。また、図8では、前述した管理情報用セッションseiによって、各種管理情報が送受信されるものとする。
(Preparation process)
FIG. 8 is a sequence diagram illustrating an example of processing in a preparation stage of the communication system according to the embodiment. Here, as an example, processing in the preparation stage before the session is started by the terminal 10A, the terminal 10B, and the terminal 10C will be described. In the following description, it is assumed that the terminal ID of the terminal 10A is “01aa”, the terminal ID of the terminal 10B is “01ab”, and the terminal ID of the terminal 10C is “01ac”. In FIG. 8, it is assumed that various types of management information are transmitted and received by the management information session sei described above.
まず、要求元端末である端末10Aの利用者が、例えば、端末10Aの電源をオンにする操作を行うと、図5に示されている操作入力受付部12が電源オンにする操作を受け付けて、端末10Aの電源をオンにする(ステップS21)。そして、通信制御部13は、上記の電源オンを契機とし、送受信部11から通信ネットワーク2を介して通信管理システム100に、ログインを要求するログイン要求情報を送信する(ステップS22)。なお、ログイン要求情報が、端末10Aの電源をオンにする操作によって送信されるのは一例であって、例えば、利用者による入力部108への操作や、アプリの起動等によって送信されるものであっても良い。
First, when the user of the terminal 10A that is the request source terminal performs an operation of turning on the power of the terminal 10A, for example, the operation
また、ログイン要求情報には、要求元としての自端末である端末10Aを識別するための端末ID(要求元端末ID)及びパスワードが含まれている。これら端末ID及びパスワードは、例えば、記憶・読出部17を介して記憶部18から読み出された情報である。また、端末10Aから通信管理システム100へログイン要求情報が送信される際に、受信側である通信管理システム100は、送信側である端末10AのIPアドレスを把握することができる。
Further, the login request information includes a terminal ID (request source terminal ID) and a password for identifying the terminal 10A as the request source. These terminal ID and password are information read from the
次に、通信管理システム100の端末認証部52は、送受信部51を介して受信したログイン要求情報に含まれている端末ID及びパスワードを検索キーとして、前述した認証管理テーブル602を検索する。端末認証部52は、端末10Aから受信したログイン要求情報に含まれる端末ID及びパスワードの組合せが、認証管理テーブル602に含まれるか否かによって認証を行う(ステップS23)。
Next, the
端末認証部52により、正当な利用権限を有する端末10Aからのログイン要求であると判断された場合、端末管理部53は、端末管理テーブル603に記録されている端末10Aの端末ID「01aa」の稼動状態を、「オンライン(通信可能)」に変更する。このとき、端末管理部53は、受信日時を更新し、また、必要に応じて、端末10のIPアドレスを更新する(ステップS24)。これにより、端末管理テーブル603には、端末10Aの端末ID「01aa」に、稼動状態「オンライン(通信可能)」、受信日時「20xx.4.10.13:40」及び端末10AのIPアドレス「1.2.1.3」が関連付けて管理される。
When the
そして、通信管理システム100の送受信部51は、上記の端末認証部52によって得られた認証結果が示された認証結果情報を、通信ネットワーク2を介して、上記ログイン要求してきた要求元端末である端末10Aに送信する(ステップS25)。ここでは、端末認証部52によって正当な利用権限を有する端末であると判断された場合について、以下で説明する。
The transmission /
通信管理システム100の端末管理部53は、ログイン要求した要求元端末(端末10A)の端末ID「01aa」を検索キーとして、宛先リスト管理テーブル701を検索する。これにより、端末管理部53は、要求元端末(端末10A)と通信することができる宛先端末の候補の端末IDを抽出する(ステップS26)。ここでは、一例として、要求元端末(端末10A)の端末ID「01aa」に対応する宛先端末の端末IDとして、「01ab」、「01ac」、「01ad」が抽出されるものとする。
The
次に、端末管理部53は、抽出された宛先端末の候補の端末ID(「01ab」、「01ac」、「01ad」)を検索キーとして、端末管理テーブル603を検索する。これにより、抽出された端末ID毎に稼動状態を読み出すことにより、端末ID(「01ab」、「01ac」、「01ad」)の各稼動状態を取得する(ステップS27)。
Next, the
次に、送受信部51は、宛先端末の候補の端末ID(「01ab」、「01ac」、「01ad」)のそれぞれの稼動状態が含まれた宛先状態情報を、要求元端末(端末10A)に送信する(ステップS28)。これにより、要求元端末(端末10A)は、この要求元端末(端末10A)の宛先端末の候補となる端末ID(「01ab」、「01ac」、「01ad」)の現時点の稼動状態を把握することができる。
Next, the transmission /
さらに、通信管理システム100の端末管理部53は、ログイン要求してきた要求元端末(端末10A)の端末ID「01aa」を検索キーとして、宛先リスト管理テーブル701を検索する。これにより、端末管理部53は、要求元端末(端末10A)の端末ID「01aa」を宛先端末の候補として登録している他の要求元端末IDを抽出する(ステップS29)。図7(A)に示されている宛先リスト管理テーブル701では、抽出される他の要求元端末の端末IDは、「01ab」、「01ac」、及び「01ad」である。
Further, the
次に、通信管理システム100の端末管理部53は、上記ログイン要求して来た要求元端末(端末10A)の端末ID「01aa」を検索キーとして、端末管理テーブル603を検索する。これにより、端末管理部53は、ログイン要求してきた要求元端末(端末10A)の稼動状態を取得する(ステップS30)。
Next, the
そして、送受信部51は、上記ステップS29で抽出された端末ID(「01ab」、「01ac」、「01ad」)のうち、端末管理テーブル603で稼動状態が「オンライン(通信可能)」となっている端末ID(「01ab」、「01ac」)を抽出する。また、送受信部51は、抽出された端末ID(「01ab」、「01ac」)に対応する端末10B、端末10Cに、要求元端末(端末10A)の端末ID「01aa」と稼動状態「オンライン(通信可能)」が含まれる宛先状態情報を送信する(ステップS31−1、2)。
The transmission /
なお、送受信部51が端末10B、10Cに宛先状態情報を送信する際に、各端末ID(「01ab」、「01ac」)に基づいて、端末管理テーブル603で管理されている端末のIPアドレスを参照する。これにより、ログイン要求した要求元端末(端末10A)を宛先として通信することができる宛先端末(端末10B、10C)のそれぞれに、要求元端末(端末10A)の端末ID「01aa」、及び稼動状態「オンライン」を伝えることができる。
When the transmission /
一方、他の端末10でも、例えば、利用者による電源オンの操作等に応じて、上記ステップS22〜S31−1、2の処理と同様の処理を行う。
On the other hand, the
(通信処理)
図9は、一実施形態に係る通信システムの通信処理の例を示すシーケンス図である。ここでは、端末10Aと、移動装置20を制御可能な機器制御端末である端末10Bとの間で通信を開始する通信処理の例について説明する。
(Communication processing)
FIG. 9 is a sequence diagram illustrating an example of communication processing of the communication system according to the embodiment. Here, an example of communication processing for starting communication between the terminal 10A and the terminal 10B that is a device control terminal capable of controlling the
ステップS901において、端末10Aは、端末10Aの利用者による、宛先端末(端末10B)の選択操作を受付すると、ステップS902において、通信管理システム100にセッションの開始を要求する開始要求情報を送信する。この開始要求情報には、例えば、要求元端末である端末10Aの端末IDである要求元端末ID、宛先端末である端末10Bの端末IDである宛先端末ID等が含まれる。また、開始要求情報には、端末10AのIPアドレス(要求元IPアドレス)等の情報も含まれる。
In step S901, when the terminal 10A receives a selection operation of the destination terminal (terminal 10B) by the user of the terminal 10A, in step S902, the terminal 10A transmits start request information requesting the
ステップS903において、端末10Aから開始要求情報を受信した通信管理システム100の端末管理部53は、開始要求情報に含まれる要求元端末(端末10A)の端末ID「01aa」に基づいて、端末管理DB5003を更新する。例えば、端末管理部53は、端末10Aの端末ID「01aa」に対応する稼動状態の情報を「オンライン(通信中)」に変更し、受信日時の情報を更新する。
In step S903, the
ステップS904において、通信管理システム100のセッション管理部55は、宛先端末である端末10Bにセッションの開始を要求する開始要求情報を送信する。この開始要求情報には、例えば、要求元端末である端末10Aの要求元端末IDが含まれる。
In step S904, the
ステップS905において、通信管理システム100から開始要求情報を受信した端末10Bは、通信管理システム100に開始応答情報を送信する。この開始応答情報には、例えば、端末10Bの宛先端末ID等が含まれる。
In step S <b> 905, the terminal 10 </ b> B that has received the start request information from the
ステップS906において、端末10Bから開始応答情報を受信した通信管理システム100の端末管理部53は、開始応答情報に含まれる端末10Bの端末ID「01ab」に基づいて、端末管理DB5003を更新する。例えば、端末管理部53は、図6(C)に示すような端末管理テーブル603において、端末10Bの端末ID「01ab」に対応する稼動状態の情報を「オンライン(通信中)」に変更し、受信日時の情報を更新する。
In step S906, the
ステップS907において、通信管理システム100のセッション管理部55は、セッションを識別するための識別情報であるセッションIDを作成する。また、セッション管理部55は、作成されたセッションIDを、要求元端末ID(端末10Aの端末ID)、及び宛先端末ID(端末10Bの端末ID)と対応づけて、図7(B)に示すようなセッション管理テーブル702に記憶する。
In step S907, the
ステップS908において、通信管理システム100の機器操作権管理部56は、要求元端末である端末10Aを、機器制御端末である端末10Bの操作権、及び譲渡権を有する端末10として、機器操作権管理DB5001に記憶する。例えば、機器操作権管理部56は、図6(A)の機器操作権管理テーブル601において、機器制御端末「01ab」に対応する「譲渡権保有端末」、及び「操作権保有端末」に、端末10Aの端末ID「01aa」を記憶する。
In step S908, the device operation
ステップS909aにおいて、通信管理システム100のセッション管理部55は、端末10Aにセッションの開始を指示する開始指示情報を送信する。同様に、ステップS909bにおいて、通信管理システム100のセッション管理部55は、端末10Bにセッションの開始を指示する開始指示情報を送信する。
In step S909a, the
これらの開始指示情報には、例えば、セッションID、及び端末10Bの譲渡権、操作権に関する情報が含まれる。この端末10Bの譲渡権、操作権に関する情報は、例えば、図6(A)の機器操作権管理テーブル601の「譲渡権保有端末」、「操作権保有端末」等に対応する情報である。 The start instruction information includes, for example, information related to the session ID and the transfer right and operation right of the terminal 10B. The information regarding the transfer right and operation right of the terminal 10B is information corresponding to, for example, “transfer right holding terminal”, “operation right holding terminal”, etc. in the device operation right management table 601 in FIG.
上記の処理により、通信管理システム100、端末10A、及び端末10Bは、端末10Bの操作権、及び譲渡権に関する情報を保有する。
Through the above processing, the
なお、オプションとして、端末10Aに送信される開始指示情報には、図6(A)の機器操作権管理テーブル601の「機器操作担当端末」に対応する情報が含まれていても良い。 As an option, the start instruction information transmitted to the terminal 10A may include information corresponding to the “device operation charge terminal” in the device operation right management table 601 in FIG.
ステップS910aにおいて、端末10Aは、受信した開始指示情報に基づいて、通信管理システム100のデータ中継部57との間で通信セッションを確立する。同様に、ステップS910bにおいて、端末10Bは、受信した開始指示情報に基づいて、通信管理システム100のデータ中継部57との間で通信セッションを確立する。
In step S910a, terminal 10A establishes a communication session with
これにより、ステップS911において、端末10Aと端末10Bは、同じセッションIDの通信セッションに参加し、映像データ等のコンテンツデータを送受信することにより、例えば、テレビ会議を行うことができるようになる。 Thereby, in step S911, the terminal 10A and the terminal 10B can participate in a communication session having the same session ID and transmit and receive content data such as video data, for example, to perform a video conference.
また、端末10Aは、確立された通信セッションを用いて、端末10Bとの間で機器(例えば移動装置20)の操作に関する情報を送受信することができる。なお、機器の操作に関する情報の送受信は、通信セッションを用いずに、管理情報用のセッションseiを用いて送受信されるものであっても良いし、通信ネットワーク2等を介して、端末10Aと端末10Bとの間で送受信されるもの等であっても良い。
In addition, the
ステップS912において、端末10Aの利用者が、機器の操作画面に入力を行うと、入力された操作に応じた操作指示情報が端末10Bに送信される。この操作指示情報には、例えば、端末10Aの端末ID、及び利用者の操作内容に応じた制御情報等が含まれる。 In step S912, when the user of the terminal 10A performs input on the operation screen of the device, operation instruction information corresponding to the input operation is transmitted to the terminal 10B. The operation instruction information includes, for example, the terminal ID of the terminal 10A, control information corresponding to the operation content of the user, and the like.
ステップS913おいて、端末10Bの操作指示受信部31が、端末Aから送信された操作指示情報を受信すると、操作指示認証部32は、受信した操作指示情報の認証処理を行う。例えば、操作指示認証部32は、操作指示情報に含まれる端末IDと、通信管理システム100から通知された端末10Bの操作権を保有する端末の端末IDとを比較し、両者が一致した場合、操作指示情報の認証を許可する。また、操作指示認証部32は、認証が許可された操作指示情報を機器制御部33に通知する。
In step S913, when the operation
ステップS914において、端末10Bの操作指示認証部32は、認証結果を端末10Aに通知する。ここでは、ステップS913の認証結果がOK(許可)であるものとして以下の説明を行う。
In step S914, the operation
ステップS915において、端末10Bの機器制御部33は、通知された操作指示情報に含まれる制御情報に基づいて、機器間通信部34を介して、機器(移動装置20)を制御する。
In step S915, the
図10は、第1の実施形態に係る端末の表示画面の例を示す図である。機器操作端末である端末10Aの表示画面1001には、例えば、端末10Bの撮像部14が撮像した画像1002、端末10Aの撮像部14が撮像した画像1003、及び機器操作画面1004等が含まれる。
FIG. 10 is a diagram illustrating an example of a display screen of the terminal according to the first embodiment. The
端末10Aの利用者は、画像1002、1003を見ながら、端末10B側の利用者とテレビ会議を行うことができる。また、端末10Aの利用者は、機器操作画面1004を用いて、端末10Bを介して、移動装置20を遠隔操作することができる。
The user of the terminal 10A can hold a video conference with the user on the terminal 10B side while viewing the
図10の例では、機器操作画面1004には、機器操作をオン/オフを切り替えるスイッチ1005、移動装置20の移動速度を切り替えるスイッチ1006等が表示されている。
In the example of FIG. 10, the
端末10Aの利用者は、機器操作をオン/オフを切り替えるスイッチ1005により、移動装置20の操作を行うか否かを選択することができる。一例として、機器操作画面1004は、機器操作アイコン1011を選択することにより表示され、スイッチ1005をオフにすることにより、非表示となるものであっても良い。
The user of the terminal 10A can select whether or not to operate the
また、端末10Aの利用者は、移動装置20の移動速度を切り替えるスイッチ1006により、移動装置20の移動速度を、高速、又は低速に切り替えることができる。
Further, the user of the terminal 10 </ b> A can switch the moving speed of the moving
また、機器操作画面1004には、前進ボタン1007、左旋回ボタン1008、右旋回ボタン1009、及び後退ボタン1010等が表示されている。
The
端末10Aの利用者は、これらのボタンを選択することにより、移動装置を、「前進」、「左旋回」、「右旋回」、又は「後退」させることができる。 The user of the terminal 10 </ b> A can make the moving device “forward”, “turn left”, “turn right”, or “retreat” by selecting these buttons.
端末10Aの利用者は、例えば、端末10B及び移動装置20を直接目視することができない場合でも、端末10Bの撮像部14が撮像した画像1002に基づいて、端末10B及び移動装置20を遠隔操作により移動させることができる。
For example, even when the user of the terminal 10A cannot directly view the terminal 10B and the
続いて、本実施形態に係る通信システム1における移動装置20及び端末10Bの移動状態に応じた通信処理について説明する。
Next, communication processing according to the movement state of the
[第1の実施形態]
(移動中の処理)
図11は、第1の実施形態に係る通信システムの移動中の処理の例を示すシーケンス図である。この処理は、例えば、端末10Aからの制御情報に従って、移動装置20及び端末10Bが移動している場合の通信システム1の処理の一例を示している。なお、図11に示す処理の開始時点において、例えば、図9に示す通信処理により、端末10Aから、端末10Bを介して移動装置20を遠隔操作することができる状態になっているものとする。
[First Embodiment]
(Processing while moving)
FIG. 11 is a sequence diagram illustrating an example of processing during movement of the communication system according to the first embodiment. This process shows an example of the process of the
ステップS1101において、端末10Aの操作入力受付部12は、例えば、図10に示すような機器操作画面1004により、操作者による移動操作(例えば前進)を受付する。
In step S1101, the operation
ステップS1102、S1103において、端末10Aの制御情報送信部41は、操作入力受付部12が受付した移動操作に対応する制御情報(前進)と、端末10Aの端末IDとを含む操作指示情報を、通信管理システム100を介して、端末10Bに送信する。
In steps S1102 and S1103, the control information transmitting unit 41 of the terminal 10A communicates operation instruction information including control information (forward) corresponding to the moving operation received by the operation
ステップS1104において、端末10Bの操作指示受信部31は、端末10Aから操作指示情報を受信し、操作指示認証部32は、受信した操作指示情報の認証処理を行う。操作指示情報の認証が許可されると、端末10Bの機器制御部33は、通知された操作指示情報に含まれる制御情報(前進)に従って、移動装置20の前進を開始させる。これにより、移動装置20及び端末10Bは、「移動中」状態になる。
In step S1104, the operation
ステップS1105において、端末10Bの移動状態判断部A35は、移動装置20の移動状態が「移動中」状態であることを判断する。例えば、端末10Bの移動状態判断部A35は、端末10Bの機器制御部33、又は移動装置20の走行制御部22から、現在の移動状態を示す情報を取得し、移動装置20の移動状態を判断する。
In step S1105, the movement state determination unit A35 of the terminal 10B determines that the movement state of the
ステップS1106において、端末10Bの移動状態判断部A35は、移動装置20が移動中であることを示す移動情報を、通信管理システム100に通知する。
In step S1106, the movement state determination unit A35 of the terminal 10B notifies the
ステップS1107において、通信管理システム100の加工方法決定部B59は、端末10Bから、移動装置20が移動中であることを示す移動情報を受信すると、端末10Bから送信される映像データをフレームレート優先で加工することを決定する。
In step S1107, when the processing method determining unit B59 of the
このように、第1の実施形態では、映像データの加工方法の決定を、通信管理システム100で行う。なお、映像データの加工方法の決定を、端末10Bで行う場合の処理の例については、第2の実施形態で説明する。
As described above, in the first embodiment, the
ステップS1108において、端末10Bの送受信部11は、撮像部14が撮像した移動装置20及び端末10Bの周辺の映像データを、通信管理システム100に送信する。
In step S <b> 1108, the transmission /
好ましくは、端末10Bの送受信部11は、撮像部14が撮像した映像データを、例えば、H.264 SVCでスケーラブル映像符号化して、通信管理システム100に送信する。
Preferably, the transmission /
ステップS1109において、通信管理システム100の映像データ加工部58は、端末10Bから受信した映像データを、フレームレート優先で加工して、端末10Aに配信する配信データを生成する。
In step S1109, the video
一例として、映像データ加工部58は、図7(C)に示すような加工方法管理情報に従って、例えば、解像度「270×360」ドット、フレームレート「30fps」の配信データを生成する。
As an example, the video
また別の一例として、映像データ加工部58は、前述したように、H.264 SVCで符号化された映像データに含まれるベースレイヤと時間レイヤとを用いて配信データを生成することにより、フレームレートを優先した配信データを生成する。
As another example, as described above, the video
ステップS1110において、通信管理システム100のデータ中継部57は、映像データ加工部58が生成した配信データを、端末10Aに配信する。
In step S1110, the
ステップS1111において、端末10Aの表示制御部16は、通信管理システム100から配信される配信データを用いて、移動装置20及び端末10Bの周辺の映像を、表示部109に表示させる。
In step S <b> 1111, the
通信システム1は、移動装置20及び端末10Bが「移動中」状態であるとき、例えば、ステップS1105〜S1111に示す処理1131を実行することにより、端末10Bから端末10Aに送信される映像データをフレームレート優先で加工し、配信する。
When the
これにより、本実施形態に係る通信システム1によれば、移動装置20及び端末10Bが移動している場合、端末10Bから送信される映像データは、操作者が移動装置20及び端末10Bの周辺の状況をリアルタイムで確認し易いように配信されるようになる。
Thereby, according to the
なお、通信システム1は、移動装置20及び端末10Bが「移動中」状態であるとき、ステップS1105〜S1111に示す処理1131と並行して(又は前後して)、ステップS1112〜S1118に示す処理1132を実行するものであっても良い。
In addition, when the
ステップS1112において、端末10Aの移動状態判断部B42は、移動装置20及び端末10Bが、「移動中」状態であることを判断する。例えば、移動状態判断部B42は、ステップS1101で、移動装置20の操作を行うために、制御情報送信部41が端末10Aに送信する制御情報によって、移動装置20の移動状態を判断する。
In step S1112, the movement state determination unit B42 of the terminal 10A determines that the
ステップS1113において、端末10Aの移動状態判断部B42は、移動装置20が移動中であることを示す移動情報を、通信管理システム100に通知する。
In step S1113, the movement state determination unit B42 of the terminal 10A notifies the
ステップS1114において、通信管理システム100の加工方法決定部B59は、端末10Aから、移動装置20が移動中であることを示す移動情報を受信すると、端末10Aから送信される映像データをフレームレート優先で加工することを決定する。
In step S1114, when the processing method determination unit B59 of the
ステップS1115において、端末10Aの送受信部11は、撮像部14が撮像した端末10Aの周辺の映像データを、通信管理システム100に送信する。
In step S <b> 1115, the transmission /
ステップS1116において、通信管理システム100の映像データ加工部58は、端末10Aから受信した映像データを、フレームレート優先で加工して、端末10Bに配信する配信データを生成する。
In step S1116, the video
ステップS1117において、通信管理システム100のデータ中継部57は、映像データ加工部58が生成した配信データを、端末10Bに配信する。
In step S1117, the
ステップS1118において、端末10Bの表示制御部16は、通信管理システム100から配信される配信データを用いて、端末10Aの周辺の映像を、表示部109に表示させる。
In step S1118, the
(停止中の処理)
図12は、第1の実施形態に係る通信システムの停止中の処理の例を示すシーケンス図である。この処理は、例えば、端末10Aからの制御情報に従って、移動装置20及び端末10Bが移動を停止している場合の通信システム1の処理の一例を示している。なお、基本的な処理の流れは、図11に示す移動中の処理と同様なので、ここでは詳細な処理の説明を省略する。
(Processing during suspension)
FIG. 12 is a sequence diagram illustrating an example of processing during suspension of the communication system according to the first embodiment. This process shows an example of the process of the
ステップS1201において、端末10Aの操作入力受付部12は、例えば、図10に示すような機器操作画面1004により、操作者による移動操作(停止)を受付する。
In step S1201, the operation
ステップS1202、S1203において、端末10Aの制御情報送信部41は、操作入力受付部12が受付した移動操作に対応する制御情報(停止)と、端末10Aの端末IDとを含む操作指示情報を、通信管理システム100を介して、端末10Bに送信する。
In steps S1202 and S1203, the control information transmission unit 41 of the terminal 10A communicates the operation instruction information including the control information (stop) corresponding to the moving operation received by the operation
ステップS1204において、端末10Bの操作指示受信部31は、端末10Aから操作指示情報を受信し、認証が許可されると、機器制御部33は、通知された操作指示情報に含まれる制御情報(停止)に従って、移動装置20の移動を停止させる。これにより、移動装置20及び端末10Bは、「停止中」状態になる。
In step S1204, when the operation
ステップS1205において、端末10Bの移動状態判断部A35は、移動装置20の移動状態が「停止中」状態であることを判断する。
In step S1205, the movement state determination unit A35 of the terminal 10B determines that the movement state of the
ステップS1206において、端末10Bの移動状態判断部A35は、移動装置20が停止中であることを示す移動情報を、通信管理システム100に通知する。
In step S1206, the movement state determination unit A35 of the terminal 10B notifies the
ステップS1207において、通信管理システム100の加工方法決定部B59は、端末10Bから、移動装置20が停止中であることを示す移動情報を受信すると、端末10Bから送信される映像データを画質・解像度優先で加工することを決定する。
In step S1207, when the processing method determination unit B59 of the
ステップS1208において、端末10Bの送受信部11は、撮像部14が撮像した移動装置20及び端末10Bの周辺の映像データを、通信管理システム100に送信する。
In step S <b> 1208, the transmission /
ステップS1209において、通信管理システム100の映像データ加工部58は、端末10Bから受信した映像データを、画質・解像度優先で加工して、端末10Aに配信する配信データを生成する。
In step S1209, the video
一例として、映像データ加工部58は、図7(C)に示すような加工方法管理情報に従って、例えば、解像度「540×720」ドット、フレームレート「15fps」の配信データを生成する。
As an example, the video
また別の一例として、映像データ加工部58は、前述したように、H.264 SVCで符号化された映像データに含まれるベースレイヤと空間レイヤとを用いて配信データを生成することにより解像度を優先した配信データを生成する。あるいは、映像データ加工部58は、前述したように、映像データに含まれるベースレイヤとS/N比レイヤとを用いて配信データを生成することにより、S/N(画質の一例)を優先した配信データを生成する。
As another example, as described above, the video
ステップS1210において、通信管理システム100のデータ中継部57は、映像データ加工部58が生成した配信データを、端末10Aに配信する。
In step S1210, the
ステップS1211において、端末10Aの表示制御部16は、通信管理システム100から配信される配信データを用いて、移動装置20及び端末10Bの周辺の映像を、表示部109に表示させる。
In step S <b> 1211, the
通信システム1は、移動装置20及び端末10Bが「停止中」状態であるとき、例えば、ステップS1205〜S1211に示す処理1231を実行することにより、端末10Bから端末10Aに送信される映像データを画質・解像度優先で加工し、配信する。
When the
これにより、本実施形態に係る通信システム1によれば、移動装置20及び端末10Bが停止しているとき、端末10Bから送信される映像データは、参加者の顔や、文字等の確認を容易に確認し易いように配信されるようになる。
Thereby, according to the
なお、通信システム1は、移動装置20及び端末10Bが「停止中」状態であるとき、ステップS1205〜S1211に示す処理1231と並行して(又は前後して)、ステップS1212〜S1218に示す処理1232を実行するものであっても良い。
In addition, when the
ステップS1212において、端末10Aの移動状態判断部B42は、移動装置20及び端末10Bが、「停止中」状態であることを判断する。
In step S1212, the movement state determination unit B42 of the terminal 10A determines that the
ステップS1213において、端末10Aの移動状態判断部B42は、移動装置20が停止中であることを示す移動情報を、通信管理システム100に通知する。
In step S1213, the movement state determination unit B42 of the terminal 10A notifies the
ステップS1214において、通信管理システム100の加工方法決定部B59は、端末10Aから、移動装置20が停止中であることを示す移動情報を受信すると、端末10Aから送信される映像データを画質・解像度優先で加工することを決定する。
In step S1214, when the processing method determination unit B59 of the
ステップS1215において、端末10Aの送受信部11は、撮像部14が撮像した端末10Aの周辺の映像データを、通信管理システム100に送信する。
In step S <b> 1215, the transmission /
ステップS1216において、通信管理システム100の映像データ加工部58は、端末10Aから受信した映像データを、画質・解像度優先で加工して、端末10Bに配信する配信データを生成する。
In step S1216, the video
ステップS1217において、通信管理システム100のデータ中継部57は、映像データ加工部58が生成した配信データを、端末10Bに配信する。
In step S1217, the
ステップS1118において、端末10Bの表示制御部16は、通信管理システム100から配信される配信データを用いて、端末10Aの周辺の映像を、表示部109に表示させる。
In step S1118, the
[第2の実施形態]
第2の実施形態では、映像データの加工方法の決定を、端末10で行う場合の処理の例について説明する。
[Second Embodiment]
In the second embodiment, an example of processing when the terminal 10 determines the video data processing method will be described.
(移動中の処理)
図13は、第2の実施形態に係る通信システムの移動中の処理の例を示すシーケンス図である。なお、基本的な処理の流れは、図11に示す第1の実施形態に係る移動中の処理と同様なので、ここでは詳細な処理の説明を省略する。
(Processing while moving)
FIG. 13 is a sequence diagram illustrating an example of processing during movement of the communication system according to the second embodiment. The basic process flow is the same as the moving process according to the first embodiment shown in FIG. 11, and thus detailed description of the process is omitted here.
ステップS1301において、端末10Aの操作入力受付部12は、例えば、図10に示すような機器操作画面1004により、操作者による移動操作(例えば前進)を受付する。
In step S1301, the operation
ステップS1302、S1303において、端末10Aの制御情報送信部41は、操作入力受付部12が受付した移動操作に対応する制御情報(前進)と、端末10Aの端末IDとを含む操作指示情報を、通信管理システム100を介して、端末10Bに送信する。
In steps S1302 and S1303, the control information transmitting unit 41 of the terminal 10A communicates operation instruction information including control information (forward) corresponding to the moving operation received by the operation
ステップS1304において、端末10Bの操作指示受信部31は、端末10Aから操作指示情報を受信し、認証が許可されると、機器制御部33は、通知された操作指示情報に含まれる制御情報(前進)に従って、移動装置20の前進を開始させる。これにより、移動装置20及び端末10Bは、「移動中」状態になる。
In step S1304, when the operation
ステップS1305において、端末10Bの移動状態判断部A35は、移動装置20の移動状態が「移動中」状態であることを判断する。
In step S1305, the movement state determination unit A35 of the terminal 10B determines that the movement state of the
ステップS1306において、端末10Bの加工方法決定部A36は、移動状態判断部A35が、移動装置20の移動状態が「移動中」状態であると判断した場合、端末10Bが送信する映像データをフレームレート優先で加工することを決定する。
In step S1306, when the movement state determination unit A35 determines that the movement state of the
ステップS1307において、端末10Bの加工方法決定部A36は、端末10Bが送信する映像データの加工方法が、フレームレート優先であることを、通信管理システム100に通知する。
In step S1307, the processing method determination unit A36 of the terminal 10B notifies the
ステップS1308において、通信管理システム100の映像データ加工部58は、端末10Bから通知された映像データの加工方法に従って、端末10Bから送信される映像データをフレームレート優先で加工するように設定する。
In step S1308, the video
このように、第2の実施形態では、映像データの加工方法の決定を、端末10Bで行う。これにより、例えば、端末10の数が増えた場合等の通信管理システム100の処理の負荷を軽減させることができる。
In this manner, in the second embodiment, the terminal 10B determines the video data processing method. Thereby, for example, the processing load of the
ステップS1309において、端末10Bの送受信部11は、撮像部14が撮像した移動装置20及び端末10Bの周辺の映像データを、通信管理システム100に送信する。
In step S <b> 1309, the transmission /
ステップS1310において、通信管理システム100の映像データ加工部58は、端末10Bから受信した映像データを、フレームレート優先で加工して、端末10Aに配信する配信データを生成する。
In step S1310, the video
ステップS1311において、通信管理システム100のデータ中継部57は、映像データ加工部58が生成した配信データを、端末10Aに配信する。
In step S1311, the
ステップS1312において、端末10Aの表示制御部16は、通信管理システム100から配信される配信データを用いて、移動装置20及び端末10Bの周辺の映像を、表示部109に表示させる。
In step S1312, the
上記の処理により、第1に実施形態と同様に、移動装置20及び端末10Bが移動しているとき、端末10Bから送信される映像データは、操作者が移動装置20及び端末10Bの周辺の状況をリアルタイムで確認し易いように配信されるようになる。
By the above processing, as in the first embodiment, when the
また、通信システム1は、移動装置20及び端末10Bが「移動中」状態であるとき、ステップS1305〜S1312に示す処理1331と並行して(又は前後して)、ステップS1313〜S1320に示す処理1332を実行するものであっても良い。
In addition, when the
ステップS1313において、端末10Aの移動状態判断部B42は、移動装置20及び端末10Bが、「移動中」状態であることを判断する。
In step S1313, the movement state determination unit B42 of the terminal 10A determines that the
ステップS1314において、端末10Aの加工方法決定部C43は、移動状態判断部B42が、移動装置20の移動状態が「移動中」状態であると判断した場合、端末10Aが送信する映像データをフレームレート優先で加工することを決定する。
In step S1314, when the movement state determination unit B42 determines that the movement state of the
ステップS1315において、端末10Aの加工方法決定部C43は、端末10Aが送信する映像データの加工方法が、フレームレート優先であることを通信管理システム100に通知する。
In step S1315, the processing method determination unit C43 of the terminal 10A notifies the
ステップS1316において、通信管理システム100の映像データ加工部58は、端末10Aから通知された映像データの加工方法に従って、端末10Aから送信される映像データをフレームレート優先で加工するように設定する。
In step S1316, the video
ステップS1317において、端末10Aの送受信部11は、撮像部14が撮像した端末10Aの周辺の映像データを、通信管理システム100に送信する。
In step S <b> 1317, the transmission /
ステップS1318において、通信管理システム100の映像データ加工部58は、端末10Aから受信した映像データを、フレームレート優先で加工して、端末10Bに配信する配信データを生成する。
In step S1318, the video
ステップS1319において、通信管理システム100のデータ中継部57は、映像データ加工部58が生成した配信データを、端末10Bに配信する。
In step S1319, the
ステップS1320において、端末10Bの表示制御部16は、通信管理システム100から配信される配信データを用いて、端末10Aの周辺の映像を、表示部109に表示させる。
In step S1320, the
(停止中の処理)
図14は、第2の実施形態に係る通信システムの停止中の処理の例を示すシーケンス図である。なお、基本的な処理の流れは、図12に示す第1の実施形態に係る停止中の処理と同様なので、ここでは詳細な処理の説明を省略する。
(Processing during suspension)
FIG. 14 is a sequence diagram illustrating an example of processing during suspension of the communication system according to the second embodiment. Note that the basic processing flow is the same as the stopped processing according to the first embodiment shown in FIG. 12, and therefore detailed description of the processing is omitted here.
ステップS1401において、端末10Aの操作入力受付部12は、例えば、図10に示すような機器操作画面1004により、操作者による移動操作(停止)を受付する。
In step S1401, the operation
ステップS1402、S1403において、端末10Aの制御情報送信部41は、操作入力受付部12が受付した移動操作に対応する制御情報(停止)と、端末10Aの端末IDとを含む操作指示情報を、通信管理システム100を介して、端末10Bに送信する。
In steps S1402 and S1403, the control information transmitting unit 41 of the terminal 10A communicates operation instruction information including control information (stop) corresponding to the moving operation received by the operation
ステップS1404において、端末10Bの操作指示受信部31は、端末10Aから操作指示情報を受信し、認証が許可されると、機器制御部33は、通知された操作指示情報に含まれる制御情報(停止)に従って、移動装置20の移動を停止させる。
In step S1404, when the operation
ステップS1405において、端末10Bの移動状態判断部A35は、移動装置20の移動状態が「停止中」状態であることを判断する。
In step S1405, the movement state determination unit A35 of the terminal 10B determines that the movement state of the
ステップS1406において、端末10Bの加工方法決定部A36は、移動状態判断部A35が、移動装置20の移動状態が「停止中」状態であると判断した場合、端末10Bが送信する映像データを画質・解像度優先で加工することを決定する。
In step S1406, when the movement state determination unit A35 determines that the movement state of the
ステップS1407において、端末10Bの加工方法決定部A36は、端末10Bが送信する映像データの加工方法が、画質・解像度優先であることを、通信管理システム100に通知する。
In step S1407, the processing method determination unit A36 of the terminal 10B notifies the
ステップS1408において、通信管理システム100の映像データ加工部58は、端末10Bから通知された映像データの加工方法に従って、端末10Bから送信される映像データを画質・解像度優先で加工するように設定する。
In step S1408, the video
ステップS1409において、端末10Bの送受信部11は、撮像部14が撮像した移動装置20及び端末10Bの周辺の映像データを、通信管理システム100に送信する。
In step S <b> 1409, the transmission /
ステップS1410において、通信管理システム100の映像データ加工部58は、端末10Bから受信した映像データを、画質・解像度優先で加工して、端末10Aに配信する配信データを生成する。
In step S1410, the video
ステップS1411において、通信管理システム100のデータ中継部57は、映像データ加工部58が生成した配信データを、端末10Aに配信する。
In step S1411, the
ステップS1412において、端末10Aの表示制御部16は、通信管理システム100から配信される配信データを用いて、移動装置20及び端末10Bの周辺の映像を、表示部109に表示させる。
In step S1412, the
上記の処理により、第1に実施形態と同様に、移動装置20及び端末10Bが停止しているとき、端末10Bから送信される映像データは、参加者の顔や、文字等の確認を容易に確認し易いように配信されるようになる。
By the above processing, as in the first embodiment, when the
また、通信システム1は、移動装置20及び端末10Bが「停止中」状態であるとき、ステップS1405〜S1412に示す処理1431と並行して(又は前後して)、ステップS1413〜S1420に示す処理1432を実行するものであっても良い。
In addition, when the
ステップS1413において、端末10Aの移動状態判断部B42は、移動装置20及び端末10Bが、「停止中」状態であることを判断する。
In step S1413, the movement state determination unit B42 of the terminal 10A determines that the
ステップS1414において、端末10Aの加工方法決定部C43は、移動状態判断部B42が、移動装置20の移動状態が「停止中」状態であると判断した場合、端末10Aが送信する映像データを画質・解像度優先で加工することを決定する。
In step S1414, when the movement state determination unit B42 determines that the movement state of the
ステップS1415において、端末10Aの加工方法決定部C43は、端末10Aが送信する映像データの加工方法が、画質・解像度優先であることを通信管理システム100に通知する。
In step S1415, the processing method determination unit C43 of the terminal 10A notifies the
ステップS1416において、通信管理システム100の映像データ加工部58は、端末10Aから通知された映像データの加工方法に従って、端末10Aから送信される映像データを画質・解像度優先で加工するように設定する。
In step S1416, the video
ステップS1417において、端末10Aの送受信部11は、撮像部14が撮像した端末10Aの周辺の映像データを、通信管理システム100に送信する。
In step S <b> 1417, the transmission /
ステップS1418において、通信管理システム100の映像データ加工部58は、端末10Aから受信した映像データを、画質・解像度優先で加工して、端末10Bに配信する配信データを生成する。
In step S1418, the video
ステップS1419において、通信管理システム100のデータ中継部57は、映像データ加工部58が生成した配信データを、端末10Bに配信する。
In step S1419, the
ステップS1420において、端末10Bの表示制御部16は、通信管理システム100から配信される配信データを用いて、端末10Aの周辺の映像を、表示部109に表示させる。
In step S1420, the
[第3の実施形態]
通信システム1において、移動装置20及び端末10Bの移動状態に応じて、映像データを自動的に加工する処理は、メニュー設定等により許可/禁止(又は有効/無効)を切り替えできることが望ましい。これは、利用者が、映像データの自動的な加工を、必ずしも望むとは限らないためである。
[Third Embodiment]
In the
第3の実施形態では、例えば、メニュー設定により、映像データを自動的に加工する処理を許可するか、禁止するかが予め設定されている場合の処理の例について説明する。 In the third embodiment, an example of processing in a case where whether processing for automatically processing video data is permitted or prohibited by a menu setting will be described.
図15は、第3の実施形態に係る通信管理システムの処理の例を示すフローチャートである。 FIG. 15 is a flowchart illustrating an example of processing of the communication management system according to the third embodiment.
ステップS1501において、通信管理システム100の加工方法決定部B59は、配信映像の自動加工機能が許可されているか否かを判断する。配信映像の自動加工機能を許可するか、禁止するかは、例えば、図16に示すような設定画面1600を用いて、利用者、又は管理者によって予め設定されているものとする。
In step S1501, the processing method determination unit B59 of the
図16は、第3の実施形態に係る設定画面の一例のイメージを示す図である。図16の例では、設定画面1600には、「配信映像の自動加工機能」の設定項目1601が含まれており、許可1602、又は拒否1603を選択することができるようになっている。
FIG. 16 is a diagram illustrating an example of a setting screen according to the third embodiment. In the example of FIG. 16, the
例えば、端末10は、図16に示すような設定画面1600を表示部109に表示させて、利用者、又は管理者によって設定された設定内容を通信管理システム100に通知する。あるいは、利用者、又は管理者は、ウェブブラウザ等を用いて通信管理システム100が提供する設定画面1600を表示させて、設定を行うもの等であっても良い。
For example, the terminal 10 displays a
ステップS1501において、配信映像の自動加工機能が許可されていないと判断された場合、加工方法決定部B59は、処理をステップS1502に移行させる。一方、配信映像の自動加工機能が許可されていると判断された場合、加工方法決定部B59は、処理をステップS1503に移行させる。 If it is determined in step S1501 that the distribution video automatic processing function is not permitted, the processing method determination unit B59 shifts the processing to step S1502. On the other hand, when it is determined that the automatic processing function of the distribution video is permitted, the processing method determination unit B59 shifts the processing to step S1503.
ステップS1502に移行すると、通信管理システム100の映像データ加工部58は、予め定められた加工方法に従って映像データを加工する。あるいは、映像データ加工部58は、映像データの加工を行わないものであっても良い。
In step S1502, the video
ステップS1503に移行すると、通信管理システム100の加工方法決定部B59は、配信映像の自動加工の対象となる端末10が移動中であるか否かを判断する。
In step S1503, the processing method determination unit B59 of the
対象となる端末10が移動中である場合、通信管理システム100の映像データ加工部58は、対象となる端末10から受信する映像データを、フレームレート優先で加工する。
When the
一方、対象となる端末10が移動中でない場合(停止中である場合)、通信管理システム100の映像データ加工部58は、対象となる端末10から受信する映像データを、画質・解像度優先で加工する。
On the other hand, when the
ステップS1506において、通信管理システム100のデータ中継部57は、加工された配信データを、送信先の端末10に配信する。
In step S1506, the
上記の処理により、利用者、又は管理者は、通信システム1の映像データを自動的に加工する処理を、メニュー設定等により許可/禁止を切り替えすることができるようになる。
With the above processing, the user or administrator can switch permission / prohibition of processing for automatically processing video data of the
以上、上記の各実施形態によれば、移動装置20に搭載される端末10Bから、移動装置20の移動操作を行う端末10Aに対して、移動装置20の移動状態に応じた映像を配信する通信システム1を提供することができる。
As described above, according to each of the above-described embodiments, communication that distributes video corresponding to the moving state of the
なお、通信システム1が、例えば、図1に示すように管理装置50、及び中継装置30を含む場合、データ中継部57、及び映像データ加工部58は、例えば、中継装置30に含まれる。
For example, when the
なお、上記の各実施形態で説明したシステム構成は一例であり、通信システム1は様々なシステム構成が可能である。
The system configuration described in each of the above embodiments is an example, and the
例えば、端末10Bの映像データの加工方法を決定する加工方法決定部は、端末10Bに含まれていても良いし、例えば、図1の管理装置50又は中継装置30等に含まれていても良い。
For example, the processing method determination unit that determines the processing method of the video data of the terminal 10B may be included in the terminal 10B, or may be included in, for example, the
また、端末10Bの映像データを加工する映像データ加工部58は、例えば、図1の中継装置30に含まれていても良いし、端末10Bに含まれていても良い。
Further, the video
さらに、移動装置20に含まれる各機能は端末10Bに含まれていても良い。あるいは、端末10Bの各機能は移動装置20に含まれていても良い。
Furthermore, each function included in the
1 通信システム
10 端末(情報処理装置)
10A 端末(第2の情報処理装置)
10B 端末(第1の情報処理装置)
14 撮像部
16 表示制御部
20 移動装置
30 中継装置
35 移動状態判断部A(判断部の一例)
36 加工方法決定部A(決定部の一例)
42 移動状態判断部B(判断部の別の一例)
43 加工方法決定部C(決定部の別の一例)
50 管理装置
57 データ中継部(配信部)
58 映像データ加工部(生成部)
59 加工方法決定部B(決定部の別の一例)
100 通信管理システム
1
10A terminal (second information processing apparatus)
10B terminal (first information processing apparatus)
DESCRIPTION OF
36 Machining method determination unit A (an example of a determination unit)
42 Movement state determination unit B (another example of determination unit)
43 Processing Method Determination Unit C (Another Example of Determination Unit)
50
58 Video data processing unit (generation unit)
59 Processing Method Determination Unit B (Another Example of Determination Unit)
100 Communication management system
Claims (10)
前記機器の周辺の映像データを撮像する撮像部と、
前記機器の移動状態を判断する判断部と、
前記第1の情報処理装置から前記第2の情報処理装置に送信する前記映像データの加工方法を、前記機器の移動状態に応じて異なる加工方法に決定する決定部と、
を有する通信システム。 A first information processing apparatus mounted on a device having a moving function and controlling the moving function according to predetermined control information; a moving operation to the device is received; and the control information corresponding to the moving operation is A communication system including a second information processing device that transmits to one information processing device,
An imaging unit for imaging video data around the device;
A determination unit for determining a movement state of the device;
A determination unit that determines a processing method of the video data to be transmitted from the first information processing device to the second information processing device to a different processing method according to a movement state of the device;
A communication system.
前記機器が移動している第1の状態であるか、前記機器が移動していない第2の状態であるかを判断する請求項1に記載の通信システム。 The determination unit
The communication system according to claim 1, wherein it is determined whether the device is in a first state where the device is moving or whether the device is in a second state where the device is not moving.
前記機器の移動速度が所定の速度以上である第1の状態であるか、前記機器の移動速度が前記所定の速度未満である第2の状態であるかを判断する請求項1に記載の通信システム。 The determination unit
The communication according to claim 1, wherein it is determined whether the moving speed of the device is in a first state where the moving speed is equal to or higher than a predetermined speed or whether the moving speed of the device is a second state where the moving speed is less than the predetermined speed. system.
前記機器が前記第1の状態である場合、前記映像データの加工方法を、フレームレートを優先した第1の加工方法に決定し、
前記機器が前記第2の状態である場合、前記映像データの加工方法を、画質又は解像度を優先した第2の加工方法に決定する請求項2又は3に記載の通信システム。 The determination unit
When the device is in the first state, the processing method of the video data is determined as the first processing method giving priority to the frame rate,
The communication system according to claim 2 or 3, wherein when the device is in the second state, the processing method of the video data is determined to be a second processing method giving priority to image quality or resolution.
前記生成部は、
前記映像データの加工方法が前記第1の加工方法に決定された場合、前記映像データの加工方法が前記第2の加工方法に決定された場合より高いフレームレートで前記配信データを生成し、
前記映像データの加工方法が前記第2の加工方法に決定された場合、前記映像データの加工方法が前記第1の加工方法に決定された場合より良い画質又は高い解像度で前記配信データを生成する請求項4に記載の通信システム。 A generator that processes the video data according to the processing method and generates distribution data to be distributed to the second information processing apparatus;
The generator is
When the video data processing method is determined as the first processing method, the distribution data is generated at a higher frame rate than when the video data processing method is determined as the second processing method,
When the video data processing method is determined to be the second processing method, the distribution data is generated with better image quality or higher resolution than when the video data processing method is determined to be the first processing method. The communication system according to claim 4.
前記配信部から配信される配信データに基づいて前記機器の周辺の映像を前記第2の情報処理装置の表示部に表示させる表示制御部と、
を有する請求項5に記載の通信システム。 A distribution unit that distributes the distribution data generated by the generation unit to the second information processing apparatus;
A display control unit that displays video around the device on the display unit of the second information processing device based on distribution data distributed from the distribution unit;
The communication system according to claim 5.
前記第1の情報処理装置と前記第2の情報処理装置との間の通信を管理する通信管理システムを含み、
前記通信管理システムは、
前記決定部又は前記生成部を有する請求項5又は6に記載の通信システム。 The communication system is:
A communication management system for managing communication between the first information processing apparatus and the second information processing apparatus;
The communication management system includes:
The communication system according to claim 5 or 6, comprising the determination unit or the generation unit.
移動機能を有する機器への移動操作を受付し該移動操作に対応する前記制御情報を前記第1の情報処理装置に送信する第2の情報処理装置と通信する通信部と、
前記機器の周辺の映像データを撮像する撮像部と、
前記機器の移動状態を判断する判断部と、
前記第1の情報処理装置から前記第2の情報処理装置に送信する前記映像データの加工方法を、前記機器の移動状態に応じて異なる加工方法に決定する決定部と、
を有する情報処理装置。 A first information processing apparatus included in the communication system according to any one of claims 1 to 6,
A communication unit that communicates with a second information processing apparatus that receives a movement operation to a device having a movement function and transmits the control information corresponding to the movement operation to the first information processing apparatus;
An imaging unit for imaging video data around the device;
A determination unit for determining a movement state of the device;
A determination unit that determines a processing method of the video data to be transmitted from the first information processing device to the second information processing device to a different processing method according to a movement state of the device;
An information processing apparatus.
前記機器の周辺の映像データを撮像するステップと、
前記機器の移動状態を判断するステップと、
前記第1の情報処理装置から前記第2の情報処理装置に送信する前記映像データの加工方法を、前記機器の移動状態に応じて異なる加工方法に決定するステップと、
を実行させるためのプログラム。 A first information processing apparatus mounted on a device having a moving function and controlling the moving function according to predetermined control information; a moving operation to the device is received; and the control information corresponding to the moving operation is A first information processing apparatus of a communication system including a second information processing apparatus that transmits to the first information processing apparatus;
Imaging video data around the device;
Determining a movement state of the device;
Determining a processing method of the video data to be transmitted from the first information processing device to the second information processing device as a different processing method according to a movement state of the device;
A program for running
前記第1の情報処理装置が、前記機器の周辺の映像データを撮像するステップと、
前記第1の情報処理装置が、前記機器の移動状態を判断するステップと、
前記第1の情報処理装置、又は前記第1の情報処理装置と前記第2の情報処理装置との間の通信を管理する通信管理システムが、前記第1の情報処理装置から前記第2の情報処理装置に送信する前記映像データの加工方法を、前記機器の移動状態に応じて異なる加工方法に決定するステップと、
を含む通信方法。 A first information processing apparatus mounted on a device having a moving function and controlling the moving function according to predetermined control information; a moving operation to the device is received; and the control information corresponding to the moving operation is A communication method in a communication system including a second information processing device that transmits to one information processing device,
The first information processing apparatus imaging video data around the device;
The first information processing apparatus determining a movement state of the device;
A communication management system that manages communication between the first information processing apparatus or the first information processing apparatus and the second information processing apparatus receives the second information from the first information processing apparatus. Determining a processing method of the video data to be transmitted to a processing device as a different processing method according to a movement state of the device;
Including a communication method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016179669A JP2018046410A (en) | 2016-09-14 | 2016-09-14 | Communication system, information processing apparatus, communication method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016179669A JP2018046410A (en) | 2016-09-14 | 2016-09-14 | Communication system, information processing apparatus, communication method, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018046410A true JP2018046410A (en) | 2018-03-22 |
Family
ID=61695156
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016179669A Pending JP2018046410A (en) | 2016-09-14 | 2016-09-14 | Communication system, information processing apparatus, communication method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018046410A (en) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05268596A (en) * | 1992-03-17 | 1993-10-15 | Matsushita Electric Ind Co Ltd | Picture transmitter |
JPH09205628A (en) * | 1996-01-25 | 1997-08-05 | Oki Electric Ind Co Ltd | Image information transmitter |
US20050259144A1 (en) * | 2004-05-21 | 2005-11-24 | Polycom, Inc. | Method and system for preparing video communication image for wide screen display |
KR100641852B1 (en) * | 2003-06-23 | 2006-11-03 | 캐논 가부시끼가이샤 | Operation at mobile terminal when communicating with remote camera |
JP2008085860A (en) * | 2006-09-28 | 2008-04-10 | Sanyo Electric Co Ltd | Video encoder |
JP2012523890A (en) * | 2009-04-17 | 2012-10-11 | インタッチ・テクノロジーズ・インコーポレーテッド | Telepresence robot system with software module system, projector, and laser pointer |
JP2012204991A (en) * | 2011-03-24 | 2012-10-22 | Yamaha Corp | Communication system, mobile terminal, and program |
-
2016
- 2016-09-14 JP JP2016179669A patent/JP2018046410A/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05268596A (en) * | 1992-03-17 | 1993-10-15 | Matsushita Electric Ind Co Ltd | Picture transmitter |
JPH09205628A (en) * | 1996-01-25 | 1997-08-05 | Oki Electric Ind Co Ltd | Image information transmitter |
KR100641852B1 (en) * | 2003-06-23 | 2006-11-03 | 캐논 가부시끼가이샤 | Operation at mobile terminal when communicating with remote camera |
US20050259144A1 (en) * | 2004-05-21 | 2005-11-24 | Polycom, Inc. | Method and system for preparing video communication image for wide screen display |
JP2008085860A (en) * | 2006-09-28 | 2008-04-10 | Sanyo Electric Co Ltd | Video encoder |
JP2012523890A (en) * | 2009-04-17 | 2012-10-11 | インタッチ・テクノロジーズ・インコーポレーテッド | Telepresence robot system with software module system, projector, and laser pointer |
JP2012204991A (en) * | 2011-03-24 | 2012-10-22 | Yamaha Corp | Communication system, mobile terminal, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5882768B2 (en) | Image processing apparatus, control method thereof, and program | |
KR101761106B1 (en) | Communication apparatus and control method thereof | |
JP6182911B2 (en) | Transmission terminal, transmission system, program | |
JP7346830B2 (en) | Communication terminals, programs, display methods, recording media, systems | |
EP3214835A1 (en) | Information terminal, recording medium, communication control method, and communication system | |
JP2016005083A (en) | Information processing device, information processing method, and terminal device | |
US20220078344A1 (en) | Communication terminal, display method, and non-transitory computer-readable medium | |
JP2017034530A (en) | Communication management system, communication system, communication management method, and program | |
DE112015003793T5 (en) | A communication device connectable using short-range wireless communication, methods of controlling the communication device and recording medium | |
JP2017142610A (en) | Server device, transmission system and program | |
JP5349656B1 (en) | Video processing apparatus and control method thereof | |
KR102136413B1 (en) | Method, system and non-transitory computer-readable recording medium for providing a multilateral communication service | |
JP5705203B2 (en) | COMMUNICATION DEVICE, COMMUNICATION TERMINAL, ITS CONTROL METHOD, PROGRAM | |
US11128623B2 (en) | Service providing system, service delivery system, service providing method, and non-transitory recording medium | |
JP2017079376A (en) | Transmission terminal, automatic response method, and program | |
JP2018046410A (en) | Communication system, information processing apparatus, communication method, and program | |
WO2017170235A1 (en) | Service provision system, service delivery system, service provision method, and program | |
JP7115097B2 (en) | Communication terminal, program, display method, recording medium | |
US11108772B2 (en) | Service providing system, service delivery system, service providing method, and non-transitory recording medium | |
JP2022025652A (en) | Communication terminal, communication system, communication method, and program | |
JP7338755B2 (en) | Communication terminal, communication system, communication method and program | |
JP2018041990A (en) | Communication terminal, communication system, display control method, and program | |
JP6569353B2 (en) | Transmission system, information processing apparatus, program, and transmission method | |
JP6956515B2 (en) | Communication systems, communication devices and their control methods and programs | |
US20230308705A1 (en) | Communication terminal, communication management system, remote operation method, processing method, and communication management method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190712 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200218 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200811 |