JP2016181751A - 遠隔作業支援システム - Google Patents
遠隔作業支援システム Download PDFInfo
- Publication number
- JP2016181751A JP2016181751A JP2015059717A JP2015059717A JP2016181751A JP 2016181751 A JP2016181751 A JP 2016181751A JP 2015059717 A JP2015059717 A JP 2015059717A JP 2015059717 A JP2015059717 A JP 2015059717A JP 2016181751 A JP2016181751 A JP 2016181751A
- Authority
- JP
- Japan
- Prior art keywords
- work support
- wearable device
- moving image
- display
- terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 39
- 239000002131 composite material Substances 0.000 claims description 17
- 238000003384 imaging method Methods 0.000 abstract description 6
- 230000007613 environmental effect Effects 0.000 abstract 1
- 239000000203 mixture Substances 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 17
- 238000000034 method Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011982 device technology Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
本発明の態様は、作業者が装備しかつカメラデバイスとモーションセンサとを具備する作業支援ウェアラブルデバイスと、支援者が操作し前記作業支援ウェアラブルデバイスと接続される作業支援端末と、を備えた遠隔作業支援システムであって、前記作業支援端末が、
前記作業支援ウェアラブルデバイスにて前記カメラデバイスの撮影により取得される動画データと前記モーションセンサにより取得されるモーションデータとを、逐次、受信する手段と、
受信した前記動画データと前記モーションデータとを基に、一定領域の静止画を生成し重複領域を削除することにより一枚の広範囲の周囲の状況が写った合成静止画を生成する手段と、
生成した前記合成静止画と、逐次受信する前記動画データによる動画とを並べ合わせた混在画像を前記作業支援端末のディスプレイ上に表示する手段と、を有することを特徴とする。
前記作業支援端末は、
前記作業支援ウェアラブルデバイスの前記カメラデバイスの撮影による動画を、前記作業支援ウェアラブルデバイスのディスプレイ上に表示させる指示を前記作業支援ウェアラブルデバイスに送信する手段と、
書き込まれた前記アノテーション情報の座標を検出して座標データを前記作業支援ウェアラブルデバイスに送信する手段と、を有し、
前記作業支援ウェアラブルデバイスは、
前記作業支援端末から受信した指示により、前記カメラデバイスの撮影による動画を前記作業支援ウェアラブルデバイスのディスプレイ上に表示する手段と、
前記作業端末から受信した前記座標データを基に、前記作業支援ウェアラブルデバイスのディスプレイ上に前記アノテーション情報を描画する手段と、を有することを特徴とする。
前記混在画像上で前記アノテーション情報が書込みされている領域が、前記合成静止画の領域であるか、又は、前記動画の領域であるかを判定する手段と、
前記アノテーション情報が書込みされている領域が前記合成静止画の領域であった場合、現在、前記作業支援ウェアラブルデバイスの前記カメラデバイスが撮影している動画の領域と比べて、当該アノテーション情報がいずれの方向にあるかを示す方向情報を、前記作業支援ウェアラブルデバイスに送信する手段と、を有し、
前記作業支援ウェアラブルデバイスは、
前記作業支援端末から受信した方向情報を基に、前記作業支援ウェアラブルデバイスのディスプレイ上に矢印を表示する手段を有することを特徴とする。
図1は、本発明の実施形態による本システムの概略構成を示す図である。本システムは、作業支援サーバ101と、作業支援端末102と、作業支援ウェアラブルデバイス105と、ネットワーク108で構成される。作業支援サーバ101、作業支援端末102及び作業支援ウェアラブルデバイス105は、本システムにおける所定の機能を実現するプログラムを導入されたコンピュータであり、CPUがプログラムをメモリに読込み実行することにより、本システムを構成する各装置として機能する。図2は、作業支援サーバ101の構成を示す図である。図3は、作業支援ウェアラブルデバイス105の構成を示す図である。図4は、作業支援端末102の構成を示す図である。
図1に示す作業支援サーバ101は、会議室104内の作業支援端末102と、工場107内の作業支援ウェアラブルデバイス105とのネットワーク接続の中継機能、及び、作業支援に必要なコンテンツ、例えば、作業マニュアルドキュメントの保存及び管理機能を備えるサーバである。図2に示すように、作業支援サーバ101は、ネットワーク部201と、ユーザ管理部202と、コンテンツ管理部203を備えている。
図2のネットワーク接続管理部201は、作業者106が工場107内で作業内容に不明点があり、支援者103に作業支援を求める際に、作業者106の作業支援ウェアラブルデバイス105から支援者103の作業支援端末102への呼び出しを中継し、作業支援ウェアラブルデバイス105と作業支援端末102間のネットワーク接続を行うモジュールである。
図2のユーザ管理部202は、支援を必要とする可能性のある作業支援ウェアラブルデバイス105及び作業者106と、作業支援を行うことが可能な作業支援端末102及び支援者103の情報を登録し管理するモジュールである。ネットワーク接続管理部201は、ユーザ管理部202の情報を使って、作業者106からの遠隔作業支援要求時に、作業支援ウェアラブルデバイス105と作業支援端末102とのネットワーク接続を行う。
図2のコンテンツ管理部203は、遠隔作業支援に必要なマニュアルドキュメント等を保存し管理する機能を備える。作業者106と支援者103は共に、これらのドキュメントを、作業支援ウェアラブルデバイス105や作業支援端102末にダウンロードし、各々のデバイスで表示し閲覧しながら作業を行うことが可能である。
図1に示す作業支援ウェアラブルデバイス105は、作業者106が工場107内で作業を行う際に、装着するメガネ型又はヘッドマウント型等の作業支援ウェアラブルデバイスである。作業者106は、作業支援ウェアラブルデバイス105を装着し、会議室104内にいる支援者103から遠隔での指示や支援を受ける。図3に示すように、作業支援ウェアラブルデバイス105は、カメラ部301、マイク・スピーカ部302、ディスプレイ部303、ネットワーク部304、遠隔作業支援部305、画像処理部306、モーションセンサ部307を備えている。
図3のカメラ部301は、作業支援ウェアラブルデバイス105の前面に取り付けられているカメラデバイスであり、作業者106が作業を行っている視点と同じ方向の動画を撮影することができるモジュールである。カメラ部301で撮影した動画のデータ(以後、撮影した動画のデータのことを動画データと呼ぶ)を、ネットワーク部304を通して作業支援端末102に送信することで、支援者103は動画を基に工場内の状況把握が可能になり、遠隔での効率的な指示や支援が可能になる。
図3のマイク・スピーカ部302は、一般に普及しているマイクデバイス及びスピーカデバイスからなる音響入出力部であり、作業者106が話した内容や周囲の音声を収音する機能と、作業支援端末102上のマイク・スピーカ部402で収音した音声を放音する機能を備えている。作業者106と支援者103は、マイク・スピーカ部302及びマイク・スピーカ部402を使って、音声による指示や支援が可能になる。
図3のディスプレイ部303は、近年普及してきているメガネ型の作業支援ウェアラブルデバイスに搭載されている透過型又は非透過型の小型ディスプレイ相当のものを指す。作業者106は、ディスプレイ部303を通して、作業支援端末102で撮影された動画や、作業支援サーバ101に保存されているマニュアルドキュメント等を閲覧することができる。ディスプレイ部303の特徴として、作業者106の視野をあまり阻害することなく、静止画又は動画を閲覧することができることがあげられる。これにより、作業者106は周囲の状況を把握しつつ、リアルタイムに種々の情報を取得することが可能になり、作業効率がアップする。
図3のネットワーク部304は、作業支援サーバ101及び作業支援端末102とネットワーク接続を行うモジュールであり、動画、静止画、コンテンツ等のデータの通信を可能にする。なお、作業支援サーバ101上のコンテンツ管理部203から、作業に関わるドキュメントをダウンロードしてディスプレイ部303で表示しながら作業を可能にする機能も有する。
図3の遠隔作業支援部305は、作業支援端末102のディスプレイ部303に書き込まれたアノテーション情報、具体的には、テキスト情報や、手書き書込みに関する情報の検知、管理及び送受信を行うモジュールである。
図3の画像処理部306は、遠隔作業支援部305で受信したアノテーション情報をディスプレイ部303に表示する機能を備えるモジュールである。
図3のモーションセンサ部307は、作業支援ウェアラブルデバイス105が移動した場合のデバイスの移動量を含む移動動作情報(以後、モーションデータと呼ぶ)を検出するモジュールである。モーションデータは、現在作業支援ウェアラブルデバイスで備わっている一般的なジャイロセンサー、加速度センサーといったセンサーにより取得する値で対応可能である。モーションセンサ部307で取得するモーションデータの主なものは、作業者106がカメラ部301で撮影している撮影領域を移動させた時、即ち、作業者106が首を動かして視点を移動させたときのデバイスの移動量である。モーションセンサ307で取得したモーションデータは、デバイスの処理性能の許容する範囲で、一定間隔で作業支援端末102の画像処理部406に送信される。
図1に示す作業支援端末102は、作業者106からの作業支援要求を受けて、支援者103が作業支援を行う端末である。図4に示すように、作業支援端末102は、カメラ部401、マイク・スピーカ部402、ディスプレイ部403、ネットワーク部404、遠隔作業支援部405、画像処理部406を備えている。なお、作業支援端末102は、一般に普及しているノートPCやデスクトップPCを想定している。
図4の作業支援端末102のカメラ部401は、ノートPCのフロントに備わっているカメラデバイス相当のものを指し、支援者103側の動画を撮影することができる。カメラ部401で撮影した動画(動画データ)を作業支援ウェアラブルデバイス105に送信することで、作業者106は、動画共有による支援者103側の会議室の状況把握が可能になり、作業者106は、より効率的に作業を行えるようになる。
図4の作業支援端末102のマイク・スピーカ部402は、図3の作業支援ウェアラブルデバイス105のマイク・スピーカ部302と同様の機能を持つ。
図4の作業支援端末102のディスプレイ部403は、一般のノートPCやデスクトップPC等に備わっている通常のディスプレイである。ディスプレイ部403には、作業支援ウェアラブルデバイス105で撮影された動画及び/又は画像処理部406で処理された静止画が表示される。また、ディスプレイ部403は、タッチパネル機能を備えており、支援者103がディスプレイ部403上で任意のタッチ操作を行うと、表示されている静止画又は動画の中にアノテーション情報を書込むことが可能である。このアノテーション情報により、支援者103は画像や音声だけでは伝えにくい情報、例えば、この機器のこの場所を調べてほしいと言った作業指示を容易に行うことが可能になる。
図4の、作業支援端末102のネットワーク部404は、作業支援サーバ101や作業支援ウェアラブルデバイス105とネットワーク接続を行うモジュールであり、動画、静止画、コンテンツ等のデータの通信を可能にする。
図4の作業支援端末102の遠隔作業支援部405は、作業支援端末102のディスプレイ部403に書き込まれたアノテーション情報、具体的には、テキスト情報や、手書き書込み等の書込み内容のデータ、及び、ディスプレイ部403上での書込み位置を示す座標データを検知し、作業支援ウェアラブルデバイス105の遠隔作業支援部305に対して送受信を行うモジュールである。
図4の、作業支援端末102の画像処理部406は、作業支援ウェアラブルデバイス105のカメラ部301及びモーションセンサ部307から送信されてくる動画データ及びモーションデータを用いて、作業支援ウェアラブルデバイス105のカメラ部301で、一度でも撮影された領域の動画データから静止画を生成し、生成した静止画をつなぎ合わせて、一枚の大きな周囲の状況が写った静止画(以下、「合成静止画」と称する)を生成する機能を備えている。
図5は、遠隔作業支援開始フローを示している。はじめに、作業者106は、工場107に設置されている機器の取り扱いなどで作業手順が不明だった場合、作業支援ウェアラブルデバイス105から作業支援サーバ101へ作業支援要求を送信する(S501)。作業支援サーバ101では、事前に登録されている作業支援が可能な支援者103の作業支援端末102に作業支援が要求されたことを送信する(S502)。
図6は、図5のステップを通して、作業支援ウェアラブルデバイス105と作業支援端末間102で動画及び音声のセッションが開始された後の状態の具体例を示した図である。
図7と図8は、作業支援ウェアラブルデバイス105の撮影領域を移動させた場合のフローとその具体例を示している。図5と図6で動画及び音声のセッションが開始された後、作業支援ウェアラブルデバイス105の撮影領域を移動させる (S701)。これにより、撮影領域が元の撮影領域601から、撮影領域801を経由して、撮影領域802へと移動する。なお、図8では、工場600内で、作業者106は作業支援ウェアラブルデバイス105で撮影領域802を撮影している状態である。作業支援ウェアラブルデバイス105のモーションセンサ部307は、作業者106が撮影領域を移動させた時に、作業支援ウェアラブルデバイス105の移動量を検出し、モーションデータを取得する(S702)。
図9、図10、図11は、遠隔作業支援におけるアノテーション機能を示す図である。支援者103が混在画像805上で気になる部分を発見する(S901)。支援者103は、ディスプレイ部403にタッチして直接、アノテーション情報を書込む(S902)。作業支援端末102の遠隔作業支援部405は、書込みによる作業支援が発生したことを検知し(S903)、作業支援ウェアラブルデバイス105の遠隔作業支援部306に対し、カメラ部301で撮影している動画の領域をディスプレイ部303上に表示するように表示切替えを行わせる指示を送信する(S904)。これにより、作業支援ウェアラブルデバイス105のディスプレイ部303上に撮影中の動画が表示される。次に、遠隔作業支援部405は、ディスプレイ部403上のタッチ情報を基に、書込まれたアノテーション情報の座標を検出する(S905)。この時、遠隔作業支援部405は、混在画像1006上でアノテーション情報が書込みされている領域が、合成静止画1004の領域か、動画1005の領域かを判定する(S906)。
102 作業支援端末
103 支援者
104 会議室
105 作業支援ウェアラブルデバイス
106 作業者
107 工場
108 ネットワーク
Claims (3)
- 作業者が装備しかつカメラデバイスとモーションセンサとを具備する作業支援ウェアラブルデバイスと、支援者が操作し前記作業支援ウェアラブルデバイスと接続される作業支援端末と、を備えた遠隔作業支援システムであって、前記作業支援端末が、
前記作業支援ウェアラブルデバイスにて前記カメラデバイスの撮影により取得される動画データと前記モーションセンサにより取得されるモーションデータとを、逐次、受信する手段と、
受信した前記動画データと前記モーションデータとを基に、一定領域の静止画を生成し重複領域を削除することにより一枚の広範囲の周囲の状況が写った合成静止画を生成する手段と、
生成した前記合成静止画と、逐次受信する前記動画データによる動画とを並べ合わせた混在画像を前記作業支援端末のディスプレイ上に表示する手段と、を有することを特徴とする
遠隔作業支援システム。 - 前記作業支援端末のディスプレイがタッチパネル機能を備えており、前記混在画像にアノテーション情報が書き込まれたとき、
前記作業支援端末は、
前記作業支援ウェアラブルデバイスの前記カメラデバイスの撮影による動画を、前記作業支援ウェアラブルデバイスのディスプレイ上に表示させる指示を前記作業支援ウェアラブルデバイスに送信する手段と、
書き込まれた前記アノテーション情報の座標を検出して座標データを前記作業支援ウェアラブルデバイスに送信する手段と、を有し、
前記作業支援ウェアラブルデバイスは、
前記作業支援端末から受信した指示により、前記カメラデバイスの撮影による動画を前記作業支援ウェアラブルデバイスのディスプレイ上に表示する手段と、
前記作業端末から受信した前記座標データを基に、前記作業支援ウェアラブルデバイスのディスプレイ上に前記アノテーション情報を描画する手段と、を有することを特徴とする
請求項1に記載の遠隔作業支援システム。 - 前記作業支援端末は、
前記混在画像上で前記アノテーション情報が書込みされている領域が、前記合成静止画の領域であるか、又は、前記動画の領域であるかを判定する手段と、
前記アノテーション情報が書込みされている領域が前記合成静止画の領域であった場合、現在、前記作業支援ウェアラブルデバイスの前記カメラデバイスが撮影している動画の領域と比べて、当該アノテーション情報がいずれの方向にあるかを示す方向情報を、前記作業支援ウェアラブルデバイスに送信する手段と、を有し、
前記作業支援ウェアラブルデバイスは、
前記作業支援端末から受信した方向情報を基に、前記作業支援ウェアラブルデバイスのディスプレイ上に矢印を表示する手段を有することを特徴とする
請求項2に記載の遠隔作業支援システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015059717A JP6535191B2 (ja) | 2015-03-23 | 2015-03-23 | 遠隔作業支援システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015059717A JP6535191B2 (ja) | 2015-03-23 | 2015-03-23 | 遠隔作業支援システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016181751A true JP2016181751A (ja) | 2016-10-13 |
JP6535191B2 JP6535191B2 (ja) | 2019-06-26 |
Family
ID=57132713
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015059717A Expired - Fee Related JP6535191B2 (ja) | 2015-03-23 | 2015-03-23 | 遠隔作業支援システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6535191B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10887195B2 (en) | 2017-04-28 | 2021-01-05 | Optim Corporation | Computer system, remote control notification method and program |
WO2022208595A1 (ja) * | 2021-03-29 | 2022-10-06 | 京セラ株式会社 | ウェアラブル端末装置、プログラムおよび報知方法 |
JP7406038B1 (ja) * | 2023-09-19 | 2023-12-26 | 株式会社日立パワーソリューションズ | 作業支援システム及び作業支援方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007034238A (ja) * | 2005-07-29 | 2007-02-08 | Kobe Steel Ltd | 現場作業支援システム |
JP2014072803A (ja) * | 2012-09-28 | 2014-04-21 | Brother Ind Ltd | 作業補助システムおよびプログラム |
JP2014149718A (ja) * | 2013-02-01 | 2014-08-21 | Nec Corp | 撮影指示装置、撮影指示方法、及びプログラム |
-
2015
- 2015-03-23 JP JP2015059717A patent/JP6535191B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007034238A (ja) * | 2005-07-29 | 2007-02-08 | Kobe Steel Ltd | 現場作業支援システム |
JP2014072803A (ja) * | 2012-09-28 | 2014-04-21 | Brother Ind Ltd | 作業補助システムおよびプログラム |
JP2014149718A (ja) * | 2013-02-01 | 2014-08-21 | Nec Corp | 撮影指示装置、撮影指示方法、及びプログラム |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10887195B2 (en) | 2017-04-28 | 2021-01-05 | Optim Corporation | Computer system, remote control notification method and program |
WO2022208595A1 (ja) * | 2021-03-29 | 2022-10-06 | 京セラ株式会社 | ウェアラブル端末装置、プログラムおよび報知方法 |
JP7505112B2 (ja) | 2021-03-29 | 2024-06-24 | 京セラ株式会社 | ウェアラブル端末装置、プログラムおよび報知方法 |
JP7406038B1 (ja) * | 2023-09-19 | 2023-12-26 | 株式会社日立パワーソリューションズ | 作業支援システム及び作業支援方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6535191B2 (ja) | 2019-06-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102497683B1 (ko) | 다수의 가상 캐릭터를 제어하는 방법, 기기, 장치 및 저장 매체 | |
US8239783B2 (en) | Integrated viewfinder and digital media | |
JP2013162487A (ja) | 画像表示装置及び撮像装置 | |
KR20160074334A (ko) | 이동단말기 및 그 제어방법 | |
WO2021093844A1 (zh) | 共享控制方法及电子设备 | |
CN112783700A (zh) | 用于基于网络的远程辅助***的计算机可读介质 | |
US9848168B2 (en) | Method, synthesizing device, and system for implementing video conference | |
JP6535191B2 (ja) | 遠隔作業支援システム | |
CN111106902B (zh) | 数据报文传输方法、装置、设备及计算机可读存储介质 | |
CN109104564B (zh) | 一种拍摄提示方法及终端设备 | |
KR102668752B1 (ko) | 이동 단말기 및 이동 단말기 제어 방법 | |
KR20190129592A (ko) | 휴대 단말에서의 영상 제공 방법 및 그 장치 | |
CN111093033B (zh) | 一种信息处理方法及设备 | |
CN111178306B (zh) | 一种显示控制方法及电子设备 | |
CN110597840A (zh) | 基于区块链的伴侣关系建立方法、装置、设备及存储介质 | |
KR20130049220A (ko) | 가상현실을 통한 역사문화 디지털 가이드를 위한 방법 및 그 장치 | |
WO2021104194A1 (zh) | 图像控制方法及电子设备 | |
JP2018092478A (ja) | 作業指示システム | |
KR102150008B1 (ko) | 이미지를 전송하기 위한 방법 및 그 전자 장치 | |
CN113721874A (zh) | 虚拟现实画面显示方法及电子设备 | |
JP2018019305A (ja) | 携帯端末装置及び画像記録システム | |
US10250845B1 (en) | Remote collaboration system with projector-camera based robot device and head mounted display, and remote interaction method using the same | |
CN111447353B (zh) | 图像采集的方法、装置、电子设备和存储介质 | |
US11095825B1 (en) | Camera pan, tilt, and zoom history | |
CN112235231B (zh) | 网络加速器的禁用ip地址的确定方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170914 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180614 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180710 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180809 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181218 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190528 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190531 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6535191 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |