JP6244069B1 - 遠隔作業支援システム、遠隔作業支援方法、及びプログラム - Google Patents
遠隔作業支援システム、遠隔作業支援方法、及びプログラム Download PDFInfo
- Publication number
- JP6244069B1 JP6244069B1 JP2017541988A JP2017541988A JP6244069B1 JP 6244069 B1 JP6244069 B1 JP 6244069B1 JP 2017541988 A JP2017541988 A JP 2017541988A JP 2017541988 A JP2017541988 A JP 2017541988A JP 6244069 B1 JP6244069 B1 JP 6244069B1
- Authority
- JP
- Japan
- Prior art keywords
- image
- virtual object
- display
- remote
- terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 23
- 230000004044 response Effects 0.000 claims description 114
- 230000008859 change Effects 0.000 claims description 14
- 230000003287 optical effect Effects 0.000 claims description 6
- 230000004048 modification Effects 0.000 description 33
- 238000012986 modification Methods 0.000 description 33
- 238000010586 diagram Methods 0.000 description 24
- 238000004891 communication Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 15
- 230000008569 process Effects 0.000 description 14
- 239000002131 composite material Substances 0.000 description 9
- 238000012545 processing Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
- G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
- H04W88/02—Terminal devices
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Optics & Photonics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
- Telephone Function (AREA)
- Telephonic Communication Services (AREA)
- Information Transfer Between Computers (AREA)
Abstract
Description
本発明は、ウェアラブル端末のユーザーが音声による遠隔作業支援を受け難い環境下にいる場合であっても、円滑な遠隔作業支援を実現することを目的とする。
図1は、遠隔作業支援システム1の構成の一例を示す図である。遠隔作業支援システム1は、遠隔作業を支援するためのシステムである。なお、遠隔作業支援システム1は、遠隔作業の支援用に設計されており、例えば遠隔の人と顔を見ながら会議をするためのテレビ会議システムとは異なるものである。遠隔作業支援システム1においては、ウェアラブル端末10が画像を撮影する機能を有し、ウェアラブル端末10で撮影された画像が、このウェアラブル端末10と遠隔端末20とで共有される。この場合、遠隔端末20のユーザーは、ウェアラブル端末10を用いて撮影された画像を見ることにより、ウェアラブル端末10のユーザーの状況を把握することができる。例えば所定の資格を有する指示者が遠隔端末20を使用し、現場の作業者がウェアラブル端末10を使用してもよい。この場合、指示者は、現場の作業者に対して遠隔から作業の指示をすることができる。なお、以下の説明では、ウェアラブル端末10のユーザーを「第1ユーザー」といい、遠隔端末20のユーザーを「第2ユーザー」という。
図7は、遠隔作業支援システム1の動作を示すシーケンスチャートである。ここでは、第1ユーザーが作業現場で作業をする作業者であり、第2ユーザーが、遠隔にいる指示者である場合を想定する。この場合、作業者がウェアラブル端末10を装着し、指示者が遠隔端末20を使用して作業者に対して遠隔から作業の指示を行う。なお、ここでいう「遠隔」とは、別の場所であることを意味し、必ずしも遠く離れている必要はない。
本発明は上述した実施形態に限定されず、種々の変形がなされてもよい。また、以下の変形例は、上述した各実施形態と組み合わせて実施されてもよいし、他の変形例と組み合わせて実施されてもよい。
上述した実施形態では、仮想オブジェクト210を例示して説明したが、本発明に係る仮想オブジェクトは仮想オブジェクト210に限定されず、その内容や表示形式について様々な変形がなされてもよい。
上述した実施形態では、「YES」又は「NO」という応答を例示して説明したが、本発明に係る応答は「YES」又は「NO」に限定されない。例えば、応答は、数値又は文字であってもよい。この場合、数値又は文字の入力用の仮想オブジェクトが用いられる。この仮想オブジェクトは、予め生成されてストレージ34に格納されていてもよい。
上述した実施形態において、ジェスチャーを用いて様々な応答が行われてもよい。この応答には、指示者に対する要求や質問が含まれてもよい。この場合、仮想オブジェクトにはジェスチャーの一覧が含まれてもよい。
上述した実施形態において、遠隔端末20からウェアラブル端末10に3次元の仮想オブジェクトが提供されてもよい。ここでは、指示者から作業者に或る建物の3次元図面が提供される場合を想定する。この場合、遠隔端末20は、この3次元図面を示す図面データを直接、又はサーバー装置30を経由してウェアラブル端末10に送信する。この場合、この図面データが指示情報として用いられてもよい。ウェアラブル端末10は、この図面データを受信すると、受信した図面データに応じた3次元図面を仮想オブジェクト281として表示装置16に表示する。
上述した実施形態では、指示者の音声に基づいて指示情報が生成される例について説明したが、指示情報は予め生成されていてもよい。例えば指示情報は、作業工程の確認に用いられる質問票であってもよい。この質問票には、それぞれ、複数の作業工程に対応する複数の項目が含まれる。各項目には、その作業工程において確認すべき事項が質問形式で記述されている。この場合、遠隔端末20は、質問票に含まれる複数の項目を示す項目データを順番に、直接又はサーバー装置30を経由してウェアラブル端末10に送信する。最初の項目データの送信は、作業者の操作に応じて行われてもよいし、所定の条件を満たしたときに行われてもよい。この所定の条件は、例えば所定の時刻になったという条件であってもよい。2つ目以降の項目データの送信は、1つ前の項目に対する応答が行われたときに行われてもよい。ウェアラブル端末10は、この項目データを受信する。この場合、表示装置16及び表示装置26には、質問票に含まれる項目と、上述した仮想オブジェクト261とが表示される。
上述した実施形態において、1人の指示者が複数の作業者に対して作業の指示を行ってもよい。この場合、複数のウェアラブル端末10が設けられる。これらのウェアラブル端末10は、複数の作業者によりそれぞれ装着される。
上述した実施形態において、ウェアラブル端末10、遠隔端末20、又はサーバー装置30において、撮像画像200と仮想オブジェクト210との合成画像が生成されてもよい。この場合、撮像画像200と仮想オブジェクト210とは、作業者の視界を再現するような位置及び大きさで合成されてもよい。また、仮想オブジェクト210は、作業者の操作により、大きさ、位置、又は角度が変更されてもよい。
上述した実施形態において、音声以外の手段により指示者の指示が入力されてもよい。この場合、音声認識手段103は、設けられなくてもよい。例えば作業者は、入力装置25を用いて指示を示す文字データを入力してもよい。この場合、受付手段102は、この文字データの入力を受け付ける。オブジェクト生成手段104は、この文字データに基づいて、仮想オブジェクトを生成する。他の例として、複数の指示を示すスタンプ画像が準備されている場合には、作業者は、入力装置25を用いてこれらのスタンプ画像の中から所望の指示を示すスタンプ画像を選択してもよい。この場合、この場合、受付手段102は、選択されたスタンプ画像を示す画像データの入力を受け付ける。オブジェクト生成手段104は、この画像データに基づいて、仮想オブジェクトを生成する。すなわち、撮像画像200に対する指示情報は、第2ユーザーの音声を示す音声データであってもよいし、第2ユーザーの操作により入力された文字データ又は画像データであってもよい。
上述した実施形態において、カメラ17により撮影される対象は、第1ユーザーの前方の空間に限定されない。カメラ17により撮影される対象は、第1ユーザーの周囲であればよい。また、仮想オブジェクト210は、予め生成されて、ストレージ14、ストレージ24、及びストレージ34のうちの少なくともいずれかに格納されていてもよい。この場合、オブジェクト生成手段104は設けられなくてもよい。さらに、作業者は、頭や足等、指以外の体の部位を用いてジェスチャーを行ってもよい。
上述した実施形態では、本発明に係るウェアラブル端末が、両眼の眼鏡型のウェアラブル端末10である例について説明したが、ウェアラブル端末はこの例に限定されない。例えばウェアラブル端末は、片眼の眼鏡型のウェアラブル端末であってもよいし、ヘッドマウント型のウェアラブル端末であってもよい。
上述した実施形態において、ウェアラブル端末10の機能を実現するためのプログラムは、単一のプロセッサー11により実行されてもよいし、2以上のプロセッサー11により同時又は逐次に実行されてもよい。遠隔端末20及びサーバー装置30についても同様である。
上述した実施形態において説明した遠隔作業支援システム1の機能を実装する主体は、例示に過ぎず、これに限定されない。例えばサーバー装置30の機能の少なくとも一部を、ウェアラブル端末10、遠隔端末20、又はその両方が有してもよい。例えば、遠隔端末20が、上述した音声認識手段103と、オブジェクト生成手段104と、画面共有手段105として機能するとともに、ウェアラブル端末10が、上述した画面共有手段105、画像認識手段108と、変化手段109と、応答生成手段110として機能してもよい。この場合、サーバー装置30は、ウェアラブル端末10と遠隔端末20との間でデータを中継するだけの機能を有していてもよい。或いは、サーバー装置30を設けなくてもよい。
遠隔作業支援システム1において行われる処理のステップは、上述した実施形態で説明した例に限定されない。この処理のステップは、矛盾のない限り、入れ替えられてもよい。また、本発明は、遠隔作業支援システム1において行われる処理のステップを備える遠隔作業支援方法として提供されてもよい。
本発明は、ウェアラブル端末10、遠隔端末20、又はサーバー装置30において実行されるプログラムとして提供されてもよい。これらのプログラムは、インターネット等のネットワークを介してダウンロードされてもよい。また、これらのプログラムは、磁気記録媒体(磁気テープ、磁気ディスクなど)、光記録媒体(光ディスクなど)、光磁気記録媒体、半導体メモリーなどの、コンピュータが読取可能な記録媒体に記録した状態で提供されてもよい。
上述した実施形態において、ウェアラブル端末10又は遠隔端末20において、仮想オブジェクト210と撮像画像200とが合成されてもよい。ウェアラブル端末10において合成が行われる場合、遠隔端末20からウェアラブル端末10に指示情報が入力される。ウェアラブル端末10は、この指示情報に応じた仮想オブジェクトと撮像画像200とを合成した合成画像を生成し、この合成画像を表示装置16に表示する。一方、遠隔端末20において合成が行われる場合、遠隔端末20は、第2ユーザーにより入力された指示情報に応じた仮想オブジェクト210と撮像画像200とを合成した合成画像を生成し、この合成画像を示す合成画像データをウェアラブル端末10に送信する。ウェアラブル端末10は、遠隔端末20から受信した合成画像データに応じた合成画像を表示装置16に表示する。ウェアラブル端末10において合成が行われる場合と遠隔端末20において合成が行われる場合とを比較すると、前者の場合には合成画像データの送信が発生しないため、データの転送速度が速くなる。
Claims (13)
- 遠隔作業を支援するために、ウェアラブル端末で撮影された画像を、当該ウェアラブル端末と遠隔端末とで共有する遠隔作業支援システムであって、
前記ウェアラブル端末で撮影された画像を取得する画像取得手段と、
前記画像を、前記ウェアラブル端末と前記遠隔端末とで画面共有する画面共有手段と、
前記遠隔端末から、前記画像に対する指示情報の入力を受け付ける受付手段と、
前記ウェアラブル端末上に、前記画像と、前記指示情報に応じた仮想オブジェクトと、を重ねて表示させる第1表示手段と、
前記遠隔端末上に、前記画像と、前記仮想オブジェクトと、を重ねて表示させる第2表示手段と、
前記画像を解析して体の指の状態を認識する画像認識手段と、
前記画像認識手段により前記仮想オブジェクトと所定の関係を有する位置から移動する前記指の動きが認識された場合、前記認識された動きに従って前記仮想オブジェクトが移動するように、前記第1表示手段及び前記第2表示手段よる前記仮想オブジェクトの表示を変化させる変化手段と、
前記仮想オブジェクトの移動方向に対して定められた応答情報を生成する応答生成手段とを備え、
前記第2表示手段は、さらに、前記応答生成手段により生成された前記応答情報を表示させる
遠隔作業支援システム。 - 前記指示情報は、前記遠隔端末のユーザーの音声を示す音声データであり、
前記音声データを解析することにより、前記音声の内容を認識する音声認識手段をさらに備え、
前記仮想オブジェクトは、前記認識された音声の内容に応じて生成される
請求項1に記載の遠隔作業支援システム。 - 前記第1表示手段及び前記第2表示手段は、それぞれ、前記指示情報に応じた複数の仮想オブジェクトを表示させ、
前記応答生成手段は、前記画像認識手段により前記複数の仮想オブジェクトのいずれかのオブジェクトと所定の関係を有する前記指の位置が認識された場合、前記オブジェクトに対して定められた応答情報を生成する
請求項1又は2に記載の遠隔作業支援システム。 - 前記変化手段は、前記画像認識手段により前記仮想オブジェクトと所定の関係を有する領域において回転移動する前記指の動きが認識された場合、前記認識された動きに従って前記仮想オブジェクトを回転させ、
前記応答生成手段は、前記仮想オブジェクトの回転量に対して定められた応答情報を生成する
請求項1又は2に記載の遠隔作業支援システム。 - 前記仮想オブジェクトは、前記指の複数の状態の一覧を示し、
前記応答生成手段は、前記画像認識手段により前記複数の状態のいずれかの状態が認識された場合、前記認識された状態に対して定められた応答情報を生成する
請求項1又は2に記載の遠隔作業支援システム。 - 複数のユーザーが複数のウェアラブル端末をそれぞれ使用し、
前記複数のウェアラブル端末には、それぞれ前記第1表示手段が設けられ、
前記応答生成手段は、前記複数のユーザーについて複数の応答情報をそれぞれ生成し、
前記第2表示手段は、前記複数の応答情報を互いに異なる表示形式で表示させる
請求項1から5のいずれか1項に記載の遠隔作業支援システム。 - 前記仮想オブジェクトは、3次元の仮想オブジェクトであり、
前記変化手段は、前記画像認識手段により前記仮想オブジェクトを操作する前記指の動きが認識された場合、前記認識された動きに従って前記仮想オブジェクトを変化させる
請求項1から6のいずれか1項に記載の遠隔作業支援システム。 - 前記ウェアラブル端末はユーザーの頭部に装着され、
前記第1表示手段は、前記ユーザーの視界内に設けられた光透過性を有する表示板上に前記画像及び前記仮想オブジェクトを表示させ、
前記ユーザーは、前記表示板を介して見える前記指を用いて前記仮想オブジェクトに対する操作を行う
請求項1から7のいずれか1項に記載の遠隔作業支援システム。 - 遠隔作業を支援するために、複数のユーザーによりそれぞれ使用される複数のウェアラブル端末で撮影された画像を、前記複数のウェアラブル端末の各々と遠隔端末とで共有する遠隔作業支援システムであって、
前記複数のウェアラブル端末の各々で撮影された画像を取得する画像取得手段と、
前記画像を、前記複数のウェアラブル端末の各々と前記遠隔端末とで画面共有する画面共有手段と、
前記遠隔端末から、前記画像に対する指示情報の入力を受け付ける受付手段と、
前記複数のウェアラブル端末にそれぞれ設けられ、前記複数のウェアラブル端末の各々の上に、前記画像と、前記指示情報に応じた仮想オブジェクトと、を重ねて表示させる第1表示手段と、
前記遠隔端末上に、前記画像と、前記仮想オブジェクトと、を重ねて表示させる第2表示手段と、
前記画像を解析して体の部位の状態を認識する画像認識手段と、
前記認識された状態に基づいて、前記第1表示手段及び前記第2表示手段による前記仮想オブジェクトの表示を変化させる変化手段と、
前記画像認識手段により認識された前記状態と前記仮想オブジェクトの表示とに基づいて、前記複数のユーザーについて複数の応答情報をそれぞれ生成する応答生成手段とを備え、
前記第2表示手段は、さらに、前記応答生成手段により生成された前記複数の応答情報を互いに異なる表示形式で表示させる
遠隔作業支援システム。 - 遠隔作業を支援するために、ウェアラブル端末で撮影された画像を、当該ウェアラブル端末と遠隔端末とで画面共有する遠隔作業支援システムにおける遠隔作業支援方法であって、前記遠隔作業支援システムが、
前記ウェアラブル端末で撮影された画像を取得する画像取得ステップと、
前記画像を、前記ウェアラブル端末と前記遠隔端末とで画面共有する画面共有ステップと、
前記遠隔端末から、前記画像に対する指示情報の入力を受け付ける受付ステップと、
前記ウェアラブル端末上に、前記画像と、前記指示情報に応じた仮想オブジェクトと、を重ねて表示させる第1表示ステップと、
前記遠隔端末上に、前記画像と、前記仮想オブジェクトと、を重ねて表示させる第2表示ステップと、
前記画像を解析して体の指の状態を認識する画像認識ステップと、
前記仮想オブジェクトと所定の関係を有する位置から移動する前記指の動きが認識された場合、前記認識された動きに従って前記仮想オブジェクトが移動するように、前記第1表示ステップ及び前記第2表示ステップによる前記仮想オブジェクトの表示を変化させる変化ステップと、
前記仮想オブジェクトの移動方向に対して定められた応答情報を生成する応答生成ステップと、
前記遠隔端末上に、前記生成された応答情報を表示させる第3表示ステップと、
を実行する遠隔作業支援方法。 - 遠隔作業を支援するために、複数のユーザーによりそれぞれ使用される複数のウェアラブル端末で撮影された画像を、前記複数のウェアラブル端末の各々と遠隔端末とで共有する遠隔作業支援システムにおける遠隔作業支援方法であって、前記遠隔作業支援システムが、
前記複数のウェアラブル端末の各々で撮影された画像を取得する画像取得ステップと、
前記画像を、前記複数のウェアラブル端末の各々と前記遠隔端末とで画面共有する画面共有ステップと、
前記遠隔端末から、前記画像に対する指示情報の入力を受け付ける受付ステップと、
前記複数のウェアラブル端末の各々の上に、前記画像と、前記指示情報に応じた仮想オブジェクトと、を重ねて表示させる第1表示ステップと、
前記遠隔端末上に、前記画像と、前記仮想オブジェクトと、を重ねて表示させる第2表示ステップと、
前記画像を解析して体の部位の状態を認識する画像認識ステップと、
前記認識された状態に基づいて、前記第1表示ステップ及び前記第2表示ステップによる前記仮想オブジェクトの表示を変化させる変化ステップと、
前記認識された状態と前記仮想オブジェクトの表示とに基づいて、前記複数のユーザーについて複数の応答情報をそれぞれ生成する応答生成ステップと、
前記遠隔端末上に、前記生成された複数の応答情報を互いに異なる表示形式で表示させる第3表示ステップと、
を実行する遠隔作業支援方法。 - 遠隔作業を支援するために、ウェアラブル端末で撮影された画像を、当該ウェアラブル端末と遠隔端末とで画面共有するプログラムであって、
コンピュータに、
前記ウェアラブル端末で撮影された画像を取得する画像取得ステップと、
前記画像を、前記ウェアラブル端末と前記遠隔端末とで画面共有する画面共有ステップと、
前記遠隔端末から、前記画像に対する指示情報の入力を受け付ける受付ステップと、
前記ウェアラブル端末に、前記画像と、前記指示情報に応じた仮想オブジェクトと、を重ねて表示する第1表示ステップと、
前記遠隔端末に、前記画像と、前記仮想オブジェクトと、を重ねて表示する第2表示ステップと、
前記画像を解析して体の指の状態を認識する画像認識ステップと、
前記仮想オブジェクトと所定の関係を有する位置から移動する前記指の動きが認識された場合、前記認識された動きに従って前記仮想オブジェクトが移動するように、前記第1表示ステップ及び前記第2表示ステップによる前記仮想オブジェクトの表示を変化させる変化ステップと、
前記仮想オブジェクトの移動方向に対して定められた応答情報を生成する応答生成ステップと、
前記遠隔端末に、前記生成された応答情報を表示する第3表示ステップと、
を実行させるためのプログラム。 - 遠隔作業を支援するために、複数のユーザーによりそれぞれ使用される複数のウェアラブル端末で撮影された画像を、前記複数のウェアラブル端末の各々と遠隔端末とで画面共有するプログラムであって、
コンピュータに、
前記複数のウェアラブル端末の各々で撮影された画像を取得する画像取得ステップと、
前記画像を、前記複数のウェアラブル端末の各々と前記遠隔端末とで画面共有する画面共有ステップと、
前記遠隔端末から、前記画像に対する指示情報の入力を受け付ける受付ステップと、
前記複数のウェアラブル端末の各々に、前記画像と、前記指示情報に応じた仮想オブジェクトと、を重ねて表示する第1表示ステップと、
前記遠隔端末に、前記画像と、前記仮想オブジェクトと、を重ねて表示する第2表示ステップと、
前記画像を解析して体の部位の状態を認識する画像認識ステップと、
前記認識された状態に基づいて、前記第1表示ステップ及び前記第2表示ステップによる前記仮想オブジェクトの表示を変化させる変化ステップと、
前記認識された状態と前記仮想オブジェクトの表示とに基づいて、前記複数のユーザーについて複数の応答情報をそれぞれ生成する応答生成ステップと、
前記遠隔端末に、前記生成された複数の応答情報を互いに異なる表示形式で表示する第3表示ステップと、
を実行させるためのプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/015498 WO2018193509A1 (ja) | 2017-04-17 | 2017-04-17 | 遠隔作業支援システム、遠隔作業支援方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6244069B1 true JP6244069B1 (ja) | 2017-12-06 |
JPWO2018193509A1 JPWO2018193509A1 (ja) | 2019-04-25 |
Family
ID=60570408
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017541988A Active JP6244069B1 (ja) | 2017-04-17 | 2017-04-17 | 遠隔作業支援システム、遠隔作業支援方法、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US10591986B2 (ja) |
JP (1) | JP6244069B1 (ja) |
WO (1) | WO2018193509A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021005157A (ja) * | 2019-06-25 | 2021-01-14 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置および画像処理方法 |
US11431952B2 (en) * | 2020-05-11 | 2022-08-30 | Sony Interactive Entertainment Inc. | User selection of virtual camera location to produce video using synthesized input from multiple cameras |
JP2022121326A (ja) * | 2021-02-08 | 2022-08-19 | 株式会社オプティム | プログラム、方法、情報処理装置及びシステム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0863326A (ja) * | 1994-08-22 | 1996-03-08 | Hitachi Ltd | 画像処理装置及び方法 |
JP2004094622A (ja) * | 2002-08-30 | 2004-03-25 | Mitsubishi Heavy Ind Ltd | コンピュータ遠隔操作装置及び作業支援システム |
JP2011209965A (ja) * | 2010-03-29 | 2011-10-20 | Sony Corp | 情報処理装置、情報処理方法、およびプログラム |
JP2012164115A (ja) * | 2011-02-07 | 2012-08-30 | Fujitsu Ltd | 操作制御装置,操作制御プログラムおよび操作制御方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003006062A (ja) | 2001-06-20 | 2003-01-10 | Fujitsu Ltd | クライアント画面監視システム |
JP2007034238A (ja) | 2005-07-29 | 2007-02-08 | Kobe Steel Ltd | 現場作業支援システム |
JP2009258954A (ja) | 2008-04-16 | 2009-11-05 | Japan Society For The Promotion Of Machine Industry | ハンズフリー型コンピュータ装置及びコンピュータシステム |
JP5953963B2 (ja) * | 2012-06-13 | 2016-07-20 | ソニー株式会社 | 頭部装着型映像表示装置 |
JP6465672B2 (ja) * | 2015-01-29 | 2019-02-06 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および情報処理方法 |
-
2017
- 2017-04-17 US US15/565,747 patent/US10591986B2/en active Active
- 2017-04-17 WO PCT/JP2017/015498 patent/WO2018193509A1/ja active Application Filing
- 2017-04-17 JP JP2017541988A patent/JP6244069B1/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0863326A (ja) * | 1994-08-22 | 1996-03-08 | Hitachi Ltd | 画像処理装置及び方法 |
JP2004094622A (ja) * | 2002-08-30 | 2004-03-25 | Mitsubishi Heavy Ind Ltd | コンピュータ遠隔操作装置及び作業支援システム |
JP2011209965A (ja) * | 2010-03-29 | 2011-10-20 | Sony Corp | 情報処理装置、情報処理方法、およびプログラム |
JP2012164115A (ja) * | 2011-02-07 | 2012-08-30 | Fujitsu Ltd | 操作制御装置,操作制御プログラムおよび操作制御方法 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2018193509A1 (ja) | 2019-04-25 |
US10591986B2 (en) | 2020-03-17 |
US20200033936A1 (en) | 2020-01-30 |
WO2018193509A1 (ja) | 2018-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10095458B2 (en) | Information processing apparatus, information processing method, non-transitory computer-readable storage medium, and system | |
Gurevich et al. | TeleAdvisor: a versatile augmented reality tool for remote assistance | |
US8823697B2 (en) | Tabletop, mobile augmented reality system for personalization and cooperation, and interaction method using augmented reality | |
CN112243583B (zh) | 多端点混合现实会议 | |
JP5903936B2 (ja) | 情報の選択及び切り替えのための方法、記憶媒体及び装置 | |
US9268410B2 (en) | Image processing device, image processing method, and program | |
WO2014188798A1 (ja) | 表示制御装置、表示制御方法および記録媒体 | |
WO2014016992A1 (ja) | 3次元ユーザインタフェース装置及び3次元操作方法 | |
WO2014073345A1 (ja) | 情報処理装置、情報処理方法およびコンピュータ読み取り可能な記録媒体 | |
Adcock et al. | Using projected light for mobile remote guidance | |
JP2010217719A (ja) | 装着型表示装置、その制御方法及びプログラム | |
CN108255454B (zh) | 一种拼接处理器和拼接处理器的可视化交互方法 | |
KR102147430B1 (ko) | 가상 공간 멀티 터치 인터랙션 장치 및 방법 | |
JP6244069B1 (ja) | 遠隔作業支援システム、遠隔作業支援方法、及びプログラム | |
CN112783700A (zh) | 用于基于网络的远程辅助***的计算机可读介质 | |
JP2017033294A (ja) | 3次元描画システム及び3次元描画プログラム | |
Chantziaras et al. | An augmented reality-based remote collaboration platform for worker assistance | |
KR20150022233A (ko) | 모바일 기기를 이용한 증강 현실 구현 장치 및 증강 현실 구현 방법 | |
JP2013168120A (ja) | 立体画像処理装置、立体画像処理方法、及びプログラム | |
WO2014054317A1 (ja) | ユーザインタフェース装置及びユーザインタフェース方法 | |
JP6208910B1 (ja) | 動画像処理装置、動画像処理システム、動画像処理方法及び動画像処理プログラム | |
WO2019106862A1 (ja) | 操作案内システム | |
JP2015184986A (ja) | 複合現実感共有装置 | |
EP3502836B1 (en) | Method for operating an augmented interactive reality system | |
JP6193180B2 (ja) | プレゼンテーション用端末及びプレゼンテーション方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170809 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170809 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20170809 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20170906 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170912 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171025 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171110 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6244069 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |