JP2017200144A - Work support system - Google Patents
Work support system Download PDFInfo
- Publication number
- JP2017200144A JP2017200144A JP2016091723A JP2016091723A JP2017200144A JP 2017200144 A JP2017200144 A JP 2017200144A JP 2016091723 A JP2016091723 A JP 2016091723A JP 2016091723 A JP2016091723 A JP 2016091723A JP 2017200144 A JP2017200144 A JP 2017200144A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- user
- serviceman
- image
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Abstract
Description
この発明は、作業支援システムに関するものである。 The present invention relates to a work support system.
現場における機器の操作や保守作業などの作業の際に、その現場から地理的に離れた場所に居るサービスマンなどの指示者から、ユーザーなどの現場で作業を行う作業者に対し指示を送ることにより現場での作業を支援することは従来行われている。 When performing operations such as equipment operations and maintenance work at the site, an instruction from a service person or the like who is geographically distant from the site will send instructions to the operator who performs the work at the site, such as a user. Supporting on-site work is conventionally performed.
例えば特許文献１においては、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）を利用して、故障解析装置から送信される障害修復作業に関する情報を、作業者により装着されるメガネ型のヘッドマウントディスプレイの表示部に表示することにより、最適な障害修復作業を案内して作業支援を行う情報処理システムが開示されている。
For example, in
指示者が現場作業員に対し電話や無線装置などの通話手段を用いて口頭でユーザーに指示を伝達することも一般的に行われている。また携帯電話やスマートフォン、タブレット端末などのカメラ付き通信端末の普及により、現場作業員が現場の状況を撮影し、撮影された画像や映像を指示者に送信し、その画像や映像を見た指示者からの音声による助言により作業を支援する場合もある。 In general, an instructor verbally communicates an instruction to a user using a telephone or wireless communication device. Also, with the spread of camera-equipped communication terminals such as mobile phones, smartphones, and tablet terminals, field workers take pictures of the situation at the site, send the shot images and videos to the instructor, and give instructions to view the images and videos. In some cases, the work is supported by voice advice from the person.
例えば特許文献２には、所定の情報を表示可能なヘッドマウントディスプレイ装置と、そのヘッドマウントディスプレイ装置を装着したユーザーの視線方向を撮影可能な撮影手段と、情報処理装置とを備えた作業支援システムが開示されている。情報処理装置は、作業者に指示を与えるオペレーターの操作に従って、撮影手段が撮影した作業者の視線方向の撮影画像に所定の画像を重畳し、指示画像を生成する指示画像生成手段を備えている。またヘッドマウントディスプレイ装置は、指示画像生成手段が生成した指示画像を表示する際に、指示画像が作業者の視界と重なるように制御する制御手段を備えている。 For example, Patent Document 2 discloses a work support system including a head-mounted display device capable of displaying predetermined information, a photographing unit capable of photographing the line-of-sight direction of a user wearing the head-mounted display device, and an information processing device. Is disclosed. The information processing apparatus includes instruction image generation means for generating an instruction image by superimposing a predetermined image on a photographed image of the worker's line of sight taken by the photographing means in accordance with an operation of an operator who gives an instruction to the worker. . The head mounted display device also includes control means for controlling the instruction image so that it overlaps the operator's field of view when displaying the instruction image generated by the instruction image generating means.
しかしながら、特許文献１に示すようなシステムにおいては、あらかじめ障害修復作業に関する情報をサーバーに登録しておく必要がある。そのため、そのサーバーに登録されていない障害に対応することができない。また定型化されてない修復技術などは、事前情報としてサーバーに登録することは難しく、適用できる範囲が典型的な障害のみに限定されていた。
However, in a system such as that disclosed in
これに対し、特許文献２に開示されているシステムにおいては、実際の現場の映像を見ながら、作業者に対し指示者が画像による指示を行えることから、特許文献１のシステムに比べて適用範囲は広い。しかしながら、指示画像は静止画像であり、指示できる情報が限定される。また、実際の修復作業の流れや作業者の動きなどは十分に伝えることができなかった。
On the other hand, in the system disclosed in Patent Document 2, since the instructor can instruct the operator by an image while viewing the actual scene image, the scope of application is larger than that in the system of
この発明の目的は、遠隔地に居るサービスマンからより理解しやすい支援情報を与えることができ、かつ幅広い種類の作業に適用が可能な、ユーザーの作業を支援する作業支援システムを提供することである。 An object of the present invention is to provide a work support system that can provide support information that can be more easily understood by a service person located in a remote place and that can be applied to a wide variety of work, and that supports user work. is there.
この発明は、遠隔地に居るサービスマンからユーザーに対し指示を行うことにより、ユーザーの作業を支援する作業支援システムに関する。この発明の作業支援システムは、頭部装着型の端末であって、ユーザーに装着されるユーザー側表示端末と、頭部装着型の端末であって、サービスマンに装着されるサービスマン側表示端末と、ユーザー側表示端末と通信可能なユーザー側画像処理装置と、サービスマン側表示端末と通信可能なサービスマン側画像処理装置と、を備える。ユーザー側画像処理装置と、サービスマン側画像処理装置とは通信可能に接続されている。 The present invention relates to a work support system that supports a user's work by giving an instruction to the user from a service person located in a remote place. A work support system according to the present invention is a head-mounted terminal, which is a user-side display terminal worn by a user, and a head-mounted terminal that is worn by a serviceman. And a user-side image processing device that can communicate with the user-side display terminal, and a serviceman-side image processing device that can communicate with the serviceman-side display terminal. The user-side image processing apparatus and the serviceman-side image processing apparatus are connected to be communicable.
ユーザー側表示端末およびサービスマン側表示端末は、それぞれ、装着部と、撮像部と、端末データ送受信部と、表示部と、表示制御部と、を備える。装着部は、ユーザーまたはサービスマンである装着者に装着可能な形状を有する。撮像部は、装着者の視野範囲内の画像処理装置の像と装着者の手の像とを含む動画像を撮像する。端末データ送受信部は、ユーザー側画像処理装置またはサービスマン側画像処理装置のうち、通信可能な画像処理装置との間でデータを送受信する。表示部は、装着部に設置されている。表示部は、装着者に視認可能な電子画像を表示すると共に、画像処理装置の像を光学的に透過しうる光学透過式のレンズを有する。表示制御部は、端末データ送受信部により受信されたデータに基づいて、表示部に電子画像が表示されるよう制御する。 Each of the user-side display terminal and the serviceman-side display terminal includes a mounting unit, an imaging unit, a terminal data transmission / reception unit, a display unit, and a display control unit. The wearing part has a shape that can be worn by a wearer who is a user or a service person. The imaging unit captures a moving image including an image of the image processing device and an image of the wearer's hand within the wearer's visual field range. The terminal data transmission / reception unit transmits / receives data to / from a communicable image processing device of the user side image processing device or the serviceman side image processing device. The display unit is installed in the mounting unit. The display unit has an optically transmissive lens that displays an electronic image that can be visually recognized by the wearer and that can optically transmit the image of the image processing apparatus. The display control unit controls the display unit to display an electronic image based on the data received by the terminal data transmission / reception unit.
ユーザー側画像処理装置は、ユーザー側表示端末およびサービスマン側画像処理装置と通信可能なユーザー側通信部を備える。 The user-side image processing device includes a user-side communication unit that can communicate with the user-side display terminal and the serviceman-side image processing device.
サービスマン側画像処理装置は、サービスマン側通信部と、データ取得部と、動画像抽出部と、動画像合成部と、を備える。サービスマン側通信部は、サービスマン側表示端末および前記ユーザー側画像処理装置と通信可能な通信部である。データ取得部は、サービスマン側通信部を通じて、ユーザー側表示端末の撮像部により撮像されたユーザー側動画像と、サービスマン側表示端末の撮像部により撮像されたサービスマン側動画像とを取得する。動画像抽出部は、データ取得部により受信されたサービスマン側動画像から、装着者であるサービスマンの手の動画像を抽出する。動画像合成部は、動画像抽出部により抽出された、サービスマンの手の動画像を含む抽出動画像と、ユーザー側動画像とを統合し、合成動画像を形成する。上記サービスマン側通信部は、動画像合成部により形成された合成動画像を、ユーザー側表示端末及びサービスマン側表示端末に送信する。 The serviceman-side image processing device includes a serviceman-side communication unit, a data acquisition unit, a moving image extraction unit, and a moving image composition unit. The serviceman side communication unit is a communication unit capable of communicating with a serviceman side display terminal and the user side image processing apparatus. The data acquisition unit acquires the user side moving image captured by the imaging unit of the user side display terminal and the serviceman side moving image captured by the imaging unit of the serviceman side display terminal through the serviceman side communication unit. . The moving image extraction unit extracts a moving image of the hand of the serviceman who is the wearer from the serviceman side moving image received by the data acquisition unit. The moving image synthesizing unit integrates the extracted moving image including the moving image of the serviceman's hand extracted by the moving image extracting unit and the user-side moving image to form a synthesized moving image. The serviceman side communication unit transmits the combined moving image formed by the moving image combining unit to the user side display terminal and the serviceman side display terminal.
また、上記表示制御部は、サービスマン側通信部から送信され、端末データ送受信部により受信された合成動画像を、表示部に表示するよう制御する。 The display control unit controls the display unit to display the synthesized moving image transmitted from the serviceman side communication unit and received by the terminal data transmission / reception unit.
この発明においては、サービスマンが頭部に装着するサービスマン側表示端末の表示部と、ユーザーが頭部に装着するユーザー側表示端末の表示部の両方に、同一の合成動画像が表示される。この合成動画像は、ユーザーの視野範囲を撮像した動画像に、サービスマンの手の動画像が重畳されるように合成されている。これによりサービスマンは、ユーザーの作業状況を視覚的に把握することができ、効率よく作業を支援することができる。一方、ユーザーは、表示端末の表示部に表示されたサービスマンの手の動きを見ることにより、視覚的に作業の流れを把握することができる。そのため、静止画像に比べてより詳細な支援情報を得ることができる。またこのシステムによれば、サーバーなどから提供される画一的な支援情報と比較して、サービスマンがユーザーの作業状況を見ながら臨機応変に対応できるため、障害修復作業に関する情報を事前にサーバーに登録しておく必要がない。さらに、このシステムは、様々な操作や作業に適用が可能である。 In this invention, the same composite moving image is displayed on both the display unit of the serviceman side display terminal worn by the serviceman on the head and the display unit of the user side display terminal worn by the user on the head. . This synthesized moving image is synthesized so that the moving image of the user's field of view is superimposed on the moving image of the serviceman's hand. As a result, the service person can visually grasp the user's work status and can efficiently support the work. On the other hand, the user can visually grasp the work flow by observing the movement of the serviceman's hand displayed on the display unit of the display terminal. Therefore, more detailed support information can be obtained compared to still images. Also, according to this system, compared to the uniform support information provided from the server, etc., the service person can respond flexibly while looking at the user's work status. There is no need to register with. Furthermore, this system can be applied to various operations and operations.
以下、この発明の実施の形態を説明する。図１は、この発明の一実施形態に係る作業支援システム１の全体図である。図２は、この発明の一実施形態に係る作業支援システム１の全体の構成を示すブロック図である。
Embodiments of the present invention will be described below. FIG. 1 is an overall view of a
図１〜図２を参照して、この発明の一実施形態に係る作業支援システム１は、頭部装着型の端末であって、ユーザーに装着されるユーザー側表示端末としてのＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）グラス１０と、ユーザー側表示端末と通信可能なユーザー側画像処理装置としての複合機１００と、を備える。上記作業支援システム１は、さらに、頭部装着型の端末であって、サービスマンに装着されるサービスマン側表示端末としてのＡＲグラス２０と、サービスマン側表示端末と通信可能なサービスマン側画像処理装置としての複合機２００と、を備える。
1 to 2, a
複合機１００と、複合機２００とは、ネットワーク５を介して互いに通信可能に接続されている。ユーザー側のＡＲグラス１０と複合機１００は、有線または無線通信により通信可能である。同様に、サービスマン側のＡＲグラス２０と複合機２００も通信可能である。
The
ユーザー側のＡＲグラス１０は、装着部１１と、ユーザーＡＲグラス制御部１２と、第１メモリ１４と、第１マイク１５と、第１表示レンズ１６と、第１スピーカ１７と、第１撮像カメラ１８と、ユーザー側データ送受信部１９とを備える。
The
装着部１１は、装着者であるユーザーが装着可能な形状、例えばメガネ状の形状を有する。ユーザーＡＲグラス制御部１２は、ＡＲグラス１０全体の制御を行う。記憶部としての第１メモリ１４は、受信した画像データや音声データ、入力された動作条件等の格納を行う。
The wearing
音声入力部としての第１マイク１５は、音声情報、例えばＡＲグラス１０を装着したユーザーにより発声された音声情報の入力を受け付ける。音声出力部としての第１スピーカ１７は、サービスマン側表示端末としてのＡＲグラス２０およびユーザー側表示端末としてのＡＲグラス１０のうち、他方、すなわち、ＡＲグラス２０の音声入力部である第２マイク２５（後述）から入力された音声情報を、ネットワーク５を介してＡＲグラス１０が受け取った後、出力する。
The
撮像部としての第１撮像カメラ１８は、装着者であるユーザーの視野範囲内の画像処理装置の像と、装着者であるユーザーの手の像とを含む動画像を撮像する。ユーザー側動画像に含まれる画像処理装置の像は、ユーザー側表示端末としてのＡＲグラス１０を装着したユーザーの視野範囲内の、ユーザー側画像処理装置としての複合機１００の像であるのが好ましい。
The
表示部としての第１表示レンズ１６は、装着部１１に設置されている。第１表示レンズ１６は、装着者であるユーザーに視認可能な電子画像を表示すると共に、画像処理装置である複合機１００の像を光学的に透過しうる光学透過式のレンズを有する。
The
端末データ送受信部としてのユーザー側データ送受信部１９は、ＡＲグラス１０と通信可能な複合機１００との間、具体的にはユーザー側データ送受信部１９とユーザー側通信部１０９との間でデータを送受信する。
The user-side data transmission /
サービスマン側のＡＲグラス２０は、装着部２１と、サービスマンＡＲグラス制御部２２と、第２メモリ２４と、第２マイク２５と、第２表示レンズ２６と、第２スピーカ２７と、第２撮像カメラ２８と、サービスマン側データ送受信部２９とを備える。各部の機能は、ユーザー側のＡＲグラス１０に対応する。すなわち、上記説明においてユーザーとサービスマンを置き換え、複合機１００を複合機２００に置き換え、ＡＲグラス１０をＡＲグラス２０に置き換える以外は、サービスマン側のＡＲグラス２０は、ユーザー側のＡＲグラス１０と同一の機能を有する。装着部２１は装着部１１と、サービスマンＡＲグラス制御部２２はユーザーＡＲグラス制御部１２と、第２メモリ２４は第１メモリ１４とそれぞれ対応する機能を有する。さらに、第２マイク２５は第１マイク１５と、第２表示レンズ２６は第１表示レンズ１６と、第２スピーカ２７は第１スピーカ１７と、第２撮像カメラ２８は第１カメラ１８と、サービスマン側データ送受信部２９はユーザー側データ送受信部１９と、それぞれ対応する機能を有する。詳細については省略する。
The
ユーザー側画像処理装置としての複合機１００は、ユーザーが操作やメンテナンスなどの作業を行う対象の機器である。複合機１００は、ユーザー側表示操作部１０１と、ユーザー側複合機制御部１０２と、ユーザー側画像形成部１０４と、ユーザー側通信部１０９とを備える。
The multifunction peripheral 100 serving as a user-side image processing apparatus is a target device on which a user performs operations such as operation and maintenance. The
ユーザー側表示操作部１０１は、画像処理の条件や電源のオンまたはオフを入力させる。また、キー操作により、支援を要請するための支援要請の入力や支援の終了の要求の入力を受け付ける。
The user side
ユーザー側画像形成部１０４は、画像形成要求に応じて、記録媒体、例えば、用紙上に画像を形成する。ユーザー側通信部１０９は、ユーザー側表示端末としてのＡＲグラス１０およびサービスマン側画像処理装置としての複合機２００と通信可能である。ユーザー側通信部１０９は、ＡＲグラス１０のユーザー側データ送受信部１９との間、およびネットワーク５を介して、サービスマン側画像処理装置としての複合機２００のサービスマン側通信部２０９との間でデータを送受信する。
The user-side image forming unit 104 forms an image on a recording medium, for example, paper in response to an image formation request. The user-
サービスマン側画像処理装置としての複合機２００は、サービスマン側表示操作部２０１と、サービスマン側複合機制御部２０２と、ハードディスク（ＨＤＤ）２０４と、サービスマン側画像形成部２０５と、サービスマン側通信部２０９とを備える。
A
サービスマン側表示操作部２０１は、画像処理の条件や電源のオンまたはオフを入力させる。サービスマン側複合機制御部２０２は、複合機２００全体の制御を行う。ＨＤＤ２０４は、送信された画像データや入力された画像処理条件等の格納を行う。また、ＨＤＤ２０４は、ユーザーの作業を支援する作業支援情報を格納する作業支援情報格納部としても機能する。作業支援情報としては、例えば、マニュアル文書や、作業手順を示した画像などが挙げられる。
The serviceman side
サービスマン側画像形成部２０５は、画像形成要求に応じて、記録媒体、例えば、用紙上に画像を形成する。サービスマン側通信部２０９は、サービスマン側表示端末であるＡＲグラス２０と、ユーザー側画像処理装置である複合機１００と通信可能である。サービスマン側通信部２０９は、ＡＲグラス２０のサービスマン側データ送受信部２９との間、およびネットワーク５を介して、ユーザー側画像処理装置としての複合機１００のユーザー側通信部１０９との間でデータを送受信する。
The serviceman-side
なお、複合機１００および２００は、画像データの書き出しや読み出しを行うＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）や現像剤によって形成された可視化像を転写する用紙を搬送する用紙搬送部等を備えるが、これらについては、図示および説明を省略する。また、図２中の矢印は、制御信号や制御、画像に関するデータの流れを示している。
The
次に、上記したＡＲグラス１０のユーザーＡＲグラス制御部１２（以下、制御部１２と略する）、およびＡＲグラス２０のサービスマンＡＲグラス制御部２２（以下、制御部２２と略する）の構成について説明する。図３は、制御部１２および制御部２２の構成を示すブロック図である。図３を参照して、制御部１２と制御部２２とは、共通の構造を有している。
Next, the configuration of the user AR glass control unit 12 (hereinafter abbreviated as control unit 12) of the
図３を参照して、制御部１２および制御部２２は、それぞれ、表示制御部３１，４１と、振動検知部３２，４２と、安定化処理部３３，４３とを備える。
Referring to FIG. 3,
表示制御部３１および４１は、対応する第１表示レンズ１６または第２表示レンズ２６に電子動画像が表示されるよう制御する。振動検知部３２および４２は、それぞれ、対応する第１撮像カメラ１８または第２撮像カメラ２８の振動を検知する。安定化処理部３３および４３は、対応する振動検知部３２または４２により検知された振動の状態に応じて、第１撮像カメラ１８または第２撮像カメラ２８によって撮像された動画像から動揺を取り除く画像安定化処理を行う。
The display control units 31 and 41 perform control so that an electronic moving image is displayed on the corresponding
このとき、振動検知部３２または４２によって検知された振動が所定の閾値を超えると、表示制御部３１または４１は、対応する表示部としての第１表示レンズ１６または第２表示レンズ２６に警告画面を電子画像として表示するよう制御してもよい。
At this time, if the vibration detected by the vibration detection unit 32 or 42 exceeds a predetermined threshold, the display control unit 31 or 41 displays a warning screen on the
次に、上記したユーザー側複合機１００のユーザー側複合機制御部１０２（以下、制御部１０２と略する）の構成について説明する。図４は、制御部１０２の構成を示すブロック図である。
Next, the configuration of the user-side multifunction device control unit 102 (hereinafter abbreviated as the control unit 102) of the user-
図４を参照して、ユーザー側複合機制御部１０２は、支援要請受け付け部５２と、作業ログ作成部５６とを備える。支援要請受け付け部５２は、支援を要請するための支援要請の入力を受け付ける。支援要請の入力は、例えばユーザー側表示操作部１０１のキーを操作することにより入力される。作業ログ作成部５６は、作業の内容を示す作業ログを作成する。作業ログは、例えば支援の終了後に作成される。作成された作業ログは、例えば、複合機２００に送信され、複合機２００のＨＤＤ２０４に保存される。
With reference to FIG. 4, the user-side multifunction
次に、上記した複合機２００のサービスマン側複合機制御部２０２（以下、制御部２０２と略する）の構成について説明する。図５は、制御部２０２の構成を示すブロック図である。
Next, the configuration of the serviceman side multifunction device control unit 202 (hereinafter, abbreviated as the control unit 202) of the
図５を参照して、制御部２０２は、データ取得部６２と、動画像抽出部６４と、動画像合成部６６と、位置合わせ部６７と、認証部６８と、支援終了要求受け付け部６９と、を備える。
Referring to FIG. 5, the
データ取得部６２は、サービスマン側通信２０９部を通じて、ユーザー側表示端末の撮像部としての第１撮像カメラ１８により撮像されたユーザー側動画像と、サービスマン側表示端末の撮像部としての第２撮像カメラ２８により撮像されたサービスマン側動画像とを取得する。
The
動画像抽出部６４は、データ取得部６２により受信されたサービスマン側動画像から、装着者であるサービスマンの手の動画像を抽出する。手の動画像を抽出する手段および技術としては、既存の手段および公知の画像認識技術や画像加工技術が利用できる。第２撮像カメラ２８による撮像時には、サービスマンの手の動画像が抽出しやすいように、サービスマンは専用の手袋を着用していてもよい。
The moving
動画像合成部６６は、動画像抽出部６４により抽出された、サービスマンの手の動画像を含む抽出動画像と、ユーザー側動画像とを統合し、合成動画像を形成する。動画の合成処理技術としては、公知の画像認識技術や画像加工技術が利用できる。
The moving
サービスマン側通信部２０９は、動画像合成部６６により形成された合成動画像を、ユーザー側表示端末としてのＡＲグラス１０と、サービスマン側表示端末としてのＡＲグラス２０に送信する。合成動画像は、サービスマン側表示端末としてのＡＲグラス２０から送信され、端末データ送受信部としてのユーザー側データ送受信部１９およびサービスマン側データ送受信部２９により受信される。表示制御部３１および４１は、ユーザー側データ送受信部１９およびサービスマン側データ送受信部２９により受信された合成動画像を、表示部としての第１表示レンズ１６および第２表示レンズにそれぞれ表示するよう制御する。このようにして、合成動画像が、ＡＲグラス１０および２０の各表示レンズ１６または２６に、電子動画像として表示される。
The service person
位置合わせ部６７は、データ取得部６２により取得されたユーザー側動画像とサービスマン側動画像のうち、ユーザー側動画像に含まれる画像処理装置としての複合機１００の像と、サービスマン側動画像に含まれる画像処理装置としての複合機２００の像との位置を合わせる。位置合わせ部６７が２つの画像の位置合わせを行うことにより、動画像合成部６６による合成動画像の形成が容易になる。
The
認証部６８は、サービスマン側画像処理装置としての複合機２００との通信を要求する機器を認証するための種々の役割を果たす。たとえば、支援要請受け付け部５２により前記支援要請の入力が受け付けられると、ユーザー側画像処理装置としての複合機１００に対し、認証用情報、例えばパスワードなど、を発行する。認証部６８により発行された認証用情報は、ユーザー側画像処理装置としての複合機１００のユーザー側表示操作部１０１に表示される。表示操作部１０１に表示された認証用情報は、ユーザー側表示端末としてのＡＲグラス１０の撮像部としての第１撮像カメラ１８により読み取られる。認証部６８は、ユーザー側表示端末としてのＡＲグラス１０の撮像部としての第１撮像カメラ１８により読み取られた読み取り結果と、認証部６８により発行された認証用情報とが整合するか否かを判断する。両者が整合する場合には、ユーザー側画像処理装置としての複合機１００と、サービスマン側画像処理装置としての複合機２００との間での通信を確立する。
The
支援終了要求受け付け部６９は、支援の終了の要求の入力を受け付ける。支援の終了の要求は、例えば作業終了後にサービスマンがサービスマン側表示操作部２０１のキーを操作することによって入力される。
The support end
支援終了要求受け付け部６９により支援の終了の要求の入力が受け付けられると、認証部６８は、支援を終了するための支援終了用認証情報、例えばテストパターンを発行する。画像形成部としてのユーザー側画像形成部１０５は、認証部６８により発行された支援終了用認証情報を示す画像を用紙上に形成する。画像形成部としてのユーザー側画像形成部１０５により用紙上に形成された、支援終了用認証情報を示す画像は、ユーザー側表示端末としてのＡＲグラス１０の、撮像部としての第１撮像カメラ１８により読み取られる。認証部６８は、ユーザー側表示端末としてのＡＲグラス１０の、撮像部としての第１撮像カメラ１８による読み取り結果と、認証部６８により発行された支援終了用認証情報とを照合する。照合の結果、両者が整合する場合には、ユーザー側画像処理装置としての複合機１００と、サービスマン側画像処理装置としての複合機２００との間の通信を停止する。
When the support end
なお上述の説明において、ユーザー側画像処理装置としての複合機１００と、サービスマン側画像処理装置としての複合機２００とは、同一の構造を備えた同一の機種であるのが好ましい。複合機１００と複合機２００とが同一の構造を備えた同一の機種であれば、位置合わせ部６７による動画像の位置合わせを適切に行うことができ、動画像合成部６６による合成画像の形成を効率良く行うことができる。また同一の構造を備えた同一の機種を用いてサービスマンがり具体的で詳細な指示を行えることから、ユーザーは、より有用な内容の支援を受けることができる。
In the above description, it is preferable that the
次に、この発明の一実施形態に係る作業支援システム１により、実際にユーザーがサービスマンの支援を受けながら作業を行う場合の流れについて説明する。一例として、サービスマンからの支援を受けながら、複合機１００のメンテナンス作業をユーザーが行う場合について説明する。このとき、図１を参照して、ＡＲグラス１０と、作業が行われる対象の機器である複合機１００は、ユーザー側にある。またＡＲグラス２０と、複合機２００とは、サービスマン側にある。またサービスマンは、ユーザーから遠隔の場所に居るものとする。さらに、ユーザー側画像処理装置としての複合機１００と、サービスマン側画像処理装置としての複合機２００は、同一の構造を備えた同一の機種であるとする。
Next, a flow in the case where the user actually performs work while receiving support from a serviceman by the
図６は、作業を行う前の準備として、ユーザーがサービスマンから支援を受ける際の、支援手続きの開始の流れを示すフローチャートである（図６における、ステップＳ１１〜Ｓ２０（以下、「ステップ」を省略する））。 FIG. 6 is a flowchart showing a flow of starting a support procedure when a user receives support from a service person as preparation before work (steps S11 to S20 in FIG. 6 (hereinafter referred to as “step”). Omitted)).
図６を参照して、まず、メンテナンスを行うユーザーは、複合機１００のユーザー側表示操作部１０１のキーを操作することにより、支援の要請を行う。支援要請受け付け部５２は、支援の要請の入力を受け付ける（Ｓ１１）。支援要請受け付け部５２により支援の要請が受け付けられると、その支援の要請は、ユーザー側通信部１０９から、ネットワーク５を介して複合機２００のサービスマン側通信部２０９に送信される。サービスマン側通信部２０９により支援の要請が受信されると（Ｓ１２）、複合機２００の認証部６８は、認証用情報として、ワンタイムパスワードを発行する（Ｓ１３）。そのワンタイムパスワードは、複合機２００のサービスマン側通信部２０９から、ネットワーク５を介して、複合機１００のユーザー側通信部１０９に送信される。ユーザー側通信部１０９により受信されたワンタイムパスワードは、ユーザー側の複合機１００のユーザー側表示操作部１０１に表示される。
Referring to FIG. 6, first, a user who performs maintenance requests assistance by operating a key of the user side
ユーザーは、ＡＲグラス１０を装着した状態で、第１表示レンズ１６を通して、ユーザー側表示操作部１０１に表示されたワンタイムパスワードの像を見る。このとき、第１撮像カメラ１８は、ユーザーの視野に捉えられたそのワンタイムパスワードを読み取る（Ｓ１４）。第１撮像カメラ１８による読み取り結果は、ＡＲグラス１０のユーザー側データ送受信部１９から、複合機１００のユーザー側通信部１０９に送信される。さらに、その読み取り結果は、ユーザー側通信部１０９から、ネットワーク５を介して、複合機２００のサービスマン側通信部２０９に送信される（Ｓ１５）。認証部６８は、サービスマン側通信部２０９により受け取られた読み取り結果と、認証部６８により発行されたワンタイムパスワードとが整合するか否かを判定する（Ｓ１６）。両者が整合する場合（Ｓ１７において、ＹＥＳ）には、複合機１００と複合機２００との間での通信を確立する。この手続きが完了すると作業の支援の準備が完了する。
The user views the one-time password image displayed on the user-side
一方、上記読み取り結果と、認証部６８により発行された元のパスワードとを照合した結果、両者が整合しない場合（Ｓ１７において、ＮＯ）は以下の様な処理が行われる。不整合の回数が所定の回数以下、例えば３回以下である場合には（Ｓ１９において、ＮＯ）、複合機２００の認証部６８は、再度、別のワンタイムパスワードを発行する（Ｓ１３）。それでもなお、上記読み取り結果とパスワードとが一致せず、不整合の回数が連続して所定の回数を超えると（Ｓ１９において、ＹＥＳ）、複合機１００と複合２００の間の通信の接続は拒絶される（Ｓ２０）。
On the other hand, as a result of collating the read result with the original password issued by the
このようにして、ユーザー側画像処理装置としての複合機１００と、サービスマン側画像処理装置としての複合機２００との間の通信が確立された状態で、作業の支援が行われる。図７は、各撮像カメラ１８および２８により撮像される像と、各表示レンズ１６および２６に表示される像の関係を示した概略図である。
In this way, work support is performed in a state where communication between the
図７を参照して、ユーザー７６が装着するＡＲグラス１０には、第１撮像カメラ１８が設けられている。またサービスマン８６が装着するＡＲグラス２０には、第２撮像カメラ２８が設けられている。ユーザー７６側の第１撮像カメラ１８は、装着者であるユーザー７６の視野範囲内の、画像処理装置としての複合機１００の像と、装着者であるユーザー７６の手の像とを含む動画像（動画像１５０。以下、第１動画像と呼ぶ）を撮像する。またサービスマン８６側の第２撮像カメラ２８は、装着者であるサービスマン８６の視野範囲内の、画像処理装置としての複合機２００の像と、装着者であるサービスマン８６の手の像とを含む動画像（動画像１６０。以下、第２動画像と呼ぶ）を撮像する。複合機２００の制御部２０２内にある動画像抽出部６４は、第２撮像カメラ２８によって撮像された第２動画像から背景の像を除去し、サービスマン８６の両手の像８２および８４の動画像１７０を抽出する。得られた抽出動画像１７０は、第１動画像１５０と合成される。得られた合成動画像１８０は、ＡＲグラス１０および２０に送信され、ユーザー７６により装着されるＡＲグラス１０の第１表示レンズ１６と、サービスマン８６により装着されるＡＲグラス２０の第２表示レンズ２６に、それぞれ表示される。この同一の合成動画像１８０をユーザー７６とサービスマン８６の両者が視認する。この合成動画像１８０に加え、さらに音声によるサービスマン８６とのコミュニケーションを取りながらユーザー７６は作業を行う。
With reference to FIG. 7, the
次に、この発明の一実施形態に係る作業支援システム１によって、ユーザー７６の作業の支援が行われる際の処理を説明する。図８は、この発明の一実施形態に係る作業支援システム１によって作業の支援が行われる際の処理の流れを示すフローチャートである（Ｓ３１〜Ｓ４２）。
Next, processing when work support of the
図８を参照して、まずユーザー７６は、ＡＲグラス１０を頭部に装着する。同様に、サービスマン８６は、ＡＲグラス２０を頭部に装着する。このとき、ユーザー７６により装着されるＡＲグラス１０は、有線または無線の通信手段により、複合機１００と互いに通信可能に接続される。同様に、サービスマン８６により装着されるＡＲグラス２０は、有線または無線の通信手段により、複合機２００と互いに通信可能に接続される。
Referring to FIG. 8, first,
次に、ＡＲグラス１０を装着したユーザー７６およびＡＲグラス２０を装着したサービスマン８６が、光学透過式の第１表示レンズ１６および第２表示レンズ２６を通して、それぞれ、視野範囲にある複合機１００または２００を視認する。このとき、第１撮像カメラ１８および第２撮像カメラ２８は、ユーザー７６またはサービスマン８６の視野範囲の像を動画像としてそれぞれ撮像する（Ｓ３１）。図９は、ユーザー７６により装着されるＡＲグラス１０の、第１撮像カメラ１８により撮像される第１動画像１５０の一例を模式図として示した図である。図９を参照して、第１撮像カメラ１８によって撮像される第１動画像１５０には、ユーザー７６による作業が行われる対象の、ユーザー側画像処理装置としての複合機１００の像が含まれている。さらに図９の第１動画像１５０には、ユーザー７６の左手７２の像および右手７４の像が含まれている。
Next, the
また、図１０は、サービスマン８６により装着されるＡＲグラス２０の、第２撮像カメラ２８により撮像される第２動画像１６０の一例を模式図として示した図である。図１０を参照して、第２撮像カメラ２８によって撮像される第２動画像１６０には、サービスマン側画像処理装置としての複合機２００の像が含まれている。さらに図１０の第１動画像１６０には、サービスマン８６の左手８２の像および右手８４の像が含まれている。
FIG. 10 is a schematic diagram illustrating an example of the second moving
第１撮像カメラ１８による撮像の際、振動検知部３２は、動画像の動揺を検知する。安定化処理部３３は、検知された動揺の状態に応じて、第１撮像カメラ１８によって撮像された動画像１５０から動揺を取り除く画像安定化処理（ブレ補正）を行う。このとき、振動検知部３２によって検知された振動が所定の閾値を超えると、表示制御部３１は、第１表示レンズ１６に警告画面を電子画像として表示する。第２撮像カメラ２８においても同様の処理が行われる。
At the time of imaging by the
次に、ユーザー７６は、支援を求める作業の内容を音声によりサービスマン８６に伝える。ユーザー７６が発した第１の音声は、音声入力部としての第１マイク１５に入力される。また、サービスマン８６は、音声によりユーザー７６に指示を行う。サービスマン８６が発した第２の音声は、音声入力部としての第２マイク２５に入力される（Ｓ３２）。第１撮像カメラ１８および第２撮像カメラ２８により撮像された第１動画像および第２動画像および、第１マイク１５および第２マイク２５に入力された第１および第２の音声は、ユーザー側データ送受信部１９およびサービスマン側データ送受信部２９から、それぞれ複合機２００のサービスマン側通信部２０９に送信される（Ｓ３３）。
Next, the
複合機２００のサービスマン側通信部２０９は、上記動画像と音声のデータを受信する（Ｓ３４）。位置合わせ部６７は、第１動画像１５０の複合機１００の像と、第２動画像１６０の複合機２００の像を参照し、複合機１００と複合機２００の像が重畳されるように第１動画像１５０と第２動画像１６０の大きさや位置を合わせる（Ｓ３５）。その後、動画像抽出部６４は、サービスマン側通信部２０９によって受信された第２動画像１６０から、装着者であるサービスマン８６の手８２および８４の動画像を抽出する処理を行う（Ｓ３６）。このようにして、サービスマン８６の両手８２および８４の動画像のみが抽出された抽出動画像１７０の図を図１１に示す。このとき、位置合わせ部６７により調整された第２動画像１６０の大きさや位置は保持されたまま、第２動画像１６０の背景が消去され、サービスマン８６の手８２および８４の動画像を抽出した抽出動画像１７０が形成される。
The serviceman
次に動画像合成部６６は、動画像抽出部６４によって抽出された抽出動画像と、第１動画像１５０とを統合して一つの合成動画像を形成する（Ｓ３７）。この第１動画像１５０は、上述したとおり、ユーザー７６が装着するＡＲグラス１０の第１撮像カメラ１８によって撮像されたものである。
Next, the moving
上記抽出処理、および合成処理は、公知の画像認識技術や画像加工技術を用いて実施される。 The extraction process and the synthesis process are performed using a known image recognition technique or image processing technique.
動画像合成部６６により形成された合成動画像１８０の一例を図１２に示す。図１２を参照して、合成動画像１８０は、図９に示す第１動画像１５０と、図１１に示す抽出動画像１７０とが合成されたものである。合成動画像１８０には、ユーザー７６の両手７２および７４の動画像と、サービスマン８６の両手８２および８４の動画像と、ユーザー７６側の複合機１００の像が含まれている。
An example of the synthesized moving
サービスマン側通信部２０９は、動画像合成部６６により形成された合成動画像１８０と、サービスマン側通信部２０９がＡＲグラス２０から受信したサービスマン８６の音声データとを、ネットワーク５およびユーザー側通信部１０９を介して、ユーザー７６側のＡＲグラス１０に送信する。同様に、サービスマン側通信部２０９は、動画像合成部６６により形成された合成動画像１８０と、サービスマン側通信部２０９がＡＲグラス１０から受信したユーザーの音声データとを、サービスマン８６側のＡＲグラス２０に送信する（Ｓ３８）。
The serviceman
ＡＲグラス１０のユーザー側データ送受信部１９は、サービスマン側通信部２０９により送信された合成動画像１８０と、サービスマン８６が発した第２の音声のデータとを受信する。同様に、ＡＲグラス２０のサービスマン側データ送受信部２９は、サービスマン側通信部２０９により送信された合成動画像１８０と、ユーザー７６が発した第１の音声のデータとを受信する（Ｓ３９）。表示制御部３１と４１とは、サービスマン側通信部２０９から送信され、端末データ送受信部としてのユーザー側データ送受信部１９およびサービスマン側データ送受信部２９により受信された合成動画像１８０を、表示部としての第１表示レンズ１６および第２表示レンズ２６に表示するよう制御する（Ｓ４０）。第１表示レンズ１６には、ユーザー７６の視野の画像にサービスマン８６の両手８２および８４が重畳するように電子画像が表示される。したがって、ユーザー７６がＡＲグラス１０の第１表示レンズ１６に表示された合成動画像１８０を視認すると、サービスマン８６の両手８２および８４が目の前に存在しているかのように視認することができる。またサービスマン８６は、ＡＲグラス２０の第２表示レンズ２６に表示された合成動画像１８０を視認することにより、ユーザー７６の作業の現状を認知できる。サービスマン８６は、ユーザー７６による複合機１００のメンテンナンス作業の現状を見ながら、実際に手を動かして指示を行う。ユーザー７６は、その合成動画像１８０に含まれるサービスマン８６の手８２および８４の動きを含む動画像による支援を受けながら、作業を進めることができる。
The user-side data transmission /
また、ユーザー７６が発した第１の音声の情報は、サービスマン８６が装着するＡＲグラス２０の、音声出力部としての第２スピーカ２７から出力される。また、サービスマン８６が発した第２の音声の情報は、ユーザー７６が装着するＡＲグラス１０の、音声出力部としての第１スピーカ１７から出力される（Ｓ４１）。そのため、サービスマン８６は、手による指示と共に、音声による指示を行いながら作業を支援することもできる。例えば、サービスマン８６は、合成動画像１８０を視認し、実際に手を動かしながら、「左手で『このレバー』を左に回しながら、右手で『このレバー』を上に上げてください。」という指示を行う。ＡＲグラス２０の第２マイク２５は、この、「左手で『このレバー』を左に回しながら、右手で『このレバー』を上に上げてください。」という音声情報の入力を受け付ける。第２マイク２５により受け付けられたサービスマン８６の第２の音声のデータは、ＡＲグラス１０に送信され、音声出力部としての第１スピーカ１７から出力される。ユーザー７６は、第１スピーカ１７から出力される、サービスマン８６の第２の音声による支援を受けながら、作業を進めることができる。
In addition, the information of the first voice uttered by the
また、ユーザー７６が、サービスマン８６からの第２の音声による指示に対し返答すると、ユーザー７６が発した音声は、第１マイク１５に入力される。第１マイク１５により入力が受け付けられた第１の音声のデータは、ＡＲグラス２０に送信され、音声出力部としての第２スピーカ２７から出力される。サービスマン８６は、第２スピーカ２７から出力される、ユーザー７６の第１の音声を聞き取ることにより、ユーザー７６の理解度を確かめながら作業の支援を行うことができる。
When the
このＳ３１〜４１を含むサイクルを、ユーザー７６による作業が完了するまで繰り返す（Ｓ４２）。
The cycle including S31 to 41 is repeated until the work by the
以上がこの発明の一実施形態に係る作業支援システム１により、実際にユーザー７６がサービスマン８６の支援を受けながら作業を行う場合の流れである。このように、この発明に係る作業支援システム１によると、第２表示レンズ２６に表示された合成動画像１８０をユーザー７６が視認すると、複合機１００の存在する作業現場において、サービスマン８６と協働で作業を行っているようにして作業の支援を受けることができる。また第１スピーカ１７からは、サービスマン８６が発した第２の音声による支援情報が出力される。そのため作業が行われる複合機１００から地理的に離れた位置にいるサービスマン８６が、あたかもユーザー７６と共に作業を行っているような状態で作業を行うことができる。またユーザー７６にとって視覚的に作業の流れがわかりやすく、作業効率の向上が期待できる。
The above is a flow in the case where the
このようにして一連の作業が完了すると、最後に作業完了の手続きを行う。図１３は、この発明の一実施形態に係る作業支援システム１による作業の支援が完了した後の、作業完了の処理の流れを示すフローチャートである（Ｓ５１〜Ｓ６２）。
When a series of work is completed in this way, the work completion procedure is finally performed. FIG. 13 is a flowchart showing a flow of work completion processing after work support by the
まずサービスマン８６は、作業が完了したことを確認し、複合機２００の表示操作部２０１のキーを操作することにより支援の終了の要求を入力する。ユーザー側表示操作部１０１に支援の終了の要求が入力されると、支援終了要求受け付け部６９は、その入力を受け付ける（Ｓ５１）。支援終了要求受け付け部６９によりその要求の入力が受け付けられると、認証部６８は、支援を終了するための支援終了用認証情報として、テストパターンを発行する。そのテストパターンは、サービスマン側通信部２０９から、ネットワーク５を介して、ユーザー７６側の複合機１００のユーザー側通信部１０９に送信される（Ｓ５２）。
First, the
ユーザー側通信部１０９によりテストパターンの情報が受信されると、ユーザー側画像形成部１０５は、テストパターンの画像を用紙上に形成する（Ｓ５３）。ユーザー７６により装着されるＡＲグラス１０の第１撮像カメラ１８は、ユーザー側画像形成部１０５により用紙上に形成されたテストパターンの画像を撮像し、そのテストパターンに含まれる情報を読み取る（Ｓ５４）。
When the test pattern information is received by the user
ＡＲグラス１０の第１撮像カメラ１８により読み取られた結果は、ＡＲグラス１０のユーザー側データ送受信部１９から、複合機１００のユーザー側通信部１０９およびネットワーク５を介して、複合機２００のサービスマン側通信部２０９に送信される（Ｓ５５）。サービスマン側通信部２０９により読み取り結果が受信されると（Ｓ５６）、認証部６８は、認証部６８から発行された元のテストパターンと、ユーザー７６側のＡＲグラス１０の第１撮像カメラ１８により読み取られた読み取り結果とを照合する（Ｓ５７）。
The result read by the
認証部６８による照合の結果、認証部６８から発行されたテストパターンと、ユーザー７６側のＡＲグラス１０の第１撮像カメラ１８により読み取られた読み取り結果が整合すると判断されると（Ｓ５８において、ＹＥＳ）、支援を完了する（Ｓ５９）。支援が完了すると、ユーザー７６側の複合機１００に向けて、複合機２００のサービスマン側通信部２０９から、ネットワーク５を介して支援が完了した旨の通知を送信する。複合機１００のユーザー側通信部１０９は、その通知を受信する（Ｓ６０）。ユーザー側通信部１０９により支援が完了した旨の通知が受け取られると、複合機１００の第三の制御部１０２内の作業ログ作成部５６は、作業ログを作成する（Ｓ６１）。その作業ログは、複合機２００のＨＤＤ２０４に保存される。その後、複合機１００と複合機２００の間の通信が終了される（Ｓ６２）。このようにして一連の支援が終了する。
As a result of verification by the
以上が一連の流れである。なお、ユーザーが行う作業はメンテナンス作業に限られない。例えば、画像処理装置の設定や、通常の操作など、専門的な知識を有するサービスマンからの支援が必要な、画像処理装置に対するあらゆる作業にこの発明の作業支援システムは適用することができる。 The above is a series of flows. The work performed by the user is not limited to the maintenance work. For example, the work support system of the present invention can be applied to any work for an image processing apparatus that requires support from a service person having specialized knowledge, such as setting of an image processing apparatus or normal operation.
またサービスマン側画像処理装置としての複合機２００に、マニュアル文書や、作業手順を示した画像などの作業支援情報が格納されている場合には、合成動画像１８０に重畳するように、ユーザー７６が装着するＡＲグラス１０の第１表示レンズ１６に表示させることも可能である。作業支援情報格納部としてのハードディスク２０４に格納されている作業支援情報は、サービスマン側通信部２０９から、ネットワーク５およびユーザー側通信部１０９を介して、ユーザー側データ送受信部１９に送信される。ＡＲグラス１０の表示制御部３１は、その作業支援情報を、静止画像または動画像として、ＡＲグラス１０の第１表示レンズ１６に表示するよう制御する。作業者は、動画像、音声による指示、および作業支援情報をそれぞれ参考することにより、作業を円滑に行うことができる。
When work support information such as a manual document or an image showing a work procedure is stored in the
上記実施形態において説明したマイクおよびスピーカは必須ではなく、省略が可能である。すなわち、支援は動画像のみを利用して行われてもよい。 The microphone and speaker described in the above embodiment are not essential and can be omitted. That is, the support may be performed using only moving images.
上記実施形態においては、ユーザー側画像処理装置である複合機１００がサービスマン側画像処理装置である複合機２００と同一の構造を有する同一の機種の場合について説明したが、ユーザー側画像処理装置とサービスマン側画像処理装置は同一の機種である必要はない。サービスマン側の画像処理装置の画像は、動画像抽出部６４による動画像の抽出の際に消去されるので、サービスマン側画像処理装置とユーザー側画像処理装置とは同一の機種である必要はない。またこの場合、位置合わせ部６７も省略することができる。
In the above embodiment, the case has been described in which the
またユーザー側画像処理装置およびサービスマン側画像処理装置は、それぞれ画像形成部１０５、２０５を有していなくてもよい。またサービスマン側画像処理装置は、ハードディスク２０４を有していなくてもよい。
The user-side image processing apparatus and the serviceman-side image processing apparatus may not include the
上記実施形態においては、第１撮像カメラ１８がユーザー７６の両手７２，７４の動画像を、第２撮像カメラ２８がサービスマン８６の両手８２，８４の動画像を撮像する例を示している。しかしながら、第１撮像カメラ１８および第２撮像カメラ２８により撮像されるユーザー７６またはサービスマン８６の手は片手のみであっても構わない。
In the above embodiment, an example is shown in which the
上記実施形態においては、ユーザー側表示端末およびサービスマン側表示端末がＡＲグラスである場合について説明したが、頭部装着型表示端末であるこれらの表示端末は、ＡＲグラスのみに限定されない。この発明において使用できる他の頭部装着型端末の例としては、片眼型端末や、メガネ型ウェアラブル端末、ゴーグル型端末、ヘルメット型端末などが挙げられる。但し、装着のし易さや装着時の安定性、視認性の高さなどから片眼型端末やメガネ型ウェアラブル端末、ＡＲグラスが好ましい。頭部装着型端末の装着部は、ユーザーの頭部に装着可能にする部材からなり、その構造は限定されないが、装着部の例としては、メガネのフレーム、ヘルメット、バンド、ゴーグル、片耳を利用して観察者の頭部に装着されるフレーム、またはそれらの類似構造物の、ユーザーが頭部に装着するために必要な構造を有する部材が挙げられる。また装着部の構成材料については適宜選択可能である。 In the said embodiment, although the case where a user side display terminal and a service person side display terminal were AR glasses was demonstrated, these display terminals which are head mounted display terminals are not limited only to AR glass. Examples of other head-mounted terminals that can be used in the present invention include one-eye terminals, glasses-type wearable terminals, goggles-type terminals, and helmet-type terminals. However, a single-eye terminal, a glasses-type wearable terminal, and AR glass are preferable in terms of ease of mounting, stability during mounting, and high visibility. The mounting part of the head-mounted terminal consists of a member that can be mounted on the user's head, and its structure is not limited, but examples of the mounting part include glasses frames, helmets, bands, goggles, and one ear Thus, a member having a structure necessary for the user to attach to the head, such as a frame attached to the observer's head, or a similar structure thereof, can be used. The constituent material of the mounting portion can be selected as appropriate.
ユーザー側表示端末およびサービスマン側表示端末は、ブレ防止機能を有していなくてもよい。すなわち、振動検知部３２および４２、ならびに安定化処理部３３および４３を設けるか否かは任意に選択できる。 The user-side display terminal and the serviceman-side display terminal do not have to have a shake prevention function. That is, whether or not to provide the vibration detection units 32 and 42 and the stabilization processing units 33 and 43 can be arbitrarily selected.
ユーザー側複合機１００の制御部１０２内の、支援要請受け付け部５２、および作業ログ作成部５６は必須ではなく、省略が可能である。
The support
サービスマン側複合機２００の制御部２０２内の、位置合わせ部６７、認証部６８、および支援終了要求受け付け部６９についても、省略が可能である。
The
今回開示された実施の形態および実施例はすべての点で例示であって、どのような面からも制限的なものではないと理解されるべきである。本発明の範囲は上記した説明ではなく、特許請求の範囲によって規定され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。 It should be understood that the embodiments and examples disclosed herein are illustrative in all respects and are not restrictive in any respect. The scope of the present invention is defined by the scope of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the scope of the claims.
この発明にかかる作業支援システムは、機器のメンテナンス時におけるユーザーへの指示や、不慣れな者には操作方法がわかりにくい機器の操作の支援など、様々な作業の支援を行うために利用することができる。 The work support system according to the present invention can be used to support various operations such as instructions to the user at the time of equipment maintenance, and support for operation of equipment that is difficult for an inexperienced person to understand the operation method. it can.
１ 作業支援システム、５ ネットワーク、１０ ＡＲグラス、１２ ユーザーＡＲグラス制御部、１４ 第１メモリ、１５ 第１マイク、１６ 第１表示レンズ、１７ 第１スピーカ、１８ 第１撮像カメラ、１９ 第１通信部、２０ ＡＲグラス、２２ サービスマンＡＲグラス制御部、２４ 第２メモリ、２５ 第２マイク、２６ 第２表示レンズ、２７ 第２スピーカ、２８ 第２撮像カメラ、２９ サービスマン側データ送受信部、３１ 表示制御部、３２ 振動検知部、３３ 安定化処理部、４１ 表示制御部、４２ 振動検知部、４３ 安定化処理部、５２ 支援要請受け付け部、５６ 作業ログ作成部、６２ データ取得部、６４ 動画像抽出部、６６ 動画像合成部、６７ 位置合わせ部、６８ 認証部、６９ 支援終了要求受け付け部、７２ ユーザーの左手、７４ ユーザーの右手、７６ ユーザー、８２ サービスマンの左手、８４ サービスマンの右手、８６ サービスマン、１００ ユーザー側複合機、１０１ ユーザー側表示操作部、１０２ ユーザー側複合機制御部、１０５ ユーザー側画像形成部、１０９ ユーザー側通信部、１５０ 第１動画像、１６０ 第２動画像、１７０ 抽出動画像、１８０ 合成動画像、２００ サービスマン側複合機、２０１ サービスマン側表示操作部、２０２ サービスマン側複合機制御部、２０４ ハードディスク、２０５ サービスマン側画像形成部、２０９ サービスマン側通信部。
DESCRIPTION OF SYMBOLS 1 Work support system, 5 network, 10 AR glass, 12 user AR glass control part, 14 1st memory, 15 1st microphone, 16 1st display lens, 17 1st speaker, 18 1st imaging camera, 19 1st communication Unit, 20 AR glass, 22 serviceman AR glass control unit, 24 second memory, 25 second microphone, 26 second display lens, 27 second speaker, 28 second imaging camera, 29 serviceman side data transmission / reception unit, 31 Display control unit, 32 Vibration detection unit, 33 Stabilization processing unit, 41 Display control unit, 42 Vibration detection unit, 43 Stabilization processing unit, 52 Support request reception unit, 56 Work log creation unit, 62 Data acquisition unit, 64 Movie Image extraction unit, 66 moving image composition unit, 67 alignment unit, 68 authentication unit, 69 support end request reception unit, 72 user's left hand, 74 user User's right hand, 76 users, 82 Serviceman's left hand, 84 Serviceman's right hand, 86 Serviceman, 100 User side multifunction device, 101 User side display operation unit, 102 User side multifunction device control unit, 105 User side image forming unit 109 user side communication unit, 150 first moving image, 160 second moving image, 170 extracted moving image, 180 synthesized moving image, 200 serviceman side multifunction device, 201 serviceman side display operation unit, 202 serviceman side multifunction device Control unit, 204 hard disk, 205 serviceman side image forming unit, 209 serviceman side communication unit.
Claims (12)
頭部装着型の端末であって、前記ユーザーに装着されるユーザー側表示端末と、
頭部装着型の端末であって、前記サービスマンに装着されるサービスマン側表示端末と、
前記ユーザー側表示端末と通信可能なユーザー側画像処理装置と、
前記サービスマン側表示端末と通信可能なサービスマン側画像処理装置と、
を備え、
前記ユーザー側画像処理装置と、前記サービスマン側画像処理装置とは通信可能に接続され、
前記ユーザー側表示端末および前記サービスマン側表示端末は、それぞれ、
前記ユーザーまたは前記サービスマンである装着者に装着可能な形状を有する装着部と、
前記装着者の視野範囲内の画像処理装置の像と前記装着者の手の像とを含む動画像を撮像する撮像部と、
前記ユーザー側画像処理装置または前記サービスマン側画像処理装置のうち、通信可能な画像処理装置との間でデータを送受信する端末データ送受信部と、
前記装着部に設置され、前記装着者に視認可能な電子画像を表示すると共に、画像処理装置の前記像を光学的に透過しうる光学透過式のレンズを有する表示部と、
前記端末データ送受信部により受信されたデータに基づいて、前記表示部に前記電子画像が表示されるよう制御する表示制御部と、を備え、
前記ユーザー側画像処理装置は、
前記ユーザー側表示端末および前記サービスマン側画像処理装置と通信可能なユーザー側通信部を備え、
前記サービスマン側画像処理装置は、
前記サービスマン側表示端末および前記ユーザー側画像処理装置と通信可能なサービスマン側通信部と、
前記サービスマン側通信部を通じて、前記ユーザー側表示端末の前記撮像部により撮像されたユーザー側動画像と、前記サービスマン側表示端末の前記撮像部により撮像されたサービスマン側動画像とを取得するデータ取得部と、
前記データ取得部により受信された前記サービスマン側動画像から、前記装着者である前記サービスマンの前記手の動画像を抽出する動画像抽出部と、
前記動画像抽出部により抽出された、前記サービスマンの前記手の動画像を含む抽出動画像と、前記ユーザー側動画像とを統合し、合成動画像を形成する動画像合成部と、
を備え、
前記サービスマン側通信部は、前記動画像合成部により形成された合成動画像を、前記ユーザー側表示端末及び前記サービスマン側表示端末に送信し、
前記表示制御部は、前記サービスマン側通信部から送信され、前記端末データ送受信部により受信された前記合成動画像を、前記表示部に表示するよう制御する、
作業支援システム。 A work support system that supports the user's work by instructing the user from a service person in a remote location,
A head-mounted terminal, which is a user-side display terminal worn by the user;
A head-mounted terminal, a serviceman-side display terminal worn by the serviceman;
A user-side image processing apparatus capable of communicating with the user-side display terminal;
A serviceman image processing apparatus capable of communicating with the serviceman display terminal;
With
The user-side image processing device and the serviceman-side image processing device are communicably connected,
The user side display terminal and the serviceman side display terminal are respectively
A wearing portion having a shape that can be worn by the wearer who is the user or the serviceman;
An imaging unit that captures a moving image including an image of the image processing apparatus within the field of view of the wearer and an image of the hand of the wearer;
A terminal data transmission / reception unit that transmits / receives data to / from a communicable image processing device among the user side image processing device or the serviceman side image processing device;
A display unit that is installed in the mounting unit and displays an electronic image that is visible to the wearer, and has an optically transmissive lens that can optically transmit the image of the image processing apparatus;
A display control unit configured to control the electronic image to be displayed on the display unit based on data received by the terminal data transmission / reception unit;
The user-side image processing device includes:
A user side communication unit capable of communicating with the user side display terminal and the serviceman side image processing device;
The serviceman-side image processing apparatus includes:
A serviceman-side communication unit capable of communicating with the serviceman-side display terminal and the user-side image processing device;
A user side moving image captured by the imaging unit of the user side display terminal and a serviceman side moving image captured by the imaging unit of the serviceman side display terminal are acquired through the serviceman side communication unit. A data acquisition unit;
A moving image extraction unit that extracts the moving image of the hand of the serviceman who is the wearer from the moving image of the serviceman received by the data acquisition unit;
A moving image synthesizing unit that combines the extracted moving image including the moving image of the hand of the serviceman extracted by the moving image extracting unit and the user side moving image to form a synthesized moving image;
With
The serviceman side communication unit transmits the synthesized moving image formed by the moving image synthesis unit to the user side display terminal and the serviceman side display terminal,
The display control unit controls the display of the synthesized moving image transmitted from the serviceman side communication unit and received by the terminal data transmission / reception unit on the display unit,
Work support system.
音声情報の入力を受け付ける音声入力部と、
前記サービスマン側表示端末および前記ユーザー側表示端末のうち、他方の前記音声入力部から入力された音声情報を出力する音声出力部と、をさらに備える、請求項１〜３のいずれか１項に記載の作業支援システム。 The serviceman side display terminal and the user side display terminal are respectively
A voice input unit for receiving voice information;
The voice output part which outputs the audio | voice information input from the other said audio | voice input part among the said serviceman side display terminals and the said user side display terminals is further provided in any one of Claims 1-3. The work support system described.
前記作業支援情報格納部に格納された前記作業支援情報は、静止画像または動画像として、前記ユーザー側表示端末の前記表示部に表示される、請求項１〜４に記載の作業支援システム。 The serviceman-side image processing apparatus further includes a work support information storage unit that stores work support information that supports the work of the user,
The work support system according to claim 1, wherein the work support information stored in the work support information storage unit is displayed on the display unit of the user side display terminal as a still image or a moving image.
前記撮像部の振動を検知する振動検知部と、
前記振動検知部により検知された振動の状態に応じて、前記撮像部によって撮像された前記動画像から動揺を取り除く安定化処理を行う安定化処理部と、をさらに備える、請求項１〜５のいずれか１項に記載の作業支援システム。 The user side display terminal and the serviceman side display terminal are respectively
A vibration detection unit that detects vibration of the imaging unit;
The stabilization process part of performing further the stabilization process which removes a shake from the said moving image imaged by the said imaging part according to the state of the vibration detected by the said vibration detection part, The further provided of Claims 1-5 The work support system according to any one of claims.
前記ユーザー側画像処理装置は、前記認証部により発行された前記認証用情報を表示する表示操作部をさらに備え、
前記表示操作部に表示された前記認証用情報は、前記ユーザー側表示端末の前記撮像部により読み取られ、
前記認証部は、前記ユーザー側表示端末の前記撮像部により読み取られた読み取り結果と、前記認証部により発行された前記認証用情報とが整合するか否かを判断し、両者が整合する場合には、前記ユーザー側画像処理装置と前記サービスマン側画像処理装置との間での通信を確立する、請求項８に記載の作業支援システム。 The serviceman-side image processing device further includes an authentication unit that issues authentication information to the user-side image processing device when an input of the support request is received by the support request receiving unit,
The user-side image processing apparatus further includes a display operation unit that displays the authentication information issued by the authentication unit,
The authentication information displayed on the display operation unit is read by the imaging unit of the user side display terminal,
The authentication unit determines whether or not the reading result read by the imaging unit of the user-side display terminal matches the authentication information issued by the authentication unit, and if both match The work support system according to claim 8, wherein communication is established between the user-side image processing apparatus and the serviceman-side image processing apparatus.
前記支援終了要求受け付け部により前記支援の終了の要求の入力が受け付けられると、前記認証部は、前記支援を終了するための支援終了用認証情報を発行する、請求項１〜９のいずれか１項に記載の作業支援システム。 The serviceman-side image processing apparatus further includes a support end request receiving unit that receives an input of a support end request,
10. The support ending authentication information is issued by the authentication unit for ending the support when an input of the support end request is received by the support end request receiving unit. The work support system according to item.
前記画像形成部は、前記認証部により発行された前記支援終了用認証情報を示す画像を用紙上に形成し、
前記画像形成部により用紙上に形成された、前記支援終了用認証情報を示す画像は、前記ユーザー側表示端末の前記撮像部により読み取られ、
前記認証部は、前記ユーザー側表示端末の前記撮像部による読み取り結果と、前記認証部により発行された前記支援終了用認証情報とを照合し、照合の結果、両者が整合する場合には、前記ユーザー側画像処理装置と前記サービスマン側画像処理装置との間の通信を停止する、請求項１０に記載の作業支援システム。 The user-side image processing apparatus further includes an image forming unit that forms an image on paper,
The image forming unit forms an image on the paper indicating the authentication information for end of support issued by the authentication unit;
The image indicating the authentication information for support termination formed on the paper by the image forming unit is read by the imaging unit of the user side display terminal,
The authentication unit collates a reading result by the imaging unit of the user side display terminal with the support end authentication information issued by the authentication unit. The work support system according to claim 10, wherein communication between a user-side image processing apparatus and the serviceman-side image processing apparatus is stopped.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016091723A JP6493296B2 (en) | 2016-04-28 | 2016-04-28 | Work support system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016091723A JP6493296B2 (en) | 2016-04-28 | 2016-04-28 | Work support system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017200144A true JP2017200144A (en) | 2017-11-02 |
| JP6493296B2 JP6493296B2 (en) | 2019-04-03 |
Family
ID=60239653
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016091723A Expired - Fee Related JP6493296B2 (en) | 2016-04-28 | 2016-04-28 | Work support system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6493296B2 (en) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002132487A (en) * | 2000-10-25 | 2002-05-10 | Oki Electric Ind Co Ltd | Remote operation supporting system |
| JP2004206363A (en) * | 2002-12-25 | 2004-07-22 | Nec Fielding Ltd | Teleworking system, teleworking method and program for teleworking system |
| JP2010050645A (en) * | 2008-08-20 | 2010-03-04 | Olympus Corp | Image processor, image processing method, and image processing program |
| JP2012008704A (en) * | 2010-06-23 | 2012-01-12 | Toshiba Tec Corp | Information processor, program, and call system |
| JP2014011624A (en) * | 2012-06-29 | 2014-01-20 | Nikon Corp | Information input/output device and head-mounted display device |
| JP2014093036A (en) * | 2012-11-06 | 2014-05-19 | Konica Minolta Inc | Guide information display device |
| JP2014206880A (en) * | 2013-04-12 | 2014-10-30 | Tis株式会社 | Operation assist device |
-
2016
- 2016-04-28 JP JP2016091723A patent/JP6493296B2/en not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002132487A (en) * | 2000-10-25 | 2002-05-10 | Oki Electric Ind Co Ltd | Remote operation supporting system |
| JP2004206363A (en) * | 2002-12-25 | 2004-07-22 | Nec Fielding Ltd | Teleworking system, teleworking method and program for teleworking system |
| JP2010050645A (en) * | 2008-08-20 | 2010-03-04 | Olympus Corp | Image processor, image processing method, and image processing program |
| JP2012008704A (en) * | 2010-06-23 | 2012-01-12 | Toshiba Tec Corp | Information processor, program, and call system |
| JP2014011624A (en) * | 2012-06-29 | 2014-01-20 | Nikon Corp | Information input/output device and head-mounted display device |
| JP2014093036A (en) * | 2012-11-06 | 2014-05-19 | Konica Minolta Inc | Guide information display device |
| JP2014206880A (en) * | 2013-04-12 | 2014-10-30 | Tis株式会社 | Operation assist device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6493296B2 (en) | 2019-04-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10579320B2 (en) | Display system, display device, information display method, and program | |
| US10142618B2 (en) | Imaging apparatus and imaging method | |
| JP6693060B2 (en) | Display system, display device, display device control method, and program | |
| CN111225157B (en) | Focus tracking method and related equipment | |
| CN108632543B (en) | Image display method, image display device, storage medium and electronic equipment | |
| JP2020509522A (en) | Multimedia acquisition, registration and management system and method | |
| JP7086552B2 (en) | Information processing equipment, imaging equipment, information processing methods and programs | |
| JP2018036812A (en) | System and method for remotely supporting it operation work | |
| JP2015149552A (en) | Wearable electronic apparatus | |
| JP2009089324A (en) | Video conference system and program, and recoding medium | |
| TWI439134B (en) | 3d digital image monitor system and method | |
| CN111246224A (en) | Video live broadcast method and video live broadcast system | |
| WO2016095422A1 (en) | Glasses, display terminal and image display processing system and method | |
| WO2020138258A1 (en) | Information processing device, information processing method, and information processing program | |
| JP2017182487A (en) | System, information processing device, head-mounted device, and method | |
| CN111163280B (en) | Asymmetric video conference system and method thereof | |
| US7986336B2 (en) | Image capture apparatus with indicator | |
| JP2005117285A (en) | Information input device, communication terminal and communication method | |
| JP5972462B2 (en) | Image generation method | |
| JP6493296B2 (en) | Work support system | |
| JP2017062650A (en) | Display system, display unit, information display method, and program | |
| JP2005303683A (en) | Image transceiver | |
| JP6733401B2 (en) | Display system, display device, information display method, and program | |
| JP2011041133A (en) | Photographing device and photographing method | |
| TWM569008U (en) | Eye position calibrating system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180226 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181122 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181204 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190123 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190205 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190218 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6493296 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |