JP2022037675A - Remote maintenance support method - Google Patents
Remote maintenance support method Download PDFInfo
- Publication number
- JP2022037675A JP2022037675A JP2020141925A JP2020141925A JP2022037675A JP 2022037675 A JP2022037675 A JP 2022037675A JP 2020141925 A JP2020141925 A JP 2020141925A JP 2020141925 A JP2020141925 A JP 2020141925A JP 2022037675 A JP2022037675 A JP 2022037675A
- Authority
- JP
- Japan
- Prior art keywords
- maintenance
- side terminal
- worker
- supporter
- maintenance worker
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
本発明は、保守対象に対する保守作業者の保守作業を遠隔から支援する方法に関する。特に、本発明は、保守作業者に対して情報漏洩に関する安心感を与えつつ、効率的に保守作業者を支援することが可能な遠隔保守支援方法に関する。 The present invention relates to a method of remotely supporting maintenance work of a maintenance worker for a maintenance target. In particular, the present invention relates to a remote maintenance support method capable of efficiently supporting a maintenance worker while giving the maintenance worker a sense of security regarding information leakage.
従来、一般的に、産業用機器（例えば、基板処理装置）等の保守対象のトラブルが発生した場合、保守対象の設置現場に居る保守作業者が、トラブルの状況を確認した上で、保守対象の製造メーカ側の保守支援者に電話でトラブルの状況を伝え、保守支援者が電話によって保守作業者に各種の指示を出す対応を行っている。
上記の電話対応を行ってもトラブルが解決しない場合には、製造メーカ側の熟練作業者の予定が空いているタイミングで、保守対象の設置現場に熟練作業者を派遣する対応を行っている。
Conventionally, in general, when a trouble to be maintained such as an industrial device (for example, a board processing device) occurs, a maintenance worker at the installation site to be maintained confirms the trouble situation and then is to be maintained. The maintenance supporter on the manufacturer's side is informed of the trouble situation by telephone, and the maintenance supporter gives various instructions to the maintenance worker by telephone.
If the trouble is not solved even if the above telephone response is performed, the skilled worker is dispatched to the installation site to be maintained at the timing when the skilled worker on the manufacturer side is scheduled.
上記の電話対応の場合、口頭による意思疎通であるため、トラブルの状況が保守支援者に上手く伝わらなかったり、保守支援者の指示が保守作業者に上手く伝わらず、トラブルが解決できない場合がある。
また、上記の熟練作業者を派遣する対応の場合、即時の対応が難しいという問題がある。
In the case of the above-mentioned telephone correspondence, since the communication is oral, the trouble situation may not be well communicated to the maintenance supporter, or the maintenance supporter's instructions may not be well communicated to the maintenance worker, and the trouble may not be solved.
Further, in the case of the above-mentioned response to dispatch skilled workers, there is a problem that immediate response is difficult.
上記のような問題を解決するため、特許文献１には、保守作業者（第１作業者）の携帯端末（第１携帯端末）と、遠隔地で支援を行う保守支援者（第２作業者）の携帯端末（第２携帯端末）と、サーバと、を備えるシステムを用いた遠隔保守支援方法が提案されている。特許文献１に記載の方法では、サーバが、保守作業者がカメラを用いて撮像した撮像画像における保守対象以外の領域をマスキング処理して、マスキング画像を生成し、このマスキング画像を保守支援者の携帯端末に送信して、保守支援者の携帯端末に表示させている。
In order to solve the above problems,
特許文献１に記載の方法によれば、保守支援者が携帯端末に表示されたマスキング画像によって保守対象を目視できるため、トラブルの状況を把握し易く、電話対応のみで支援する場合に比べて、効率的に保守作業者を支援することができると考えられる。
According to the method described in
しかしながら、特許文献１に記載の方法では、サーバがマスキング処理を実行するため、保守作業者が保守対象以外の機密情報等の漏洩に関して十分な安心感を得られないという問題がある。
However, in the method described in
本発明は、上記従来技術の問題点を解決するためになされたものであり、保守作業者に対して情報漏洩に関する安心感を与えつつ、効率的に保守作業者を支援することが可能な遠隔保守支援方法を提供することを課題とする。 The present invention has been made to solve the above-mentioned problems of the prior art, and it is possible to efficiently support the maintenance worker while giving the maintenance worker a sense of security regarding information leakage. The challenge is to provide maintenance support methods.
前記課題を解決するため、本発明は、保守支援者が操作する保守支援者側端末と、前記保守支援者側端末に対して遠隔に配置され、保守作業者が操作する保守作業者側端末と、前記保守支援者側端末及び前記保守作業者側端末に電気的に接続されたサーバと、を用いて、前記保守作業者が行う保守対象の保守作業を支援する遠隔保守支援方法であって、以下の第１～第５ステップを含むことを特徴とする遠隔保守支援方法を提供する。
（１）第１ステップ：前記保守対象となり得る複数の保守対象候補を前記サーバに予め記憶させる。
（２）第２ステップ：前記第１ステップで記憶された前記複数の保守対象候補のうち、前記保守作業者が保守作業を行う前記保守対象を特定する。
（３）第３ステップ：前記サーバを介した前記保守作業者側端末と前記保守支援者側端末との双方向のデータ通信を行うか否かを判断する。
（４）第４ステップ：前記第３ステップで前記双方向のデータ通信を行うと判断した場合に、前記保守作業者側端末が取得した前記第２ステップで特定した前記保守対象を含む撮像画像を構成する画素領域のうち、前記保守対象以外の画素領域であるマスク画素領域を不可視にした加工画像を前記保守作業者側端末が生成する。
（５）第５ステップ：前記第４ステップで生成され、前記保守作業者側端末から前記保守支援者側端末に送信された前記加工画像を前記保守支援者が目視して、前記保守作業者が行う前記保守対象の保守作業を支援する。
In order to solve the above-mentioned problems, the present invention includes a maintenance supporter-side terminal operated by a maintenance supporter and a maintenance worker-side terminal remotely arranged with respect to the maintenance supporter-side terminal and operated by the maintenance worker. , A remote maintenance support method for supporting maintenance work to be maintained by the maintenance worker by using the maintenance supporter side terminal and a server electrically connected to the maintenance worker side terminal. Provided is a remote maintenance support method including the following first to fifth steps.
(1) First step: A plurality of maintenance target candidates that can be maintenance targets are stored in the server in advance.
(2) Second step: Among the plurality of maintenance target candidates stored in the first step, the maintenance target to which the maintenance worker performs maintenance work is specified.
(3) Third step: It is determined whether or not bidirectional data communication between the maintenance worker side terminal and the maintenance supporter side terminal is performed via the server.
(4) Fourth step: When it is determined in the third step that the two-way data communication is performed, the captured image including the maintenance target specified in the second step acquired by the maintenance worker side terminal is captured. The maintenance worker side terminal generates a processed image in which the mask pixel area, which is a pixel area other than the maintenance target, is invisible among the constituent pixel areas.
(5) Fifth step: The maintenance worker visually observes the processed image generated in the fourth step and transmitted from the maintenance worker side terminal to the maintenance supporter side terminal, and the maintenance worker Support the maintenance work to be performed.
本発明によれば、第１ステップ及び第２ステップを実行することで、複数の保守対象候補のうち、トラブルが生じて実際に保守作業を行う保守対象が特定される。
次に、第３ステップにおいて、サーバを介した保守作業者側端末と保守支援者側端末との双方向のデータ通信を行うか否かを判断する。双方向のデータ通信を行わなくても保守対象に生じたトラブルを解決できると判断した場合には、以下の第４ステップ及び第５ステップを実行することなく、例えば、従来と同様の電話対応等で保守作業者の保守作業を支援すればよい。
一方、第３ステップにおいて、サーバを介した保守作業者側端末と保守支援者側端末との双方向のデータ通信を行うと判断した場合（例えば、従来の電話対応等では保守対象に生じたトラブルを解決できないと判断した場合）、第４ステップにおいて、保守作業者側端末が取得した保守対象を含む撮像画像（第２ステップで特定した保守対象を含む撮像画像）を構成する画素領域のうち、保守対象以外の画素領域であるマスク画素領域を不可視にした加工画像を保守作業者側端末が生成する。このように、保守対象以外の画素領域であるマスク画素領域を不可視にした加工画像を、サーバではなく保守作業者側端末が生成するため、保守作業者に対して情報漏洩に関する安心感を与えることができる。
そして、第３ステップにおいて、サーバを介した保守作業者側端末と保守支援者側端末との双方向のデータ通信を行うと判断した場合、第５ステップにおいて、保守作業者側端末から保守支援者側端末に送信された加工画像を保守支援者が目視して、保守作業者が行う保守対象の保守作業を支援する。保守対象が写っている加工画像を保守支援者が目視できるため、保守対象のトラブルの状況を把握し易く、効率的に保守作業者を支援することができる。
以上のように、本発明によれば、保守作業者に対して情報漏洩に関する安心感を与えつつ、効率的に保守作業者を支援することが可能である。
なお、本発明における「撮像画像」及び「加工画像」は、静止画に限るものではなく、動画も含む概念である。
According to the present invention, by executing the first step and the second step, among a plurality of maintenance target candidates, a maintenance target in which a trouble occurs and the maintenance work is actually performed is specified.
Next, in the third step, it is determined whether or not bidirectional data communication is performed between the maintenance worker side terminal and the maintenance support side terminal via the server. If it is determined that the trouble that occurred in the maintenance target can be solved without performing two-way data communication, for example, the same telephone correspondence as before can be performed without executing the following 4th and 5th steps. It is sufficient to support the maintenance work of the maintenance worker.
On the other hand, in the third step, when it is determined that bidirectional data communication is performed between the maintenance worker side terminal and the maintenance support side terminal via the server (for example, a trouble that occurs in the maintenance target in the conventional telephone correspondence or the like). In the fourth step, among the pixel areas constituting the captured image including the maintenance target acquired by the maintenance worker terminal (the captured image including the maintenance target specified in the second step). The maintenance worker terminal generates a processed image in which the mask pixel area, which is a pixel area other than the maintenance target, is invisible. In this way, since the maintenance worker side terminal generates the processed image invisible in the mask pixel area, which is the pixel area other than the maintenance target, the maintenance worker is given a sense of security regarding information leakage. Can be done.
Then, in the third step, when it is determined that bidirectional data communication between the maintenance worker side terminal and the maintenance supporter side terminal is performed via the server, in the fifth step, the maintenance worker side terminal to the maintenance supporter side. The maintenance supporter visually observes the processed image transmitted to the side terminal, and supports the maintenance work of the maintenance target performed by the maintenance worker. Since the maintenance supporter can visually check the processed image showing the maintenance target, it is easy to grasp the situation of the trouble of the maintenance target, and it is possible to efficiently support the maintenance worker.
As described above, according to the present invention, it is possible to efficiently support the maintenance worker while giving the maintenance worker a sense of security regarding information leakage.
The "captured image" and "processed image" in the present invention are not limited to still images, but are concepts including moving images.
好ましくは、前記保守作業者側端末は、撮像手段を具備し保守作業者が装着するウェアラブル端末である。 Preferably, the maintenance worker side terminal is a wearable terminal provided with an image pickup means and worn by the maintenance worker.
上記の好ましい方法によれば、保守作業者側端末がタブレット型のコンピュータやスマートフォンである場合と異なり、保守作業者側端末（ウェアラブル端末）を保守作業者が手で持つ必要がないため、保守作業が容易になるという利点が得られる。また、保守作業者が移動すると、保守作業者側端末（ウェアラブル端末）も確実に移動するため、保守作業者の位置に応じて保守対象を含む撮像画像を確実に取得可能である。 According to the above preferred method, unlike the case where the maintenance worker side terminal is a tablet computer or a smartphone, the maintenance worker side terminal (wearable terminal) does not need to be held by the maintenance worker side, so that the maintenance work is performed. The advantage is that it becomes easier. Further, when the maintenance worker moves, the maintenance worker side terminal (wearable terminal) also moves reliably, so that it is possible to reliably acquire the captured image including the maintenance target according to the position of the maintenance worker.
好ましくは、前記ウェアラブル端末は、ディスプレイを具備するヘッドマウントディスプレイである。 Preferably, the wearable terminal is a head-mounted display including a display.
上記の好ましい方法によれば、例えば、生成した加工画像を保守支援者側端末に送信する前にディスプレイに表示させることで、保守作業者に対して情報漏洩に関する安心感をより一層与えることができる。 According to the above preferred method, for example, by displaying the generated processed image on the display before transmitting it to the maintenance supporter side terminal, it is possible to further give the maintenance worker a sense of security regarding information leakage. ..
本発明は、前記保守対象候補が産業用機器である場合に好適に用いられる。
上記の好ましい方法における「産業用機器」には、一般社団法人日本産業機械工業会で産業機械として定義されている、鉱山機械、化学機械、環境装置、動力伝導装置、タンク、業務用洗濯機、ボイラ・原動機、プラスチック機械、風水力機械、運搬機械、製鉄機械等が含まれる。また、別の観点から、上記の好ましい方法における「産業用機器」には、有体物を製造する製造装置が含まれる。基板処理装置は、産業用機器の一種であり、処理済基板（例えば、エッチング処理を施した基板や、成膜処理を施した基板）を製造する点で、有体物を製造する製造装置の一種である。電子機器がサーバを介して電気的に接続されたＩＴシステムは、有体物を製造する製造装置に含まれず、産業用機器にも含まれない。
The present invention is preferably used when the maintenance target candidate is an industrial device.
"Industrial equipment" in the above preferred method includes mining machinery, chemical machinery, environmental equipment, power transmission equipment, tanks, commercial washing machines, which are defined as industrial machinery by the Japan Industrial Machinery Manufacturers Association. Includes boilers / motors, plastic machines, wind and hydraulic machines, transport machines, iron making machines, etc. From another point of view, the "industrial equipment" in the above preferred method includes a manufacturing apparatus for manufacturing a tangible material. A substrate processing device is a type of industrial equipment, and is a type of manufacturing device that manufactures tangible materials in that it manufactures processed substrates (for example, substrates that have undergone etching treatment or substrates that have undergone film formation treatment). be. IT systems in which electronic devices are electrically connected via servers are not included in manufacturing equipment that manufactures tangible materials, nor are they included in industrial equipment.
本発明によれば、保守作業者に対して情報漏洩に関する安心感を与えつつ、効率的に保守作業者を支援することが可能である。 According to the present invention, it is possible to efficiently support the maintenance worker while giving the maintenance worker a sense of security regarding information leakage.
以下、添付図面を参照しつつ、本発明の一実施形態に係る遠隔保守支援方法について、保守対象候補が基板処理装置等の産業用機器である場合を例に挙げて説明する。
最初に、本実施形態に係る遠隔保守支援方法を実行する際に用いられる遠隔保守支援システムの構成について説明する。
Hereinafter, the remote maintenance support method according to the embodiment of the present invention will be described with reference to the attached drawings, taking as an example the case where the maintenance target candidate is an industrial device such as a substrate processing device.
First, the configuration of the remote maintenance support system used when executing the remote maintenance support method according to the present embodiment will be described.
＜遠隔保守支援システム＞
図１は、本実施形態に係る遠隔保守支援方法を実行するための遠隔保守支援システムの概略構成を模式的に示す図である。図１（ａ）は全体構成図であり、図１（ｂ）は保守作業者側端末を示す図である。
図１（ａ）に示すように、本実施形態の遠隔保守支援システム１００は、保守支援者側端末１と、保守作業者側端末２と、サーバ３と、を備えている。
<Remote maintenance support system>
FIG. 1 is a diagram schematically showing a schematic configuration of a remote maintenance support system for executing the remote maintenance support method according to the present embodiment. FIG. 1A is an overall configuration diagram, and FIG. 1B is a diagram showing a maintenance worker side terminal.
As shown in FIG. 1A, the remote
保守支援者側端末１は、保守支援者が操作する端末である。保守支援者側端末１としては、例えば、デスクトップ型のコンピュータを用いることができるが、これに限るものではなく、ラップトップ型のコンピュータ、タブレット型のコンピュータ、スマートフォン等、インターネット等の電気通信回線Ｎを通じてサーバ３と電気的に接続され、サーバ３と双方向にデータ通信可能である限りにおいて、種々の端末を用いることができる。保守支援者側端末１は、保守作業者側端末２との間で、画像データや音声データの双方向のデータ通信が可能となるように、モニタの他、撮像手段、マイクロフォン、スピーカ（図示せず）を具備する。
The maintenance
保守作業者側端末２は、保守支援者側端末１に対して遠隔に配置され、保守対象候補Ｔの設置現場に居る保守作業者が操作する端末である。
図１（ｂ）に示すように、本実施形態では、保守作業者側端末２として、保守作業者が顔に装着する眼鏡型のウェアラブル端末（ヘッドマウントディスプレイ）が用いられている。保守作業者側端末２は、保守作業者が耳に掛けるフレーム２１を具備する。また、保守作業者側端末２は、フレーム２１の前側中央（保守作業者がフレーム２１を耳に掛けたときに保守作業者の眉間近傍に相当する位置）に撮像手段２２を具備する。本実施形態の撮像手段２２としては、カラー（ＲＧＢ）カメラが用いられている。そして、撮像手段２２の撮像方向（視線方向）は、保守作業者がフレーム２１を耳に掛けたときの保守作業者の眉間に正対する方向となるように設定されている。さらに、保守作業者側端末２は、フレーム２１の前側に取り付けられ、保守作業者がフレーム２１を耳に掛けたときに保守作業者の視界前方を覆うディスプレイ２３を具備する。本実施形態のディスプレイ２３としては、透過型のものが用いられている。したがい、ディスプレイ２３に何も表示しない場合には、通常の眼鏡と同じように使用することが可能である。後述のように、ディスプレイ２３に加工画像やガイダンスを表示させる場合、実像が見え難い又は見えない状態で表示させてもよいものの、保守作業者の安全を確保する上では、加工画像やガイダンスを半透明に表示させて、保守作業者の視界を遮らないようにすることが好ましい。
The maintenance
As shown in FIG. 1 (b), in the present embodiment, as the maintenance
また、図１（ｂ）に示すように、本実施形態の保守作業者側端末２は、フレーム２１の側方に取り付けられたマイクロフォン２４及びスピーカ２５を具備する。
Further, as shown in FIG. 1 (b), the maintenance
さらに、図１（ｂ）に示すように、本実施形態の保守作業者側端末２は、フレーム２１の側方に取り付けられた制御信号処理手段２６を具備する。制御信号処理手段２６は、撮像手段２２、ディスプレイ２３、マイクロフォン２４及びスピーカ２５の各構成要素に電気的に接続されており、各構成要素を制御したり、各構成要素の出力信号を処理する機能を有する。また、制御信号処理手段２６は、電気通信回線Ｎを通じてサーバ３と電気的に接続され、サーバ３と双方向にデータ通信可能な通信手段（図示せず）を具備する。
制御信号処理手段２６は、主として、ＣＰＵ、ＲＯＭやＲＡＭ等のメモリ、該メモリに記憶され、ＣＰＵに各種の動作を実行させるプログラムと、によって構成されている。また、制御信号処理手段２６の通信手段は、アンテナや、アンテナを動作させるプログラム等によって構成されている。
Further, as shown in FIG. 1 (b), the maintenance
The control signal processing means 26 is mainly composed of a CPU, a memory such as a ROM or RAM, and a program stored in the memory and causing the CPU to execute various operations. Further, the communication means of the control signal processing means 26 is composed of an antenna, a program for operating the antenna, and the like.
以上に説明したような構成を有する保守作業者側端末２は、例えば、マイクロソフト社製のスマートグラスである「HoloLens」（登録商標）を用い、これに改良を加えることで構成可能である。
なお、詳細な説明は割愛するが、保守作業者側端末２には、保守作業者側端末２の現在位置等を把握するために、「HoloLens」等が具備するものと同様の各種の構成要素を更に具備した構成とすることも可能である。これらの構成要素としては、例えば、両眼立体視（ステレオ視）等に用いるための撮像方向が互いに異なる複数の第２の撮像手段を例示できる。また、ＴｏＦ（Time ｏf Flight）方式によって視野内における被写体までの距離を測定し、被写体までの距離が各画素の濃度値で表わされた距離画像を取得する距離画像センサ（デプスカメラや３Ｄカメラともいう）を例示できる。さらに、３軸の加速度センサと、３軸の角速度センサ（ジャイロセンサ）と、３軸の地磁気（方位）センサとから構成された慣性センサを例示できる。
The maintenance
Although detailed explanation is omitted, the maintenance
サーバ３は、電気通信回線Ｎを通じて保守支援者側端末１及び保守作業者側端末２に電気的に接続されており、保守支援者側端末１との間で、及び、保守作業者側端末２との間で、それぞれ双方向にデータ通信可能である。
サーバ３としては、保守支援者側端末１と同じ設置場所に設置されたサーバを用いてもよいし、クラウドサーバを用いることも可能である。
The
As the
以下、以上に説明した概略構成を有する遠隔保守支援システム１００を用いた本実施形態に係る遠隔保守支援方法について説明する。
Hereinafter, the remote maintenance support method according to the present embodiment using the remote
＜本実施形態に係る遠隔保守支援方法＞
図２は、本実施形態に係る遠隔保守支援方法の概略工程を示すワークフロー図である。
図２に示すように、本実施形態に係る遠隔保守支援方法は、第１ステップＳ１と、第２ステップＳ２（具体的には、図２に示すＳ２１～Ｓ２４）と、第３ステップＳ３（具体的には、図２に示すＳ３１～Ｓ３５）と、第４ステップＳ４と、第５ステップＳ５（具体的には、図２に示すＳ５１～Ｓ５３）と、を含む。以下、各ステップＳ１～Ｓ５について、順に説明する。
<Remote maintenance support method according to this embodiment>
FIG. 2 is a workflow diagram showing a schematic process of the remote maintenance support method according to the present embodiment.
As shown in FIG. 2, the remote maintenance support method according to the present embodiment includes a first step S1, a second step S2 (specifically, S21 to S24 shown in FIG. 2), and a third step S3 (specifically). Specifically, it includes S31 to S35) shown in FIG. 2, a fourth step S4, and a fifth step S5 (specifically, S51 to S53 shown in FIG. 2). Hereinafter, each step S1 to S5 will be described in order.
［第１ステップＳ１］
第１ステップＳ１では、保守対象となり得る複数の保守対象候補をサーバ３に予め記憶させる。図１（ａ）に示す例では、３つの保守対象候補Ｔ（Ｔ１～Ｔ３）がサーバ３に予め記憶される。具体的には、各保守対象候補Ｔの識別子（装置番号等）がサーバ３に予め記憶される。サーバ３への記憶は、例えば、保守支援者が保守支援者側端末１を通じて各保守対象候補Ｔの識別子をサーバ３に送信することで実行可能である。或いは、保守作業者が保守作業者側端末２を通じて各保守対象候補Ｔの識別子をサーバ３に送信することで実行してもよい。
[First step S1]
In the first step S1, a plurality of maintenance target candidates that can be maintenance targets are stored in the
［第２ステップＳ２］
第２ステップＳ２では、第１ステップＳ１で記憶された複数の保守対象候補Ｔのうち、保守作業者が保守作業を行う保守対象を特定する。例えば、保守対象候補Ｔ１～Ｔ３のうち、保守対象候補Ｔ１が保守作業を行う保守対象として特定される（以下、適宜、「保守対象候補Ｔ１」を「保守対象Ｔ１」という）。
[Second step S2]
In the second step S2, among the plurality of maintenance target candidates T stored in the first step S1, the maintenance target to which the maintenance worker performs the maintenance work is specified. For example, among the maintenance target candidates T1 to T3, the maintenance target candidate T1 is specified as a maintenance target for performing maintenance work (hereinafter, "maintenance target candidate T1" is appropriately referred to as "maintenance target T1").
具体的には、第２ステップＳ２では、保守作業者が、電話等（遠隔保守支援システム１００を構成する保守支援者側端末１、保守作業者側端末２及びサーバ３以外のツール）を用いて、保守対象Ｔ１の識別子（装置番号等）や、保守対象Ｔ１のトラブルの状況等を保守支援者に連絡する（図２のＳ２１）。
保守支援者は、保守作業者からの連絡を受信し（図２のＳ２２）、連絡の内容（電話での会話の内容等）に基づき、保守対象Ｔ１を特定する（図２のＳ２３）。そして、特定した保守対象Ｔ１の識別子を、例えば、保守支援者が保守支援者側端末１を通じてサーバ３に送信し、サーバ３がこれを記憶する（図２のＳ２４）。ただし、必ずしもこれに限られるものではなく、特定した保守対象Ｔの識別子を保守作業者が保守作業者側端末２を通じてサーバ３に送信して記憶させることも可能である。
Specifically, in the second step S2, the maintenance worker uses a telephone or the like (a tool other than the maintenance
The maintenance supporter receives the communication from the maintenance worker (S22 in FIG. 2), and identifies the maintenance target T1 based on the content of the communication (contents of the conversation on the telephone, etc.) (S23 in FIG. 2). Then, for example, the maintenance supporter transmits the identified identifier of the maintenance target T1 to the
［第３ステップＳ３］
第３ステップＳ３では、サーバ３を介した保守作業者側端末２と保守支援者側端末１との双方向のデータ通信を行うか否かを判断する。
具体的には、保守支援者が、受信した連絡の内容（電話での会話の内容等）（図２のＳ２２）に基づき、保守対象Ｔ１のトラブルを解決できるか否かを判断する（図２のＳ３１）。
[Third step S3]
In the third step S3, it is determined whether or not bidirectional data communication is performed between the maintenance
Specifically, the maintenance supporter determines whether or not the trouble of the maintenance target T1 can be solved based on the contents of the received communication (contents of telephone conversation, etc.) (S22 in FIG. 2) (FIG. 2). S31).
受信した連絡の内容だけではトラブルを解決できず、双方向のデータ通信を行う必要があると判断した場合（図２のＳ３１で「Ｎｏ」の場合）、保守支援者が、保守支援者側端末１を通じて、双方向のデータ通信（保守作業者側端末２と保守支援者側端末１との双方向のデータ通信）の許可を求めるリクエストをサーバ３に送信し、サーバ３がこれを受信する（図２のＳ３２）。ただし、必ずしもこれに限られるものではなく、保守作業者が、保守作業者側端末２を通じてリクエストをサーバ３に送信することも可能である。
なお、受信した連絡の内容だけでトラブルを解決できると判断した場合（図２のＳ３１で「Ｙｅｓ」の場合）、双方向のデータ通信を行うことなく、保守支援者が電話等で必要な支援を行いながら（図２のＳ５２）、保守作業者が保守作業を行う（図２のＳ５３）ことになる。図２では、図示の便宜上、Ｓ３１で「Ｙｅｓ」の場合にもＳ５２を実行するフローになっているが、この場合に実行するＳ５２及び後続のＳ５３は、後述の第４ステップＳ４で生成する加工画像を用いずに、電話等で保守支援者が支援を行い、保守作業者が保守作業を行う態様である。
When it is determined that the trouble cannot be solved only by the contents of the received communication and it is necessary to perform two-way data communication (when "No" in S31 of FIG. 2), the maintenance supporter is the maintenance supporter side terminal. Through 1, a request for permission for bidirectional data communication (bidirectional data communication between the maintenance
If it is determined that the trouble can be solved only by the contents of the received communication (in the case of "Yes" in S31 of FIG. 2), the maintenance supporter needs the support by telephone or the like without performing two-way data communication. (S52 in FIG. 2), the maintenance worker performs the maintenance work (S53 in FIG. 2). In FIG. 2, for convenience of illustration, the flow is such that S52 is executed even in the case of “Yes” in S31, but the S52 executed in this case and the subsequent S53 are the processes generated in the fourth step S4 described later. This is a mode in which a maintenance supporter provides support by telephone or the like and a maintenance worker performs maintenance work without using an image.
リクエストを受信したサーバ３（図２のＳ３２）は、保守作業者側端末２と保守支援者側端末１との双方向のデータ通信を許可する（図２のＳ３３）。これにより、以後、サーバ３を介した保守作業者側端末２と保守支援者側端末１との双方向のデータ通信が可能になる。サーバ３は、双方向のデータ通信を許可したことを示す信号を保守作業者側端末２及び保守支援者側端末１にそれぞれ送信し、保守作業者側端末２及び保守支援者側端末１がこれを受信する（図２のＳ３４、Ｓ３５）。これにより、保守作業者及び保守支援者は、双方向のデータ通信が可能になったことを知ることができる。
なお、第３ステップＳ３のＳ３４、Ｓ３５を実行する際に、保守作業者側端末２及び／又は保守支援者側端末１の電源が入っておらず、双方向のデータ通信を許可したことを示す信号をサーバ３から受信できない又は受信したことに気づかない可能性がある。したがい、保守作業者側端末２及び保守支援者側端末１以外のツールを用いて、サーバ３から電子メール等で保守作業者及び保守支援者に対して双方向のデータ通信を許可したことを連絡する方法を併用することが好ましい。これにより、保守作業者及び保守支援者は、双方向のデータ通信が可能になったことを確実に知ることができ、保守作業者側端末２及び／又は保守支援者側端末１の電源を入れて、その後の双方向のデータ通信を確実に実行することが可能である。なお、双方向のデータ通信の開始には、保守作業者及び保守支援者の都合の良い開始時刻を予め定める予約機能を設けてもよい。
The server 3 (S32 in FIG. 2) that has received the request permits bidirectional data communication between the maintenance
In addition, when executing S34 and S35 of the third step S3, it indicates that the power of the maintenance
第３ステップＳ３では、双方向のデータ通信を行うか否かを判断するだけでなく、双方向のデータ通信を行う必要があると判断した場合（図２のＳ３１で「Ｎｏ」の場合）に保守対象Ｔ１の状態を決定しておくことが好ましい。そして、後述の第５ステップＳ５において、上記の決定した状態で保守対象Ｔ１の保守作業を支援することが好ましい。保守対象Ｔ１の状態としては、例えば、保守対象Ｔ１がヒータやチャンバを備えた基板処理装置である場合、ヒータの電源をオフにした状態や、チャンバを大気開放した状態を例示できる。このように、支援する際の保守対象Ｔの状態を予め決定しておく（保守作業者に段取りしておいて貰う）ことで、効率的に保守作業者を支援することができる。 In the third step S3, not only it is determined whether or not bidirectional data communication is performed, but also when it is determined that bidirectional data communication is necessary (when “No” in S31 of FIG. 2). It is preferable to determine the state of the maintenance target T1. Then, in the fifth step S5 described later, it is preferable to support the maintenance work of the maintenance target T1 in the above-determined state. As the state of the maintenance target T1, for example, when the maintenance target T1 is a substrate processing device provided with a heater or a chamber, a state in which the power of the heater is turned off or a state in which the chamber is open to the atmosphere can be exemplified. In this way, by predetermining the state of the maintenance target T at the time of support (having the maintenance worker set up), it is possible to efficiently support the maintenance worker.
［第４ステップＳ４］
第４ステップＳ４では、第３ステップＳ３で双方向のデータ通信を行うと判断した場合（具体的には、保守作業者側端末２が双方向のデータ通信を許可する信号を受信（図２のＳ３４）した場合）、保守作業者側端末２が、保守作業者側端末２で取得した保守対象Ｔ１を含む撮像画像を構成する画素領域のうち、保守対象Ｔ１以外の画素領域であるマスク画素領域を不可視にした加工画像を生成する。具体的には、保守作業者側端末２の撮像手段２２で保守対象Ｔ１を含む撮像画像を取得し、保守作業者側端末２の制御信号処理手段２６が、取得した撮像画像を構成する画素領域のうち、保守対象Ｔ１以外の画素領域であるマスク画素領域を不可視にした加工画像を生成する。マスク画素領域を不可視にした加工画像の生成方法としては、例えば、特開２０１７－２１１７６６号公報に記載の方法など、種々の方法を適用可能である。生成された加工画像は、必要に応じて、保守作業者側端末２のディスプレイ２３に表示させることが可能である。
なお、第４ステップＳ４における加工画像の生成は、リアルタイムで（保守作業者側端末２が双方向のデータ通信を許可する信号を受信し、なお且つ、保守作業者側端末２で保守対象Ｔ１を含む撮像画像を取得した時点からリアルタイムで）行うことが好ましい。「リアルタイム」とは、保守作業の支援を行う上で支障にならない程度の遅延を含む概念である。加工画像をリアルタイムで生成することにより、後述の第５ステップＳ５における保守作業者が行う保守作業を効率的に支援することが可能である。具体的には、保守作業者側端末２によってリアルタイムで生成され、保守支援者側端末１に遅滞なく表示された加工画像を保守支援者が目視できることで、音声データの双方向のデータ通信との時間的ズレを感じることなく、効率的な支援が可能である。
[Fourth step S4]
In the fourth step S4, when it is determined in the third step S3 that bidirectional data communication is performed (specifically, the maintenance
In the generation of the processed image in the fourth step S4, the maintenance target T1 is generated in real time (the maintenance
［第５ステップＳ５］
第５ステップＳ５では、第４ステップＳ４で生成され、保守作業者側端末２から保守支援者側端末１に送信された加工画像を保守支援者が目視して、保守作業者が行う保守対象の保守作業を支援する。
[Fifth step S5]
In the fifth step S5, the maintenance supporter visually observes the processed image generated in the fourth step S4 and transmitted from the maintenance
具体的には、第５ステップＳ５では、保守作業者が、保守作業者側端末２を通じて、生成された加工画像を保守支援者側端末１に送信し、保守支援者側端末１がこれを受信する（図２のＳ５１）。より具体的には、保守作業者側端末２の制御信号処理手段２６で生成された加工画像が、制御信号処理手段２６の通信手段、電気通信回線Ｎを介して、サーバ３に送信され、更に電気通信回線Ｎを介して、保守支援者側端末１に送信される。
そして、保守支援者は、保守支援者側端末１で受信し、保守支援者側端末１のモニタに表示された加工画像を目視して、保守作業者が行う保守作業を支援し（図２のＳ５２）、保守作業者は、保守支援者の支援を受けながら保守作業を行う（図２のＳ５３）。
保守支援者の支援を受けながらの保守作業者の保守作業は、例えば、保守支援者側端末１のマイクロフォン及びスピーカと、保守作業者側端末２のマイクロフォン２４及びスピーカ２５とを用いた、保守支援者からの作業指示や保守作業者が実行した作業内容に関する音声データの双方向のデータ通信によって実行可能である。
Specifically, in the fifth step S5, the maintenance worker transmits the generated processed image to the maintenance
Then, the maintenance supporter supports the maintenance work performed by the maintenance worker by receiving the received image on the maintenance
The maintenance work of the maintenance worker while receiving the support of the maintenance supporter is, for example, maintenance support using the microphone and the speaker of the maintenance
以上に説明した本実施形態に係る遠隔保守支援方法によれば、第４ステップＳ４において、保守対象Ｔ１以外の画素領域であるマスク画素領域を不可視にした加工画像を、サーバ３ではなく保守作業者側端末２が生成するため、保守作業者に対して情報漏洩に関する安心感を与えることができる。また、第３ステップＳ３において、双方向のデータ通信を行うか否かを判断し、第５ステップＳ５において、必要な場合に保守対象Ｔ１が写っている加工画像を保守支援者が目視できるため、保守対象Ｔ１のトラブルの状況を把握し易く、効率的に保守作業者を支援することができる。このように、本実施形態に係る遠隔保守支援方法によれば、保守作業者に対して情報漏洩に関する安心感を与えつつ、効率的に保守作業者を支援することが可能である。
According to the remote maintenance support method according to the present embodiment described above, in the fourth step S4, the processed image in which the mask pixel area, which is the pixel area other than the maintenance target T1, is invisible, is displayed by the maintenance worker instead of the
なお、本実施形態では、保守作業者側端末２が保守作業者の顔に装着する眼鏡型のウェアラブル端末（ヘッドマウントディスプレイ）である場合を例に挙げて説明したが、本発明はこれに限るものではない。音声データや画像データのデータ通信が可能である限りにおいて、保守作業者側端末２として、保守作業者の身体の他の部位に装着するウェアラブル端末や、スマートフォンなどの単に携帯するだけの端末を用いることも可能である。
In the present embodiment, the case where the maintenance
また、本実施形態では、図１（ａ）に示すように、保守対象Ｔ１が単一である場合を例に挙げて説明したが、本発明はこれに限るものではなく、保守対象Ｔ１が複数である場合にも適用可能である。また、本実施形態では、図１（ａ）に示すように、保守支援者側端末１及び保守作業者側端末２がそれぞれ単一である場合を例に挙げて説明したが、本発明はこれに限るものでなく、保守支援者側端末１及び／又は保守作業者側端末２が複数である場合にも適用可能である。
Further, in the present embodiment, as shown in FIG. 1A, the case where the maintenance target T1 is single has been described as an example, but the present invention is not limited to this, and there are a plurality of maintenance target T1s. It is also applicable when. Further, in the present embodiment, as shown in FIG. 1A, the case where the maintenance
さらに、本実施形態では、第２ステップＳ２において、保守作業者から受信した連絡の内容（電話での会話の内容等）に基づき、保守対象Ｔ１を特定する（図２のＳ２３）場合を例に挙げて説明したが、本発明はこれに限るものではない。例えば、保守作業者から受信した連絡の内容に基づき、保守対象Ｔ１を特定する態様に代えて、サーバ３が保守作業者側端末２から送信された撮像画像に基づき、保守対象Ｔ１を特定する態様を採用することも可能である。具体的には、以下のような態様を採用することも可能である。まず、保守作業者が、保守作業者側端末２で保守対象Ｔ１を含む撮像画像を取得し、この撮像画像を保守作業者側端末２を通じて、サーバ３に送信する。具体的には、保守作業者側端末２の撮像手段２２で保守対象Ｔ１を含む撮像画像を取得し、保守作業者側端末２の制御信号処理手段２６の通信手段、電気通信回線Ｎを介して、サーバ３に送信される。そして、サーバ３が、保守作業者側端末２から送信された撮像画像に基づき、保守対象Ｔ１（保守対象Ｔ１の識別子）を特定し、これを記憶する。保守対象Ｔ１の特定方法としては、例えば、保守対象Ｔ１に付された保守対象識別用のマーカ（ＡＲマーカ、ＱＲコード（登録商標）等）を含むように保守作業者側端末２で撮像画像を取得し、サーバ３が、この撮像画像に所定の画像処理を施すことで、マーカに相当する画素領域を抽出し、この抽出した画素領域を解析することで、保守対象Ｔ１の識別子（装置番号等）を特定することが考えられる。ＡＲマーカ等のマーカに含まれる情報を解析する方法は公知であるため、ここでは詳細な説明を省略する。
或いは、第２ステップＳ２において、保守作業者から受信した連絡の内容で保守対象Ｔ１を特定できなかった場合に、上記と同様に、サーバ３が保守作業者側端末２から送信された撮像画像に基づき、保守対象Ｔ１を特定する態様を採用することも可能である。
Further, in the present embodiment, as an example, in the second step S2, the maintenance target T1 is specified based on the content of the communication received from the maintenance worker (content of the conversation on the telephone, etc.) (S23 in FIG. 2). As described above, the present invention is not limited to this. For example, instead of specifying the maintenance target T1 based on the content of the communication received from the maintenance worker, the
Alternatively, in the second step S2, when the maintenance target T1 cannot be specified by the content of the communication received from the maintenance worker, the
なお、本実施形態のように、保守対象候補Ｔが基板処理装置等の産業用機器である場合、保守対象がＩＴシステムである場合に比べて、以下の理由により、本実施形態の遠隔保守支援システム１００及びこれを用いた遠隔保守支援方法が好適に用いられる。
ＩＴシステムは、インターネット等の電気通信回線Ｎに接続されていることが一般的であるため、ＩＴシステムの状況を遠隔から把握し、必要に応じて遠隔から保守作業を支援することは比較的容易である。
これに対し、基板処理装置等の産業用機器は、セキュリティ上の理由等から、インターネット等の電気通信回線Ｎに直接接続されていないのが一般的である。したがい、保守対象候補Ｔ、ひいてはその中から特定される保守対象Ｔ１が産業用機器である場合、遠隔から保守作業の支援を行う際に、保守対象Ｔ１自体は、電気通信回線Ｎ、ひいてはサーバ３や保守支援者側端末１に電気的に接続されていないことを前提とする必要がある。
また、産業用機器は、機械要素を含み、その破損、腐食、振動、騒音などの状況を把握することが容易ではない。また、産業用機器が基板処理装置のように有体物を製造する製造装置である場合、トラブル発生時の有体物（基板など）の状況を把握することも容易ではない。
したがい、保守対象候補Ｔが産業用機器である場合、保守対象がＩＴシステムである場合に比べて、保守支援者が産業用機器の加工画像を目視しながら保守作業の支援を行うことができるという本実施形態の遠隔保守支援システム１００及びこれを用いた遠隔保守支援方法の利点が活かされ易い。
When the maintenance target candidate T is an industrial device such as a board processing device as in the present embodiment, the remote maintenance support of the present embodiment is compared with the case where the maintenance target is an IT system for the following reasons. The
Since an IT system is generally connected to a telecommunication line N such as the Internet, it is relatively easy to remotely grasp the status of the IT system and remotely support maintenance work as needed. Is.
On the other hand, industrial equipment such as a substrate processing apparatus is generally not directly connected to a telecommunication line N such as the Internet for security reasons. Therefore, when the maintenance target candidate T and the maintenance target T1 specified from the maintenance target T1 are industrial equipment, the maintenance target T1 itself is the telecommunication line N and eventually the
In addition, industrial equipment includes mechanical elements, and it is not easy to grasp the conditions such as damage, corrosion, vibration, and noise. Further, when the industrial equipment is a manufacturing apparatus for manufacturing a tangible object such as a substrate processing apparatus, it is not easy to grasp the state of the tangible object (such as a substrate) when a trouble occurs.
Therefore, when the maintenance target candidate T is an industrial device, the maintenance supporter can support the maintenance work while visually observing the processed image of the industrial device, as compared with the case where the maintenance target is an IT system. The advantages of the remote
１・・・保守支援者側端末
２・・・保守作業者側端末
３・・・サーバ
２１・・・フレーム
２２・・・撮像手段
２３・・・ディスプレイ
２４・・・マイクロフォン
２５・・・スピーカ
２６・・・制御信号処理手段
１００・・・遠隔保守支援システム
Ｎ・・・電気通信回線
Ｔ、Ｔ１、Ｔ２、Ｔ３・・・保守対象候補
1 ... Maintenance
前記課題を解決するため、本発明は、保守支援者が操作する保守支援者側端末と、前記保守支援者側端末に対して遠隔に配置され、保守作業者が操作する保守作業者側端末と、前記保守支援者側端末及び前記保守作業者側端末に電気通信回線を通じて電気的に接続されたサーバと、を用いて、前記保守作業者が行う保守対象の保守作業を支援する遠隔保守支援方法であって、以下の第１～第５ステップを含むことを特徴とする遠隔保守支援方法を提供する。
（１）第１ステップ：前記保守支援者又は前記保守作業者が、前記保守対象となり得る複数の保守対象候補を前記サーバに予め記憶させる。
（２）第２ステップ：前記保守支援者又は前記サーバが、前記第１ステップで記憶された前記複数の保守対象候補のうち、前記保守作業者が保守作業を行う前記保守対象を特定する。
（３）第３ステップ：前記保守支援者が、前記サーバを介した前記保守作業者側端末と前記保守支援者側端末との双方向のデータ通信を行うか否かを判断する。
（４）第４ステップ：前記第３ステップで前記双方向のデータ通信を行うと判断した場合に、前記保守作業者側端末が取得した、前記第２ステップで特定した前記保守対象を含む撮像画像を構成する画素領域のうち、前記保守対象以外の画素領域であるマスク画素領域を不可視にした加工画像を前記保守作業者側端末が生成する。
（５）第５ステップ：前記第４ステップで生成された前記加工画像を前記保守作業者側端末から前記保守支援者側端末に送信し、前記送信された前記加工画像を前記保守支援者が目視して、前記保守作業者側端末と前記保守支援者側端末との双方向のデータ通信によって、前記保守支援者が、前記保守作業者が行う前記保守対象の保守作業を支援する。
また、前記課題を解決するため、本発明は、保守支援者が操作する保守支援者側端末と、前記保守支援者側端末に対して遠隔に配置され、保守作業者が操作する保守作業者側端末と、前記保守支援者側端末及び前記保守作業者側端末に電気通信回線を通じて電気的に接続されたサーバと、を用いて、前記保守作業者が行う保守対象の保守作業を支援する遠隔保守支援方法であって、以下の第１～第５ステップを含むことを特徴とする遠隔保守支援方法としても提供される。
（ａ）第１ステップ：前記保守支援者又は前記保守作業者が、前記保守対象となり得る複数の保守対象候補を前記サーバに予め記憶させる。
（ｂ）第２ステップ：前記保守支援者が、前記保守支援者側端末、前記保守作業者側端末及び前記サーバ以外のツールを用いて、前記保守作業者から連絡を受信し、前記保守支援者が、受信した連絡の内容に基づき、前記第１ステップで記憶された前記複数の保守対象候補のうち、前記保守作業者が保守作業を行う前記保守対象を特定する。
（ｃ）第３ステップ：前記保守支援者が、前記サーバを介した前記保守作業者側端末と前記保守支援者側端末との双方向のデータ通信を行うか否かを判断する。
（ｄ）第４ステップ：前記第３ステップで前記双方向のデータ通信を行うと判断した場合に、前記保守作業者側端末が取得した、前記第２ステップで特定した前記保守対象を含む撮像画像を構成する画素領域のうち、前記保守対象以外の画素領域であるマスク画素領域を不可視にした加工画像を前記保守作業者側端末が生成する。
（ｅ）第５ステップ：前記第４ステップで生成された前記加工画像を前記保守作業者側端末から前記保守支援者側端末に送信し、前記送信された前記加工画像を前記保守支援者が目視して、前記保守作業者側端末と前記保守支援者側端末との双方向のデータ通信によって、前記保守支援者が、前記保守作業者が行う前記保守対象の保守作業を支援する。
In order to solve the above-mentioned problems, the present invention includes a maintenance supporter-side terminal operated by a maintenance supporter and a maintenance worker-side terminal remotely arranged with respect to the maintenance supporter-side terminal and operated by the maintenance worker. , A remote maintenance support method for supporting maintenance work to be maintained by the maintenance worker by using a server electrically connected to the maintenance supporter side terminal and the maintenance worker side terminal through a telecommunication line. The present invention provides a remote maintenance support method comprising the following first to fifth steps.
(1) First step: The maintenance supporter or the maintenance worker stores a plurality of potential maintenance target candidates in the server in advance.
(2) Second step: The maintenance supporter or the server identifies the maintenance target for which the maintenance worker performs maintenance work among the plurality of maintenance target candidates stored in the first step.
(3) Third step: It is determined whether or not the maintenance supporter performs bidirectional data communication between the maintenance worker side terminal and the maintenance supporter side terminal via the server.
(4) Fourth step: An captured image including the maintenance target specified in the second step acquired by the maintenance worker side terminal when it is determined in the third step that the two-way data communication is performed. The maintenance worker side terminal generates a processed image in which the mask pixel area, which is a pixel area other than the maintenance target, is invisible among the pixel areas constituting the above.
(5) Fifth step: The processed image generated in the fourth step is transmitted from the maintenance worker side terminal to the maintenance supporter side terminal, and the transmitted processed image is visually observed by the maintenance supporter. Then, the maintenance supporter supports the maintenance work of the maintenance target performed by the maintenance worker by bidirectional data communication between the maintenance worker side terminal and the maintenance supporter side terminal .
Further, in order to solve the above-mentioned problems, the present invention is provided on the maintenance worker side, which is remotely arranged to the maintenance supporter side terminal operated by the maintenance supporter and the maintenance supporter side terminal, and is operated by the maintenance worker. Remote maintenance that supports maintenance work to be maintained by the maintenance worker using a terminal and a server that is electrically connected to the maintenance supporter side terminal and the maintenance worker side terminal through a telecommunication line. It is a support method, and is also provided as a remote maintenance support method characterized by including the following first to fifth steps.
(A) First step: The maintenance supporter or the maintenance worker stores a plurality of potential maintenance target candidates in the server in advance.
(B) Second step: The maintenance supporter receives a contact from the maintenance worker using a tool other than the maintenance supporter side terminal, the maintenance worker side terminal, and the server, and the maintenance supporter However, among the plurality of maintenance target candidates stored in the first step, the maintenance target to which the maintenance worker performs maintenance work is specified based on the content of the received communication.
(C) Third step: It is determined whether or not the maintenance supporter performs bidirectional data communication between the maintenance worker side terminal and the maintenance supporter side terminal via the server.
(D) Fourth step: An captured image including the maintenance target specified in the second step acquired by the maintenance worker side terminal when it is determined in the third step that the two-way data communication is performed. The maintenance worker side terminal generates a processed image in which the mask pixel area, which is a pixel area other than the maintenance target, is invisible among the pixel areas constituting the above.
(E) Fifth step: The processed image generated in the fourth step is transmitted from the maintenance worker side terminal to the maintenance supporter side terminal, and the transmitted processed image is visually observed by the maintenance supporter. Then, the maintenance supporter supports the maintenance work of the maintenance target performed by the maintenance worker by bidirectional data communication between the maintenance worker side terminal and the maintenance supporter side terminal.
好ましくは、前記第３ステップで前記双方向のデータ通信を行うと判断した場合に、前記保守支援者が、前記保守支援者側端末を通じて、双方向のデータ通信の許可を求めるリクエストを前記サーバに送信するか、或いは、前記保守作業者が、前記保守作業者側端末を通じて前記リクエストを前記サーバに送信し、前記リクエストを受信した前記サーバが、前記保守作業者側端末と前記保守支援者側端末との双方向のデータ通信を許可し、双方向のデータ通信を許可したことを示す信号を前記保守作業者側端末及び前記保守支援者側端末にそれぞれ送信する。
上記の好ましい方法において、より好ましくは、前記第４ステップにおいて、前記保守作業者側端末が前記双方向のデータ通信を許可したことを示す信号を受信し、なお且つ、前記保守作業者側端末で前記保守対象を含む撮像画像を取得した時点からリアルタイムで、前記保守作業者側端末が前記加工画像を生成する。
また、好ましくは、前記保守作業者側端末は、撮像手段を具備し保守作業者が装着するウェアラブル端末である。
Preferably, when it is determined in the third step that the bidirectional data communication is performed, the maintenance supporter requests the server for permission of the bidirectional data communication through the maintenance supporter side terminal. The maintenance worker or the maintenance worker sends the request to the server through the maintenance worker side terminal, and the server receiving the request is the maintenance worker side terminal and the maintenance supporter side terminal. Bidirectional data communication with and is permitted, and a signal indicating that bidirectional data communication is permitted is transmitted to the maintenance worker side terminal and the maintenance supporter side terminal, respectively.
In the above preferred method, more preferably, in the fourth step, the maintenance worker side terminal receives a signal indicating that the two-way data communication is permitted, and the maintenance worker side terminal receives a signal. The maintenance worker side terminal generates the processed image in real time from the time when the captured image including the maintenance target is acquired.
Further, preferably, the maintenance worker side terminal is a wearable terminal provided with an image pickup means and worn by the maintenance worker.
上記最後の好ましい方法によれば、保守作業者側端末がタブレット型のコンピュータやスマートフォンである場合と異なり、保守作業者側端末（ウェアラブル端末）を保守作業者が手で持つ必要がないため、保守作業が容易になるという利点が得られる。また、保守作業者が移動すると、保守作業者側端末（ウェアラブル端末）も確実に移動するため、保守作業者の位置に応じて保守対象を含む撮像画像を確実に取得可能である。 According to the last preferred method described above, unlike the case where the maintenance worker side terminal is a tablet computer or a smartphone, the maintenance worker side terminal (wearable terminal) does not need to be held by the maintenance worker side, and therefore maintenance is performed. It has the advantage of facilitating work. Further, when the maintenance worker moves, the maintenance worker side terminal (wearable terminal) also moves reliably, so that it is possible to reliably acquire the captured image including the maintenance target according to the position of the maintenance worker.
Claims (4)
前記保守対象となり得る複数の保守対象候補を前記サーバに予め記憶させる第１ステップと、
前記第１ステップで記憶された前記複数の保守対象候補のうち、前記保守作業者が保守作業を行う前記保守対象を特定する第２ステップと、
前記サーバを介した前記保守作業者側端末と前記保守支援者側端末との双方向のデータ通信を行うか否かを判断する第３ステップと、
前記第３ステップで前記双方向のデータ通信を行うと判断した場合に、前記保守作業者側端末が取得した前記第２ステップで特定した前記保守対象を含む撮像画像を構成する画素領域のうち、前記保守対象以外の画素領域であるマスク画素領域を不可視にした加工画像を前記保守作業者側端末が生成する第４ステップと、
前記第４ステップで生成され、前記保守作業者側端末から前記保守支援者側端末に送信された前記加工画像を前記保守支援者が目視して、前記保守作業者が行う前記保守対象の保守作業を支援する第５ステップと、を含む、
ことを特徴とする遠隔保守支援方法。 The maintenance supporter-side terminal operated by the maintenance supporter, the maintenance worker-side terminal remotely arranged and operated by the maintenance worker, the maintenance supporter-side terminal, and the maintenance work. It is a remote maintenance support method that supports the maintenance work of the maintenance target performed by the maintenance worker by using a server electrically connected to the terminal on the user side.
The first step of storing a plurality of maintenance target candidates that can be maintenance targets in the server in advance, and
Among the plurality of maintenance target candidates stored in the first step, the second step of specifying the maintenance target on which the maintenance worker performs maintenance work and the second step.
The third step of determining whether or not bidirectional data communication between the maintenance worker side terminal and the maintenance supporter side terminal is performed via the server, and
Of the pixel areas constituting the captured image including the maintenance target specified in the second step acquired by the maintenance worker side terminal when it is determined in the third step that the bidirectional data communication is performed. The fourth step in which the maintenance worker side terminal generates a processed image in which the mask pixel area, which is a pixel area other than the maintenance target, is invisible.
The maintenance work performed by the maintenance worker by visually observing the processed image generated in the fourth step and transmitted from the maintenance worker side terminal to the maintenance supporter side terminal. Including, with the 5th step to support
A remote maintenance support method characterized by this.
ことを特徴とする請求項１に記載の遠隔保守支援方法。 The maintenance worker side terminal is a wearable terminal provided with an image pickup means and worn by the maintenance worker.
The remote maintenance support method according to claim 1, wherein the remote maintenance support method is characterized in that.
ことを特徴とする請求項２に記載の遠隔保守支援方法。 The wearable terminal is a head-mounted display provided with a display.
The remote maintenance support method according to claim 2, characterized in that.
ことを特徴とする請求項１から３の何れかに記載の遠隔保守支援方法。 The maintenance target candidate is industrial equipment.
The remote maintenance support method according to any one of claims 1 to 3, wherein the remote maintenance support method is characterized by the above.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020141925A JP2022037675A (en) | 2020-08-25 | 2020-08-25 | Remote maintenance support method |
| JP2022065158A JP2022088678A (en) | 2020-08-25 | 2022-04-11 | Remote maintenance support method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020141925A JP2022037675A (en) | 2020-08-25 | 2020-08-25 | Remote maintenance support method |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022065158A Division JP2022088678A (en) | 2020-08-25 | 2022-04-11 | Remote maintenance support method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2022037675A true JP2022037675A (en) | 2022-03-09 |
Family
ID=80494744
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020141925A Pending JP2022037675A (en) | 2020-08-25 | 2020-08-25 | Remote maintenance support method |
| JP2022065158A Pending JP2022088678A (en) | 2020-08-25 | 2022-04-11 | Remote maintenance support method |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022065158A Pending JP2022088678A (en) | 2020-08-25 | 2022-04-11 | Remote maintenance support method |
Country Status (1)
| Country | Link |
|---|---|
| JP (2) | JP2022037675A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024018975A1 (en) * | 2022-07-20 | 2024-01-25 | パナソニックＩｐマネジメント株式会社 | Information processing method, information processing device, and information processing program |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000187651A (en) * | 1998-03-16 | 2000-07-04 | Agfa Corp | Method and device for offering technical product support from remote site |
| JP2014158244A (en) * | 2013-02-18 | 2014-08-28 | Ntt Data Corp | Image processing device, image processing method, and image processing program |
| JP2017211766A (en) * | 2016-05-24 | 2017-11-30 | 株式会社Ｓｃｒｅｅｎホールディングス | Image processing system, image processing program, and image processing method |
| JP2018036812A (en) * | 2016-08-31 | 2018-03-08 | 株式会社日立システムズ | System and method for remotely supporting it operation work |
| JP2020016998A (en) * | 2018-07-24 | 2020-01-30 | ファナック株式会社 | Management device of industrial machinery |
-
2020
- 2020-08-25 JP JP2020141925A patent/JP2022037675A/en active Pending
-
2022
- 2022-04-11 JP JP2022065158A patent/JP2022088678A/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000187651A (en) * | 1998-03-16 | 2000-07-04 | Agfa Corp | Method and device for offering technical product support from remote site |
| JP2014158244A (en) * | 2013-02-18 | 2014-08-28 | Ntt Data Corp | Image processing device, image processing method, and image processing program |
| JP2017211766A (en) * | 2016-05-24 | 2017-11-30 | 株式会社Ｓｃｒｅｅｎホールディングス | Image processing system, image processing program, and image processing method |
| JP2018036812A (en) * | 2016-08-31 | 2018-03-08 | 株式会社日立システムズ | System and method for remotely supporting it operation work |
| JP2020016998A (en) * | 2018-07-24 | 2020-01-30 | ファナック株式会社 | Management device of industrial machinery |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024018975A1 (en) * | 2022-07-20 | 2024-01-25 | パナソニックＩｐマネジメント株式会社 | Information processing method, information processing device, and information processing program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022088678A (en) | 2022-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200322506A1 (en) | Image processing system, non-transitory recording medium, and image processing method | |
| WO2015060393A1 (en) | Remote action guidance system and processing method therefor | |
| JP6970858B2 (en) | Maintenance support system, maintenance support method, program and processed image generation method | |
| JP2013016020A (en) | Work support system, apparatus, method, and program | |
| WO2020068269A1 (en) | Methods, systems, and media for indicating a security status of an internet of things device | |
| JP2022088678A (en) | Remote maintenance support method | |
| KR102305405B1 (en) | Remote work support system using head mounted display apparatus and augmented reality | |
| JP2007320715A (en) | Work relation information provision system and work relation information provision method | |
| US11137600B2 (en) | Display device, display control method, and display system | |
| EP3687144B1 (en) | Mobile terminal | |
| KR20200122754A (en) | Smart glass system for providing augmented reality image | |
| CN110286969A (en) | The system virtually helped for the operator to wood handling machine | |
| CN111752221B (en) | Control system | |
| WO2020196276A1 (en) | Maintenance assistance system, maintenance assistance method, program, method for generating processed image, and processed image | |
| CN208673383U (en) | Repairing auxiliary device and system | |
| JP2022114111A (en) | Work support system, work support control device, and work support control program | |
| TWI810486B (en) | Augmented reality real-time interactive service sales and maintenance system | |
| KR20160140009A (en) | Remote control apparatus having integrated remote control program and method for remote control | |
| JP2024024393A (en) | Support device, support system and support method | |
| JP2022184481A (en) | Image restriction method, image restriction program, information processor, and support system | |
| WO2020230322A1 (en) | Image processing device and image processing method | |
| JP2003087190A (en) | Portable terminal device for maintenance and information terminal system for maintenance | |
| JP2016212451A (en) | Secret information display control system, server, method for controlling secret information display, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200902 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200902 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20201009 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210108 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210216 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210416 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210831 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211126 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20211126 |
|
| C876 | Explanation why request for accelerated appeal examination is justified |
Free format text: JAPANESE INTERMEDIATE CODE: C876 Effective date: 20211126 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20211203 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20211207 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20220114 |
|
| C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20220118 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20220118 |
|
| C305 | Report on accelerated appeal examination |
Free format text: JAPANESE INTERMEDIATE CODE: C305 Effective date: 20220118 |
|
| C302 | Record of communication |
Free format text: JAPANESE INTERMEDIATE CODE: C302 Effective date: 20220120 |
|
| C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20220208 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20220412 |
|
| C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20220510 |
|
| C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20220607 |
|
| C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20220607 |