JP6969807B2 - Work support system - Google Patents

Work support system Download PDF

Info

Publication number
JP6969807B2
JP6969807B2 JP2019173566A JP2019173566A JP6969807B2 JP 6969807 B2 JP6969807 B2 JP 6969807B2 JP 2019173566 A JP2019173566 A JP 2019173566A JP 2019173566 A JP2019173566 A JP 2019173566A JP 6969807 B2 JP6969807 B2 JP 6969807B2
Authority
JP
Japan
Prior art keywords
work
worker
display
site
support
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019173566A
Other languages
Japanese (ja)
Other versions
JP2021051519A (en
Inventor
清祥 米森
Original Assignee
サン・シールド株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by サン・シールド株式会社 filed Critical サン・シールド株式会社
Priority to JP2019173566A priority Critical patent/JP6969807B2/en
Publication of JP2021051519A publication Critical patent/JP2021051519A/en
Application granted granted Critical
Publication of JP6969807B2 publication Critical patent/JP6969807B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、ＭＲ（Mixed Reality：複合現実）デバイスを用いて作業員の現場作業を支援する作業支援システムに関する。 The present invention relates to a work support system that supports workers' on-site work using an MR (Mixed Reality) device.

従来、ＶＲ（仮想現実）デバイスを用いて、機材を作業現場に自動的に配置するシステムが知られている。このシステムでは、作業員がＨＭＤ（ヘッドマウントディスプレイ）を装着し、カメラの撮影範囲にフラッグを立て、これを基準に土地の間口、奥行き等の距離を測定する。そして、ＨＭＤに表示された仮想空間に３次元画像で描かれた資材データを融合させ、パターン化、システム化された配置データに基づいて最適な機材配置を自動的に提供するように構成されている。 Conventionally, a system that automatically arranges equipment at a work site using a VR (virtual reality) device has been known. In this system, a worker wears an HMD (head-mounted display), sets a flag in the shooting range of the camera, and measures the distance such as the frontage and depth of the land based on this. Then, the material data drawn in the 3D image is fused with the virtual space displayed on the HMD, and it is configured to automatically provide the optimum equipment layout based on the patterned and systemized layout data. There is.

また、コンピュータで生成した仮想現実をＨＭＤに表示し、家具類の販売促進または建設作業員の教育に用いる技術も提案されている。例えば、特許文献１には、ＨＭＤに表示した仮想現実空間内で家具類のレイアウトを変え、ＨＭＤ装着者に内装リフォームの提案を行う「仮想現実システム」が記載されている。特許文献２には、ＨＭＤが表示した仮想現実空間内に学習モデルを配置し、学習者に実際の建設現場と同様な感覚で鉄筋の配筋作業を学習させる「教育支援システム」が記載されている。 In addition, a technique of displaying a virtual reality generated by a computer on an HMD and using it for sales promotion of furniture or education of construction workers has also been proposed. For example, Patent Document 1 describes a "virtual reality system" that changes the layout of furniture in a virtual reality space displayed on an HMD and proposes interior remodeling to an HMD wearer. Patent Document 2 describes an "education support system" in which a learning model is placed in a virtual reality space displayed by an HMD and the learner learns the reinforcement work of reinforcing bars with the same feeling as an actual construction site. There is.

特開２０１８−１３５６２号公報Japanese Unexamined Patent Publication No. 2018-13562 特開２０１８−１２８５１０号公報Japanese Unexamined Patent Publication No. 2018-128510

ところが、従来のＶＲデバイスを用いたシステムによると、ＨＭＤ装着者が仮想現実空間において作業を模擬的に体験するため、次のような課題があった。
（１）測定、検査、整備等の作業は人が現場に行かないと実施できないため、作業員が現場に到着するまでの間は作業ができないうえ、一人の作業員が担当可能な現場の数も限られ、総じて現場作業の能率が悪かった。
（２）建設機械、土木機械は、操作に多くの技術を習得する必要があるうえ、実技訓練を通して経験を積む必要もあり、経験の浅い作業員を一人で現場作業できるまでに育成するには多くの時間がかかった。
（３）文書や映像を用いた机上学習では技術の継承が困難であり、熟練技術者の高齢化も相俟ってベテランのノウハウが失われ、人材不足への対応が急務となっている。 However, according to the system using the conventional VR device, the HMD wearer experiences the work in a simulated reality space, which has the following problems.
(1) Since work such as measurement, inspection, and maintenance cannot be performed unless a person goes to the site, the work cannot be performed until the worker arrives at the site, and the number of sites that one worker can handle. However, the efficiency of on-site work was generally inefficient.
(2) Construction machinery and civil engineering machinery need to acquire many skills for operation and also need to gain experience through practical training, so in order to train inexperienced workers to the point where they can work on-site alone. It took a lot of time.
(3) It is difficult to pass on the technology by desk learning using documents and videos, and the know-how of veterans is lost due to the aging of skilled engineers, and there is an urgent need to deal with the shortage of human resources.

本発明は、上記課題に鑑みてなされたものであり、その目的は、現場作業の能率を高め、人材育成に貢献する作業支援システムを提供することにある。 The present invention has been made in view of the above problems, and an object of the present invention is to provide a work support system that enhances the efficiency of on-site work and contributes to human resource development.

上記課題を解決するために、本発明の作業支援システム（１）は、作業員（６）によって携帯されるＭＲデバイス（５１）を備える。ＭＲデバイスには、光透過性のディスプレイ（５１１）とカメラ（５１４）とが設けられる。ディスプレイは、現実空間透写部（３１）と仮想空間表示部（３２）とを複合的に有する。また、作業支援システムは、データベース（１２）と支援サーバ（１３）とを備える。データベースには、作業員による現場作業を支援する複数の作業支援情報が記憶される。支援サーバは、ネットワークを介してＭＲデバイスおよびデータベースに接続され、作業支援情報をデータベースから読み出してＭＲデバイスに転送する。そして、ＭＲデバイスは、作業現場の光景をディスプレイの現実空間透写部に透かし写し、カメラが撮影した作業現場の映像を支援サーバに送信し、支援サーバから受信した作業支援情報をディスプレイの仮想空間表示部に表示するように構成される。 In order to solve the above problems, the work support system of the present invention (1) is provided with a MR device carried by the operator (6) (5 1). The MR device, a light transmissive display and (5 11) and the camera (5 14) is provided. The display has a real space transparent unit (31) and a virtual space display unit (32) in a complex manner. Further, the work support system includes a database (12) and a support server (13). The database stores a plurality of work support information that supports on-site work by workers. The support server is connected to the MR device and the database via the network, reads the work support information from the database, and transfers the work support information to the MR device. Then, the MR device captures the scene of the work site in the real space transparent part of the display, transmits the image of the work site taken by the camera to the support server, and sends the work support information received from the support server to the virtual space of the display. It is configured to be displayed on the display unit.

本発明では、ＭＲデバイス（５１）は、盾形に形成されたディスプレイ（５１１）と、ディスプレイを作業員の手で携帯するハンドル（５１２）とを備える。
参考形態では、ＭＲデバイス（１１）は、研削機の検査および整備を行う作業員によって携帯される。ＭＲデバイスは、研削機の検査および整備を行う作業現場の光景をディスプレイ（１１１）の現実空間透写部に透かし写す。
本発明の好ましい実施形態では、支援サーバが、ＭＲデバイスから受信したカメラの映像から作業現場の機器または機材に付された識別符号（２５）を読み取り、識別符号に基づいて作業支援情報をデータベースから読み出す。 In this onset bright, MR device (51) includes a display (511) formed in the shield-shaped, and a handle (512) to carry the display in the hands of workers.
In the reference form , the MR device (11) is carried by a worker who inspects and maintains the grinder. The MR device watermarks the scene of the work site where the inspection and maintenance of the grinder is performed on the transparent part of the real space of the display (111).
In a preferred embodiment of the present invention, the support server reads the identification code (25) attached to the equipment or equipment at the work site from the image of the camera received from the MR device, and obtains the work support information from the database based on the identification code. read out.

上記構成の作業支援システムによれば、作業員がＭＲデバイスのディスプレイを通して現場の機器または機材を視認しつつ、支援サーバから受け取った作業支援情報に基づいて現場作業を容易に実施できる。したがって、現場作業の能率が向上するうえ、経験の浅い作業員を短期間に育成することが可能になる。 According to the work support system having the above configuration, the worker can easily perform the on-site work based on the work support information received from the support server while visually recognizing the on-site equipment or equipment through the display of the MR device. Therefore, the efficiency of on-site work is improved, and it becomes possible to train inexperienced workers in a short period of time.

掘削機の検査、整備作業を行う現場の斜視図である。It is a perspective view of the site where the inspection and maintenance work of the excavator is performed. 本発明の一実施形態を示す作業支援システムのブロック図である。It is a block diagram of the work support system which shows one Embodiment of this invention. ＭＲデバイスの外観を示す斜視図である。It is a perspective view which shows the appearance of an MR device. 掘削機の制御盤を示す正面図である。It is a front view which shows the control panel of an excavator. ＭＲデバイスのディスプレイ画面を例示する模式図である。It is a schematic diagram which illustrates the display screen of an MR device. 現場作業の全体的な流れを示すフローチャートである。It is a flowchart which shows the overall flow of the field work. 準備、検査、整備工程の流れを示すフローチャートである。It is a flowchart which shows the flow of preparation, inspection, maintenance process. 作業支援プログラムを示すフローチャートである。It is a flowchart which shows the work support program. 作業員の技術習熟度を評価する手順を示すフローチャートである。It is a flowchart which shows the procedure which evaluates the technical readiness level of a worker. ＭＲデバイスの変形例を示す（ａ）斜視図、（ｂ）側面図である。It is (a) perspective view and (b) side view which shows the modification of the MR device.

（一実施形態）
以下、本発明の一実施形態を図面に基づいて説明する。図１に示すように、この実施形態の作業支援システム１は、掘削機２の検査、整備を行う作業現場３に適用されている。作業現場３には、掘削機２を載置する作業台４が設置されている。掘削機２には、地盤を穿孔するドリルビット５が取り付けられるとともに、ドリルビット５を回転するモータ、制御盤等の機器または機材（図示略）が内蔵されている。図１には、一人の作業員６がＭＲデバイス１１を装着し、掘削機２の制御盤に向かって作業をしている様子が示されている。 (One embodiment)
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. As shown in FIG. 1, the work support system 1 of this embodiment is applied to a work site 3 for inspecting and servicing an excavator 2. At the work site 3, a work table 4 on which the excavator 2 is placed is installed. A drill bit 5 for drilling the ground is attached to the excavator 2, and equipment or equipment (not shown) such as a motor for rotating the drill bit 5 and a control panel is built in the excavator 2. FIG. 1 shows a worker 6 wearing an MR device 11 and working toward a control panel of an excavator 2.

図２に示すように、作業支援システム１は、作業員６が携帯するＭＲデバイス１１、現場作業に関連する作業支援情報を記憶するデータベース１２、作業支援情報をＭＲデバイス１１に提供する支援サーバ１３、遠隔地の指導員が携帯する指導員携帯端末１４とから構成されている。ＭＲデバイス１１、データベース１２、支援サーバ１３および指導員携帯端末１４は、それぞれインターネット等のネットワーク（図示略）を介して双方向通信可能に接続されている。 As shown in FIG. 2, the work support system 1 includes an MR device 11 carried by a worker 6, a database 12 that stores work support information related to on-site work, and a support server 13 that provides work support information to the MR device 11. It is composed of an instructor mobile terminal 14 carried by an instructor in a remote location. The MR device 11, the database 12, the support server 13, and the instructor mobile terminal 14 are connected to each other via a network (not shown) such as the Internet so that bidirectional communication is possible.

ＭＲデバイス１１は、図３に示すように、作業員６の頭部に装着されるＨＭＤであって、頭部に着脱される可撓性のバンド部材１１０を備えている。このバンド部材１１０には、作業現場３を透視可能な光透過性のディスプレイ１１１と、作業現場３の光景を撮影するカメラ１１２とが取り付けられている。ディスプレイ１１１は、バンド部材１１０に対して上下に回動可能に支持され、作業員の目を覆う使用位置と開放する非使用位置とに配置される。 As shown in FIG. 3, the MR device 11 is an HMD attached to the head of the worker 6 and includes a flexible band member 110 attached to and detached from the head. A light-transmitting display 111 capable of seeing through the work site 3 and a camera 112 for photographing the scene of the work site 3 are attached to the band member 110. The display 111 is rotatably supported up and down with respect to the band member 110, and is arranged at a used position that covers the eyes of the worker and a non-used position that opens.

また、ＭＲデバイス１１には、図２に示すように、作業員６の視線を検知する視線センサ１１３、指導員または別の作業員６との会話に使用するマイク１１４およびスピーカ１１５、検査または整備結果等の作業情報を記憶するメモリ１１６、通信部１１７および制御部１１８等が設けられている。通信部１１７は、ＭＲデバイス１１と支援サーバ１３および指導員携帯端末１４との通信を管理する。制御部１１８は、視線センサ１１３の出力に従ってカメラ１１２の焦点を自動制御するなど、ＭＲデバイス１１全体の制御を行う。 Further, as shown in FIG. 2, the MR device 11 includes a line-of-sight sensor 113 for detecting the line of sight of the worker 6, a microphone 114 and a speaker 115 used for conversation with an instructor or another worker 6, and inspection or maintenance results. A memory 116 for storing work information such as, a communication unit 117, a control unit 118, and the like are provided. The communication unit 117 manages communication between the MR device 11, the support server 13, and the instructor mobile terminal 14. The control unit 118 controls the entire MR device 11 such as automatically controlling the focus of the camera 112 according to the output of the line-of-sight sensor 113.

データベース１２には、作業現場３の地理的位置、地質、気象条件等の現場情報を記憶する現場情報記憶部１２１、作業日毎の作業内容、進捗状況等の作業履歴を記憶する作業履歴記憶部１２２、作業員６の識別番号、技術習熟度等の作業員情報を記憶する作業員情報記憶部１２３、部品管理に用いる部品リストを記録する部品リスト記憶部１２４、見積または請負書類等の帳票情報を記憶する帳票情報記憶部１２５、作業員６による現場作業を支援するための作業支援情報を記憶する支援情報記憶部１２６が設けられている。 The database 12 contains a site information storage unit 121 that stores site information such as the geographical position, geology, and weather conditions of the work site 3, and a work history storage unit 122 that stores work history such as work contents and progress status for each work day. , Worker information storage unit 123 that stores worker information such as the identification number of worker 6 and technical proficiency, parts list storage unit 124 that records the parts list used for parts management, and form information such as estimates or contract documents. A form information storage unit 125 to be stored and a support information storage unit 126 for storing work support information for supporting on-site work by the worker 6 are provided.

支援サーバ１３には、モニタ１３０と、ネットワークに接続された通信部１３１と、通信データ記憶部１３２と、制御部１３３とが設けられている。通信データ記憶部１３２には、サーバ１３とＭＲデバイス１１との間の交信データ、およびサーバ１３と指導員携帯端末１４との間の交信データが保存される。制御部１３３には、映像解析部１３４、支援情報読出部１３５、支援情報更新部１３６、および画像生成部１３７が設けられている。 The support server 13 is provided with a monitor 130, a communication unit 131 connected to the network, a communication data storage unit 132, and a control unit 133. The communication data storage unit 132 stores communication data between the server 13 and the MR device 11, and communication data between the server 13 and the instructor mobile terminal 14. The control unit 133 is provided with a video analysis unit 134, a support information reading unit 135, a support information updating unit 136, and an image generation unit 137.

映像解析部１３４は、ＭＲデバイス１１のカメラ１１２が撮影した映像を解析し、映像中に含まれている機器または機材の識別符号を特定する。例えば、図４に示すように、掘削機２の制御盤２０には、スイッチ２１、リレー２２、計器２３、配線ケーブル２４等の機器または機材に、それぞれ固有の識別符号を記したタグ２５が付設されている。制御部１３３の支援情報読出部１３５は、タグ２５の識別符号に基づいて現場作業に必要な作業支援情報をデータベース１２の支援情報記憶部１２６から読み出す。 The image analysis unit 134 analyzes the image taken by the camera 112 of the MR device 11 and identifies the identification code of the device or equipment included in the image. For example, as shown in FIG. 4, the control panel 20 of the excavator 2 is provided with a tag 25 having a unique identification code attached to a device or equipment such as a switch 21, a relay 22, an instrument 23, and a wiring cable 24. Has been done. The support information reading unit 135 of the control unit 133 reads work support information necessary for on-site work from the support information storage unit 126 of the database 12 based on the identification code of the tag 25.

支援情報更新部１３６は、現場作業の完了時にＭＲデバイス１１から送信された作業報告に基づいて支援情報記憶部１２６の作業支援情報を更新する。画像生成部１３７は、支援情報読出部１３５が読み出した作業支援情報をＭＲデバイス１１のディスプレイ１１１に表示するための３Ｄ画像を生成する。図５は、作業員６の目に映るディスプレイ１１１の画面３０を例示する。この画面３０は、現実空間透写部３１と仮想空間表示部３２とを複合的に組み合わせて構成され、現実空間透写部３１に作業現場３の光景（制御盤２からリレー２２を取り出した様子を図示）が透写され、仮想空間表示部３２に作業支援情報（部品リスト３３を図示）が表示される。 The support information updating unit 136 updates the work support information of the support information storage unit 126 based on the work report transmitted from the MR device 11 when the on-site work is completed. The image generation unit 137 generates a 3D image for displaying the work support information read by the support information reading unit 135 on the display 111 of the MR device 11. FIG. 5 illustrates the screen 30 of the display 111 that is visible to the eyes of the worker 6. This screen 30 is configured by combining the real space transparent unit 31 and the virtual space display unit 32 in a complex manner, and the scene of the work site 3 (relay 22 is taken out from the control panel 2) in the real space transparent unit 31. Is shown), and work support information (part list 33 is shown) is displayed on the virtual space display unit 32.

そして、画像生成部１３７は、作業支援情報が作業員６に見やすく表示されるように、仮想空間表示部３２に表示される３Ｄ画像の色彩、大きさ、形状、位置等を調整する処理を実行する。これにより、ＭＲデバイス１１は、作業現場３の光景をディスプレイ１１１の現実空間透写部３１に透かし写し、カメラ１１２が撮影した作業現場３の映像を支援サーバ１３に送信し、支援サーバ１３から受信した作業支援情報をディスプレイ１１１の仮想空間表示部３２に表示するように構成されている。 Then, the image generation unit 137 executes a process of adjusting the color, size, shape, position, etc. of the 3D image displayed on the virtual space display unit 32 so that the work support information is displayed in an easy-to-see manner by the worker 6. do. As a result, the MR device 11 transparently copies the scene of the work site 3 to the real space transparent unit 31 of the display 111, transmits the image of the work site 3 taken by the camera 112 to the support server 13, and receives it from the support server 13. The work support information is displayed on the virtual space display unit 32 of the display 111.

次に、上記のように構成された作業支援システム１の動作について説明する。図６に示すフローチャートは、ＭＲデバイス１１を用いた現場作業の全体的な流れを示す。作業開始にあたり、作業員６は自身の頭部にＭＲデバイス１１を装着し（Ｓ５１）、ディスプレイ１１１を通して作業現場３（図１参照）を透視する。指導員７は作業現場３から離れた遠隔地の携帯端末１４または支援サーバ１３を起動し、ＭＲデバイス１１のカメラ１１２が撮影した作業現場３の映像をモニタ１３０で確認する（Ｓ５２）。 Next, the operation of the work support system 1 configured as described above will be described. The flowchart shown in FIG. 6 shows the overall flow of field work using the MR device 11. At the start of the work, the worker 6 attaches the MR device 11 to his / her head (S51) and sees through the work site 3 (see FIG. 1) through the display 111. The instructor 7 activates the mobile terminal 14 or the support server 13 in a remote location away from the work site 3, and confirms the image of the work site 3 taken by the camera 112 of the MR device 11 on the monitor 130 (S52).

次に、作業員６は、例えば掘削機２（図１参照）の検査、整備等の作業を実施し（Ｓ５３）、この作業期間中、指導員７は、図７に示す支援プログラム６０に従って現場作業を支援する（Ｓ５４）。続いて、作業員６は点検、整備等の作業結果を随時にメモリ１１６に保存する（Ｓ５５）。そして、作業員６および指導員７が共に作業の完了を確認し（Ｓ５６）、不備がある場合はその工程を再度繰り返す。その後、両者６，７は作業報告を作成して支援サーバ１３に送信し（Ｓ５７）、今回の作業を終了する。 Next, the worker 6 carries out work such as inspection and maintenance of the excavator 2 (see FIG. 1) (S53), and during this work period, the instructor 7 performs on-site work according to the support program 60 shown in FIG. (S54). Subsequently, the worker 6 saves the work results such as inspection and maintenance in the memory 116 at any time (S55). Then, both the worker 6 and the instructor 7 confirm the completion of the work (S56), and if there is a defect, the process is repeated again. After that, both 6 and 7 create a work report and send it to the support server 13 (S57), and the work this time is completed.

図７は、ＭＲデバイス１１と支援サーバ１３とが協同して実行する作業支援プログラム６０を示す。ここでは、まず、ＭＲデバイス１１がディスプレイ１１１の現実空間透写部３１に作業現場３の光景を透写する（Ｓ６１）。次いで、カメラ１１２が、作業者６の視線に追従して作業現場３の機器類を撮影する（Ｓ６２）。次に、通信部１１７が、カメラ１１２の映像をＭＲデバイス１１から支援サーバ１３に転送する（Ｓ６３）。続いて、支援サーバ１３が、映像解析部１３４でカメラ１１２の映像を解析し、解析結果に基づいて制御部１３３が機器または機材に付されたタグ２５の識別符号を読み取る（Ｓ６４）。 FIG. 7 shows a work support program 60 executed in cooperation with the MR device 11 and the support server 13. Here, first, the MR device 11 transmits the scene of the work site 3 to the real space transmission unit 31 of the display 111 (S61). Next, the camera 112 follows the line of sight of the worker 6 and photographs the equipment at the work site 3 (S62). Next, the communication unit 117 transfers the image of the camera 112 from the MR device 11 to the support server 13 (S63). Subsequently, the support server 13 analyzes the image of the camera 112 by the image analysis unit 134, and the control unit 133 reads the identification code of the tag 25 attached to the device or equipment based on the analysis result (S64).

次に、読み取られた識別符号に基づいてサーバ１３の支援情報読出部１３５がデータベース１２を検索し、支援情報記憶部１２６から識別符号に該当する機器または機材に関するマニアル、仕様書、部品リストなど、作業者による目下の現場作業の手助けとなる１つまたは複数の作業支援情報を読み出す（Ｓ６５）。続いて、画像生成部１３７が、作業支援情報を見やすく加工して３Ｄ画像を生成し（Ｓ６６）、その画像データを通信部１３１がサーバ１３からＭＲデバイス１１に送信する（Ｓ６７）。 Next, the support information reading unit 135 of the server 13 searches the database 12 based on the read identification code, and the manual, specifications, parts list, etc. related to the device or equipment corresponding to the identification code are searched from the support information storage unit 126. Read out one or more work support information to help the worker in the current field work (S65). Subsequently, the image generation unit 137 processes the work support information so that it is easy to see and generates a 3D image (S66), and the communication unit 131 transmits the image data from the server 13 to the MR device 11 (S67).

そして、ＭＲデバイス１１がディスプレイ１１１の仮想空間表示部３２に３Ｄ画像を表示し（Ｓ６８）、作業員６が３Ｄ画像に現された作業支援情報を参照して現場作業を遂行する（Ｓ６９）。したがって、作業員６は、ＭＲデバイス１１を用いて作業現場３の情況を視認しつつ、作業に必要な支援情報をサーバ１３から受け取り、現場作業をハンズフリーで能率よく行うことができる。また、サーバ１３からの支援情報に加え、作業員６はマイク１１４およびスピーカ１１５を用いて指導員７から指導またはアドバイスを直接受けることもできるため、経験の浅い作業員６を短期間に育成することが可能である。 Then, the MR device 11 displays a 3D image on the virtual space display unit 32 of the display 111 (S68), and the worker 6 performs on-site work with reference to the work support information displayed in the 3D image (S69). Therefore, the worker 6 can receive the support information necessary for the work from the server 13 while visually recognizing the situation of the work site 3 by using the MR device 11, and can efficiently perform the work on the site hands-free. Further, in addition to the support information from the server 13, the worker 6 can directly receive guidance or advice from the instructor 7 using the microphone 114 and the speaker 115, so that the inexperienced worker 6 should be trained in a short period of time. Is possible.

図８は、作業履歴情報を利用して現場作業を行う手順を示す。例えば、掘削機１の現場作業では、作業履歴情報が準備工程（Ｓ７０）、検査工程（Ｓ８０）および整備工程（Ｓ９０）で用いられる。準備工程では、前回の作業履歴情報に基づいて機器配置のモデルを表示し、作業員６と指導員７とが現状確認を行い（Ｓ７１）、作業手順を確認し（Ｓ７２）、作業目標を設定および記録する（Ｓ７３）。検査工程では、過去の作業履歴情報を参照して今回の検査項目を確認し（Ｓ８１）、項目順に検査を実行し（Ｓ８２）、検査結果を記録し（Ｓ８３）、必要に応じて監督者の立ち会いを求める（Ｓ８４）。整備工程では、整備項目を確認し（Ｓ９１）、機器の修理または部品交換を行い（Ｓ９２）、整備結果を記録する（Ｓ９３）。そして、各工程の記録情報をサーバ１３に送信し、データベース１２の履歴情報を更新する。 FIG. 8 shows a procedure for performing on-site work using work history information. For example, in the field work of the excavator 1, the work history information is used in the preparation process (S70), the inspection process (S80), and the maintenance process (S90). In the preparatory process, a model of equipment arrangement is displayed based on the previous work history information, the worker 6 and the instructor 7 confirm the current situation (S71), confirm the work procedure (S72), set the work goal, and set the work goal. Record (S73). In the inspection process, the inspection items of this time are confirmed by referring to the past work history information (S81), the inspections are executed in the order of items (S82), the inspection results are recorded (S83), and the supervisor's inspection is performed as necessary. Ask for witness (S84). In the maintenance process, maintenance items are confirmed (S91), equipment is repaired or parts are replaced (S92), and maintenance results are recorded (S93). Then, the recorded information of each process is transmitted to the server 13, and the history information of the database 12 is updated.

図９は、作業員６の技術習熟度に応じて作業員情報を更新する手順を示す。ここでは、まず、支援サーバ１３がデータベース１２の作業員情報記憶部１２３から作業員情報を読み出す（Ｓ１０１）。作業員情報記憶部１２３には、作業員６の現在の技術習熟度が含まれている。次に、作業員６が要した実際の作業時間を計測する（Ｓ１０２）。続いて、実作業時間を工程ごとに予め定められた標準作業時間と比較する（Ｓ１０３）。そして、比較結果に基づいて作業員情報中の技術習熟度を更新する（Ｓ１０４）。こうすれば、作業員６の技術習熟度に応じて今後の作業計画を立案することができる。 FIG. 9 shows a procedure for updating worker information according to the technical readiness level of the worker 6. Here, first, the support server 13 reads the worker information from the worker information storage unit 123 of the database 12 (S101). The worker information storage unit 123 includes the current technical readiness level of the worker 6. Next, the actual working time required by the worker 6 is measured (S102). Subsequently, the actual working time is compared with the standard working time predetermined for each process (S103). Then, the technical readiness level in the worker information is updated based on the comparison result (S104). In this way, it is possible to formulate a future work plan according to the technical readiness level of the worker 6.

（その他の実施形態）
なお、上記実施形態では、ＭＲデバイスとして作業員の頭部に装着されるＨＭＤ型のデバイス１１を例示したが、図１０（ａ）に示すような盾形のデバイス５１を使用することもできる。このＭＲデバイス５１は、光透過性の盾形ディスプレイ５１１を備え、盾形ディスプレイ５１１に携帯用のハンドル５１２と、作業員６の視線を検知する視線センサ５１３と、作業現場の光景を撮影するカメラ５１４とが設けられている。このＭＲデバイス５１によれば、図１０（ｂ）に示すように、複数の作業員６が一つのディスプレイ５１１を共用して現場作業を体験することができる。 (Other embodiments)
In the above embodiment, the HMD type device 11 mounted on the head of the worker is exemplified as the MR device, but the shield type device 51 as shown in FIG. 10A can also be used. The MR device 51 includes a light-transmitting shield-shaped display 511, a shield-shaped display 511, a portable handle 512, a line-of-sight sensor 513 that detects the line of sight of the worker 6, and a camera that captures a scene of the work site. 514 is provided. According to the MR device 51, as shown in FIG. 10B, a plurality of workers 6 can share one display 511 and experience on-site work.

また、上記実施形態では、作業支援システム１の用途として掘削機２の検査・整備作業を例示したが、本発明のシステムを地盤掘削工事現場に適用したり、土木用作業機、建設用クレーン等の操作または運転に適用したりすることも可能である。その他、本発明は、上記実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲で各部の形状や構成を適宜に変更して実施することも可能である。 Further, in the above embodiment, the inspection / maintenance work of the excavator 2 is exemplified as the use of the work support system 1, but the system of the present invention can be applied to a ground excavation work site, a civil engineering work machine, a construction crane, or the like. It is also possible to apply it to the operation or operation of. In addition, the present invention is not limited to the above embodiment, and the shape and configuration of each part can be appropriately changed and implemented without departing from the spirit of the invention.

１・・・作業支援システム、３・・・作業現場、６・・・作業員、７・・・指導員、
１１・・・ＭＲデバイス、１１１・・・ディスプレイ、１１２・・・カメラ、
１１３・・・視線センサ、１１４・・・マイク、１１５・・・スピーカ、
１２・・・データベース、１３・・・支援サーバ、１４・・・指導員携帯端末、
３１・・・現実空間透写部、３２・・・仮想空間表示部。 1 ... work support system, 3 ... work site, 6 ... workers, 7 ... instructors,
11 ... MR device, 111 ... Display, 112 ... Camera,
113 ... line-of-sight sensor, 114 ... microphone, 115 ... speaker,
12 ... database, 13 ... support server, 14 ... instructor mobile terminal,
31 ... Real space transparent unit, 32 ... Virtual space display unit.

Claims (7)

作業員（６）によって携帯され、現実空間透写部（３１）と仮想空間表示部（３２）とを複合的に有する光透過性のディスプレイ（５１１）およびカメラ（５１４）を備えたＭＲデバイス（５１）と、
前記作業員による現場作業を支援する複数の作業支援情報を記憶するデータベース（１２）と、
ネットワークを介して前記ＭＲデバイスおよび前記データベースに接続され、前記作業支援情報を前記データベースから読み出して前記ＭＲデバイスに転送する支援サーバ（１３）と、を含み、
前記ＭＲデバイスは、盾形に形成された前記ディスプレイと、前記ディスプレイを前記作業員の手で携帯するハンドル（５１２）とを備え、
前記ＭＲデバイスは、作業現場の光景を前記ディスプレイの前記現実空間透写部に透かし写し、前記カメラが撮影した前記作業現場の映像を前記支援サーバに転送し、前記支援サーバから受信した前記作業支援情報を前記ディスプレイの前記仮想空間表示部に表示するように構成された作業支援システム。 An MR device (514) carrying a light-transmitting display (511) and a camera (514), which is carried by a worker (6) and has a real space transparent unit (31) and a virtual space display unit (32) in a complex manner. 51) and
A database (12) that stores a plurality of work support information that supports on-site work by the worker, and
Includes a support server (13) that is connected to the MR device and the database via a network, reads the work support information from the database, and transfers it to the MR device.
The MR device includes the display formed in a shield shape and a handle (512) for carrying the display by the worker's hand.
The MR device transmits the scene of the work site to the real space transmission unit of the display, transfers the image of the work site taken by the camera to the support server, and receives the work support from the support server. A work support system configured to display information on the virtual space display unit of the display. 前記支援サーバは、前記ＭＲデバイスから受信した前記カメラの映像から前記作業現場の機器または機材に付された識別符号（２５）を読み取り、前記識別符号に基づいて前記作業支援情報を前記データベースから読み出す請求項１に記載の作業支援システム。 The support server reads the identification code (25) attached to the equipment or equipment at the work site from the image of the camera received from the MR device, and reads the work support information from the database based on the identification code. The work support system according to claim 1. 前記ＭＲデバイスは、作業完了時に作業報告を前記支援サーバに送信する請求項１または２に記載の作業支援システム。 The work support system according to claim 1 or 2 , wherein the MR device transmits a work report to the support server when the work is completed. 前記ＭＲデバイスは、部品交換の後、記録情報を前記支援サーバに送信する請求項１〜３の何れか一項に記載の作業支援システム。 The work support system according to any one of claims 1 to 3 , wherein the MR device transmits recorded information to the support server after parts replacement. 前記データベースは、前記作業員の技術習熟度を含む作業員情報を記憶し、前記支援サーバは、作業工程ごとに定められた標準作業時間と、前記作業工程に要した前記作業員の実作業時間との比較結果に基づいて前記作業員の技術習熟度を更新する請求項１〜４の何れか一項に記載の作業支援システム。 The database stores worker information including the technical readiness level of the worker, and the support server has a standard work time determined for each work process and the actual work time of the worker required for the work process. The work support system according to any one of claims 1 to 4 , which updates the technical readiness level of the worker based on the comparison result with the above. 前記ＭＲデバイスは、前記作業員の視線の動きに追従して前記カメラの焦点を自動制御する制御部（１１８）を備える請求項１〜５の何れか一項に記載の作業支援システム。 The work support system according to any one of claims 1 to 5 , wherein the MR device includes a control unit (118) that automatically controls the focus of the camera according to the movement of the line of sight of the worker. 前記ＭＲデバイスは、前記作業員が前記作業現場から離れた遠隔地の指導員と会話するマイク（１１４）およびスピーカ（１１５）を備える請求項１〜６の何れか一項に記載の作業支援システム。 The work support system according to any one of claims 1 to 6 , wherein the MR device includes a microphone (114) and a speaker (115) in which the worker talks with an instructor at a remote location away from the work site.
JP2019173566A 2019-09-24 2019-09-24 Work support system Active JP6969807B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019173566A JP6969807B2 (en) 2019-09-24 2019-09-24 Work support system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019173566A JP6969807B2 (en) 2019-09-24 2019-09-24 Work support system

Publications (2)

Publication Number Publication Date
JP2021051519A JP2021051519A (en) 2021-04-01
JP6969807B2 true JP6969807B2 (en) 2021-11-24

Family

ID=75157963

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019173566A Active JP6969807B2 (en) 2019-09-24 2019-09-24 Work support system

Country Status (1)

Country Link
JP (1) JP6969807B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7145553B1 (en) 2022-06-23 2022-10-03 英明 原田 Remote instruction management device and remote instruction system
JP7365738B1 (en) * 2023-04-12 2023-10-20 サン・シールド株式会社 Crane operation simulation system and crane operation simulation method
JP7397431B1 (en) * 2023-04-25 2023-12-13 国立大学法人 香川大学 Worker safety education system

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002059147A (en) * 2000-08-11 2002-02-26 Ricoh Co Ltd Regeneration work support system and method of supporting regeneration work
JP4065507B2 (en) * 2002-07-31 2008-03-26 キヤノン株式会社 Information presentation apparatus and information processing method
JP2004233903A (en) * 2003-01-31 2004-08-19 Nikon Corp Head-mounted display
JP6175945B2 (en) * 2013-07-05 2017-08-09 ソニー株式会社 Gaze detection apparatus and gaze detection method
WO2016203340A1 (en) * 2015-06-19 2016-12-22 株式会社半導体エネルギー研究所 Method for fabricating display device, display device, electronic device, projector, and head-mounted display
JP2017049449A (en) * 2015-09-02 2017-03-09 株式会社東芝 Electronic apparatus and support method
US11062264B2 (en) * 2019-03-08 2021-07-13 Grace Technology, Inc. Work support system, work support server, work situation determination apparatus, device for worker, and work object equipment

Also Published As

Publication number Publication date
JP2021051519A (en) 2021-04-01

Similar Documents

Publication Publication Date Title
JP6969807B2 (en) Work support system
KR101798097B1 (en) Method for integrated management including building construction and maintenance of based on video
CN108122447B (en) Subway coupler fault state simulation system based on VR technology
US20190392728A1 (en) Virtual reality training and evaluation system
Pereira et al. Using panoramic augmented reality to develop a virtual safety training environment
CN106569769A (en) AR technology-based machine operation instruction information display method and apparatus
CN102968915B (en) Chemical device training management device, device knowledge base and training management system
CN105023215A (en) Dangerous trade safety training system based on head-mounted mixed reality equipment
CN108717808B (en) Tunnel construction virtual teaching system and method based on three-dimensional laser scanning modeling
JP2002132487A (en) Remote operation supporting system
CN110928419A (en) Transformer substation construction bottom crossing method based on virtual reality technology
CN102483863A (en) Information processing system, information processing method, and program
CN110770798B (en) Information processing apparatus, information processing method, and computer-readable storage medium
JP7377318B2 (en) work order system
KR20170014523A (en) Field management method using mobile
WO2016151533A1 (en) Method of progressive evaluation of capacity to execute a task, and implementational platform
JP2020009276A (en) Work support system, server device for work support system and program
US20230298477A1 (en) Methods and systems for adaptive apparel design and apparel information architecture
CN113128716A (en) Operation guidance interaction method and system
JP7368937B2 (en) Equipment management system
Hussien et al. A review of mixed-reality applications in Construction 4.0
CN113985820B (en) Nuclear power plant remote guidance system and method based on augmented reality technology
JP7145553B1 (en) Remote instruction management device and remote instruction system
CN111373449B (en) Auxiliary method and auxiliary system for assisting in executing tasks on products
Kan et al. Virtual Reality Headsets for Immersive 3D Environment: Investigating Applications in Construction Jobsite Organization

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191007

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20201001

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210127

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210910

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210910

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210921

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210928

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211012

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211021

R150 Certificate of patent or registration of utility model

Ref document number: 6969807

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150