JP7507935B2

JP7507935B2 - Work support method

Info

Publication number: JP7507935B2
Application number: JP2023098475A
Authority: JP
Inventors: 大輔吉田; 浩朗伊藤
Original assignee: Maxell Ltd
Current assignee: Maxell Ltd
Priority date: 2021-11-04
Filing date: 2023-06-15
Publication date: 2024-06-28
Anticipated expiration: 2036-04-19
Also published as: JP2023107984A

Description

本発明は、作業支援方法に関するものである。 The present invention relates to a work assistance method.

近年、装置や設備の保守作業において携帯情報端末を用いた作業効率化が図られている。このような携帯情報端末によれば、作業員はあらかじめ作業情報を携帯情報端末に取り込んでおき、作業中は作業情報を画面に表示させることで必要な情報を得ることが可能である。 In recent years, efforts have been made to improve the efficiency of maintenance work on equipment and facilities by using mobile information terminals. With such mobile information terminals, workers can import work information into the mobile information terminal in advance and display the work information on the screen while working to obtain the necessary information.

しかしながら、携帯情報端末を手に持って画面を見ながら作業をする必要があり、このような状態では、作業が煩雑となり、却って作業効率が低下する場合があった。そこで、携帯情報端末を手に取ることなく作業者に情報を提供することができる作業支援装置が提案されている。 However, workers need to hold the mobile information terminal in their hands and look at the screen while working, which can make the work cumbersome and actually reduce work efficiency. Therefore, a work support device has been proposed that can provide information to workers without them having to pick up a mobile information terminal.

例えば、特許文献１には、ヘッドマウントディスプレイと呼ばれる頭部搭載型の表示部を使用し、作業に関する情報を作業者に提示する作業支援装置が開示されている。このようなヘッドマウントディスプレイを用いることで、作業者は、携帯情報端末を手に持つ必要がなくなり、効率的に作業を実施することができる。 For example, Patent Document 1 discloses a work support device that uses a head-mounted display, known as a head-mounted display, to present information about the work to the worker. By using such a head-mounted display, the worker no longer needs to hold a mobile information terminal in his or her hand, allowing the worker to carry out the work more efficiently.

また、特許文献１には、可視光撮像部及び赤外線撮像部が設けられ、可視光撮像部で撮像された可視光線像及び赤外線撮像部で撮像された赤外線像がヘッドマウントディスプレイに表示され、可視光線像から検出された部品と、赤外線像から取得された温度分布画像とから、温度が異常である部品を検知し、ヘッドマウントディスプレイを通じて作業者に異常が通知される作業支援装置が開示されている。 Patent Document 1 also discloses a work support device that is provided with a visible light imaging unit and an infrared imaging unit, in which a visible light image captured by the visible light imaging unit and an infrared image captured by the infrared imaging unit are displayed on a head-mounted display, and parts with abnormal temperatures are detected based on parts detected from the visible light image and a temperature distribution image obtained from the infrared image, and the worker is notified of the abnormality via the head-mounted display.

特開２０１０－１９７１５３号公報JP 2010-197153 A

ところで、特許文献１では、異常な温度となる部品を検知する方法については開示されているが、作業の進捗状況を作業者へ通知する方法については考慮されていなかった。このため、作業支援装置を使用していても、作業者は、作業の進捗状況を把握することが困難な場合があった。 Incidentally, Patent Document 1 discloses a method for detecting parts with abnormal temperatures, but does not consider a method for notifying workers of the progress of work. As a result, even when using a work support device, workers may have difficulty understanding the progress of their work.

そこで、本発明の目的は、作業の進捗状況を作業者に知らせることができる作業支援装置及び作業支援システムを提供することにある。 The object of the present invention is to provide a work support device and a work support system that can inform a worker of the progress of the work.

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、以下のとおりである。 The following is a brief summary of the representative inventions disclosed in this application:

本発明の代表的な実施の形態による作業支援装置は、可視光画像を撮像する可視光画像撮像部と、熱画像を撮像する熱画像撮像部と、可視光画像撮像部で撮像された可視光画像及び熱画像撮像部で撮像された熱画像から作業進捗状況を判定する作業進捗状況判定部と、作業進捗状況の判定結果を表示する表示部と、を有する。 A work support device according to a representative embodiment of the present invention has a visible light image capturing unit that captures visible light images, a thermal image capturing unit that captures thermal images, a work progress determination unit that determines the work progress status from the visible light images captured by the visible light image capturing unit and the thermal images captured by the thermal image capturing unit, and a display unit that displays the determination results of the work progress status.

本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。 The effects achieved by the representative inventions disclosed in this application can be briefly explained as follows:

すなわち、本発明の代表的な実施の形態によれば、作業の進捗状況を作業者に知らせることができる作業支援装置を提供することができる。 In other words, according to a representative embodiment of the present invention, a work support device can be provided that can inform a worker of the progress of the work.

本発明の実施の形態１に係る作業支援装置の構成の一例を示すブロック図である。1 is a block diagram showing an example of a configuration of a work assistance device according to a first embodiment of the present invention. 本発明の実施の形態１における作業進捗状況判定部の動作の一例を示すフローチャート図である。FIG. 4 is a flowchart illustrating an example of the operation of a work progress determination unit in the first embodiment of the present invention. 作業進捗状況に応じて表示部に表示される画像の一例を示す図である。11A and 11B are diagrams illustrating an example of an image displayed on a display unit according to a work progress status. 本発明の実施の形態１に係る作業支援装置の形態の一例を示す図である。1 is a diagram showing an example of a configuration of a work support device according to a first embodiment of the present invention; 本発明の実施の形態１に係るヘッドマウントディスプレイの形態の一例を示す図である。1 is a diagram showing an example of a form of a head mounted display according to a first embodiment of the present invention. 本発明の実施の形態２における作業進捗状況判定部の動作の一例を示すフローチャート図である。FIG. 11 is a flowchart illustrating an example of the operation of a work progress determination unit in the second embodiment of the present invention. 作業進捗状況に応じて表示部に表示される画像の一例を示す図である。11A and 11B are diagrams illustrating an example of an image displayed on a display unit according to a work progress status. 本発明の実施の形態３に係る作業支援システムの構成の一例を示すブロック図である。FIG. 11 is a block diagram showing an example of a configuration of a work support system according to a third embodiment of the present invention. 本発明の実施の形態４に係る作業支援システムの構成の一例を示すブロック図である。FIG. 11 is a block diagram showing an example of a configuration of a work support system according to a fourth embodiment of the present invention.

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全ての図において、同一の機能を有する部材には同一の符号を付し、その繰り返しの説明は省略する。また、図面をわかりやすくするために平面図であってもハッチングを付す場合がある。 The following describes in detail an embodiment of the present invention with reference to the drawings. In all drawings used to explain the embodiment, the same reference numerals are used for components having the same functions, and repeated explanations will be omitted. In addition, hatching may be used even in plan views to make the drawings easier to understand.

さらに、以下の実施の形態では便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明などの関係にある。 In addition, in the following embodiments, when necessary for convenience, they will be divided into multiple sections or embodiments for explanation, but unless otherwise specified, they are not unrelated to each other, and one is related to the other in terms of partial or complete modifications, details, supplementary explanations, etc.

また、以下の実施の形態において、要素の数など（個数、数値、量、範囲などを含む）に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合などを除き、その特定の数に限定されるものではなく、特定の数以上でも以下でも良いものとする。 In addition, in the following embodiments, when referring to the number of elements (including the number, numerical value, amount, range, etc.), unless otherwise specified or in principle clearly limited to a specific number, it is not limited to that specific number and may be more than or less than the specific number.

また、以下の実施の形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。 It goes without saying that in the following embodiments, the components (including element steps, etc.) are not necessarily essential unless specifically stated otherwise or considered to be clearly essential in principle.

また、以下の実施の形態において、構成要素等について、「Ａからなる」、「Ａよりなる」、「Ａを有する」、「Ａを含む」と言うときは、特にその要素のみである旨明示した場合等を除き、それ以外の要素を排除するものでないことは言うまでもない。同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に明らかにそうでないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲等に
ついても同様である。 Furthermore, in the following embodiments, when a component is described as "consisting of A,""made of A,""havingA," or "including A," it goes without saying that other elements are not excluded, unless it is specifically stated that only that element is included. Similarly, in the following embodiments, when the shape, positional relationship, etc. of a component is mentioned, it is intended to include those that are substantially similar or similar to that shape, etc., unless it is specifically stated or is considered in principle to be otherwise. The same applies to the above numerical values and ranges, etc.

（実施の形態１）
図１は、本発明の実施の形態１に係る作業支援装置の構成の一例を示すブロック図である。作業支援装置１５０は、図１に示すように、可視光撮像部としての可視光カメラ１０１、熱画像撮像部としての遠赤外カメラ１０３、作業対象領域抽出部１０２、温度分布画像生成部１０４、作業対象領域温度算出部１０５、作業進捗状況判定部１０６、表示部１０７を備えている。 (Embodiment 1)
Fig. 1 is a block diagram showing an example of the configuration of a work support device according to embodiment 1 of the present invention. As shown in Fig. 1, the work support device 150 includes a visible light camera 101 as a visible light imaging unit, a far-infrared camera 103 as a thermal image imaging unit, a work target area extraction unit 102, a temperature distribution image generation unit 104, a work target area temperature calculation unit 105, a work progress determination unit 106, and a display unit 107.

可視光カメラ１０１は、作業領域抽出部１０２と接続されている。作業領域抽出部１０２は、可視光カメラ１０１及び作業対象領域温度算出部１０５と接続されている。遠赤外カメラ１０３は、温度分布画像生成部１０４と接続されている。温度分布画像生成部１０４は、遠赤外カメラ１０３及び作業対象領域温度算出部１０５と接続されている。作業対象領域温度算出部１０５は、作業対象領域抽出部１０２、温度分布画像生成部１０４及び作業進捗状況判定部１０６と接続されている。作業進捗状況判定部１０６は、作業対象領域温度算出部１０５及び表示部１０７と接続されている。 The visible light camera 101 is connected to the work area extraction unit 102. The work area extraction unit 102 is connected to the visible light camera 101 and the work area temperature calculation unit 105. The far-infrared camera 103 is connected to the temperature distribution image generation unit 104. The temperature distribution image generation unit 104 is connected to the far-infrared camera 103 and the work area temperature calculation unit 105. The work area temperature calculation unit 105 is connected to the work area extraction unit 102, the temperature distribution image generation unit 104, and the work progress status determination unit 106. The work progress status determination unit 106 is connected to the work area temperature calculation unit 105 and the display unit 107.

可視光カメラ１０１は、例えば、作業対象領域やその周辺領域の可視光画像を撮像し、撮像した可視光画像を作業対象領域抽出部１０２に出力する。 The visible light camera 101, for example, captures visible light images of the work area and its surrounding area, and outputs the captured visible light images to the work area extraction unit 102.

作業対象領域抽出部１０２は、可視光画像から作業対象領域を抽出する。例えば、作業対象領域抽出部１０２には、作業内容に関するデータが格納され、作業対象領域を特定するデータと可視光画像とを比較することにより、可視光画像から作業対象領域を抽出する。詳しくは、作業対象領域抽出部１０２は、可視光画像を画像処理することにより可視光画像中の物体の形状や大きさを特定し、事前に登録されている作業対象物の形状や大きさと参照する。このように、作業対象領域抽出部１０２は、撮像された可視光画像の中から温度測定を行う作業対象領域を抽出する。 The work target area extraction unit 102 extracts a work target area from the visible light image. For example, the work target area extraction unit 102 stores data related to the work content, and extracts the work target area from the visible light image by comparing the data identifying the work target area with the visible light image. In detail, the work target area extraction unit 102 identifies the shape and size of the object in the visible light image by performing image processing on the visible light image, and refers to the shape and size of the work target object registered in advance. In this way, the work target area extraction unit 102 extracts the work target area where temperature measurement is to be performed from the captured visible light image.

遠赤外カメラ１０３は、例えば、作業対象領域やその周辺の熱画像を撮像し、撮像した熱画像を温度分布画像生成部１０４に出力する。 The far-infrared camera 103 captures, for example, thermal images of the work area and its surroundings, and outputs the captured thermal images to the temperature distribution image generation unit 104.

可視光カメラ１０１及び遠赤外カメラ１０３は、例えば、遠赤外カメラ１０３の撮像領域と可視光カメラ１０１の撮像領域とがほぼ同等となるように、調整されていることが好ましい。 It is preferable that the visible light camera 101 and the far-infrared camera 103 are adjusted so that, for example, the imaging area of the far-infrared camera 103 and the imaging area of the visible light camera 101 are approximately equal.

温度分布画像生成部１０４は、熱画像撮像部１０３で撮像された熱画像から温度分布画像を生成する。例えば、温度分布画像生成部１０４は、遠赤外カメラ１０３で撮像された熱画像を可視光画像に変換して温度分布画像を生成する。温度分布画像では、温度ごとに異なる色が表示されている。例えば、温度分布画像では、低温が青色で表示され、中温が黄色で表示され、高温が赤色で表示されている。 The temperature distribution image generating unit 104 generates a temperature distribution image from the thermal image captured by the thermal image capturing unit 103. For example, the temperature distribution image generating unit 104 converts the thermal image captured by the far-infrared camera 103 into a visible light image to generate a temperature distribution image. In the temperature distribution image, a different color is displayed for each temperature. For example, in the temperature distribution image, low temperatures are displayed in blue, medium temperatures are displayed in yellow, and high temperatures are displayed in red.

作業対象領域温度算出部１０５は、可視光画像及び温度分布画像生成部１０４において生成された温度分布画像に基づいて作業対象領域抽出部１０２で抽出された作業対象領域の作業温度を算出する。例えば、作業対象領域温度算出部１０５は、作業対象領域抽出部１０２で抽出された温度測定の対象となる作業対象領域について、可視光画像と温度分布画像とを比較することにより温度分布画像における作業対象領域を特定し、作業対象領域の温度を算出する。 The work area temperature calculation unit 105 calculates the work temperature of the work area extracted by the work area extraction unit 102 based on the visible light image and the temperature distribution image generated by the temperature distribution image generation unit 104. For example, the work area temperature calculation unit 105 identifies the work area in the temperature distribution image by comparing the visible light image and the temperature distribution image for the work area to be subjected to temperature measurement extracted by the work area extraction unit 102, and calculates the temperature of the work area.

作業進捗状況判定部１０６は、作業対象領域温度算出部１０５で算出された作業対象領域の作業温度に基づいて作業進捗状況を判定する。例えば、作業進捗状況判定部１０６は、作業対象領域の作業温度及び作業対象領域に対する作業時間に基づいて作業進捗状況を判定する。具体的には、作業進捗状況判定部１０６は、作業対象領域が予め設定された所定の作業温度以上に達したら作業時間の計測を開始し、作業時間及び予め設定された所定の作業時間に基づいて作業進捗状況を判定する。 The work progress determination unit 106 determines the work progress based on the work temperature of the work target area calculated by the work target area temperature calculation unit 105. For example, the work progress determination unit 106 determines the work progress based on the work temperature of the work target area and the work time for the work target area. Specifically, the work progress determination unit 106 starts measuring the work time when the work target area reaches a predetermined working temperature or higher, and determines the work progress based on the work time and the predetermined work time.

作業進捗状況判定部１０６には、例えば、図示しないデータ格納部が設けられ、データ格納部には、作業内容、作業対象領域ごとの所定の作業温度、所定の作業時間、表示部１０７に表示させる画像等に関する各種データや、作業進捗状況判定部１０６等、作業支援装置１５０を構成する各部の制御に係る制御プログラム等が格納されるようにしてもよい。また、データ格納部は、作業支援装置１５０を構成するその他の構成要素に設けられるようにしてもよいし、独立して設けられてもよい。 The work progress determination unit 106 may be provided with, for example, a data storage unit (not shown), which may store various data related to the work content, the predetermined work temperature for each work area, the predetermined work time, images to be displayed on the display unit 107, and the like, as well as control programs related to the control of each unit constituting the work support device 150, such as the work progress determination unit 106. The data storage unit may also be provided in other components constituting the work support device 150, or may be provided independently.

ここで、作業進捗状況判定部１０６において作業進捗状況の判定に係る一連の動作について詳しく説明する。図２は、本発明の実施の形態１における作業進捗状況判定部の動作の一例を示すフローチャート図である。図３は、作業進捗状況に応じて表示部に表示される画像の一例を示す図である。 Here, a series of operations related to determining the work progress status in the work progress status determination unit 106 will be described in detail. FIG. 2 is a flow chart showing an example of the operation of the work progress status determination unit in the first embodiment of the present invention. FIG. 3 is a diagram showing an example of an image displayed on the display unit according to the work progress status.

以下では、作業対象領域に対して加熱する作業を例に挙げて、作業進捗状況判定部の動作を説明する。また、加熱作業は、例えば、図示しない作業機器により実施される。 Below, the operation of the work progress determination unit will be explained using the example of the work of heating the work target area. The heating work is performed, for example, by a work device (not shown).

まず、工程Ｓ１１では、作業進捗状況判定部１０６は、作業時間を「０」にセットする（ｃｏｕｎｔｅｒ＝０）。このような工程を設けているのは、これ以前に実施した作業において計測した作業時間をリセットするためである。作業進捗状況判定部１０６は、作業時間をリセットすると、工程Ｓ１２に移行する。 First, in step S11, the work progress determination unit 106 sets the work time to "0" (counter = 0). The reason for providing such a step is to reset the work time measured in the work performed before this. After resetting the work time, the work progress determination unit 106 proceeds to step S12.

工程Ｓ１２では、作業進捗状況判定部１０６は、作業対象領域温度算出部１０５で算出された作業対象領域の作業温度（Ｔｅｍｐ＿ｔａｒｇｅｔ）と、予め設定された所定の作業温度（Ｔｅｍｐ＿ｓｅｔ）とを比較する。作業進捗状況判定部１０６は、作業内容に対応する所定の作業温度（Ｔｅｍｐ＿ｓｅｔ）を、例えば図示しないデータ格納部から読み出す。作業進捗状況判定部１０６は、これらの温度を比較した結果、作業対象領域の作業温度が所定の作業温度未満、すなわち、作業対象領域の作業温度が所定の作業温度に達していない場合（Ｔｅｍｐ＿ｔａｒｇｅｔ＜Ｔｅｍｐ＿ｓｅｔ）には、作業進捗状況が０％であると判定し、工程Ｓ１３に移行する（判定結果がＮｏ）。 In step S12, the work progress determination unit 106 compares the work temperature (Temp_target) of the work target area calculated by the work target area temperature calculation unit 105 with a predetermined work temperature (Temp_set) that has been set in advance. The work progress determination unit 106 reads out the predetermined work temperature (Temp_set) corresponding to the work content, for example from a data storage unit (not shown). If the work progress determination unit 106 compares these temperatures and finds that the work temperature of the work target area is less than the predetermined work temperature, i.e., the work temperature of the work target area has not reached the predetermined work temperature (Temp_target<Temp_set), it determines that the work progress is 0% and proceeds to step S13 (determination result is No).

工程Ｓ１３では、作業進捗状況判定部１０６は、表示部１０７に進捗率が０％であることを示す画像に関するデータを、図示しないデータ格納部から読み出し、読み出したデータを表示部１０７に出力する。表示部１０７は、作業進捗状況判定部１０６から出力されたデータに基づいて、例えば図３（ａ）に示すような判定結果に関する画像を表示する。また、表示部１０７は、これ以外にも、図３（ａ）に示すように、例えば作業対象領域の状況等について示す画像を判定結果と合わせて表示するようにしてもよい。表示部１０７にこのような画像が表示されると、作業進捗状況判定部１０６は再び工程Ｓ１２に移行する。したがって、作業進捗状況判定部１０６は、作業対象領域の作業温度が、所定の作業温度に達するまで、これらの工程Ｓ１２～Ｓ１３を繰り返し実行する。 In step S13, the work progress determination unit 106 reads data relating to an image showing that the progress rate is 0% from a data storage unit (not shown) and outputs the read data to the display unit 107. The display unit 107 displays an image relating to the determination result, for example as shown in FIG. 3(a), based on the data output from the work progress determination unit 106. In addition, the display unit 107 may also display an image showing, for example, the status of the work target area together with the determination result, as shown in FIG. 3(a). When such an image is displayed on the display unit 107, the work progress determination unit 106 moves back to step S12. Therefore, the work progress determination unit 106 repeatedly executes steps S12 to S13 until the work temperature of the work target area reaches the predetermined work temperature.

これに対して、工程Ｓ１２において、作業進捗状況判定部１０６は、作業対象領域の作業温度が所定の作業温度以上、すなわち、作業対象領域の作業温度が所定の作業温度に達した場合（Ｔｅｍｐ＿ｔａｒｇｅｔ≧Ｔｅｍｐ＿ｓｅｔ）には、工程Ｓ１４に移行する（判定結果がＹｅｓ）。 In contrast, in step S12, if the work temperature of the work target area is equal to or higher than the predetermined work temperature, i.e., if the work temperature of the work target area reaches the predetermined work temperature (Temp_target≧Temp_set), the work progress determination unit 106 proceeds to step S14 (determination result is Yes).

工程Ｓ１４では、作業進捗状況判定部１０６は、作業時間（ｃｏｕｎｔｅｒ）の計測（ｃｏｕｎｔｅｒ＋＋）を開始する。作業時間の計測方法としては、例えば、所定の周期で作業時間をカウントアップし、そのカウント数を作業時間に置き換えることにより作業時間を計測するようにしてもよいし、時間を直接計ることにより作業時間を計測するようにしてもよい。なお、カウントにより作業時間を計測する場合には、後述する所定の作業時間もカウント数で表されることとなる。作業進捗状況判定部１０６は、作業時間の計測を開始すると、工程Ｓ１５に移行する。 In step S14, the work progress determination unit 106 starts measuring (counter++) the work time (counter). For example, the work time may be measured by counting up the work time at a predetermined cycle and replacing the count number with the work time, or the work time may be measured by measuring the time directly. When measuring the work time by counting, the predetermined work time described below will also be expressed as a count number. After starting to measure the work time, the work progress determination unit 106 proceeds to step S15.

工程Ｓ１５では、作業進捗状況判定部１０６は、作業時間（ｃｏｕｎｔｅｒ）と作業に要する所定の作業時間（ｃｏｕｎｔｅｒ＿ｓｅｔ）とを比較する。作業進捗状況判定部１０６は、作業内容に対応する所定の作業時間（ｃｏｕｎｔｅｒ＿ｓｅｔ）を、例えば図示しないデータ格納部から読み出す。作業進捗状況判定部１０６は、これらの時間を比較した結果、作業時間が所定の作業時間未満である場合（ｃｏｕｎｔｅｒ＜ｃｏｕｎｔｅｒ＿ｓｅｔ）には、工程Ｓ１６に移行する（判定結果がＮｏ）。 In step S15, the work progress determination unit 106 compares the work time (counter) with a predetermined work time (counter_set) required for the work. The work progress determination unit 106 reads out the predetermined work time (counter_set) corresponding to the work content, for example from a data storage unit (not shown). If the work time is less than the predetermined work time (counter<counter_set) as a result of comparing these times, the work progress determination unit 106 proceeds to step S16 (determination result is No).

工程Ｓ１６では、作業進捗状況判定部１０６は、作業時間（ｃｏｕｎｔｅｒ）及び所定の作業時間（ｃｏｕｎｔｅｒ＿ｓｅｔ）に基づいて作業進捗状況を判定する。具体的には、作業進捗状況判定部１０６は、次の式「作業進捗＝ｃｏｕｎｔｅｒ／（ｃｏｕｎｔｅｒ＿ｓｅｔ）＊１００（％）」を用いて作業進捗状況を示す数値を具体的に算出する。また、作業進捗状況判定部１０６は、作業進捗状況を算出すると、作業中であることを示す画像に関するデータを図示しないデータ格納部から読み出し、読み出したデータを表示部１０７に出力する。表示部１０７は、作業進捗状況判定部１０６から出力されたデータに基づいて、例えば図３（ｂ）に示すような判定結果に関する画像、例えば作業進捗状況の具体的な数値を表示する。また、表示部１０７は、これ以外にも、例えば図３（ｂ）に示すような、作業完了までの残り時間等の情報を示す画像を判定結果と合わせて表示するようにしてもよい。表示部１０７にこのような画像が表示されると、作業進捗状況判定部１０６は、再び工程Ｓ１４に移行し、工程Ｓ１４、Ｓ１５に係る動作を実行する。すなわち、ここでは作業進捗状況が１００％未満であるため、作業進捗状況判定部１０６は、再び工程Ｓ１４に戻る。したがって、作業進捗状況判定部１０６は、作業時間が所定の作業時間に達し作業進捗状況が１００％となるまで、これらの工程Ｓ１４～Ｓ１６を繰り返し実行する。 In step S16, the work progress determination unit 106 determines the work progress based on the work time (counter) and the predetermined work time (counter_set). Specifically, the work progress determination unit 106 calculates a specific value indicating the work progress using the following formula: "Work progress = counter / (counter_set) * 100 (%)". In addition, when the work progress determination unit 106 calculates the work progress, it reads data related to an image indicating that work is being performed from a data storage unit (not shown) and outputs the read data to the display unit 107. Based on the data output from the work progress determination unit 106, the display unit 107 displays an image related to the determination result, such as that shown in FIG. 3B, for example, a specific numerical value of the work progress. In addition, the display unit 107 may display an image indicating information such as the remaining time until the work is completed, together with the determination result, such as that shown in FIG. 3B. When such an image is displayed on the display unit 107, the work progress determination unit 106 again proceeds to step S14 and executes the operations related to steps S14 and S15. In other words, since the work progress is less than 100% here, the work progress determination unit 106 returns to step S14 again. Therefore, the work progress determination unit 106 repeatedly executes steps S14 to S16 until the work time reaches a predetermined work time and the work progress becomes 100%.

これに対して、工程Ｓ１５において、作業進捗状況判定部１０６は、これらの時間を比較した結果、作業時間が所定の作業時間以上である場合（ｃｏｕｎｔｅｒ≧ｃｏｕｎｔｅｒ＿ｓｅｔ）には、作業対象領域に対する作業が完了したものと判定し、工程Ｓ１７に移行する（判定結果がＹｅｓ）。 In response to this, in step S15, the work progress determination unit 106 compares these times and, if the work time is equal to or greater than a predetermined work time (counter ≧ counter_set), it determines that the work on the work target area is completed and proceeds to step S17 (determination result is Yes).

工程Ｓ１７では、作業進捗状況判定部１０６は、作業が完了したことを示す画像に関するデータを図示しないデータ格納部から読み出し、読み出したデータを表示部１０７に出力する。表示部１０７は、作業進捗状況判定部１０６から出力されたデータに基づいて、例えば図３（ｃ）に示すような判定結果に関する画像、例えば作業進捗状況が１００％であることを示す画像を表示する。また、表示部１０７は、これ以外にも、例えば図３（ｃ）に示すような、作業が完了したことを示す画像を判定結果と合わせて表示するようにしてもよい。表示部１０７に、作業対象領域に対する作業が完了したことを示す画像が表示されると、作業進捗状況判定部１０６は、作業進捗状況の判定に係る一連の動作を終了する。 In step S17, the work progress determination unit 106 reads data relating to an image indicating that the work has been completed from a data storage unit (not shown), and outputs the read data to the display unit 107. Based on the data output from the work progress determination unit 106, the display unit 107 displays an image relating to the determination result, for example as shown in FIG. 3(c), for example an image indicating that the work progress is 100%. In addition to this, the display unit 107 may also display an image indicating that the work has been completed, for example as shown in FIG. 3(c), together with the determination result. When the image indicating that the work on the work target area has been completed is displayed on the display unit 107, the work progress determination unit 106 ends the series of operations relating to the determination of the work progress.

表示部１０７は、上述したように、作業進捗状況判定部１０６から出力された作業進捗状況の判定結果等に関する画像に関するデータ等の入力を受け付け、入力されたデータに基づいて各種画像を表示する。表示部１０７には、例えば、液晶パネル、有機ＥＬ（ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）パネル、いわゆる電子ペーパー等の各種表示パネルが用いられる。 As described above, the display unit 107 receives input of data related to images relating to the work progress judgment results output from the work progress judgment unit 106, and displays various images based on the input data. For the display unit 107, various display panels such as a liquid crystal panel, an organic EL (electroluminescence) panel, or so-called electronic paper are used.

作業対象領域抽出部１０２、温度分布画像生成部１０４、作業対象領域温度算出部１０５、作業進捗状況判定部１０６については、それぞれに異なるハードウェアで実現されてもよいし、ソフトウェアで実現されてもよい。また、これらの構成要素が、１つのハードウェアの中でまとめて実現されてもよいし、１つのソフトウェアの中でまとめて実現されてもよい。また、これらの構成要素が、その他の構成要素中で実現されてもよい。 The work target area extraction unit 102, temperature distribution image generation unit 104, work target area temperature calculation unit 105, and work progress determination unit 106 may each be realized by different hardware or software. Furthermore, these components may be realized together in a single piece of hardware, or together in a single piece of software. Furthermore, these components may be realized within other components.

ここで、作業支援装置１５０の形態の一例について説明する。図４は、本発明の実施の形態１に係る作業支援装置の形態の一例を示す図である。図５は、本発明の実施の形態１に係るヘッドマウントディスプレイの形態の一例を示す図である。 Here, an example of the configuration of the work support device 150 will be described. FIG. 4 is a diagram showing an example of the configuration of the work support device according to the first embodiment of the present invention. FIG. 5 is a diagram showing an example of the configuration of the head-mounted display according to the first embodiment of the present invention.

作業支援装置１５０の表示部１０７は、例えば図４、図５に示すように、ヘッドマウントディスプレイ１２０に設けられている。ヘッドマウントディスプレイ１２０には、例えば図４に示すように、可視光カメラ１０１、遠赤外カメラ１０３等が取り付けられている。可視光カメラ１０１、遠赤外カメラ１０３は、図４に示すように表示部１０７の近傍に取り付けられてもよいし、例えば、作業者１９０が装着する作業用ヘルメット等に取り付けられてもよい。なお、図４には、作業対象領域抽出部１０２、温度分布画像生成部１０４、作業対象領域温度算出部１０５、作業進捗状況判定部１０６等が表示されていないが、例えば、これらの構成要素を含んだ制御ユニットが別体で設けられ、制御ユニットが可視光カメラ１０１、遠赤外カメラ１０３、表示部１０７等と接続されるようにしてもよい。 The display unit 107 of the work support device 150 is provided on the head mounted display 120, for example, as shown in Figs. 4 and 5. The head mounted display 120 is equipped with a visible light camera 101, a far infrared camera 103, and the like, as shown in Fig. 4. The visible light camera 101 and the far infrared camera 103 may be attached near the display unit 107 as shown in Fig. 4, or may be attached to a work helmet worn by the worker 190, for example. Note that the work target area extraction unit 102, the temperature distribution image generation unit 104, the work target area temperature calculation unit 105, the work progress determination unit 106, and the like are not shown in Fig. 4, but for example, a control unit including these components may be provided separately, and the control unit may be connected to the visible light camera 101, the far infrared camera 103, the display unit 107, and the like.

ヘッドマウントディスプレイ１２０は、作業者１９０が頭部に装着する眼鏡タイプの表示装置である。ヘッドマウントディスプレイ１２０は、図４、図５に示すように、フレーム１２１、テンプル１２２、１２３、パッド１２４、表示部１０７等を備えている。 The head mounted display 120 is a glasses-type display device that is worn on the head of the worker 190. As shown in Figures 4 and 5, the head mounted display 120 includes a frame 121, temples 122 and 123, a pad 124, a display unit 107, etc.

フレーム１２１は、表示部１０７を支持する部材である。テンプル１２２は、装着された際に作業者１９０から見てフレーム１２１の右側の端部と接続され、作業者１９０の後方に向かって延在している。テンプル１２３は、装着された際に作業者１９０から見てフレーム１２１の左側の端部と接続され、作業者１９０の後方に向かって延在している。 The frame 121 is a member that supports the display unit 107. The temple 122 is connected to the right end of the frame 121 when viewed from the worker 190, and extends toward the rear of the worker 190, when worn. The temple 123 is connected to the left end of the frame 121 when viewed from the worker 190, and extends toward the rear of the worker 190, when worn.

ヘッドマウントディスプレイ１２０の装着時には、図４に示すように、パッド１２４が作業者１９０の鼻１９１に載置され、テンプル１２２、１２３が作業者１９０の側頭部及び図示しない耳と当接することにより、ヘッドマウントディスプレイ１２０が作業者１９０の頭部に支持される。そうすると、表示部１０７は、作業者１９０の眼前に配置される。作業者１９０は、片手または両手を使うことなく、表示部１０７に表示された画像を見ることで作業に必要な情報を取得することができる。 When the head mounted display 120 is worn, as shown in FIG. 4, the pad 124 is placed on the nose 191 of the worker 190, and the temples 122, 123 come into contact with the temples of the worker 190's head and ears (not shown), thereby supporting the head mounted display 120 on the head of the worker 190. In this way, the display unit 107 is positioned in front of the eyes of the worker 190. The worker 190 can obtain information necessary for work by looking at the image displayed on the display unit 107 without using one or both hands.

図４、図５には、ヘッドマウントディスプレイ１２０に２つの表示部１０７が実装された場合について示されているが、このような構成に限定されるものではない。例えば、表示部１０７が左右いずれか片方にのみ設けられてもよい。 Figures 4 and 5 show a case where two display units 107 are mounted on the head mounted display 120, but this is not limited to a configuration. For example, the display unit 107 may be provided on only one of the left or right sides.

表示部１０７は、例えば、作業者１９０が使用するメガネ用レンズに取り付けることができるように構成されたものであってもよいし、例えば作業用ゴーグルやメガネ用レンズ等に貼り付けられるように構成されたものであってもよい。 The display unit 107 may be configured, for example, so that it can be attached to the eyeglass lenses used by the worker 190, or it may be configured so that it can be attached to, for example, work goggles or eyeglass lenses.

本実施の形態によれば、可視光カメラ１０１で撮像された可視光画像及び遠赤外カメラ１０３で撮像された熱画像に基づいて、作業進捗状況判定部１０６が、作業進捗状況を判定し、判定結果が表示部１０７に表示される。 According to this embodiment, the work progress determination unit 106 determines the work progress based on the visible light image captured by the visible light camera 101 and the thermal image captured by the far-infrared camera 103, and the determination result is displayed on the display unit 107.

この構成によれば、作業者１９０が表示部１０７に表示された作業進捗状況の判定結果を見ることが可能となるので、作業の進捗状況を作業者に知らせることができる。 This configuration allows the worker 190 to see the results of the work progress assessment displayed on the display unit 107, so the worker can be informed of the work progress.

また、本実施の形態によれば、作業対象領域抽出部１０２で抽出された作業対象領域と、温度分布画像生成部１０４で生成された温度分布画像とから、作業対象領域温度算出部１０５において作業対象領域の作業温度が算出され、作業進捗状況判定部１０６では、算出された作業温度及び作業対象領域に対する作業時間に基づいて作業進捗状況が判定され、作業進捗状況の判定結果が表示部１０７に表示される。 In addition, according to this embodiment, the work temperature of the work target area is calculated in the work target area temperature calculation unit 105 based on the work target area extracted by the work target area extraction unit 102 and the temperature distribution image generated by the temperature distribution image generation unit 104, and the work progress determination unit 106 determines the work progress based on the calculated work temperature and the work time for the work target area, and the determination result of the work progress is displayed on the display unit 107.

この構成によれば、作業温度及び作業時間により作業進捗状況が判定されるので、作業の精度を向上させることができる。 With this configuration, work progress is determined based on the work temperature and work time, improving work accuracy.

また、本実施の形態によれば、作業対象領域を加熱する作業を行う場合には、作業進捗状況判定部１０６は、作業対象領域が予め設定された所定の作業温度以上に達したら作業時間の計測を開始し、作業時間及び予め設定された、作業が完了するまでの所定の作業時間に基づいて作業進捗状況を判定する。 In addition, according to this embodiment, when work is performed to heat the work area, the work progress determination unit 106 starts measuring the work time when the work area reaches a predetermined work temperature or higher, and determines the work progress based on the work time and the predetermined work time until the work is completed.

この構成によれば、作業対象領域の温度が所定の作業温度よりも低い場合における作業については作業時間がカウントされなくなるので、作業の精度をより一層向上させることができる。 With this configuration, work time is not counted for work in which the temperature of the work area is lower than the specified work temperature, further improving work accuracy.

また、本実施の形態によれば、表示部１０７には、作業進捗状況の判定結果とともに、図３（ａ）～（ｃ）に示すような、作業対象領域の状況等について画像、作業完了までの残り時間等の画像、作業が完了したことを示す画像などが、作業進捗状況の判定結果と合わせて表示される。この構成によれば、作業者１９０は、作業対象領域に関する付加的情報を取得することができるので、作業進捗状況をより詳細に把握することができる。 In addition, according to this embodiment, the display unit 107 displays images of the status of the work area, the time remaining until the work is completed, and an image indicating that the work has been completed, as shown in FIGS. 3(a) to (c), along with the work progress determination results. With this configuration, the worker 190 can obtain additional information about the work area, allowing him or her to grasp the work progress in more detail.

また、本実施の形態によれば、作業対象領域抽出部１０２が、可視光カメラ１０１で撮像された可視光画像から作業対象領域を抽出し、温度分布画像生成部１０４が、遠赤外カメラ１０３で撮像された熱画像から温度分布画像を生成し、作業対象領域温度算出部１０５が、作業対象領域及び温度分布画像に基づいて作業対象領域の作業温度を算出する。この構成によれば、作業対象領域の温度が正確に算出されるので、作業の精度を向上させることができる。 Furthermore, according to this embodiment, the work target area extraction unit 102 extracts the work target area from the visible light image captured by the visible light camera 101, the temperature distribution image generation unit 104 generates a temperature distribution image from the thermal image captured by the far-infrared camera 103, and the work target area temperature calculation unit 105 calculates the work temperature of the work target area based on the work target area and the temperature distribution image. According to this configuration, the temperature of the work target area is accurately calculated, thereby improving the accuracy of the work.

また、本実施の形態によれば、可視光カメラ１０１及び遠赤外カメラ１０３は、遠赤外カメラ１０３の撮像領域と可視光カメラ１０１の撮像領域とがほぼ同等となるように、調整されている。この構成によれば、可視光画像と温度分布画像との比較が容易となり、作業対象領域の作業温度をより正確に算出することができる。また、これにより、作業の精度を向上させることができる。 In addition, according to this embodiment, the visible light camera 101 and the far-infrared camera 103 are adjusted so that the imaging area of the far-infrared camera 103 and the imaging area of the visible light camera 101 are approximately equal. This configuration makes it easier to compare the visible light image with the temperature distribution image, and allows the working temperature of the work area to be calculated more accurately. This also allows the accuracy of the work to be improved.

また、本実施の形態によれば、表示部１０７は、ヘッドマウントディスプレイ１２０に設けられている。この構成によれば、ヘッドマウントディスプレイ１２０を頭部に装着することにより表示部１０７が作業者１９０の眼前に配置されるので、両手を使うことなく作業進捗状況の判定結果を取得することができる。 Furthermore, according to this embodiment, the display unit 107 is provided on the head-mounted display 120. With this configuration, the display unit 107 is placed in front of the eyes of the worker 190 by wearing the head-mounted display 120 on the head, so that the judgment result of the work progress status can be obtained without using both hands.

（実施の形態２）
次に、本発明の実施の形態２について説明する。本実施の形態に係る作業支援装置では、複数の作業を実施する場合には、作業進捗状況判定部１０６は、１つの作業が完了した後、次の作業についての作業進捗状況を判定する。例えば、１つの作業について作業進捗状況が１００％に達したら、表示部１０７には次のステップの作業内容が表示され、作業進捗状況判定部１０６は、次の作業についての作業進捗状況の判定を開始する。 (Embodiment 2)
Next, a second embodiment of the present invention will be described. In the task support device according to this embodiment, when a plurality of tasks are performed, the task progress determination unit 106 determines the task progress of the next task after one task is completed. For example, when the task progress of one task reaches 100%, the task content of the next step is displayed on the display unit 107, and the task progress determination unit 106 starts determining the task progress of the next task.

図６は、本発明の実施の形態２における作業進捗状況判定部の動作の一例を示すフローチャート図である。図７は、作業進捗状況に応じて表示部に表示される画像の一例を示す図である。 Figure 6 is a flow chart showing an example of the operation of the work progress determination unit in embodiment 2 of the present invention. Figure 7 is a diagram showing an example of an image displayed on the display unit according to the work progress status.

このうち、工程Ｓ１１～Ｓ１７における作業進捗状況判定部１０６の動作については、実施の形態１における動作と同一であるため、詳細な説明を省略する。 Of these, the operation of the work progress determination unit 106 in steps S11 to S17 is the same as that in embodiment 1, so a detailed description will be omitted.

工程Ｓ１７において、表示部１０７に作業対象領域に対する作業が完了したことを示す画像、例えば図３（ｃ）に示すような、作業進捗状況が１００％に達したことを示す画像等が表示されると、作業進捗状況判定部１０６は、図６に示す工程Ｓ２８に移行する。工程Ｓ２８では、作業進捗状況判定部１０６は、次の作業の有無を判定する。作業進捗状況判定部１０６は、例えば、図示しないデータ格納部から作業内容に関するデータを読み出して、完了した作業内容と比較することにより、次の作業の有無を判定する。作業進捗状況判定部１０６は、次の作業があると判断した場合には、工程Ｓ２９に移行する（判定結果がＮｏ）。 In step S17, when the display unit 107 displays an image indicating that the work on the work target area has been completed, such as an image indicating that the work progress has reached 100% as shown in FIG. 3(c), the work progress determination unit 106 proceeds to step S28 shown in FIG. 6. In step S28, the work progress determination unit 106 determines whether there is next work. The work progress determination unit 106 determines whether there is next work, for example, by reading data on the work content from a data storage unit (not shown) and comparing it with the completed work content. If the work progress determination unit 106 determines that there is next work, it proceeds to step S29 (determination result is No).

工程Ｓ２９では、作業進捗状況判定部１０６は、次の作業に移行することを示す画像に関するデータを、例えば図示しないデータ格納部から読み出し、読み出したデータを表示部１０７に出力する。表示部１０７は、作業進捗状況判定部１０６から出力されたデータに基づいて、例えば図７（ａ）に示すような、次の作業に移行することを示す画像を表示する。また、表示部１０７は、これ以外にも、例えば図７（ａ）に示すような、次の作業の具体的内容を示す画像等を、次の作業に移行することを示す画像と合わせて表示するようにしてもよい。また、作業進捗状況判定部１０６は、次の作業内容に対応する所定の作業温度（Ｔｅｍｐ＿ｓｅｔ）、所定の作業時間（ｃｏｕｎｔｅｒ＿ｓｅｔ）を、例えば図示しないデータ格納部から読み出し、所定の作業温度、所定の作業時間に関するデータを更新する。これらの動作が実行されると、作業進捗状況判定部１０６は、工程Ｓ１１に移行し、次の作業内容に関する作業進捗状況の判定を行う。 In step S29, the work progress determination unit 106 reads data on an image indicating that the work will proceed to the next work from, for example, a data storage unit (not shown), and outputs the read data to the display unit 107. The display unit 107 displays an image indicating that the work will proceed to the next work, for example, as shown in FIG. 7(a), based on the data output from the work progress determination unit 106. In addition, the display unit 107 may display an image indicating the specific content of the next work, for example, as shown in FIG. 7(a), together with the image indicating that the work will proceed to the next work. In addition, the work progress determination unit 106 reads a predetermined work temperature (Temp_set) and a predetermined work time (counter_set) corresponding to the next work content from, for example, a data storage unit (not shown), and updates the data on the predetermined work temperature and the predetermined work time. When these operations are performed, the work progress determination unit 106 proceeds to step S11 and determines the work progress for the next work content.

これに対して、工程Ｓ２８において、作業進捗状況判定部１０６は、次の作業がないと判断した場合には、工程Ｓ３０に移行する（判定結果がＹｅｓ）。工程Ｓ３０では、作業進捗状況判定部１０６は、すべての作業が完了したことを示す画像に関するデータを、例えば図示しないデータ格納部から読み出し、読み出したデータを表示部１０７に出力する。表示部１０７は、作業進捗状況判定部１０６から出力されたデータに基づいて、例えば図７（ｂ）に示すような、すべての作業が完了したことを示す画像を表示する。また、表
示部１０７は、これ以外にも、例えば図７（ｂ）に示すような、作業終了後における作業者１９０への具体的な指示内容を表示するようにしてもよい。表示部１０７に、すべての作業が完了したことを示す画像が表示されると、作業進捗状況判定部１０６は、作業進捗状況の判定に係る一連の動作を終了する。 On the other hand, in step S28, if the work progress status determination unit 106 determines that there is no next work, the process proceeds to step S30 (determination result is Yes). In step S30, the work progress status determination unit 106 reads data on an image indicating that all the work has been completed, for example, from a data storage unit (not shown), and outputs the read data to the display unit 107. The display unit 107 displays an image indicating that all the work has been completed, for example, as shown in FIG. 7B, based on the data output from the work progress status determination unit 106. In addition, the display unit 107 may display specific instructions to the worker 190 after the work is completed, for example, as shown in FIG. 7B. When the image indicating that all the work has been completed is displayed on the display unit 107, the work progress status determination unit 106 ends a series of operations related to the determination of the work progress status.

本実施の形態によれば、作業進捗状況判定部１０６では、１つの作業が完了した後、次の作業についての作業進捗状況の判定が自動的に実施され、次の作業についての作業進捗状況が表示部１０７に表示される。この構成によれば、複数の作業が連続して実施される場合でも、作業の進捗状況に関する判定結果が自動的に表示されるようになるので、作業ごとに作業進捗状況の判定を実施させるための動作を省略することができ、作業効率を大幅に向上させることができる。 According to this embodiment, after one task is completed, the work progress determination unit 106 automatically determines the work progress of the next task, and the work progress of the next task is displayed on the display unit 107. With this configuration, even when multiple tasks are performed consecutively, the determination results regarding the work progress are automatically displayed, so that the operation of determining the work progress for each task can be omitted, and work efficiency can be significantly improved.

（実施の形態３）
次に、本発明の実施の形態３について説明する。本実施の形態では、作業支援装置と、作業者が加熱等の作業を行っている作業機器とからなる作業支援システムについて説明する。 (Embodiment 3)
Next, a third embodiment of the present invention will be described. In this embodiment, a work support system including a work support device and a work machine on which a worker performs work such as heating will be described.

図８は、本発明の実施の形態３に係る作業支援システムの構成の一例を示すブロック図である。作業支援システム２００は、図８に示すように、作業支援装置２５０、作業機器２６０を備えている。作業支援装置２５０は、可視光撮像部としての可視光カメラ１０１、熱画像撮像部としての遠赤外カメラ１０３、作業対象領域抽出部１０２、温度分布画像生成部１０４、作業対象領域温度算出部１０５、作業進捗状況判定部１０６、表示部１０７、適正温度データベース部２５１を備えている。作業機器２６０は、温度制御部２６１、温度発生部２６２を備えている。 Fig. 8 is a block diagram showing an example of the configuration of a work support system according to the third embodiment of the present invention. As shown in Fig. 8, the work support system 200 includes a work support device 250 and a work equipment 260. The work support device 250 includes a visible light camera 101 as a visible light imaging unit, a far-infrared camera 103 as a thermal image imaging unit, a work target area extraction unit 102, a temperature distribution image generation unit 104, a work target area temperature calculation unit 105, a work progress determination unit 106, a display unit 107, and an appropriate temperature database unit 251. The work equipment 260 includes a temperature control unit 261 and a temperature generation unit 262.

作業支援装置２５０の適正温度データベース部２５１は、作業進捗状況判定部１０６と接続されている。作業進捗状況判定部１０６は、適正温度データベース２５１及び作業機器２６０の温度制御部２６１と接続されている。作業進捗状況判定部１０６と温度制御部２６１とは、例えばケーブル等の配線で接続されている。これにより、作業支援装置２５０と作業機器２６０とが接続されている。温度制御部２６１は、作業進捗状況判定部１０６及び温度発生部２６２と接続されている。このうち、可視光カメラ１０１、熱画像撮像部としての遠赤外カメラ１０３、作業対象領域抽出部１０２、温度分布画像生成部１０４、作業対象領域温度算出部１０５、表示部１０７については、実施の形態１で説明しているので、詳細な説明を省略する。 The appropriate temperature database unit 251 of the work support device 250 is connected to the work progress status determination unit 106. The work progress status determination unit 106 is connected to the appropriate temperature database 251 and the temperature control unit 261 of the work equipment 260. The work progress status determination unit 106 and the temperature control unit 261 are connected by wiring such as a cable. This connects the work support device 250 and the work equipment 260. The temperature control unit 261 is connected to the work progress status determination unit 106 and the temperature generation unit 262. Of these, the visible light camera 101, the far-infrared camera 103 as a thermal image capture unit, the work target area extraction unit 102, the temperature distribution image generation unit 104, the work target area temperature calculation unit 105, and the display unit 107 have been described in the first embodiment, so detailed description will be omitted.

適正温度データベース部２５１は、作業時における作業対象領域の適正温度に関する情報を保持する。適正温度データベース部２５１は、例えば、複数の作業についての適正温度に関する情報を保持するようにしてもよいし、作業ごとに更新した適正温度に関する情報を保持するようにしてもよい。 The appropriate temperature database unit 251 holds information about the appropriate temperature of the work area during work. The appropriate temperature database unit 251 may hold, for example, information about appropriate temperatures for multiple tasks, or may hold information about appropriate temperatures updated for each task.

作業進捗状況判定部１０６は、上述したような、作業進捗状況を判定するとともに、作業対象領域の作業温度と適正温度データベース部２５１から読み出した適正温度との差分を算出し、差分を差分温度情報として作業機器２６０の温度制御部２６１に出力する。 The work progress determination unit 106 determines the work progress as described above, calculates the difference between the work temperature in the work area and the appropriate temperature read from the appropriate temperature database unit 251, and outputs the difference to the temperature control unit 261 of the work equipment 260 as differential temperature information.

温度制御部２６１は、作業進捗状況判定部１０６から出力された差分温度情報に基づいて温度制御を行う。例えば、温度制御部２６１は、差分温度情報に基づいて作業対象領域の作業温度が適正温度よりも低いと判断した場合には、作業温度を上昇させる制御を実施する。詳しくは、温度制御部２６１は、温度発生部２６２に対して、温度発生部２６２の温度を上昇させる制御を実施する。具体的には、温度制御部２６１は、例えば、温度発生部２６２を構成する図示しないヒーター等の温度調節部材への電流供給量を増加させる。これにより、作業対象領域に対する作業温度が上昇する。その際、作業進捗状況判定部１０６は、作業機器２６０の温度を上昇させていることを示す画像を、表示部１０７に表示させるようにしてもよい。 The temperature control unit 261 performs temperature control based on the differential temperature information output from the work progress determination unit 106. For example, when the temperature control unit 261 determines that the working temperature of the work target area is lower than the appropriate temperature based on the differential temperature information, it performs control to increase the working temperature. In detail, the temperature control unit 261 performs control on the temperature generation unit 262 to increase the temperature of the temperature generation unit 262. Specifically, the temperature control unit 261 increases the amount of current supplied to a temperature adjustment member such as a heater (not shown) that constitutes the temperature generation unit 262. This increases the working temperature of the work target area. At that time, the work progress determination unit 106 may display an image on the display unit 107 indicating that the temperature of the work equipment 260 is being increased.

これに対して、温度制御部２６１は、差分温度情報に基づいて作業対象領域の作業温度が適正温度よりも高いと判断した場合には、作業温度の上昇を抑える制御を実施する。詳しくは、温度制御部２６１は、温度発生部２６２に対して、温度発生部２６２の温度上昇を抑える制御を実施する。具体的には、温度制御部２６１は、例えば、ヒーター等への電流供給量を減少させる。これにより、作業温度の上昇が抑えられる。その際、作業進捗状況判定部１０６は、作業機器２６０の温度を上昇が抑えられていることを示す画像を、表示部１０７に表示させるようにしてもよい。 In response to this, when the temperature control unit 261 determines that the working temperature in the work area is higher than the appropriate temperature based on the differential temperature information, it implements control to suppress the rise in the working temperature. In more detail, the temperature control unit 261 implements control on the temperature generation unit 262 to suppress the rise in temperature of the temperature generation unit 262. Specifically, the temperature control unit 261 reduces the amount of current supplied to a heater or the like, for example. This suppresses the rise in the working temperature. At that time, the work progress determination unit 106 may cause the display unit 107 to display an image indicating that the rise in temperature of the work equipment 260 is being suppressed.

また、温度制御部２６１は、差分温度情報に基づいて作業対象領域の作業温度が適正温度よりも高すぎると判断した場合には、作業温度を低下させる制御を実施してもよい。詳しくは、温度制御部２６１は、温度発生部２６２に対して、温度発生部２６２の温度を低下させる制御を実施する。具体的には、温度制御部２６１は、例えば、ヒーター等への電流供給量をさらに減少させる。あるいは、温度制御部２６１は、ヒーター等への電流供給を一時的に停止させる。これにより、作業温度を低下させる。その際、作業進捗状況判定部１０６は、作業機器２６０の温度を低下させていることを示す画像を、表示部１０７に表示させるようにしてもよい。 Furthermore, when the temperature control unit 261 determines based on the differential temperature information that the working temperature in the work target area is higher than the appropriate temperature, the temperature control unit 261 may implement control to lower the working temperature. In particular, the temperature control unit 261 implements control on the temperature generation unit 262 to lower the temperature of the temperature generation unit 262. Specifically, the temperature control unit 261, for example, further reduces the amount of current supplied to the heater or the like. Alternatively, the temperature control unit 261 temporarily stops the current supply to the heater or the like. This lowers the working temperature. At that time, the work progress determination unit 106 may cause the display unit 107 to display an image indicating that the temperature of the work equipment 260 is being lowered.

温度制御部２６１は、ハードウェアで実現されてもよいし、ソフトウェアで実現されてもよい。また、温度制御部２６１は、その他の構成要素のハードウェア、ソフトウェアの中で実現されてもよい。 The temperature control unit 261 may be realized in hardware or software. The temperature control unit 261 may also be realized in the hardware or software of other components.

本実施の形態によれば、作業進捗状況判定部１０６で算出された差分温度情報に基づいて、温度制御部２６１は、例えば、温度発生部２６２への電流供給量を制御して温度発生部２６２の温度を制御している。この構成によれば、作業支援装置２５０と作業機器２６０とを連携させながら作業対象領域の作業温度を制御することができるので、より効率的に作業を行うことができる。また、この構成によれば、作業対象領域に対する作業が適正温度付近で実施されることとなるので、作業の精度を向上させることができる。 According to this embodiment, the temperature control unit 261 controls the temperature of the temperature generating unit 262, for example, by controlling the amount of current supplied to the temperature generating unit 262 based on the differential temperature information calculated by the work progress determination unit 106. With this configuration, the work temperature of the work target area can be controlled while linking the work support device 250 and the work equipment 260, so that work can be performed more efficiently. Furthermore, with this configuration, work on the work target area is performed at approximately the appropriate temperature, so that the accuracy of the work can be improved.

また、本実施の形態によれば、作業進捗状況判定部１０６は、作業機器２６０への温度制御情報に関する画像が表示部１０７に表示される。この構成によれば、作業者１９０は、作業進捗状況以外にも、作業機器２６０の状況も知ることができるので、作業に関するより詳しい情報を取得することができる。 In addition, according to this embodiment, the work progress determination unit 106 displays an image related to temperature control information for the work equipment 260 on the display unit 107. With this configuration, the worker 190 can know not only the work progress but also the status of the work equipment 260, and can therefore obtain more detailed information related to the work.

（実施の形態４）
次に、本発明の実施の形態４について説明する。本実施の形態では、作業支援装置と、作業機器とが無線で接続された作業支援システムについて説明する。 (Embodiment 4)
Next, a fourth embodiment of the present invention will be described. In this embodiment, a work support system in which a work support apparatus and a work machine are wirelessly connected will be described.

図９は、本発明の実施の形態４に係る作業支援システムの構成の一例を示すブロック図である。作業支援システム２００は、図９に示すように、作業支援装置３５０、作業機器３６０を備えている。作業支援装置３５０は、図８に示す作業支援装置２５０の構成要素と、第１の通信処理部３５２とを備えている。作業機器３６０は、図８に示す作業機器２６０の構成要素と、第２の通信処理部３６３とを備えている。 Fig. 9 is a block diagram showing an example of the configuration of a work assistance system according to embodiment 4 of the present invention. As shown in Fig. 9, the work assistance system 200 includes a work assistance device 350 and a work equipment 360. The work assistance device 350 includes the components of the work assistance device 250 shown in Fig. 8 and a first communication processing unit 352. The work equipment 360 includes the components of the work equipment 260 shown in Fig. 8 and a second communication processing unit 363.

本実施の形態では、作業進捗状況判定部１０６は、差分温度情報を第１の通信処理部３５２に出力する。 In this embodiment, the work progress determination unit 106 outputs the differential temperature information to the first communication processing unit 352.

第１の通信処理部３５２は、作業進捗状況判定部１０６と接続されている。また、第１の通信処理部３５２は、作業支援装置３５０と作業機器３６０とを接続する外部インターフェイスであり、無線のネットワークを介して作業機器３６０の第２の通信処理部３６３と接続されている。第１の通信処理部３５２及び第２の通信処理部３６３は、無線のネットワークを介して相互にデータの送受信が可能である。例えば、第１の通信処理部３５２は、作業進捗状況判定部１０６から出力された差分温度情報を、第２の通信処理部３６３に送信する。 The first communication processing unit 352 is connected to the work progress determination unit 106. The first communication processing unit 352 is also an external interface that connects the work support device 350 and the work equipment 360, and is connected to the second communication processing unit 363 of the work equipment 360 via a wireless network. The first communication processing unit 352 and the second communication processing unit 363 can transmit and receive data to each other via the wireless network. For example, the first communication processing unit 352 transmits differential temperature information output from the work progress determination unit 106 to the second communication processing unit 363.

第２の通信処理部３６３は、温度制御部２６１と接続されている。また、第２の通信処理部３６３は、作業支援装置３５０と作業機器３６０とを接続する外部インターフェイスであり、無線のネットワークを介して作業支援装置３５０の第１の通信処理部３５２と接続されている。第２の通信処理部３６３は、第１の通信処理部３５２から受信した差分温度情報を温度制御部２６１に出力する。 The second communication processing unit 363 is connected to the temperature control unit 261. The second communication processing unit 363 is also an external interface that connects the work support device 350 and the work equipment 360, and is connected to the first communication processing unit 352 of the work support device 350 via a wireless network. The second communication processing unit 363 outputs the differential temperature information received from the first communication processing unit 352 to the temperature control unit 261.

温度制御部２６１は、第２の通信処理部３６３から出力された差分温度情報に基づいて、例えば、上述したような温度制御を行う。 The temperature control unit 261 performs temperature control, for example, as described above, based on the differential temperature information output from the second communication processing unit 363.

本実施の形態によれば、第１の通信処理部３５２と第２の通信処理部３６３とが無線のネットワークを介して接続され、第１の通信処理部３５２及び第２の通信処理部３６３の間で差分温度情報等の各種データの送受信がなされる。この構成によれば、作業支援装置３５０と作業機器３６０とが配線で接続されていなくても、差分温度情報に基づいて作業機器３６０の温度制御を実施することができるので、作業支援装置３５０及び作業機器３６０の取り回しが容易になり作業を実施しやすくなる。 According to this embodiment, the first communication processing unit 352 and the second communication processing unit 363 are connected via a wireless network, and various data such as differential temperature information is transmitted and received between the first communication processing unit 352 and the second communication processing unit 363. With this configuration, even if the work support device 350 and the work equipment 360 are not connected by wires, the temperature of the work equipment 360 can be controlled based on the differential temperature information, making it easier to handle the work support device 350 and the work equipment 360 and to perform work.

（その他の実施の形態）
上記の実施の形態では、作業対象領域に対して加熱する作業を例に挙げて説明したが、このような場合に限定されるものではなく、例えば作業対象領域に対して冷却する作業にも適用することが可能である。この場合において、図２、図６に示す工程Ｓ１２では、作業対象領域の作業温度が所定の作業温度を超えている、すなわち、作業対象領域の作業温度が所定の作業温度に達していない場合（Ｔｅｍｐ＿ｔａｒｇｅｔ＞Ｔｅｍｐ＿ｓｅｔ）には、作業進捗状況判定部１０６は、作業進捗状況が０％であると判定し、工程Ｓ１３に移行する（判定結果がＮｏ）。これに対して、作業対象領域の作業温度が所定の作業温度以下、すなわち、作業対象領域の作業温度が所定の作業温度に達している場合（Ｔｅｍｐ＿ｔａｒｇｅｔ≦Ｔｅｍｐ＿ｓｅｔ）には、工
程Ｓ１４に移行する（判定結果がＹｅｓ）。 (Other embodiments)
In the above embodiment, the work of heating the work target area has been described as an example, but the present invention is not limited to this, and can also be applied to, for example, cooling the work target area. In this case, in step S12 shown in Figures 2 and 6, if the work temperature of the work target area exceeds a predetermined work temperature, i.e., the work temperature of the work target area does not reach the predetermined work temperature (Temp_target>Temp_set), the work progress determination unit 106 determines that the work progress is 0% and proceeds to step S13 (determination result is No). On the other hand, if the work temperature of the work target area is equal to or lower than the predetermined work temperature, i.e., the work temperature of the work target area reaches the predetermined work temperature (Temp_target≦Temp_set), the process proceeds to step S14 (determination result is Yes).

また、図２、図６では、作業対象領域の作業温度が所定の作業温度に達し、作業時間の計測が開始されると、作業温度を判定する工程が設けられていないが、例えば、作業時間の計測中に作業温度を判定する工程を設けてもよい。この場合には、例えば、作業温度が低下した場合に、一時的に作業時間の計測を停止し、作業温度が回復してから残りの作業時間を計測するようにしてもよい。このような構成によれば、作業精度をさらに向上させることができる。 In addition, in Figures 2 and 6, when the working temperature in the work area reaches a predetermined working temperature and measurement of the working time is started, a process of determining the working temperature is not provided, but, for example, a process of determining the working temperature while measuring the working time may be provided. In this case, for example, when the working temperature drops, the measurement of the working time may be temporarily stopped, and the remaining working time may be measured after the working temperature has recovered. With such a configuration, the work accuracy can be further improved.

以上、本発明者によってなされた発明を発明の実施の形態に基づき具体的に説明したが、本発明は前記発明の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。 The invention made by the inventor has been specifically described above based on the embodiment of the invention, but it goes without saying that the invention is not limited to the embodiment of the invention and can be modified in various ways without departing from the gist of the invention.

なお、本発明は上記した実施の形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。 The present invention is not limited to the above-described embodiment, but includes various modifications. For example, the above-described embodiment has been described in detail to clearly explain the present invention, and is not necessarily limited to having all of the configurations described.

また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加、削除、置換をすることが可能である。なお、図面に記載した各部材や相対的なサイズは、本発明を分かりやすく説明するため簡素化・理想化しており、実装上はより複雑な形状となる場合がある。 It is also possible to replace part of the configuration of one embodiment with the configuration of another embodiment, and it is also possible to add the configuration of another embodiment to the configuration of one embodiment. It is also possible to add, delete, or replace part of the configuration of each embodiment with other configurations. Note that the components and relative sizes shown in the drawings have been simplified and idealized to explain the invention in an easy-to-understand manner, and the actual shape may be more complex.

１０１…可視光カメラ、１０２…作業対象領域抽出部、１０３…遠赤外カメラ、１０４…温度分布画像生成部、１０５…作業対象領域温度算出部、１０６…作業進捗状況判定部、１０７…表示部、１２０…ヘッドマウントディスプレイ、１５０…作業支援装置、２００作業支援システム、２５０…作業支援装置、２５１…適正温度データベース部、２６０…作業機器、２６１…温度制御部、２６２…温度発生部、３００…作業支援システム、３５０…作業支援装置、３５２…第１の通信処理部、３６０…作業機器、３６３…第２の通信処理部 101...visible light camera, 102...work area extraction unit, 103...far-infrared camera, 104...temperature distribution image generation unit, 105...work area temperature calculation unit, 106...work progress determination unit, 107...display unit, 120...head-mounted display, 150...work support device, 200 work support system, 250...work support device, 251...optimum temperature database unit, 260...work equipment, 261...temperature control unit, 262...temperature generation unit, 300...work support system, 350...work support device, 352...first communication processing unit, 360...work equipment, 363...second communication processing unit

Claims

頭部装着型の装置を用いた作業支援方法であって、
前記装置に含まれる可視光画像撮像部で、可視光画像を撮像する工程と、
前記装置に含まれる熱画像撮像部で、熱画像を撮像する工程と、
作業情報工程格納部が、作業毎の作業時間情報、作業温度情報を含む作業情報を格納する工程と、
作業進捗状況判定部が、前記可視光画像撮像部で撮像された前記可視光画像及び前記熱画像撮像部で撮像された前記熱画像から作業進捗状況を判定する工程と、
前記装置に含まれる表示部が、前記作業進捗状況判定部の判定結果を表示する工程と、
作業対象領域抽出部が、前記可視光画像から作業対象領域を抽出する工程と、
温度分布画像生成部が、前記熱画像から温度分布画像を生成する工程と、
作業対象領域温度算出部で、前記可視光画像及び前記温度分布画像に基づいて前記作業対象領域の対象温度を算出する工程と、
前記作業進捗状況判定部が、前記作業対象領域の前記対象温度及び前記作業対象領域に対する前記作業情報に基づいて前記作業進捗状況を判定する工程と、
前記作業進捗状況判定部が、前記判定結果から作業が終了したと判定した場合、作業の終了通知を前記表示部に表示させる工程と、を有する、
作業支援方法。 A task assistance method using a head-mounted device, comprising:
capturing a visible light image by a visible light image capturing unit included in the device;
A step of capturing a thermal image by a thermal image capturing unit included in the device;
A step in which a work information storage unit stores work information including work time information and work temperature information for each work;
a step of a work progress determination unit determining a work progress status from the visible light image captured by the visible light image capturing unit and the thermal image captured by the thermal image capturing unit;
a step of displaying a result of the determination by the work progress determination unit, the display unit being included in the device;
A step of a work target area extraction unit extracting a work target area from the visible light image;
A temperature distribution image generating unit generates a temperature distribution image from the thermal image;
a step of calculating a target temperature of the work target area based on the visible light image and the temperature distribution image in a work target area temperature calculation unit;
a step of the work progress determination unit determining the work progress status based on the target temperature of the work target area and the work information for the work target area;
When the work progress determination unit determines that the work is completed based on the determination result, the work progress determination unit causes a notification of completion of the work to be displayed on the display unit.
Work support methods.

請求項１記載の作業支援方法において、
前記作業情報工程格納部に複数の作業情報が登録されており、
前記作業進捗状況判定部が、前記判定結果から第一の作業が終了したと判定した場合、第二の作業の情報を前記表示部に表示させ、前記第二の作業についての作業進捗状況の判定を開始する工程を有する、
作業支援方法。 2. The work support method according to claim 1,
A plurality of pieces of work information are registered in the work information process storage unit,
a step of causing the work progress determination unit to display information about a second work on the display unit when the work progress determination unit determines that the first work has been completed based on the determination result, and starting a determination of the work progress of the second work;
Work support methods.

請求項１記載の作業支援方法において、
前記装置が、前記作業対象領域温度算出部により算出された作業機器の作業温度と前記作業情報工程格納部に格納された前記作業情報の温度情報との差がある場合、前記作業機器の温度を制御する制御情報を、通信部により前記作業機器に対して出力する工程を有する、
作業支援方法。 2. The work support method according to claim 1,
The device has a step of outputting control information for controlling the temperature of the work equipment via a communication unit to the work equipment when there is a difference between the work temperature of the work equipment calculated by the work target area temperature calculation unit and the temperature information of the work information stored in the work information process storage unit.
Work support methods.

請求項３記載の作業支援方法において、
前記作業情報工程格納部に複数の作業情報が格納されており、
前記作業進捗状況判定部が、前記判定結果から第一の作業が終了したと判定した場合、第二の作業の情報に基づいて、前記作業機器の温度を制御する制御情報を、前記通信部により前記作業機器に対して出力する工程を有する、
作業支援方法。 4. The work support method according to claim 3,
A plurality of pieces of work information are stored in the work information process storage unit,
and when the work progress determination unit determines that a first work has been completed from the determination result, outputting control information for controlling a temperature of the work equipment based on information on a second work to the work equipment through the communication unit.
Work support methods.