JP2021092521A - Head-mounted type temperature distribution recognition device - Google Patents
Head-mounted type temperature distribution recognition device Download PDFInfo
- Publication number
- JP2021092521A JP2021092521A JP2019224955A JP2019224955A JP2021092521A JP 2021092521 A JP2021092521 A JP 2021092521A JP 2019224955 A JP2019224955 A JP 2019224955A JP 2019224955 A JP2019224955 A JP 2019224955A JP 2021092521 A JP2021092521 A JP 2021092521A
- Authority
- JP
- Japan
- Prior art keywords
- head
- temperature distribution
- user
- sensor
- temperature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000009826 distribution Methods 0.000 title claims description 104
- 238000001931 thermography Methods 0.000 claims abstract description 55
- 238000012545 processing Methods 0.000 claims description 25
- 230000020169 heat generation Effects 0.000 claims description 16
- 230000005856 abnormality Effects 0.000 claims description 4
- 230000001747 exhibiting effect Effects 0.000 claims 1
- 230000002159 abnormal effect Effects 0.000 abstract description 18
- 210000003128 head Anatomy 0.000 description 38
- 230000001133 acceleration Effects 0.000 description 15
- 238000007689 inspection Methods 0.000 description 14
- 238000012544 monitoring process Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 238000013500 data storage Methods 0.000 description 10
- 238000000034 method Methods 0.000 description 10
- 238000007726 management method Methods 0.000 description 6
- 238000013021 overheating Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 230000002265 prevention Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000000779 smoke Substances 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000009413 insulation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 206010000369 Accident Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000002788 crimping Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000003028 elevating effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011534 incubation Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Investigating Or Analyzing Materials Using Thermal Means (AREA)
- Radiation Pyrometers (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
本発明は、ヘッドマウント型温度分布認識装置に関し、特に、複合現実（ＭＲ：Mixed Reality）技術を用いたヘッドマウント型温度分布認識装置に関する。 The present invention relates to a head-mounted temperature distribution recognition device, and more particularly to a head-mounted temperature distribution recognition device using mixed reality (MR) technology.
一般に、建物や構造物の火災において、電気設備（配線器具、電気機器、電灯、及び電話等並びにそれらの電気部品等）に起因する出火原因の割合は、全体の２割弱となっている。また、建物火災には至らないまでも、電源ケーブル等が焼け焦げて、煙や異臭を発生し、騒ぎになることも多い。このような電気設備に起因する火災を防ぐためには、電気設備の過熱異常を早期に発見する必要がある。 In general, in the case of fires in buildings and structures, the ratio of fires caused by electrical equipment (wiring equipment, electrical equipment, lamps, telephones, etc. and their electrical parts, etc.) is less than 20% of the total. In addition, even if a building fire does not occur, the power cable or the like is often burnt, producing smoke or a strange odor, which often causes noise. In order to prevent fires caused by such electrical equipment, it is necessary to detect overheating abnormalities in the electrical equipment at an early stage.
電気設備の過熱異常を発見するため、例えば年１回の定期点検や日常的な巡視点検が行われている。典型的には、定期点検では、該設備への電気の供給を止めて、耐電圧や絶縁抵抗を測定する。また、日常的な巡視点検では、電気設備を稼働させたまま電流や電圧を測定する。更に、このような点検では、サーモガンやサーモカメラを用いて、発熱被疑箇所の温度分布を熱画像（サーモグラフィ）として可視化することも行われる。 In order to detect overheating abnormalities in electrical equipment, for example, regular inspections and daily patrol inspections are carried out once a year. Typically, in periodic inspections, the supply of electricity to the equipment is stopped and the withstand voltage and insulation resistance are measured. In daily patrol inspections, current and voltage are measured while the electrical equipment is in operation. Further, in such an inspection, a thermo gun or a thermo camera is used to visualize the temperature distribution of the suspected heat generation portion as a thermal image (thermography).
ところで、近年、複合現実と呼ばれる技術を用いた各種のデバイスが提案されている。複合現実とは、現実空間と仮想空間とを混合し、現実のモノと仮想的なモノとがリアルタイムで融合し合う空間を構築する技術である。下記特許文献１は、複合現実技術を利用したヘッドマウントディスプレイ（integrated head mounted eyepiece）を開示している。
By the way, in recent years, various devices using a technique called mixed reality have been proposed. Mixed reality is a technology that mixes real space and virtual space to create a space in which real and virtual things merge in real time. The following
また、下記特許文献２は、熱画像形成カメラによる熱画像を表示するディスプレイをユーザの片目で視認させるように構成した頭部搭載型スマートデバイス（ＨＭＳＤ）が開示されている。 Further, Patent Document 2 below discloses a head-mounted smart device (HMSD) configured so that a display displaying a thermal image by a thermal image forming camera can be visually recognized by a user with one eye.
電気設備の技術向上と普及により人々の生活が便利で豊かになる一方で、電気火災により人命や財産が失われ、世の中の重要設備や貴重な文化遺産が焼失する事態に直面している。火災による損失は規模が大きいことから、電気火災をゼロにすることが求められるが、前述のように火災全体に占める電気火災の割合は少なくない。 While the technological improvement and dissemination of electrical equipment makes people's lives more convenient and enriched, electric fires are facing the loss of human lives and property, and the burning of important facilities and valuable cultural heritage in the world. Since the scale of loss due to fire is large, it is required to eliminate electric fire, but as mentioned above, the ratio of electric fire to the total fire is not small.
電気設備特有の火災原因の一つとして、電源ケーブル等の接続の施工不良がある。例えば、三相三線式の電源ケーブルの接続を現場作業員が手作業で一つずつ行う中で、電源端子圧着の不十分やネジ止めの締付不足により施工不良となることが稀にある。この施工不良箇所が高抵抗となり、通電後に予測できないタイミングで過熱が発生する場合がある。すなわち、該電源接続部は、時間の経過と共に温度が上昇し、ケーブル被覆の耐熱温度を超えることで、発煙、発火し、周囲の可燃物へ延焼して火災を拡大する。 One of the causes of fire peculiar to electrical equipment is poor connection of power cables and the like. For example, while field workers manually connect three-phase, three-wire power cables one by one, construction defects rarely occur due to insufficient crimping of power terminals and insufficient tightening of screws. This poor construction location becomes high resistance, and overheating may occur at an unpredictable timing after energization. That is, the temperature of the power supply connection portion rises with the passage of time, and when the temperature exceeds the heat resistant temperature of the cable coating, it emits smoke and ignites, spreads to surrounding combustible materials, and spreads the fire.
したがって、電気設備の点検は非常に重要であるが、該設備への電気の供給を止めて、耐電圧や絶縁抵抗を測定する定期的な点検方法では、電気設備を物理的に直接触って、接続不良やネジ締付ゆるみを発見して是正することができる一方で、通電時に発熱している異常箇所は、停電により常温に戻っており、容易に発見することができない。 Therefore, the inspection of electrical equipment is very important, but in the regular inspection method of measuring the withstand voltage and insulation resistance by stopping the supply of electricity to the equipment, the electrical equipment is physically in direct contact with each other. While it is possible to detect and correct poor connections and loose screw tightening, abnormal parts that generate heat when energized have returned to room temperature due to a power outage and cannot be easily found.
また、過去の電気火災の事例を見ると、現場施工後、通電してすぐに発熱、発煙する事例もあれば、数か月あるいは数年後に過熱に至るような潜伏期間をもつ事例もある。年に１回の定期点検では、これらの潜伏する過熱箇所を漏れなく事前に発見することは時間的に不可能であり、日常的な設備巡視を行うことにより防げた電気火災事故が多いことが分かる。 Looking at past cases of electric fires, there are cases where heat is generated and smoke is generated immediately after energization after on-site construction, and there are cases where there is an incubation period that leads to overheating months or years later. In the annual periodic inspection, it is impossible to detect these hidden overheated parts in advance without omission, and there are many electric fire accidents that can be prevented by conducting daily equipment patrols. I understand.
しかるに、電気設備を稼働させたまま電流や電圧を測定する日常的な点検方法では、点検者は、電気設備内の電気部品等に接近して作業する必要があるため、感電等の危険と常に隣り合わせである。実際、作業員の思い込みや不注意により誤って通電中の電気設備に触れて感電し、火傷や死亡に至る重大な災害が起きている。 However, in the daily inspection method of measuring current and voltage while the electrical equipment is in operation, the inspector must work close to the electrical parts in the electrical equipment, so there is always a danger of electric shock. They are next to each other. In fact, due to the workers' beliefs and carelessness, they accidentally touch the energized electrical equipment and get an electric shock, causing serious disasters such as burns and death.
また、サーモガンやサーモカメラを用いて、発熱被疑箇所の温度分布を熱画像（サーモグラフィ）として可視化して異常箇所がないか点検する方法では、点検者は、電気設備内の電気部品等に接近する必要はなく、安全に発熱箇所を判別することができるが、実際の現場では、点検者がサーモガン等を手に持って発熱被疑箇所に狙いをつけながら、周囲を探し回る必要があり、電気設備の中に潜むわずかな異常箇所の見逃しも起こっていた。 In addition, in the method of visualizing the temperature distribution of the suspected heat generation part as a thermal image (thermography) using a thermo gun or a thermo camera and inspecting for any abnormal part, the inspector approaches the electric parts in the electric equipment. There is no need to safely identify the location of heat generation, but at the actual site, it is necessary for the inspector to hold a thermogun or the like in his hand and aim at the suspected heat generation location while searching around for the electrical equipment. There was also a slight oversight of the abnormal part hidden inside.
また、点検者は、発熱箇所の温度測定に至るまでは、サーモガンを手に持って、段差のある現場を歩いたり、脚立等を用いて高所に上がったり、扉を開けたりする必要があり、手持ちタイプのサーモガン等では、手が塞がってしまうため、転倒した場合にケガが重篤化するといった安全性に課題があった。 In addition, the inspector needs to hold the thermogun in his hand, walk on a stepped site, go up to a high place using a stepladder, or open the door until the temperature of the heat-generating part is measured. With a hand-held type thermo gun or the like, since the hand is blocked, there is a safety problem such as serious injury in the event of a fall.
更に、現状、熱画像診断で使用するサーモガンやサーモグラフィは市販され、容易に入手できるものの、電気設備の測定・点検のための技法を習得するには、専門的な知識と経験が必要であり、使い勝手が必ずしも良くなかった。また、熱画像固有の問題点として、表示された熱画像が現実のどの部分を示しているのか分かりにくかった。 Furthermore, although thermoguns and thermography used in thermal diagnostic imaging are currently commercially available and readily available, specialized knowledge and experience are required to master techniques for measuring and inspecting electrical equipment. It wasn't always easy to use. In addition, as a problem peculiar to the thermal image, it was difficult to understand which part of the reality the displayed thermal image shows.
そこで、本発明は、出火原因となり得る電気設備の異常発熱を、的確、安全、及び／又は容易に発見するための装置を提案することを目的とする。 Therefore, an object of the present invention is to propose a device for accurately, safely, and / or easily detecting abnormal heat generation of electrical equipment that may cause a fire.
より具体的には、本発明の目的の一つは、出火原因となり得る電気設備に点検者が接近することなく、該電気設備の異常発熱を、的確、安全、及び／又は容易に把握し得るヘッドマウント型温度分布認識装置を提供することである。 More specifically, one of the objects of the present invention is to accurately, safely, and / or easily grasp the abnormal heat generation of the electrical equipment without the inspector approaching the electrical equipment that may cause a fire. The purpose of the present invention is to provide a head-mounted temperature distribution recognition device.
上記課題を解決するための本発明は、以下に示す発明特定事項乃至は技術的特徴を含んで構成される。 The present invention for solving the above problems is configured to include the following invention-specific matters or technical features.
ある観点に従う本発明は、ユーザの頭部に装着可能なヘッドマウント部と、前記ヘッドマウント部を装着したユーザの視線の方向に略一致するように配置された、少なくとも、対象空間における熱源から発せられる赤外線を検出するためのサーモセンサ及び該対象空間における３次元形状を認識するための空間認識センサとを含むセンサと、前記ユーザの視線の前方に配置されたディスプレイと、前記センサと前記ディスプレイとを制御するコントローラとを備えるヘッドマウント型温度分布認識装置である。前記ヘッドマウント型温度分布認識装置において、前記コントローラは、前記サーモセンサから出力される第１のデータと、前記空間認識センサから出力される第２のデータとに基づいて、前記対象空間におけるサーモグラフィを含む画像データを生成する。また、前記コントローラは、生成した前記画像データに基づく画像が前記ディスプレイに表示されるように制御を行う。 According to a certain aspect, the present invention originates from at least a heat source in a target space, which is arranged so that the head mount portion that can be attached to the user's head and the direction of the line of sight of the user who wears the head mount portion substantially coincide with each other. A sensor including a thermo sensor for detecting infrared rays and a space recognition sensor for recognizing a three-dimensional shape in the target space, a display arranged in front of the user's line of sight, the sensor, and the display. It is a head-mounted temperature distribution recognition device equipped with a controller for controlling the above. In the head-mounted temperature distribution recognition device, the controller performs thermography in the target space based on the first data output from the thermo sensor and the second data output from the space recognition sensor. Generate image data including. In addition, the controller controls so that an image based on the generated image data is displayed on the display.
また、前記コントローラは、前記サーモセンサから出力される第１のデータに基づいて、温度分布データを生成する温度データ処理部と、前記空間認識センサから出力される第２のデータに基づいて、空間姿勢データを生成する空間姿勢推定部と、前記温度分布データに基づくサーモグラフィが、前記空間姿勢データに基づく前記対象空間におけるオブジェクトに一致するように、前記サーモグラフィを含む前記画像データを生成する画像データ生成部とを備え得る。 Further, the controller is a space based on a temperature data processing unit that generates temperature distribution data based on the first data output from the thermo sensor and a second data output from the space recognition sensor. Image data generation that generates the image data including the thermography so that the spatial attitude estimation unit that generates the attitude data and the thermography based on the temperature distribution data match the object in the target space based on the spatial attitude data. Can be equipped with a department.
また、前記コントローラは、前記サーモグラフィにおける表示温度の範囲を設定可能に構成され得る。そして、前記画像データ生成部は、設定された前記表示温度の範囲に従った前記サーモグラフィを含む前記画像データを生成し得る。 In addition, the controller may be configured to be configurable in the range of display temperatures in the thermography. Then, the image data generation unit can generate the image data including the thermography according to the set display temperature range.
また、前記コントローラは、前記サーモセンサから出力される第１のデータに示される温度が所定の警告温度以上である場合に、前記ユーザに知らせるように構成され得る。 Further, the controller may be configured to notify the user when the temperature shown in the first data output from the thermo sensor is equal to or higher than a predetermined warning temperature.
また、前記画像データ生成部は、前記所定の警告温度より低い温度が前記サーモグラフィにおいて不可視状態になるように、前記画像データを生成し得る。 In addition, the image data generation unit can generate the image data so that a temperature lower than the predetermined warning temperature becomes invisible in the thermography.
また、前記サーモセンサは、前記ヘッドマウント部に着脱可能に取り付けられ得る。また、前記センサは、前記ユーザによって立体的なサーモグラフィが知覚されるように、前記ユーザの両眼視差に対応するように配置された一対の前記サーモセンサを含み得る。 Further, the thermosensor can be detachably attached to the head mount portion. The sensor may also include a pair of the thermosensors arranged to correspond to the user's binocular parallax so that the user perceives a three-dimensional thermography.
また、前記コントローラは、同一種類の複数の電気部品（例えば、三相の電源接続部）に対するサーモグラフィにおいて、前記複数の電気部品の間で所定の温度差があると判断する場合に、高い温度を示す該電気部品を発熱異常であると判断し得る。また、前記コントローラは、発熱異常であると判断する場合に、ユーザに警告するように構成され得る。 Further, when the controller determines that there is a predetermined temperature difference between the plurality of electric components in the thermography for a plurality of electric components of the same type (for example, a three-phase power supply connection portion), the controller sets a high temperature. It can be determined that the electric component shown is abnormal in heat generation. Further, the controller may be configured to warn the user when it is determined that the heat generation is abnormal.
なお、本開示において、「手段」とは、単に物理的手段を意味するものではなく、その手段が有する機能をソフトウェアによって実現する場合も含む。また、１つの手段が有する機能が２つ以上の物理的手段により実現されても、２つ以上の手段の機能が１つの物理的手段により実現されてもよい。 In the present disclosure, the "means" does not simply mean a physical means, but also includes a case where the function of the means is realized by software. Further, the function of one means may be realized by two or more physical means, or the function of two or more means may be realized by one physical means.
また、本開示において、「システム」とは、複数の装置（又は特定の機能を実現する機能モジュール）が論理的に集合した物を含み、各装置や機能モジュールが物理的に単一の物として構成されるか又は別体の物として構成されるかは問わない。 Further, in the present disclosure, the "system" includes a device in which a plurality of devices (or functional modules that realize a specific function) are logically assembled, and each device or functional module is physically a single device. It does not matter whether it is composed or as a separate object.
本発明によれば、点検者は、出火原因となり得る電気設備の異常発熱を早期に、また、的確、安全、及び／又は容易に発見することができるようになる。 According to the present invention, an inspector will be able to detect abnormal heat generation of electrical equipment that may cause a fire at an early stage, accurately, safely, and / or easily.
本発明の他の技術的特徴、目的、及び作用効果乃至は利点は、添付した図面を参照して説明される以下の実施形態により明らかにされる。 Other technical features, objectives, and effects or advantages of the present invention will be demonstrated by the following embodiments described with reference to the accompanying drawings.
以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。本発明は、その趣旨を逸脱しない範囲で種々変形（例えば各実施形態を組み合わせる等）して実施することができる。また、以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付して表している。図面は模式的なものであり、必ずしも実際の寸法や比率等とは一致しない。図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. However, the embodiments described below are merely examples, and there is no intention of excluding the application of various modifications and techniques not specified below. The present invention can be implemented with various modifications (for example, combining each embodiment) without departing from the spirit of the present invention. Further, in the description of the following drawings, the same or similar parts are represented by the same or similar reference numerals. The drawings are schematic and do not necessarily match the actual dimensions and ratios. Even between drawings, parts with different dimensional relationships and ratios may be included.
図１は、本発明の一実施形態に係るヘッドマウント型温度分布認識装置の外観構成の一例を示す図である。同図に示すように、本実施形態のヘッドマウント型温度分布認識装置１は、例えば、人の頭部に装着可能なヘッドマウント型ウェアラブルデバイスである。ヘッドマウント型温度分布認識装置１は、例えば、ヘッドマウント部１０と、種々のコンピューティング処理を行うコントローラ２０（図２参照）と、ディスプレイ機能を有するメガネ型のディスプレイ３０と、各種のセンサ４０とを備える。ヘッドマウント型温度分布認識装置１は、センサ４０ａにより撮像され、コントローラ２０により画像処理されたサーモグラフィをディスプレイ３０にユーザが視認可能に表示することにより、インタラクティブな複合現実（ＭＲ）空間を提供できるように構成されている。
FIG. 1 is a diagram showing an example of an external configuration of a head-mounted temperature distribution recognition device according to an embodiment of the present invention. As shown in the figure, the head-mounted temperature
ヘッドマウント部１０は、ヘッドマウント型温度分布認識装置１をユーザの頭部に安定的に装着することができるように構成される。本例では、ヘッドマウント部１０は、作業現場での使用を想定してヘルメット形状を有するが、これに限られず、例えば、頭部を周縁方向に取り囲むヘッドバンドないしはフレーム等によって構成されても良い。
The
コントローラ２０は、ヘッドマウント型温度分布認識装置１の動作を統括的に制御するコンピューティングデバイスである。当業者にとって自明なように、コントローラ２０は、プロセッサ及びメモリ等を含むチップモジュールを含み構成される。コントローラ２０は、物理的に、それ単体で構成されても良いし、いくつかの別体で構成されても良い。例えば、コントローラ２０は、後述する温度分布データの処理を行う第１のコントローラと、ユーザに複合現実を提供するための処理を行う第２のコントローラとから構成されても良い。本例では、ヘッドマウント部１０の後方にコントローラ２０が設けられているが、ヘッドマウント部１０の内部に収納されるように設けられても良い。
The
ディスプレイ３０は、例えば、ヘッドマウント部１０を装着したユーザが視認可能な画像を表示するメガネ型ないしはゴーグル型の透過型ディスプレイである。ユーザは、ディスプレイ３０を通して、視線方向の現実空間（視野空間）の状況を視認することができるとともに、コントローラ２０の制御の下、ディスプレイ３０に表示された画像を重畳的に視認することができる。
The
センサ４０は、コントローラ２０の制御の下で動作することにより、赤外線や可視光線等の各種の物理量を検出する複数のセンサ素子を含み構成される。センサ４０は、パッシブセンサ又はアクティブセンサであるかを問わない。本例では、センサ４０は、例えば、熱源からの赤外線を検出するサーモセンサ４０ａと、可視光を検出する可視光センサ（イメージセンサ）４０ｂ及び／又は深度センサとを含み、更に、図示されていないが、３次元加速度センサや地磁気センサ、ＧＰＳセンサ等を含み得る。また、センサ４０は、赤外線の発光によるアクティブ赤外線センサ（図示せず）を含み得る。サーモセンサ４０ａは、例えばスナップフィットを用いて着脱可能に設けられている。これにより、ユーザは、脱離したサーモセンサ４０ａを長軸のシャフトの先端に取り付けることにより、例えば天井裏等の死角領域における温度分布の状態を確認することができる。センサ４０は、単体で又は適宜の組み合わせにより、例えばアイトラッカーや画像認識センサ、空間認識センサ、ＴＯＦ（Time of Flight）による測距センサ（深度センサ）等を構成する（図２参照）。
The
センサ４０は、例えば、人間の両眼視差を利用した立体表示を可能とするように一対の構成で設けられても良い。すなわち、両目の間隔だけ離して配置された２つのサーモセンサ４０ａがとらえた熱画像は、右目と左目でわずかに異なる像となる。したがって、これをＭＲ映像として見ると、対象物の両眼視差を脳が立体的に知覚して、現場をよりリアルに感じられ、発熱箇所の特定を容易にして点検巡視効果を向上させることになる。
The
一例として、複数のサーモセンサ４０ａが、ヘッドマウント部１０の前方に一対で設けられている。他の例として、複数のサーモセンサ４０ａが、ユーザの前方のみならず、左右及び／又は上方向の熱源の温度を検出するために、ヘッドマウント部１０に設けられても良い。これにより、温度の検出方向の死角を減らすことができ、電気設備の異常発熱の監視を効果的に行うことができるようになる。したがって、従来のサーモガン等では単一方向の狭い視野角でしか測定できないが、本例のように複数のサーモセンサ４０ａを同時に一括的に運用することにより、検知エリアを拡大し、異常箇所の見落としを防止することができるようになる。
As an example, a plurality of
また、同図には明示されていないが、ヘッドマウント型温度分布認識装置１は、ユーザインターフェースとして機能するスピーカやバイブレータを含み得る（図２参照）。スピーカやバイブレータは、例えば、ヘッドマウント部１０に取り付けられる。コントローラ２０の制御の下、スピーカは、所定の警告音や音声ガイダンスを出力し、また、バイブレータは、振動する。
Further, although not explicitly shown in the figure, the head-mounted temperature
図２は、本発明の一実施形態に係るヘッドマウント型温度分布認識装置１の機能構成の一例を示すブロックダイアグラムである。同図では、ヘッドマウント型温度分布認識装置１の各種の構成要素（コンポーネント）のうち、本開示に特に関連するコンポーネントが示されている。かかるコンポーネントは、図１に示したコンポーネントそのもの、或いは、例えば、コントローラ２０のプロセッサが、所定の制御プログラムを実行することにより、各種のハードウェア資源と協働して、実現され得る。
FIG. 2 is a block diagram showing an example of the functional configuration of the head-mounted temperature
同図を参照して、センサ４０は、例えば、サーモセンサ４２（図１の符号４２ａに対応する。）と、空間認識センサ４４と、３次元加速度センサ４６とを含むが、これに限られない。サーモセンサ４２は、例えば、長波長赤外線（ＬＷＩＲ）センサモジュールであり得る。サーモセンサ４２は、対象空間における熱源から発せられる長波長赤外線を画素アレイにより検出することにより、非接触で温度データを収集し、コントローラ２０に出力する。
With reference to FIG., the
空間認識センサ４４は、例えば、可視光センサ及び深度センサを含み得る。空間認識センサ４４は、対象空間における３次元形状を認識するために、対象空間において観測される可視光線を画素アレイにより検出することにより、イメージデータを収集し、コントローラ２０に出力する。また、空間認識センサ４４は、対象空間における奥行き方向（物体までの距離）をＴＯＦ技術に従って測定することにより深度データ（距離データ）を収集し、出力し得る。更に、空間認識センサ４４は、ヘッドマウント型温度分布認識装置１に対する入力として、ユーザのジェスチャ（例えばエアタップ）を検出し得る。
The
３次元加速度センサ４６は、例えば、ヘッドマウント型温度分布認識装置１を装着したユーザの動きの変化を３次元加速度データとして検出し、コントローラ２０に出力する。３次元加速度センサ４６による３次元加速度データは、空間認識センサ４４からの出力と相俟って、ユーザの視線方向等の推定に供される。
For example, the three-
なお、同図に示されていないが、例えば、センサ４０は、ユーザの視認方向を特定するために、ユーザの眼の動きを赤外線発光により観測するセンサ（アイトラッカー）を含んでも良い。
Although not shown in the figure, for example, the
コントローラ２０は、上述したように、ヘッドマウント型温度分布認識装置１の動作を統括的に制御するコンピューティングデバイスである。同図では、コントローラ２０の機能構成として、入力制御部２１０と、温度データ処理部２２０と、空間姿勢推定部２３０と、ユーザ入力処理部２４０と、データ記憶部２５０と、画像データ生成部２６０と、出力制御部２７０と、通信インターフェース部２８０といったコンポーネントが示されている。
As described above, the
入力制御部２１０は、センサ４０から出力される各種のデータを受け付けるインターフェース回路を含み構成される。すなわち、入力制御部２１０は、サーモセンサ４０ａから出力される温度データを温度データ処理部２２０に出力し、また、空間認識センサ４４から出力されるイメージデータ及び／又は深度データを空間姿勢推定部２３０に出力する。また、入力制御部２１０は、３次元加速度センサ４６から出力される３次元加速度データを空間姿勢推定部２３０に出力する。
The
温度データ処理部２２０は、サーモセンサ４０ａから出力される温度データに基づいて、温度分布データを生成する。温度分布データは、例えば、対象空間における温度の高低の分布を示すデータである。温度分布データに基づいて、その温度の高低の分布を色の分布などによって２次元又は３次元画像化したものがサーモグラフィ（温度分布図）である。温度データ処理部２２０は、後述するように、例えば、所定の設定条件に従い、特定の範囲内の温度のみに基づく温度分布データを生成し得る。温度データ処理部２２０は、電気設備の異常発熱等を視覚的に容易に区別することができるように、例えば、１２０度以上の温度による温度分布データを生成する。温度データ処理部２２０は、生成した温度分布データを画像データ生成部２６０に出力する。また、温度データ処理部２２０により生成された温度分布データは、データ記憶部２５０に記録され得る。記録された温度分布データは、例えば通信インターフェース部２８０を介して、外部のデバイスに出力され得る。
The temperature
空間姿勢推定部２３０は、空間認識センサ４４から出力されるイメージデータ及び深度データ、並びに３次元加速度センサ４６から出力される加速度データ等に基づいて、対象空間におけるユーザの姿勢、視線方向、及び／又はジェスチャを推定ないしは特定する。例えば、空間姿勢推定部２３０は、空間認識センサ４４からリアルタイムで出力される一連のイメージデータ及び深度データ、及びこれに同期する一連の加速度データに基づいて、対象空間内のオブジェクト（例えば床や壁等）を認識し、その位置関係の変位を算出し、ユーザの姿勢及び／又は視線方向、すなわち、ヘッドマウント型温度分布認識装置１の姿勢及び／又は向き（例えばロール、ピッチ及びヨー）を推定し、これを空間姿勢データとして出力する。また、空間姿勢推定部２３０は、空間認識センサ４４の前方でのユーザのジェスチャ（例えばユーザの指の動き（エアタップ）等）を推定し、これを空間姿勢データとして画像データ生成部２６０に出力する。また、空間姿勢推定部２３０は、推定したユーザの姿勢、向き及び／又はジェスチャに関する空間姿勢データをユーザ入力処理部２４０及び画像データ生成部２６０に出力する。空間姿勢データは、イメージデータ、深度データ、及び／又は３次元加速度データ等を含み得る。
The spatial
ユーザ入力処理部２４０は、空間姿勢推定部２３０から出力されるジェスチャに関する空間姿勢データを解釈し、これをユーザ入力として受け付ける。ユーザ入力処理部２４０は、受け付けたユーザ入力に応じた所定の処理を行う。一例として、ユーザ入力処理部２４０は、ディスプレイ３０に表示されたメニュー呼出しアイコンに対するユーザのエアタップに従い、ディスプレイ３０にメニューを表示するための制御命令を生成し、これを画像データ生成部２６０に出力する。他の例として、ユーザ入力処理部２４０は、ディスプレイ３０に表示されたメニューアイコン中の設定アイコンに対するユーザのエアタップに従い、各種のパラメータの設定処理を実行する。
The user
データ記憶部２５０は、コントローラ２０における各種のデータや設定データを保持する。一例として、データ記憶部２５０は、温度データ処理部２２０から出力される温度分布データを保持し得る。他の例として、データ記憶部２５０は、空間認識センサ４４から出力されるイメージデータ及び深度データ、並びに３次元加速度センサ４６から出力される加速度データ等を保持し得る。また、他の例として、データ記憶部２５０は、コントローラ２０の動作設定に関するパラメータ（設定データ）を保持し得る。
The
画像データ生成部２６０は、温度データ処理部２２０から出力される温度分布データ、空間姿勢推定部２３０から出力される空間姿勢データ、及び／又はユーザ入力処理部２４０から出力される各種の制御命令に基づいて、対象空間に対応する画像データを生成する。すなわち、画像データ生成部２６０は、空間姿勢データが示すヘッドマウント型温度分布認識装置１の姿勢及び／又は向きに基づく対象空間に対して、温度分布データが示すサーモグラフィを重畳的に配置した画像データを生成する。
The image
すなわち、画像データ生成部２６０は、空間認識センサ４４によって得られる該物体への深度データに基づき、対象空間に対応する画像データに基づく熱画像が、該物体の裏側や周囲の構造物に隠れることなく、該物体の少し手前の位置に配置されて表示されるように、画像データを生成する。これにより、ユーザは、該熱画像を的確かつ容易に把握することができるようになる。
That is, in the image
また、画像データ生成部２６０は、空間姿勢データに基づき、ユーザが見やすい投影高さと角度になるように、これらを自動的に調節し、画像データを生成する。これにより、ユーザは、画像データに正対して表示内容を明瞭に見ることができるようになる。
Further, the image
例えば、画像データ生成部２６０は、イメージデータ及び深度データに基づいて、対象空間におけるオブジェクトの３次元形状及び／又はエッジを検出し、３次元形状及び／又はエッジに一致するように、サーモグラフィを重畳的に配置する画像データ生成処理を行うことも可能である。例えば、対象空間におけるあるオブジェクト（例えば電気設備等）が所定の温度を有している場合に、画像データ生成部２６０は、ユーザが視認している該オブジェクトの輪郭に一致するように、該物体に対応する温度分布を含むサーモグラフィを重畳的に配置した画像データを生成する。言い換えれば、温度分布データに基づくサーモグラフィは、空間姿勢データに基づく対象空間におけるオブジェクトに一致する。また、画像データ生成部２６０は、ユーザ入力処理部２４０から出力される制御命令に基づいて、種々のオブジェクト（例えばメニュー呼出しアイコンや設定アイコン等）に関する画像データを生成する。画像データ生成部２６０は、生成した画像データを出力制御部２７０に出力する。
For example, the image
出力制御部２７０は、ディスプレイ３０やスピーカ５２、バイブレータ５４といった各種の出力装置を制御するインターフェース回路である。出力制御部２７０は、例えば、画像データ生成部２６０により生成された画像データに基づく画像ないしは映像（以下、単に「画像」という。）がディスプレイ３０に表示されるように、画像信号を生成し、ディスプレイ３０の表示制御を行う。また、出力制御部２７０は、温度データ処理部２２０から出力される警告音発生命令に従ってスピーカ５２を鳴動させ、或いは、バイブレータ５４を振動させる。
The
ディスプレイ３０は、出力制御部２７０の制御の下、画像データ生成部２６０により生成された画像データに基づく画像を表示する。本開示において、ディスプレイ３０には、例えばサーモグラフィやメニューアイコン等がユーザに視認可能なように表示される。
The
通信インターフェース部２８０は、ヘッドマウント型温度分布認識装置１が図示しない外部デバイスと有線及び／又は無線通信するためのインターフェース回路を含み構成される。通信インターフェース部２８０は、例えば、ＵＳＢやＢｌｕｅｔｏｏｔｈ（登録商標）、又はＷｉＦｉ（登録商標）等の各種の通信インターフェース規格に準拠して構成される。例えば、ヘッドマウント型温度分布認識装置１は、ＵＳＢマスストレージとして動作することにより、通信インターフェース部２８０を介してコンピューティングデバイスと通信を行う。或いは、ヘッドマウント型温度分布認識装置１は、コンピューティングデバイスとペアリングを行い、Ｂｌｕｅｔｏｏｔｈによる通信を行う。他の例として、通信インターフェース部２８０は、ＲＦタグから発信される電波を受信し得るように構成される。
The
図３は、本発明の一実施形態に係るヘッドマウント型温度分布認識装置１の動作モードの一例を説明するための図である。同図に示すように、ヘッドマウント型温度分布認識装置１の動作モードは、例えば、サーモ監視モード３１０、表示設定モード３２０、温度設定モード３３０、撮影モード３４０、及び再生モード３５０等を含み得る。
FIG. 3 is a diagram for explaining an example of the operation mode of the head mount type temperature
サーモ監視モード３１０は、ヘッドマウント型温度分布認識装置１のメインモードであり、例えば、ヘッドマウント型温度分布認識装置１の起動により最初に動作するモードである。サーモ監視モード３１０では、ヘッドマウント型温度分布認識装置１は、コントローラ２０の制御の下、サーモセンサ４０ａによって検出される温度データに基づくサーモグラフィをディスプレイ３０に表示して、これにより、ユーザにＭＲ空間を提供する。図４は、サーモ監視モードで動作するヘッドマウント型温度分布認識装置１のディスプレイ３０に表示されたサーモグラフィ画面の一例を示している。同図に示す例では、サーモグラフィ画面４００の略中央に設けられたサーモグラフィ表示領域４０１に、サーモセンサ４０ａによって検出された温度データに基づくサーモグラフィが表示される。また、温度ゲージ４０２は、サーモグラフィで示される色分布に応じた温度を示すインジケータである。サーモ監視モード３１０において、ユーザは、例えばメニュー呼出しアイコン４０３をエアタップ等のジェスチャによって選択をすることにより、図５に示すようなメニューウィンドウ５０１を表示させ、他の動作モードを選択し得る。例えば、ユーザは、サーモ監視モード３１０を一時的にＯＦＦにすることができる。
The thermo-
表示設定モード３２０は、例えば、ディスプレイ３０に表示されるサーモグラフィ画面に対する各種の表示設定を行うための動作モードである。図６は、表示設定モード３２０でのヘッドマウント型温度分布認識装置１のディスプレイ３０に表示された表示設定画面の一例を示している。表示設定モード３２０では、ユーザは、ディスプレイ３０に表示された表示設定画面６００に対してエアタップ等により、サーモグラフィ表示領域４０１の形状やサイズ等を設定し得る。
The
温度設定モード３３０は、例えば、サーモグラフィにおいて示される温度の範囲を設定するための動作モードである。図７は、温度設定モード３３０でのヘッドマウント型温度分布認識装置１のディスプレイ３０に表示された温度設定画面の一例を示す図である。温度設定モード３３０では、ユーザは、ディスプレイ３０に表示された温度設定画面７００に対してジェスチャ入力することにより、サーモグラフィにおける表示温度の範囲（下限値及び／又は上限値）を設定し得る。
The
ユーザは、温度設定画面７００において、警告音を発生させる温度の範囲値を設定し得る。例えば、ユーザは、サーモセンサ４０ａによって検出される温度が点検対象機器の運用上限温度８０度以上である場合に、警告音が鳴るように設定し得る。また、サーモセンサ４０ａによって検出される温度が所定の下限値を超える場合にも、その温度に応じて警告音の音程が変化するように設定し得る。更に他の例として、警告音の代わりに又はこれに追加して、音声が出力されても良い。ユーザにおいて発見したい異常箇所は、巡視対象全体からするとわずかな部分ないしは領域であるため、画像に加えて警告音を発することは、視覚に加えて、聴覚を用いた巡視となり、見落とし防止効果が大きくなる。
The user can set a range value of the temperature at which the warning sound is generated on the
ヘッドマウント型温度分布認識装置１は、ユーザが、図８に示すように、サーモグラフィの表示のＯＮ／ＯＦＦ及び警告音のＯＮ／ＯＦＦの組み合わせを選択し得るモード設定画面８００が用意されても良い。モード設定画面８００では、ユーザは、警告音が鳴る温度（警告温度）より低い温度は、サーモグラフィにおいて不可視状態となるように（マスクされるように）設定し得る。例えば、図９（ａ）は、サーモ監視モードにおいて、通常（マスク無し）のサーモグラフィであるのに対して、同図（ｂ）は、温度マスク設定がされた場合のサーモグラフィである。すなわち、同図（ｂ）では、警告温度以下の領域は、サーモグラフィが表示されない。これにより、不要な画像を視界から排除して巡視ルートの見通しを確保し、点検作業時の歩行安全性を向上させることができるようになる。また、巡視する現場は、段差や昇降箇所、一時的に設置した設備が足元や頭上にあるなど、転倒災害や接触損傷の恐れがある場所が不規則に散在しているところ、ユーザは、これらを回避しながら巡視点検を行うことができるようになる。
As shown in FIG. 8, the head-mounted temperature
撮影モード３４０は、例えば動画撮影モードと静止画撮影モードとを含み得る。動画撮影モードでは、ユーザは、イメージセンサによる動画を撮影し得る。撮影モードでは、例えば、ユーザに撮影中であることを知らせるために、図１０に示すように、ディスプレイ３０にカメラアイコン１０１０が重畳的に表示される。なお、撮影された動画データや静止画データは、例えばデータ記憶部２５０に保持される。
The
再生モード３５０は、撮影モードで撮影された動画データや静止画データに基づく画像をディスプレイ３０に表示する動作モードである。再生モードでは、コントローラ２０の制御の下、データ記憶部２５０から読み出され再生される動画や静止画がディスプレイに表示される。
The
なお、上述した各種の設定モードにおける設定は、ディスプレイ３０に表示された画面に対する入力に代えて、例えば、ヘッドマウント型温度分布認識装置１と通信可能に接続された外部のコンピューティングデバイスから、キーボードやマウス等の通常の入力デバイスにより、行われても良い。
The settings in the various setting modes described above are performed by, for example, a keyboard from an external computing device communicably connected to the head-mounted temperature
次に、本実施形態のヘッドマウント型温度分布認識装置１の使用例について説明する。ここでは、ヘッドマウント型温度分布認識装置１を装着したユーザが建物内の電気設備を点検する例について説明する。
Next, a usage example of the head-mounted temperature
ユーザは、日常的に、ヘッドマウント型温度分布認識装置１を装着し、サーモ監視モードで動作させながら、建物内を巡回する。巡回中、ユーザは、電気設備が取り付けられている箇所に視線方向を合わせる。今、例えば図１１（ａ）に示すように、ユーザは、建物内の通路で天井を見上げたとする。そうすると、ユーザが見ている透過型ディスプレイ３０には、同図（ｂ）に示すように、サーモグラフィ画面４００が重畳的に表示されたＭＲ空間が提供される。もし、ケーブル等の電気設備が異常発熱している場合、ディスプレイ３０に表示されるサーモグラフィ画面４００には、高温を示すサーモグラフィが示されることになる。
The user routinely wears the head-mounted temperature
また、電源接続部の異常発熱も、本実施形態のヘッドマウント型温度分布認識装置１を用いて容易に発見し得る。例えば図１２（ａ）は、ユーザが、サーモ監視モードをＯＦＦにした状態で三相の電源接続部を視認した様子を示している。この状態では、ユーザは、三相の電源接続部が異常発熱を起こしているか否かが判別しづらい。これに対して、ユーザが、サーモ監視モードをＯＮにした状態で三相の電源接続部を視認すると、ディスプレイ３０に表示されたサーモグラフィ画面４００には、一相の電源接続部（図中、真ん中の電源接続部）が高温を示すサーモグラフィが示されることになる。すなわち、ヘッドマウント型温度分布認識装置１は、三相の電源接続部のうちの一相のみがある一定以上の温度（機器の運用上限温度に至らずに許容温度値以下であっても、一相の電源接続部が他の三相と比べて高い温度）を示したＭＲ空間をユーザに提供することにより、ユーザは、該一相の電源接続部の異常発熱を容易に認識することができるようになる。とりわけ、熱画像を含むＭＲ空間において、三相の電源接続部の温度差（例えば１℃〜数℃程度又はそれ以上）を検知できることは、温度差が生じ始める初期の段階での微かな過熱を発見することになり、早期に火災の兆候を検知し、見逃し防止に大きく貢献することになる。
Further, the abnormal heat generation of the power supply connection portion can be easily detected by using the head mount type temperature
以上のとおり、本実施形態によれば、ヘッドマウント型温度分布認識装置１を装着したユーザは、その視認方向にある対象空間を、リアルタイムで、サーモグラフィが重畳表示されたＭＲ空間として認識することができるようになる。また、ヘッドマウント型温度分布認識装置１は、ユーザの頭部に装着されているので、ユーザは、両手を塞がれることなく、所定の作業をすることができる。とりわけ、本実施形態によれば、ユーザは両手を空けて作業や移動が可能なため、誤って転倒した場合であっても、とっさに手をついて受け身を取ることで、身体への重大な衝撃を軽減することができる。
As described above, according to the present embodiment, the user wearing the head-mounted temperature
また、本実施形態によれば、ヘッドマウント型温度分布認識装置１は、ユーザに、サーモグラフィの表示温度設定を可能にし、異常発熱である温度の範囲を設定したり、正常な温度である部分については、サーモグラフィが不可視状態となるように設定したりすることができる。更に、本実施形態によれば、ヘッドマウント型温度分布認識装置１は、警告機能の動作はそのままで、サーモグラフィをオフとして透過状態にすることができるので、ユーザは、必要なときだけサーモグラフィを投影することとして、視界を確保することができ、したがって、作業安全性が向上する。
Further, according to the present embodiment, the head-mounted temperature
更に、本実施形態によれば、ヘッドマウント型温度分布認識装置１は、センサ４０により検出された温度データやイメージデータ等をデータ記憶部２５０にログとして記録することができる。
Further, according to the present embodiment, the head-mounted temperature
（応用例）
本実施形態のヘッドマウント型温度分布認識装置１は、以下のように、様々に変形され、及び／又は、応用され得る。
(Application example)
The head-mounted temperature
（応用例１）
ヘッドマウント型温度分布認識装置１は、例えばＢｌｕｅｔｏｏｔｈ等の近距離通信によって外部のコンピューティングデバイスに接続され、更に、通信ネットワークを介して、中央監視室の管理サーバ（図示せず）に接続される。中央監視室では、例えば管理者が、ヘッドマウント型温度分布認識装置１からリアルタイムで送信される温度データ及び／又はイメージデータ等をチェックし、ヘッドマウント型温度分布認識装置１を装着したユーザに、音声や文字メッセージ等で指示を出し得る。
(Application example 1)
The head-mounted temperature
また、中央監視室の管理サーバは、ヘッドマウント型温度分布認識装置１から送信される温度データ及び／又はイメージデータ等を大容量記憶装置に蓄積する。管理サーバは、蓄積した温度データ及び／又はイメージデータ等を教示データとして、ディープラーニングによるＡＩ学習を行う。例えば、三相の電源接続部において、一つの電源接続部に緩みがあると抵抗値が上がり過熱する。したがって、三相の電源接続部の見た目が同じであっても一相だけ温度差が生じている熱画像パターンをビッグデータとして蓄積すると、ＡＩ学習により、温度上昇が生じている電源接続部を容易に特定することができるようになる。
In addition, the management server in the central monitoring room stores temperature data and / or image data transmitted from the head-mounted temperature
とりわけ、電気設備現場では似たような形状の機器が多数並んでおり、異常箇所の発見を見過ごしてしまう要因となっている。熱画像データから温度差のある箇所を認識して、過熱異常を初期段階で発見し、見落とし防止効果の向上が期待される。 In particular, many devices with similar shapes are lined up at the electrical equipment site, which is a factor that overlooks the discovery of abnormal parts. It is expected that overheating abnormality will be detected at the initial stage by recognizing the location where there is a temperature difference from the thermal image data, and the oversight prevention effect will be improved.
（応用例２）
建物内の点検対象である電気設備（被疑箇所）を見落としなく定期的に監視できるように、例えば、建物内にマーカが取り付けられている。マーカは、例えば、バーコードやＲＦタグであり、電気設備の位置情報を記録している。ヘッドマウント型温度分布認識装置１を装着したユーザは、例えばセンサ４０によりバーコードを読み取らせ、又は通信インターフェース部２８０によりＲＦタグからの電波を受信することにより、ヘッドマウント型温度分布認識装置１は、コントローラ２０の制御の下、該マーカに関連付けられた電気設備の位置情報を取得する。ヘッドマウント型温度分布認識装置１は、取得した位置情報に従い、マーカに関連付けられた電気設備が設置された位置ないしは方向をディスプレイ３０に表示することにより、ユーザを誘導する。これにより、ユーザは、建物内の電気設備の位置を容易に知ることができ、見落としがなくなり、監視強化に繋がることになる。
(Application example 2)
For example, a marker is installed inside the building so that the electrical equipment (suspected part) to be inspected in the building can be regularly monitored without being overlooked. The markers are, for example, barcodes and RF tags, and record the location information of electrical equipment. The user wearing the head-mounted temperature
また、ヘッドマウント型温度分布認識装置１は、取得した位置情報を、温度データ及び／又はイメージデータとともに、管理サーバに送信し得る。管理サーバは、受信した温度データ及び／又はイメージデータを位置情報に関連付けて記憶装置に蓄積し得る。管理サーバは、例えば、蓄積された温度データ及び／又はイメージデータを、建物内の地理的情報上に、関連付けて表示し得る。
Further, the head mount type temperature
或いは、ヘッドマウント型温度分布認識装置１は、空間姿勢データに基づき、サーモ画像を撮影した地点のＸＹＺ座標と撮影方向とを記録するように構成され得る。例えば、ヘッドマウント型温度分布認識装置１は、該装置の電源が投入された地点を座標原点として設定し、ユーザの移動／動作に伴って、現在座標を算出し、記録する。また、ヘッドマウント型温度分布認識装置１は、ユーザが該物体を直視する方角と傾きとを記録し得る。これにより、ユーザは、ヘッドマウント型温度分布認識装置１を装着して、現場で巡視点検作業を行った後、事務所において、点検作業記録書を作成する際に、これらのデータを活用することができるようになる。
Alternatively, the head-mounted temperature
上記各実施形態は、本発明を説明するための例示であり、本発明をこれらの実施形態にのみ限定する趣旨ではない。本発明は、その要旨を逸脱しない限り、さまざまな形態で実施することができる。 Each of the above embodiments is an example for explaining the present invention, and is not intended to limit the present invention to these embodiments only. The present invention can be implemented in various forms as long as it does not deviate from the gist thereof.
例えば、本明細書に開示される方法においては、その結果に矛盾が生じない限り、ステップ、動作又は機能を並行して又は異なる順に実施しても良い。説明されたステップ、動作及び機能は、単なる例として提供されており、ステップ、動作及び機能のうちのいくつかは、発明の要旨を逸脱しない範囲で、省略でき、また、互いに結合させることで一つのものとしてもよく、また、他のステップ、動作又は機能を追加してもよい。 For example, in the methods disclosed herein, steps, actions or functions may be performed in parallel or in a different order, as long as the results are not inconsistent. The steps, actions and functions described are provided by way of example only, and some of the steps, actions and functions can be omitted and combined with each other to the extent that they do not deviate from the gist of the invention. It may be one, or other steps, actions or functions may be added.
また、本明細書では、さまざまな実施形態が開示されているが、一の実施形態における特定のフィーチャ（技術的事項）を、適宜改良しながら、他の実施形態に追加し、又は該他の実施形態における特定のフィーチャと置換することができ、そのような形態も本発明の要旨に含まれる。 In addition, although various embodiments are disclosed in the present specification, specific features (technical matters) in one embodiment are added to other embodiments or other embodiments while being appropriately improved. It can be replaced with specific features in embodiments, such embodiments are also included in the gist of the invention.
１…ヘッドマウント型温度分布認識装置
１０…ヘッドマウント部
２０…コントローラ
２１０…入力制御部
２２０…温度データ処理部
２３０…空間姿勢推定部
２４０…ユーザ入力処理部
２５０…データ記憶部
２６０…画像データ生成部
２７０…出力制御部
２８０…通信インターフェース部
３０…ディスプレイ
４０…センサ
４０ａ，４２…サーモセンサ
４０ｂ…可視光センサ
４４…空間認識センサ
４６…３次元加速度センサ
５２…スピーカ
５４…バイブレータ
1 ... Head mount type temperature
Claims (8)
前記ヘッドマウント部を装着したユーザの視線の方向に略一致するように配置された、少なくとも、対象空間における熱源から発せられる赤外線を検出するためのサーモセンサ及び該対象空間における３次元形状を認識するための空間認識センサとを含むセンサと、
前記ユーザの視線の前方に配置されたディスプレイと、
前記センサと前記ディスプレイとを制御するコントローラとを備え、
前記コントローラは、前記サーモセンサから出力される第１のデータと、前記空間認識センサから出力される第２のデータとに基づいて、前記対象空間におけるサーモグラフィを含む画像データを生成し、生成した前記画像データに基づく画像が前記ディスプレイに表示されるように制御を行う、
ヘッドマウント型温度分布認識装置。 A head mount that can be attached to the user's head,
It recognizes at least a thermosensor for detecting infrared rays emitted from a heat source in the target space and a three-dimensional shape in the target space, which are arranged so as to substantially match the direction of the line of sight of the user wearing the head mount portion. Sensors, including space recognition sensors for
A display placed in front of the user's line of sight and
A controller for controlling the sensor and the display is provided.
The controller generates and generates image data including thermography in the target space based on the first data output from the thermo sensor and the second data output from the space recognition sensor. Control so that an image based on image data is displayed on the display.
Head mount type temperature distribution recognition device.
前記サーモセンサから出力される第１のデータに基づいて、温度分布データを生成する温度データ処理部と、
前記空間認識センサから出力される第２のデータに基づいて、空間姿勢データを生成する空間姿勢推定部と、
前記温度分布データに基づくサーモグラフィが、前記空間姿勢データに基づく前記対象空間におけるオブジェクトに一致するように、前記サーモグラフィを含む前記画像データを生成する画像データ生成部と、
を備える、
請求項１記載のヘッドマウント型温度分布認識装置。 The controller
A temperature data processing unit that generates temperature distribution data based on the first data output from the thermo sensor, and
A spatial attitude estimation unit that generates spatial attitude data based on the second data output from the spatial recognition sensor, and a spatial attitude estimation unit.
An image data generation unit that generates the image data including the thermography so that the thermography based on the temperature distribution data matches the object in the target space based on the spatial attitude data.
To prepare
The head-mounted temperature distribution recognition device according to claim 1.
前記画像データ生成部は、設定された前記表示温度の範囲に従った前記サーモグラフィを含む前記画像データを生成する、
請求項２記載のヘッドマウント型温度分布認識装置。 The controller is configured to be configurable in the range of display temperatures in the thermography.
The image data generation unit generates the image data including the thermography according to the set display temperature range.
The head-mounted temperature distribution recognition device according to claim 2.
請求項３に記載のヘッドマウント型温度分布認識装置。 The controller is configured to notify the user when the temperature indicated in the first data output from the thermosensor is equal to or higher than a predetermined warning temperature.
The head-mounted temperature distribution recognition device according to claim 3.
請求項４に記載のヘッドマウント型温度分布認識装置。 The image data generation unit generates the image data so that a temperature lower than the predetermined warning temperature becomes invisible in the thermography.
The head-mounted temperature distribution recognition device according to claim 4.
請求項１乃至５の何れか一項に記載のヘッドマウント型温度分布認識装置。 The thermosensor is detachably attached to the head mount portion.
The head-mounted temperature distribution recognition device according to any one of claims 1 to 5.
請求項１乃至６の何れか一項に記載のヘッドマウント型温度分布認識装置。 The sensor comprises a pair of the thermosensors arranged to correspond to the user's binocular parallax so that the user perceives a three-dimensional thermography.
The head-mounted temperature distribution recognition device according to any one of claims 1 to 6.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019224955A JP7395137B2 (en) | 2019-12-12 | 2019-12-12 | Head-mounted temperature distribution recognition device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019224955A JP7395137B2 (en) | 2019-12-12 | 2019-12-12 | Head-mounted temperature distribution recognition device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021092521A true JP2021092521A (en) | 2021-06-17 |
| JP7395137B2 JP7395137B2 (en) | 2023-12-11 |
Family
ID=76313175
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019224955A Active JP7395137B2 (en) | 2019-12-12 | 2019-12-12 | Head-mounted temperature distribution recognition device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7395137B2 (en) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0560617A (en) * | 1991-09-04 | 1993-03-12 | Mitsubishi Electric Corp | Monitoring device of abnormality of electric apparatus |
| JPH0921704A (en) * | 1995-07-10 | 1997-01-21 | Nippon Avionics Co Ltd | Method and system for monitoring temperature using pseudo-color thermal image in alarm display |
| JP2001312718A (en) * | 2000-02-21 | 2001-11-09 | Sharp Corp | Image compositing apparatus |
| JP2002366953A (en) * | 2001-06-11 | 2002-12-20 | Central Res Inst Of Electric Power Ind | Method, device and program for extracting image, and method, device and program for detecting abnormality of pole mounted equipment of distribution pole utilizing image extracting method |
| US6560029B1 (en) * | 2001-12-21 | 2003-05-06 | Itt Manufacturing Enterprises, Inc. | Video enhanced night vision goggle |
| JP2004233877A (en) * | 2003-01-31 | 2004-08-19 | Nikon Corp | Head-mounted type monitoring device |
| JP2010197153A (en) * | 2009-02-24 | 2010-09-09 | Konica Minolta Holdings Inc | Work support device and work support system |
| JP2017194300A (en) * | 2016-04-19 | 2017-10-26 | 日立マクセル株式会社 | Operation support device and operation support system |
| JP6400863B1 (en) * | 2015-06-02 | 2018-10-03 | クゥアルコム・テクノロジーズ・インターナショナル、リミテッド | Intuitive method for pointing, accessing, and controlling instruments and other objects inside buildings |
| JP2019121362A (en) * | 2018-01-04 | 2019-07-22 | インテル コーポレイション | Connection of physical object and virtual object in augmented reality |
| WO2019203351A1 (en) * | 2018-04-20 | 2019-10-24 | パナソニックＩｐマネジメント株式会社 | Image display device and image display method |
-
2019
- 2019-12-12 JP JP2019224955A patent/JP7395137B2/en active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0560617A (en) * | 1991-09-04 | 1993-03-12 | Mitsubishi Electric Corp | Monitoring device of abnormality of electric apparatus |
| JPH0921704A (en) * | 1995-07-10 | 1997-01-21 | Nippon Avionics Co Ltd | Method and system for monitoring temperature using pseudo-color thermal image in alarm display |
| JP2001312718A (en) * | 2000-02-21 | 2001-11-09 | Sharp Corp | Image compositing apparatus |
| JP2002366953A (en) * | 2001-06-11 | 2002-12-20 | Central Res Inst Of Electric Power Ind | Method, device and program for extracting image, and method, device and program for detecting abnormality of pole mounted equipment of distribution pole utilizing image extracting method |
| US6560029B1 (en) * | 2001-12-21 | 2003-05-06 | Itt Manufacturing Enterprises, Inc. | Video enhanced night vision goggle |
| JP2004233877A (en) * | 2003-01-31 | 2004-08-19 | Nikon Corp | Head-mounted type monitoring device |
| JP2010197153A (en) * | 2009-02-24 | 2010-09-09 | Konica Minolta Holdings Inc | Work support device and work support system |
| JP6400863B1 (en) * | 2015-06-02 | 2018-10-03 | クゥアルコム・テクノロジーズ・インターナショナル、リミテッド | Intuitive method for pointing, accessing, and controlling instruments and other objects inside buildings |
| JP2017194300A (en) * | 2016-04-19 | 2017-10-26 | 日立マクセル株式会社 | Operation support device and operation support system |
| JP2019121362A (en) * | 2018-01-04 | 2019-07-22 | インテル コーポレイション | Connection of physical object and virtual object in augmented reality |
| WO2019203351A1 (en) * | 2018-04-20 | 2019-10-24 | パナソニックＩｐマネジメント株式会社 | Image display device and image display method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7395137B2 (en) | 2023-12-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9746913B2 (en) | Secured mobile maintenance and operator system including wearable augmented reality interface, voice command interface, and visual recognition systems and related methods | |
| KR102289745B1 (en) | System and method for real-time monitoring field work | |
| US10088344B2 (en) | Underlying wall structure finder and infrared camera | |
| KR20220027119A (en) | System and method for monitoring field based augmented reality using digital twin | |
| US10097814B2 (en) | Fire monitoring system | |
| CN104254869B (en) | For the method and system for the visible light representations for projecting infrared radiation | |
| US10317516B2 (en) | Optical safety system | |
| US20080306708A1 (en) | System and method for orientation and location calibration for image sensors | |
| WO2016109197A1 (en) | Image based surveillance system | |
| JP6365906B1 (en) | 3D intrusion detection system and 3D intrusion detection method | |
| US20200275062A1 (en) | Video Recording Device and Head Mounted Display | |
| KR102585768B1 (en) | Fire prevention system and method using thermal imaging camera | |
| CN111198403A (en) | Thermal imaging detection method and device, storage medium and terminal | |
| JP6157170B2 (en) | Monitoring support system | |
| CN114511984A (en) | Fire monitoring camera, fire monitoring method and automatic fire alarm system | |
| WO2019085945A1 (en) | Detection device, detection system, and detection method | |
| KR102282459B1 (en) | Method and Apparatus for counting the number of person | |
| JP5066479B2 (en) | Commandee identification device and command support system | |
| JP7395137B2 (en) | Head-mounted temperature distribution recognition device | |
| CN209230784U (en) | A kind of Handheld infrared thermal imager | |
| CN115294718A (en) | Fire early warning system based on multisource data fusion | |
| JP2012055418A (en) | View line detection device and view line detection method | |
| JP2016092740A (en) | Remote controller, remote control method, remote control program, and remote control system | |
| JP2019066196A (en) | Inclination measuring device and inclination measuring method | |
| KR102134419B1 (en) | Thermographic image sensing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221206 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230419 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230502 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230627 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230808 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230929 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231024 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231117 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7395137 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |