JP6863822B2 - Thermal image display device, infrared imaging device and thermal image data display method - Google Patents
Thermal image display device, infrared imaging device and thermal image data display method Download PDFInfo
- Publication number
- JP6863822B2 JP6863822B2 JP2017101074A JP2017101074A JP6863822B2 JP 6863822 B2 JP6863822 B2 JP 6863822B2 JP 2017101074 A JP2017101074 A JP 2017101074A JP 2017101074 A JP2017101074 A JP 2017101074A JP 6863822 B2 JP6863822 B2 JP 6863822B2
- Authority
- JP
- Japan
- Prior art keywords
- temperature
- data
- thermal image
- image data
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 23
- 238000003331 infrared imaging Methods 0.000 title claims description 12
- 238000012545 processing Methods 0.000 claims description 74
- 238000004040 coloring Methods 0.000 claims description 12
- 239000003086 colorant Substances 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000012790 confirmation Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 230000010365 information processing Effects 0.000 description 4
- CNQCVBJFEGMYDW-UHFFFAOYSA-N lawrencium atom Chemical compound [Lr] CNQCVBJFEGMYDW-UHFFFAOYSA-N 0.000 description 3
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000001931 thermography Methods 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000007790 scraping Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
Images
Landscapes
- Radiation Pyrometers (AREA)
Description
本発明は、熱画像表示装置、赤外線撮像装置及び熱画像データ表示方法に関する。 The present invention relates to a thermal image display device, an infrared image pickup device, and a thermal image data display method.
本出願人が開発し、製造販売している赤外線撮像装置は、離れた対象物の温度を測定することが可能であり、様々な現場や用途に利用されている。赤外線撮像装置が撮影する熱画像データは対象物の温度を示す温度データの集合体である。
例えば製鉄所では、レールにぶら下げられ、溶融した鉄が充填されている取鍋の表面温度を遠距離から非接触で計測することで、コンクリートの内鍋の削れ具合を監視する。
また建造物の外壁を赤外線撮像装置で撮影し、外壁の温度上昇のムラが生じている箇所から、建造物の外壁の剥離箇所を推測することも行われている。
The infrared imaging device developed, manufactured and sold by the applicant can measure the temperature of a distant object, and is used in various sites and applications. The thermal image data taken by the infrared image pickup device is a collection of temperature data indicating the temperature of the object.
For example, in a steel mill, the surface temperature of a ladle that is hung on a rail and filled with molten iron is measured from a long distance in a non-contact manner to monitor the degree of scraping of the concrete inner pot.
In addition, the outer wall of the building is photographed with an infrared image pickup device, and the peeled part of the outer wall of the building is estimated from the place where the temperature rise of the outer wall is uneven.
現在、出願人が製造販売している赤外線撮像装置は、撮影した熱画像データを表示部に表示する際、温度値を視覚的に認識しやすくするために、温度値をカラーパレットの色に対応付け、熱画像データを着色表示する機能を有する。カラーパレットには様々な種類のものが存在するが、出願人が製造販売する赤外線撮像装置には、低い温度値から高い温度値に対応して、青、緑、黄色、そして最終的に赤へと連続的に変色する、「レインボー」と呼ばれるカラーパレットが採用されている。
温度値に色を対応付ける着色処理は、先ず、温度データを、温度スケールを用いて、対応する指標値に変換する。次に、温度スケールを用いて算出された指標値に対応する色を、カラーパレットを用いて特定する。出願人が製造販売している赤外線撮像装置は、温度スケールを自動的に設定する機能を有する。
温度値をカラーパレットの色に対応付け、熱画像データを着色表示することで、赤外線撮像装置の使用者等に対し、熱画像データの何処の箇所の温度が高いのか、あるいは低いのか等、熱画像データを視覚的にわかり易く表示することが可能になる。
Currently, the infrared image pickup device manufactured and sold by the applicant corresponds to the temperature value corresponding to the color of the color palette in order to make it easier to visually recognize the temperature value when displaying the captured thermal image data on the display unit. It has a function to color and display thermal image data. There are various types of color palettes, but the infrared imagers manufactured and sold by the applicant are blue, green, yellow, and finally red in response to low to high temperature values. A color palette called "Rainbow" that changes color continuously is adopted.
The coloring process of associating a color with a temperature value first converts the temperature data into the corresponding index value using a temperature scale. Next, the color corresponding to the index value calculated using the temperature scale is specified using the color palette. The infrared image pickup device manufactured and sold by the applicant has a function of automatically setting the temperature scale.
By associating the temperature value with the color of the color palette and displaying the thermal image data in color, the heat of the thermal image data, such as where the temperature is high or low, is displayed to the user of the infrared image pickup device. Image data can be displayed in an easy-to-understand manner.
本発明に関係すると思われる先行技術文献として、特許文献1が挙げられる。この特許文献1には、発熱体の移動方向を確実に検出し、撮影のための信号を自動的に生成する熱画像撮影システム及び熱画像撮影装置に関する技術が開示されている。 Patent Document 1 is mentioned as a prior art document that seems to be related to the present invention. Patent Document 1 discloses a technique relating to a thermal imaging system and a thermal imaging apparatus that reliably detects the moving direction of a heating element and automatically generates a signal for photographing.
赤外線撮像装置における温度スケールの自動設定機能は、先ず、撮影した熱画像データに含まれる温度データが示す、最も高い温度と、最も低い温度とを取得する。そして、取得した最も高い温度を温度スケールの最高値に、最も低い温度を温度スケールの最低値に、それぞれ設定する。 The automatic temperature scale setting function in the infrared image pickup apparatus first acquires the highest temperature and the lowest temperature indicated by the temperature data included in the captured thermal image data. Then, the highest acquired temperature is set as the highest value on the temperature scale, and the lowest temperature is set as the lowest value on the temperature scale.
市街地の熱画像データを得るために市街地の風景等を赤外線撮像装置で撮影すると、熱画像データに空に対応する温度データも含まれることとなる。空の温度は地上の建造物の温度に比べて極端に低い傾向にある。そこで、温度スケールの自動設定機能は、最も低い温度を示す温度データとして、空に対応する温度データを採用する。すると、温度スケールが空の温度に引きずられて、本当に解析をしたい対象である、市街地の建造物の温度データについて、温度スケールの分解能が低下してしまう。つまり、本来なら市街地の建造物の温度データのみ、温度スケールで視認したいにもかかわらず、空の温度データが存在することで、市街地の建造物の温度データが狭い色範囲に圧縮されてしまう。 When a landscape of an urban area is photographed with an infrared image pickup device in order to obtain thermal image data of an urban area, the thermal image data also includes temperature data corresponding to the sky. The temperature of the sky tends to be extremely low compared to the temperature of buildings on the ground. Therefore, the automatic temperature scale setting function adopts the temperature data corresponding to the sky as the temperature data indicating the lowest temperature. Then, the temperature scale is dragged by the temperature of the sky, and the resolution of the temperature scale is lowered for the temperature data of the building in the urban area, which is the object to be analyzed. That is, although it is originally desired to visually recognize only the temperature data of the buildings in the urban area on the temperature scale, the temperature data of the buildings in the urban area is compressed into a narrow color range due to the existence of the empty temperature data.
本発明はかかる点に鑑みてなされたものであり、本発明の目的は、温度スケールを適切に自動設定できる、熱画像表示装置、赤外線撮像装置及び熱画像データ表示方法を提供することを目的とする。 The present invention has been made in view of the above points, and an object of the present invention is to provide a thermal image display device, an infrared imaging device, and a thermal image data display method capable of appropriately and automatically setting a temperature scale. To do.
上記課題を解決するために、本発明の熱画像表示装置は、対象物の温度を示す温度データの集合体である熱画像データに着色処理を施す熱画像表示装置であって、熱画像データに含まれる温度データに基づいて温度比較処理を実行する温度比較処理部と、温度比較処理部の処理結果に基づいて、温度値を色に対応付ける温度スケールを作成し、温度スケールに基づいて熱画像データに着色処理を行う表示処理部と、表示処理部が出力する着色処理された熱画像データを表示する表示部とを具備する。 In order to solve the above problems, the thermal image display device of the present invention is a thermal image display device that performs coloring processing on thermal image data which is a collection of temperature data indicating the temperature of an object, and the thermal image data can be converted into thermal image data. A temperature comparison processing unit that executes temperature comparison processing based on the included temperature data, and a temperature scale that associates temperature values with colors based on the processing results of the temperature comparison processing unit are created, and thermal image data based on the temperature scale. It is provided with a display processing unit that performs coloring processing and a display unit that displays the coloring-processed thermal image data output by the display processing unit.
温度比較処理部は、熱画像データに含まれる温度データに対応する位置が、熱画像データに対して温度スケールを構成する対象とする領域の座標情報で指定される関心領域に含まれているか否かを判定し、さらに、温度データが示す温度値が、予め設定される上限温度閾値及び下限温度閾値で指定される範囲内にあるか否かを判定し、温度データに対応する位置が関心領域に含まれており、かつ、温度データが示す温度値が上限温度閾値及び下限温度閾値で指定される範囲内にある、温度データが示す温度値の最小値及び最大値を算出する。
表示処理部は、温度比較処理部の処理結果に基づいて温度スケールを作成し、温度スケールとカラーパレットに基づいて熱画像データに着色処理を行う。
In the temperature comparison processing unit, whether or not the position corresponding to the temperature data included in the thermal image data is included in the region of interest specified by the coordinate information of the target region constituting the temperature scale with respect to the thermal image data. Further, it is determined whether or not the temperature value indicated by the temperature data is within the range specified by the preset upper limit temperature threshold and lower limit temperature threshold, and the position corresponding to the temperature data is the region of interest. The minimum and maximum values of the temperature values indicated by the temperature data are calculated, which are included in the above and the temperature values indicated by the temperature data are within the range specified by the upper limit temperature threshold and the lower limit temperature threshold.
The display processing unit creates a temperature scale based on the processing result of the temperature comparison processing unit, and performs coloring processing on the thermal image data based on the temperature scale and the color palette.
本発明によれば、温度スケールを適切に自動設定できる熱画像表示装置、赤外線撮像装置及び熱画像データ表示方法を提供することができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
According to the present invention, it is possible to provide a thermal image display device, an infrared imaging device, and a thermal image data display method capable of appropriately and automatically setting a temperature scale.
Issues, configurations and effects other than those described above will be clarified by the description of the following embodiments.
[赤外線撮像装置101:ハードウェア構成]
図1は、本発明の実施形態の例である、赤外線撮像装置101のハードウェア構成を示すブロック図である。
レンズ102で集光される赤外線は、赤外線撮像素子103によってアナログ電圧信号に変換される。赤外線撮像素子103はキャリッジ104上に載置される。このキャリッジ104には赤外線撮像素子103の他に、赤外線撮像素子103のアナログ電圧信号を増幅するバッファアンプ105と、バッファアンプ105で増幅された赤外線撮像素子103のアナログ電圧信号をデジタル生データに変換するA/D変換器106も設けられている。
[Infrared image pickup device 101: hardware configuration]
FIG. 1 is a block diagram showing a hardware configuration of an
The infrared light collected by the
A/D変換器106から出力されるデジタル生データは、マイコンよりなる制御部107に入力用ポート114を通じて供給される。
マイコンである制御部107は、CPU108、ROM109、RAM110、後述する熱画像を表示するLCD等の表示部111、ユーザの操作を受け付ける操作部112がバス113に接続されている。
バス113にはこの他に、入力用ポート114、出力用ポート115、フラッシュメモリ等の不揮発性ストレージ116、そしてフレームバッファ117が接続されている。なお、RAM110を大容量のものにして、フレームバッファ117を兼用してもよい。
The digital raw data output from the A /
The
In addition to this, the
不揮発性ストレージ116としては、例えばフラッシュメモリが用いられる。このフラッシュメモリは、ROM109と兼用することも可能である。
ROM109または不揮発性ストレージ116には、マイコンを制御部107として動作させるためのプログラムが格納されている。
フレームバッファ117にはデジタル生データが一旦格納される。デジタル生データは制御部107によって温度補正処理等の種々の演算処理を施されて、デジタル温度データに変換される。そして、出力用ポート115から外部へ出力される。
As the
The
Digital raw data is temporarily stored in the
[赤外線撮像装置101:ソフトウェア機能]
図2は、赤外線撮像装置101の制御部107のソフトウェア機能を示すブロック図である。
デジタル生データは、一旦入出力制御部201を通じて、フレームバッファ117に格納される。入出力制御部201には、フレームバッファ117に格納された生データに対して所定の処理を行う機能ブロックが存在する。
温度データ変換処理部202は、フレームバッファ117に格納された生データに対し、所定の補正演算処理を施して、対象物の温度を示すデータの集合体である熱画像データに変換する。
[Infrared image pickup device 101: software function]
FIG. 2 is a block diagram showing a software function of the
The digital raw data is temporarily stored in the
The temperature data
RAM110内に保存されている関心領域座標情報204は、熱画像データに対して温度スケール210を構成する対象とする領域の座標情報である。例えば、フレーム内の矩形領域は、フレーム内の座標を用いて、左上と右下の頂点の座標で指定することができる。
上限温度閾値205と下限温度閾値206は、関心領域座標情報204で指定される関心領域内の温度データ群のうち、RAM110に温度スケール210を作成するための最小値、最大値を算出する処理に用いる温度データを選別するために使用する。例えば、関心領域座標情報204で指定される領域に属する温度データが示す温度値が、上限温度閾値205以下、下限温度閾値206以上の範囲から外れている場合、当該温度データは、温度スケール210を作成するための最大値および最小値を算出する処理の対象から外される。
The region of
The upper
関心領域内温度最大値208は、関心領域座標情報204で指定された関心領域内の温度データが示す温度値のうち、上限温度閾値205と下限温度閾値206で指定される範囲に収まっており、かつ最も高い温度値である。関心領域内温度最小値207は、関心領域座標情報204で指定された関心領域内の温度データが示す温度値のうち、上限温度閾値205と下限温度閾値206で指定される範囲に収まっており、かつ最も低い温度値である。
関心領域内温度最大値208と関心領域内温度最小値207は、温度スケール210の基となる。
The
The maximum temperature within the region of
温度比較処理部203は、フレームバッファ117に格納された熱画像データを構成する温度データ群を順次調査する。
まず、フレームバッファ117内で調査対象の温度データが格納されているアドレスが関心領域座標情報204で指定された関心領域内に含まれているか否かを判定する。
次に、温度比較処理部203は、当該温度データのアドレスが関心領域座標情報204で指定される関心領域内にある場合、当該温度データが示す温度値が、上限温度閾値205及び下限温度閾値206で指定される範囲内にあるか否かを判定する。
次に、温度比較処理部203は、当該温度データのアドレスが関心領域座標情報204で指定された関心領域内に含まれており、かつ、当該温度データが示す温度値が上限温度閾値205及び下限温度閾値206で指定される範囲内にある場合、当該温度データが示す温度値がこの時点の温度値の最小値である関心領域内温度最小値207より小さいか否かを判定する。もし、当該温度データが示す温度値が関心領域内温度最小値207より小さい場合には関心領域内温度最小値207を当該温度データが示す温度値で更新する。
The temperature
First, it is determined whether or not the address in which the temperature data to be investigated is stored in the
Next, in the temperature
Next, in the temperature
次に、温度比較処理部203は、当該温度データのアドレスが関心領域座標情報204で指定された関心領域内に含まれており、かつ、当該温度データが示す温度値が上限温度閾値205及び下限温度閾値206で指定される範囲内にある場合、当該温度データが示す温度値がこの時点の温度値の最大値である関心領域内温度最大値208より大きいか否かを判定する。もし、当該温度データが示す温度値が関心領域内温度最大値208より大きい場合には関心領域内温度最大値208を当該温度データが示す温度値で更新する。
表示処理部209は、関心領域内温度最大値208及び関心領域内温度最小値207に基づいて温度スケール210を作成し、熱画像データから温度スケール210と不揮発性ストレージ116に格納されているカラーパレット211に基づいて着色した画像データを生成する。そして、その画像データを表示部111に表示する。
なお、カラーパレット211が格納される場所は不揮発性ストレージ116の他、ROM109でもよい。
Next, in the temperature
The
The place where the
[赤外線撮像装置101:動作]
図3は、入出力制御部201による、熱画像データに対する着色処理の流れを示すフローチャートである。なお、このフローチャートは、予め生データから温度データ変換処理部202によって変換された熱画像データがフレームバッファ117に格納されている状態にあるものとする。
処理を開始すると(S301)、入出力制御部201は、フレームバッファ117内に格納されている1フレーム分の熱画像データのうち、処理対象となる温度データのアドレス情報を初期化する(S302)。具体的には、画面の一番左上に該当する温度データが格納されているフレームバッファ117内のアドレス情報を、処理対象温度データのアドレス情報として設定する。S302では関心領域内温度最小値207、関心領域内温度最大値208をも初期化する。最大値の初期値は下限温度閾値、最小値の初期値は上限温度閾値とする。
[Infrared image pickup device 101: Operation]
FIG. 3 is a flowchart showing the flow of the coloring process for the thermal image data by the input /
When the processing is started (S301), the input /
次に、入出力制御部201は現在処理対象としている温度データのアドレス情報が、関心領域の範囲内であるか否かを確認する(S303)。
現在処理対象としている温度データのアドレス情報が関心領域の範囲内でない場合(S303のNO)は、当該温度データは処理の対象外であるので、入出力制御部201は、当該温度データについて何も確認することなく、当該温度データのアドレス情報が現在の温度データの最終位置、つまり画面の一番右下のアドレスであるか否かを確認するステップS310の処理へ移行する。
Next, the input /
If the address information of the temperature data currently being processed is not within the range of the region of interest (NO in S303), the temperature data is not subject to processing, so the input /
現在処理対象としている温度データのアドレス情報が関心領域の範囲内である場合(S303のYES)、当該温度データは処理の対象である。そこで、入出力制御部201の温度比較処理部203は次に当該温度データが示す温度値が、上限温度閾値205と下限温度閾値206で指定される範囲内であるか否かを判定する(S305)。
当該温度データが示す温度値が、上限温度閾値205と下限温度閾値206で指定される範囲内ではない、つまり上限温度閾値205より高い温度か、あるいは下限温度閾値206より低い温度である場合(S305のNO)、当該温度データはこの後で判断する、関心領域内温度最大値208及び関心領域内温度最小値207との比較処理の対象外である。そこで、入出力制御部201は、当該温度データのアドレス情報が現在の温度データの最終位置、つまり画面の一番右下のアドレスであるか否かを確認するステップS310の処理へ移行する。
When the address information of the temperature data currently to be processed is within the range of the region of interest (YES in S303), the temperature data is the target of processing. Therefore, the temperature
When the temperature value indicated by the temperature data is not within the range specified by the upper
当該温度データが、上限温度閾値205と下限温度閾値206で指定される範囲内にある、つまり上限温度閾値205以下であり、かつ下限温度閾値206以上の温度である場合(S305のYES)、当該温度データはこの後で判断する、関心領域内温度最大値208及び関心領域内温度最小値207との比較処理の対象である。そこで、温度比較処理部203は次に当該温度データが示す温度値が、この時点の関心領域内温度最小値207より低い値であるか否かを判定する(S306)。なお、図3では表示文字数の関係上、関心領域内温度最小値207を「最小値」と読み替えている。
当該温度データが示す温度値が関心領域内温度最小値207より低い値である場合(S306のYES)、この時点において、当該温度データが示す温度値は関心領域範囲内で最低の温度である。そこで、温度比較処理部203は関心領域内温度最小値207を現在温度データが示す温度値で上書きする(S307)。
When the temperature data is within the range specified by the upper
When the temperature value indicated by the temperature data is lower than the
ステップS307及び当該温度データが示す温度値が関心領域内温度最小値207以上の値である場合(S306のNO)の何れの場合においても、温度比較処理部203は次に当該温度データが示す温度値が、関心領域内温度最大値208より高い値であるか否かを判定する(S308)。なお、図3では表示文字数の関係上、関心領域内温度最大値208を「最大値」と読み替えている。
当該温度データが示す温度値が関心領域内温度最大値208より高い値である場合(S308のYES)、この時点において、当該温度データが示す温度値は関心領域範囲内で最高の温度である。そこで、温度比較処理部203は関心領域内温度最大値208を現在の温度データが示す温度値で上書きする(S309)。
In any case of step S307 and the case where the temperature value indicated by the temperature data is a value equal to or higher than the
When the temperature value indicated by the temperature data is higher than the maximum temperature within the region of interest 208 (YES in S308), the temperature value indicated by the temperature data is the highest temperature within the region of interest at this point in time. Therefore, the temperature
ステップS303のNO、ステップS305のNO、ステップS308のNO、及びステップS309の何れの場合においても、入出力制御部201は、次に当該温度データのアドレス情報が現在の温度データの最終位置、つまり画面の一番右下のアドレスであるか否かを確認する(S310)。
現在の温度データのアドレス情報が1フレーム分の熱画像データの最終位置でない場合(S310のNO)、入出力制御部201は処理対象温度データのアドレス情報をインクリメントして(S304)、再びステップS303から処理を繰り返す。
現在の温度データのアドレス情報が1フレーム分の熱画像データの最終位置である場合(S310のYES)、入出力制御部201の表示処理部209は、現時点における関心領域内温度最大値208と関心領域内温度最小値207を確定する。これらに基づいて温度スケール210を作成する(S311)。そして、作成した温度スケール210と不揮発性ストレージ116に格納されているカラーパレット211に基づいて熱画像データの着色処理を行い、表示部111に表示して(S312)、一連の処理を終了する(S313)。
In any of the cases of NO in step S303, NO in step S305, NO in step S308, and step S309, the input /
If the address information of the current temperature data is not the final position of the thermal image data for one frame (NO in S310), the input /
When the address information of the current temperature data is the final position of the thermal image data for one frame (YES in S310), the
図4Aは、従来技術で撮影された熱画像データの一例である。図4Aでは、一例として市街地の建造物を撮影した熱画像データを示している。
図4A中、ポイントP401には一軒家の屋根が存在する。図4A中、このポイントP401が最も高い温度を示す箇所である。
ポイントP402は高層団地の上層階である。図4A中、このポイントP402が「この熱画像データに写っている建造物の中で」最も低い温度を示す箇所である。
ポイントP403は空である。図4A中、このポイントP403が「この熱画像データの中で」最も低い温度を示す箇所である。
図4A中、点線で囲まれた区間が関心領域A404である。
図4Aの右端には、ポイントP401とP403に基づいて作成された温度スケールとカラーパレットに基づいて表示されたカラーバーS405が表示されている。
FIG. 4A is an example of thermal image data captured by the prior art. FIG. 4A shows thermal image data obtained by photographing a building in an urban area as an example.
In FIG. 4A, there is a roof of a house at point P401. In FIG. 4A, this point P401 shows the highest temperature.
Point P402 is the upper floor of the high-rise housing complex. In FIG. 4A, this point P402 is the point showing the lowest temperature "among the buildings shown in this thermal image data".
Point P403 is empty. In FIG. 4A, this point P403 is the point showing the lowest temperature "in this thermal image data".
In FIG. 4A, the section surrounded by the dotted line is the region of interest A404.
At the right end of FIG. 4A, a color bar S405 displayed based on the temperature scale and the color palette created based on the points P401 and P403 is displayed.
図4Bは、従来技術における温度スケールの設定手順の概念図である。
図4Aの、関心領域A404の中に存在するポイントP401の温度が、温度値T406に該当する。同様に、図4AのポイントP402の温度が、温度値T407に該当する。したがって、温度値T406と温度値T407の間の温度範囲が、図4Aの熱画像データにおける、市街地の建造物の温度分布の範囲になる。
しかし、関心領域A404には空が写り込んでおり、このために図4AのポイントP403の温度が、温度値T408に該当する。すると、温度スケールの温度範囲R409は、温度上限値が温度値T406に、温度下限値が温度値T408になる。このため、温度スケールの分解能が低下し、熱画像データに写る建造物の温度分布を詳細に検討することが困難になってしまう。
具体的には、カラーパレット「レインボー」を用いると温度スケールに基づいて、最も低い温度は青色で染色される。この青色は空の温度データである温度値T408に割り当てられる。そして、高層団地の上層階であるポイントP402の温度値T407が、カラーパレット「レインボー」を用いると温度スケールに基づいて、黄緑色に設定されてしまう。
FIG. 4B is a conceptual diagram of the temperature scale setting procedure in the prior art.
The temperature of the point P401 existing in the region of interest A404 in FIG. 4A corresponds to the temperature value T406. Similarly, the temperature at point P402 in FIG. 4A corresponds to the temperature value T407. Therefore, the temperature range between the temperature value T406 and the temperature value T407 is the range of the temperature distribution of the buildings in the urban area in the thermal image data of FIG. 4A.
However, the sky is reflected in the region of interest A404, and therefore the temperature at the point P403 in FIG. 4A corresponds to the temperature value T408. Then, in the temperature range R409 of the temperature scale, the upper limit of the temperature becomes the temperature value T406 and the lower limit of the temperature becomes the temperature value T408. For this reason, the resolution of the temperature scale is lowered, and it becomes difficult to examine the temperature distribution of the building reflected in the thermal image data in detail.
Specifically, using the color palette "Rainbow", the lowest temperature is dyed blue based on the temperature scale. This blue color is assigned to the temperature value T408, which is the temperature data of the sky. Then, the temperature value T407 at the point P402, which is the upper floor of the high-rise housing complex, is set to yellowish green based on the temperature scale when the color palette "Rainbow" is used.
図4Cは、本発明の実施形態に基づく、温度スケールの設定手順の概念図である。
図5は、本発明の実施形態に基づいて撮影された熱画像データの一例である。
温度上限値と温度下限値を決定する前に、予め上限温度閾値T410と下限温度閾値T411を決めておく。
そして、図4Cに示すように、上限温度閾値T410と下限温度閾値T411の範囲から外れる温度データについては、温度上限値及び温度下限値を決定する対象から外すようにする(図3のステップS305)。すると、空の温度である温度値T408は下限温度閾値T411を下回るので、温度下限値の決定候補から外れる。そして、温度下限値は本来の建造物の温度であるポイントP402の温度値T407になる。つまり、温度スケールの温度範囲R412は、温度上限値が温度値T406に、温度下限値が温度値T407になる。このため、温度スケールの分解能が確保され、熱画像データに写る建造物の温度分布を詳細に検討することが可能になる。
結果的に、カラーパレット「レインボー」を用いると温度スケールに基づいて、最も低い温度に対応する青色は高層団地の上層階であるポイントP402の温度値T407に割り当てられる。そして、空の箇所(ポイントP403、温度値T408)もカラーパレット「レインボー」の最も低い温度に対応する青色で表示される(最低温度に対応する色になる。)。
FIG. 4C is a conceptual diagram of a temperature scale setting procedure based on the embodiment of the present invention.
FIG. 5 is an example of thermal image data taken based on the embodiment of the present invention.
Before determining the temperature upper limit value and the temperature lower limit value, the upper limit temperature threshold value T410 and the lower limit temperature threshold value T411 are determined in advance.
Then, as shown in FIG. 4C, the temperature data outside the range of the upper limit temperature threshold value T410 and the lower limit temperature threshold value T411 is excluded from the target for determining the temperature upper limit value and the temperature lower limit value (step S305 in FIG. 3). .. Then, since the temperature value T408, which is the empty temperature, is lower than the lower limit temperature threshold value T411, the temperature value T408 is excluded from the determination candidates of the lower limit temperature value. Then, the lower limit of the temperature becomes the temperature value T407 at the point P402, which is the temperature of the original building. That is, in the temperature range R412 of the temperature scale, the upper limit of the temperature is the temperature value T406 and the lower limit of the temperature is the temperature value T407. Therefore, the resolution of the temperature scale is ensured, and the temperature distribution of the building reflected in the thermal image data can be examined in detail.
As a result, using the color palette "Rainbow", the blue corresponding to the lowest temperature is assigned to the temperature value T407 at point P402, which is the upper floor of the high-rise complex, based on the temperature scale. Then, the empty part (point P403, temperature value T408) is also displayed in blue corresponding to the lowest temperature of the color palette "Rainbow" (the color corresponds to the lowest temperature).
撮影対象によって、適切な上限温度閾値205と下限温度閾値206は変わる。そこで、上限温度閾値205と下限温度閾値206は、表示部111と操作部112を用いる所定のGUI(Graphical User Interface)を構成して、数値入力等にて設定する。
また本発明は、既に撮影し作成した熱画像データを着色表示する場合においても実施可能である。したがって、必ずしも実施形態は赤外線撮像装置には限られず、パソコン等の上方処理装置であっても実施可能である。この場合、情報処理装置のハードウェア構成は図1の制御部107がパソコン等の情報処理装置として独立するものとなる。情報処理装置のソフトウェア機能は、図2のブロック図に示す制御部107としての機能のうち、温度データ変換処理部202を除く機能を有し、生データの代わりに熱画像データを読み込む。そして、情報処理装置は図3のフローチャートにしたがってデータ処理を実行する。
The appropriate upper limit
The present invention can also be carried out in the case where the thermal image data already photographed and created is colored and displayed. Therefore, the embodiment is not necessarily limited to the infrared imaging device, and can be implemented by an upper processing device such as a personal computer. In this case, the hardware configuration of the information processing device is such that the
本発明の実施形態において開示された赤外線撮像装置101は、赤外線撮像素子で撮影して作成した熱画像データを着色表示する際、温度閾値によって、対象温度範囲外の温度データを除外する。このため、対象温度範囲外の温度データによって温度スケール210の作成に影響が生じることを防ぎ、真に解析したい対象を高い分解能で着色表示することが可能になる。
The infrared
赤外線撮像装置101から撮像機能を除去すれば、対象物の温度を示す温度データの集合体である熱画像データに着色処理を施す熱画像表示装置に転用することができる。
すなわち、熱画像表示装置は、
熱画像データに含まれる温度データに基づいて温度比較処理を実行する温度比較処理部と、
温度比較処理部の処理結果に基づいて、温度値を色に対応付ける温度スケールを作成し、温度スケールに基づいて熱画像データに着色処理を行う表示処理部と、
表示処理部が出力する着色処理された熱画像データを表示する表示部と
を具備し、
温度比較処理部は、
熱画像データに含まれる温度データに対応する位置が、予め設定される関心領域に含まれているか否かを判定し、
さらに、温度データが示す温度値が、予め設定される上限温度閾値及び下限温度閾値で指定される範囲内にあるか否かを判定し、
温度データに対応する位置が関心領域に含まれており、かつ、温度データが示す温度値が上限温度閾値及び下限温度閾値で指定される範囲内にある、温度データが示す温度値の最小値及び最大値を算出し、
表示処理部は、温度比較処理部の処理結果に基づいて温度スケールを作成し、温度スケールとカラーパレットに基づいて熱画像データに着色処理を行う。
If the imaging function is removed from the
That is, the thermal image display device is
A temperature comparison processing unit that executes temperature comparison processing based on the temperature data included in the thermal image data,
A display processing unit that creates a temperature scale that associates temperature values with colors based on the processing results of the temperature comparison processing unit, and colors the thermal image data based on the temperature scale.
It is provided with a display unit for displaying colored thermal image data output by the display processing unit.
The temperature comparison processing unit
It is determined whether or not the position corresponding to the temperature data included in the thermal image data is included in the preset region of interest.
Further, it is determined whether or not the temperature value indicated by the temperature data is within the range specified by the preset upper limit temperature threshold value and lower limit temperature threshold value.
The minimum value of the temperature value indicated by the temperature data and the minimum value of the temperature value indicated by the temperature data are included in the region of interest and the temperature value indicated by the temperature data is within the range specified by the upper limit temperature threshold and the lower limit temperature threshold. Calculate the maximum value and
The display processing unit creates a temperature scale based on the processing result of the temperature comparison processing unit, and performs coloring processing on the thermal image data based on the temperature scale and the color palette.
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、他の変形例、応用例を含む。
例えば、上述した実施形態は本発明をわかりやすく説明するために装置及びシステムの構成を詳細かつ具体的に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることは可能であり、更にはある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることも可能である。
Although the embodiments of the present invention have been described above, the present invention is not limited to the above embodiments, and other modifications and applications are provided as long as they do not deviate from the gist of the present invention described in the claims. including.
For example, the above-described embodiment describes in detail and concretely the configurations of the apparatus and the system in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to those including all the described configurations. Further, it is possible to replace a part of the configuration of one embodiment with the configuration of another embodiment, and further, it is possible to add the configuration of another embodiment to the configuration of one embodiment. It is also possible to add / delete / replace a part of the configuration of each embodiment with another configuration.
101…赤外線撮像装置、102…レンズ、103…赤外線撮像素子、104…キャリッジ、105…バッファアンプ、106…A/D変換器、107…制御部、108…CPU、109…ROM、110…RAM、111…表示部、112…操作部、113…バス、114…入力用ポート、115…出力用ポート、116…不揮発性ストレージ、117…フレームバッファ、201…入出力制御部、202…温度データ変換処理部、203…温度比較処理部、204…関心領域座標情報、205…上限温度閾値、206…下限温度閾値、207…関心領域内温度最小値、208…関心領域内温度最大値、209…表示処理部
101 ... infrared image pickup device, 102 ... lens, 103 ... infrared image pickup element, 104 ... carriage, 105 ... buffer amplifier, 106 ... A / D converter, 107 ... control unit, 108 ... CPU, 109 ... ROM, 110 ... RAM, 111 ... Display unit, 112 ... Operation unit, 113 ... Bus, 114 ... Input port, 115 ... Output port, 116 ... Non-volatile storage, 117 ... Frame buffer, 201 ... Input / output control unit, 202 ... Temperature data conversion processing Unit, 203 ... Temperature comparison processing unit, 204 ... Area of interest coordinate information, 205 ... Upper limit temperature threshold, 206 ... Lower limit temperature threshold, 207 ... Minimum temperature in the area of interest, 208 ... Maximum temperature in the area of interest, 209 ... Display processing Department
Claims (3)
前記熱画像データに含まれる温度データに基づいて温度比較処理を実行する温度比較処理部と、
前記温度比較処理部の処理結果に基づいて、温度値を色に対応付ける温度スケールを作成し、前記温度スケールに基づいて前記熱画像データに着色処理を行う表示処理部と、
前記表示処理部が出力する着色処理された前記熱画像データを表示する表示部と
を具備し、
前記温度比較処理部は、
前記熱画像データに含まれる前記温度データに対応する位置が、前記熱画像データに対して前記温度スケールを構成する対象とする領域の座標情報で指定される関心領域に含まれているか否かを判定し、
さらに、前記温度データが示す温度値が、予め設定される上限温度閾値及び下限温度閾値で指定される範囲内にあるか否かを判定し、
前記温度データに対応する位置が前記関心領域に含まれており、かつ、前記温度データが示す温度値が前記上限温度閾値及び前記下限温度閾値で指定される範囲内にある、前記温度データが示す温度値の最小値及び最大値を算出し、
前記表示処理部は、前記温度比較処理部の処理結果に基づいて温度スケールを作成し、前記温度スケールとカラーパレットに基づいて前記熱画像データに着色処理を行う、熱画像表示装置。 A thermal image display device that colors thermal image data, which is a collection of temperature data indicating the temperature of an object.
A temperature comparison processing unit that executes a temperature comparison process based on the temperature data included in the thermal image data, and a temperature comparison processing unit.
A display processing unit that creates a temperature scale that associates temperature values with colors based on the processing results of the temperature comparison processing unit, and colors the thermal image data based on the temperature scale.
It is provided with a display unit for displaying the colored thermal image data output by the display processing unit.
The temperature comparison processing unit
Whether or not the position corresponding to the temperature data included in the thermal image data is included in the region of interest specified by the coordinate information of the target region constituting the temperature scale with respect to the thermal image data. Judge,
Further, it is determined whether or not the temperature value indicated by the temperature data is within the range specified by the preset upper limit temperature threshold value and lower limit temperature threshold value.
The temperature data indicates that the position corresponding to the temperature data is included in the region of interest, and the temperature value indicated by the temperature data is within the range specified by the upper limit temperature threshold and the lower limit temperature threshold. Calculate the minimum and maximum temperature values,
The display processing unit creates a temperature scale based on the processing result of the temperature comparison processing unit, and performs coloring processing on the thermal image data based on the temperature scale and the color palette.
前記赤外線撮像素子のアナログ温度信号をデジタル生データに変換するA/D変換器と、
前記デジタル生データを、対象物の温度を示すデータの集合体である熱画像データに変換する温度データ変換処理部と、
前記熱画像データに着色処理を施す熱画像表示装置と
を具備する赤外線撮像装置であって、
前記熱画像表示装置は、
前記熱画像データに含まれる温度データに基づいて温度比較処理を実行する温度比較処理部と、
前記温度比較処理部の処理結果に基づいて、温度値を色に対応付ける温度スケールを作成し、前記温度スケールに基づいて前記熱画像データに着色処理を行う表示処理部と、
前記表示処理部が出力する着色処理された前記熱画像データを表示する表示部と
を具備し、
前記温度比較処理部は、
前記熱画像データに含まれる前記温度データに対応する位置が、前記熱画像データに対して前記温度スケールを構成する対象とする領域の座標情報で指定される関心領域に含まれているか否かを判定し、
さらに、前記温度データが示す温度値が、予め設定される上限温度閾値及び下限温度閾値で指定される範囲内にあるか否かを判定し、
前記温度データに対応する位置が前記関心領域に含まれており、かつ、前記温度データが示す温度値が前記上限温度閾値及び前記下限温度閾値で指定される範囲内にある、前記温度データが示す温度値の最小値及び最大値を算出し、
前記表示処理部は、前記温度比較処理部の処理結果に基づいて温度スケールを作成し、前記温度スケールとカラーパレットに基づいて前記熱画像データに着色処理を行うものである、
赤外線撮像装置。 An infrared image sensor that captures the temperature of an object and outputs an analog temperature signal,
An A / D converter that converts the analog temperature signal of the infrared image sensor into digital raw data,
A temperature data conversion processing unit that converts the digital raw data into thermal image data, which is a collection of data indicating the temperature of the object.
An infrared imaging device including a thermal image display device that performs a coloring process on the thermal image data.
The thermal image display device is
A temperature comparison processing unit that executes a temperature comparison process based on the temperature data included in the thermal image data, and a temperature comparison processing unit.
A display processing unit that creates a temperature scale that associates temperature values with colors based on the processing results of the temperature comparison processing unit, and colors the thermal image data based on the temperature scale.
With a display unit that displays the colored thermal image data output by the display processing unit
Equipped with
The temperature comparison processing unit
Whether or not the position corresponding to the temperature data included in the thermal image data is included in the region of interest specified by the coordinate information of the target region constituting the temperature scale with respect to the thermal image data. Judge,
Further, it is determined whether or not the temperature value indicated by the temperature data is within the range specified by the preset upper limit temperature threshold value and lower limit temperature threshold value.
The temperature data indicates that the position corresponding to the temperature data is included in the region of interest, and the temperature value indicated by the temperature data is within the range specified by the upper limit temperature threshold and the lower limit temperature threshold. Calculate the minimum and maximum temperature values,
The display processing unit creates a temperature scale based on the processing result of the temperature comparison processing unit, and performs coloring processing on the thermal image data based on the temperature scale and the color palette.
Infrared imager.
前記温度データが示す温度値が、予め設定される上限温度閾値及び下限温度閾値で指定される範囲内にあるか否かを判定する温度閾値範囲内判定ステップと、
前記関心領域範囲内判定ステップにおいて前記温度データに対応する位置が前記関心領域に含まれており、かつ、前記温度閾値範囲内判定ステップにおいて前記温度データが示す温度値が前記上限温度閾値及び前記下限温度閾値で指定される範囲内にある場合、前記温度データが示す温度値が前記関心領域での温度値の最小値であるか否かを判定し、最小である場合には前記最小値を更新する最小値判定更新ステップと、
前記関心領域範囲内判定ステップにおいて前記温度データに対応する位置が前記関心領域に含まれており、かつ、前記温度閾値範囲内判定ステップにおいて前記温度データが示す温度値が前記上限温度閾値及び前記下限温度閾値で指定される範囲内にある場合、前記温度データが示す温度値が前記関心領域での温度値の最大値であるか否かを判定し、最大である場合には前記最大値を更新する最大値確認更新ステップと、
前記最小値及び前記最大値に基づいて温度スケールを作成する温度スケール作成ステップと、
前記温度スケールに基づいて前記熱画像データに着色処理を行う熱画像表示ステップと
を有する、熱画像データ表示方法。 The position corresponding to the temperature data included in the thermal image data, which is a collection of data indicating the temperature of the object, is the interest specified by the coordinate information of the target region constituting the temperature scale with respect to the thermal image data. The area of interest determination step to determine whether or not it is included in the area, and
A temperature threshold range determination step for determining whether or not the temperature value indicated by the temperature data is within the range specified by the preset upper limit temperature threshold value and lower limit temperature threshold value, and
The position corresponding to the temperature data in the determination step within the range of interest is included in the region of interest, and the temperature value indicated by the temperature data in the determination step within the temperature threshold range is the upper limit temperature threshold and the lower limit. If it is within the range specified by the temperature threshold, it is determined whether or not the temperature value indicated by the temperature data is the minimum value of the temperature value in the region of interest, and if it is the minimum value, the minimum value is updated. Minimum value judgment update step and
The position corresponding to the temperature data in the determination step within the range of interest is included in the region of interest, and the temperature value indicated by the temperature data in the determination step within the temperature threshold range is the upper limit temperature threshold and the lower limit. If it is within the range specified by the temperature threshold, it is determined whether or not the temperature value indicated by the temperature data is the maximum value of the temperature value in the region of interest, and if it is the maximum value, the maximum value is updated. Maximum value confirmation update step and
A temperature scale creation step for creating a temperature scale based on the minimum value and the maximum value,
A thermal image data display method comprising a thermal image display step of coloring the thermal image data based on the temperature scale.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017101074A JP6863822B2 (en) | 2017-05-22 | 2017-05-22 | Thermal image display device, infrared imaging device and thermal image data display method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017101074A JP6863822B2 (en) | 2017-05-22 | 2017-05-22 | Thermal image display device, infrared imaging device and thermal image data display method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018194531A JP2018194531A (en) | 2018-12-06 |
JP6863822B2 true JP6863822B2 (en) | 2021-04-21 |
Family
ID=64570442
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017101074A Active JP6863822B2 (en) | 2017-05-22 | 2017-05-22 | Thermal image display device, infrared imaging device and thermal image data display method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6863822B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114112064A (en) * | 2021-11-05 | 2022-03-01 | 国网青海省电力公司检修公司 | Level adjustment infrared imaging detection method based on thermal mode |
CN114034390B (en) * | 2021-11-08 | 2023-11-03 | 山东大学 | Equipment temperature anomaly detection system based on infrared detection |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2717134B2 (en) * | 1987-10-19 | 1998-02-18 | 日本電気三栄株式会社 | Infrared temperature measuring device |
JP2847597B2 (en) * | 1992-07-17 | 1999-01-20 | 富士通株式会社 | Infrared monitoring system |
JPH06265412A (en) * | 1993-03-10 | 1994-09-22 | Nippon Avionics Co Ltd | Intrared temperature measuring device |
JPH06341904A (en) * | 1993-05-31 | 1994-12-13 | Nippon Avionics Co Ltd | Infrared thermal image device |
JP4016022B2 (en) * | 1999-01-14 | 2007-12-05 | 松下電器産業株式会社 | Infrared imaging device and vehicle equipped with the same |
JP2013024761A (en) * | 2011-07-22 | 2013-02-04 | Hitachi Kokusai Electric Inc | Imaging method and imaging apparatus |
WO2016040566A1 (en) * | 2014-09-12 | 2016-03-17 | Seek Thermal, Inc. | Selective color display of a thermal image |
-
2017
- 2017-05-22 JP JP2017101074A patent/JP6863822B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018194531A (en) | 2018-12-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6419233B2 (en) | Thermal imaging apparatus and thermal imaging method | |
JP4747970B2 (en) | Image processing device | |
JP6234044B2 (en) | Exterior material deterioration judging method and judging device | |
CN107273849B (en) | Display control device and display control method | |
JP6671648B2 (en) | Controller, forging machine, and control method | |
JP6863822B2 (en) | Thermal image display device, infrared imaging device and thermal image data display method | |
JP6937391B2 (en) | Repair length determination method and repair length determination device | |
JP6151077B2 (en) | Deterioration judgment method for exterior materials | |
JP5044755B1 (en) | Image processing apparatus and building image diagnostic apparatus | |
JP2007510152A (en) | Infrared camera methods, uses and systems for determining the risk of condensation | |
JP2008176768A (en) | Image processor | |
JP2717134B2 (en) | Infrared temperature measuring device | |
JP5017507B1 (en) | Image processing method, image processing apparatus, building image diagnosis method, and building image diagnosis apparatus | |
JP5217841B2 (en) | Image processing apparatus and method for supporting parameter setting relating to defect detection on image | |
JPH06341904A (en) | Infrared thermal image device | |
WO2017057363A1 (en) | Crack detection apparatus, crack detection method, and program | |
JP6000611B2 (en) | Image processing apparatus and method | |
JP2019168930A5 (en) | ||
JP6234045B2 (en) | Exterior material deterioration judging method and judging device | |
JPH09114985A (en) | Picture processor | |
JP6833304B2 (en) | Measurement method, measurement system, display device, computer program | |
US20230401859A1 (en) | Management apparatus, management method, management system, computer program and recording medium | |
JP7150290B1 (en) | Information processing device, information processing method and program | |
JP2013213758A (en) | Image processing device and image processing method | |
JP7299400B2 (en) | Temperature measuring device and temperature measuring method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200226 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200930 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201006 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201105 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210330 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210401 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6863822 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |