JP2020167556A - Far-infrared camera - Google Patents
Far-infrared camera Download PDFInfo
- Publication number
- JP2020167556A JP2020167556A JP2019067259A JP2019067259A JP2020167556A JP 2020167556 A JP2020167556 A JP 2020167556A JP 2019067259 A JP2019067259 A JP 2019067259A JP 2019067259 A JP2019067259 A JP 2019067259A JP 2020167556 A JP2020167556 A JP 2020167556A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- far
- temperature
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 claims abstract description 145
- 230000005540 biological transmission Effects 0.000 claims abstract description 27
- 238000012937 correction Methods 0.000 claims abstract description 26
- 238000003702 image correction Methods 0.000 claims abstract description 9
- 238000000034 method Methods 0.000 claims description 30
- 230000015572 biosynthetic process Effects 0.000 abstract description 10
- 238000004891 communication Methods 0.000 description 44
- 230000008569 process Effects 0.000 description 25
- 235000019557 luminance Nutrition 0.000 description 14
- 230000004044 response Effects 0.000 description 12
- 238000009499 grossing Methods 0.000 description 9
- 238000003786 synthesis reaction Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 8
- 230000009467 reduction Effects 0.000 description 8
- 239000000758 substrate Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000011946 reduction process Methods 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 4
- 230000000052 comparative effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 238000009529 body temperature measurement Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Landscapes
- Radiation Pyrometers (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、遠赤外線カメラに関し、特に、遠赤外線画像を撮影して、撮影された画像のデータを外部機器に送信する動画撮影用の遠赤外線カメラに関する。 The present invention relates to a far-infrared camera, and more particularly to a far-infrared camera for moving images, which captures a far-infrared image and transmits the captured image data to an external device.
遠赤外線画像は、撮影対象物から放射された遠赤外線を画像化したものであるため、夜間等の可視光線の少ない環境においても、撮影用の照明を用いることなく取得することができ、監視用途等に好適である。特開２０１８−１５２１０６号公報（特許文献１）には、水上侵入検知システムおよびその方法が記載されている。この水上侵入検知システムでは、海上を監視する可視カメラ及び遠赤外線カメラ映像から侵入する物体の候補を検知し、さらに、大きさ、速度、侵入する方向および直線性等を導き、ある程度の物体識別を行っている。さらに、遠赤外線映像での輝度等から、船舶、ヒト、浮遊物を区別している。また、映像をフーリエ変換するなどして、物体が無い場所での海面の通常の波の周期性を観測して、その通常状態の波の動きと物体の動きとの連動性に基づいて、物体の識別精度を向上させている。 Since the far-infrared image is an image of far-infrared rays radiated from the object to be photographed, it can be acquired without using lighting for photography even in an environment with little visible light such as at night, and is used for monitoring. Etc. are suitable. Japanese Unexamined Patent Publication No. 2018-152106 (Patent Document 1) describes a water intrusion detection system and a method thereof. This water intrusion detection system detects candidates for intruding objects from visible and far-infrared camera images that monitor the sea, and further guides the size, speed, intrusion direction, linearity, etc., and identifies objects to some extent. Is going. Furthermore, ships, humans, and suspended objects are distinguished from each other based on the brightness of far-infrared images. In addition, the periodicity of normal waves on the sea surface in a place where there is no object is observed by Fourier transforming the image, and the object is based on the interlocking between the movement of the wave in the normal state and the movement of the object. The identification accuracy of is improved.
一方、取得された遠赤外線画像には、撮影された対象物の温度の情報も含まれており、遠赤外線画像の使用目的に応じて、この情報を有効に活用することができる。即ち、遠赤外線画像に基づいて、撮影された対象物の特性や状態を検出することが可能であり、このような目的での応用においても、遠赤外線カメラの活用が期待されている。 On the other hand, the acquired far-infrared image also includes information on the temperature of the captured object, and this information can be effectively utilized depending on the purpose of use of the far-infrared image. That is, it is possible to detect the characteristics and state of the photographed object based on the far-infrared image, and the use of the far-infrared camera is expected even in the application for such a purpose.
しかしながら、遠赤外線カメラによって撮影された遠赤外線画像は、一般に、輝度やコントラストが低く、撮影された像のエッジも不鮮明である。さらに、遠赤外線画像は、画像データの中に含まれるノイズも多い。このような理由から、遠赤外線カメラによって撮影された対象物の形態を把握するためには、遠赤外線画像に何らかの画像処理を施すことが好ましい。一方、撮影された対象物の視認性を改善するために、画像データに補正を加えてしまうと、遠赤外線画像に含まれる温度の情報が毀損されてしまう場合がある。 However, far-infrared images taken by a far-infrared camera generally have low brightness and contrast, and the edges of the captured image are not clear. Further, the far-infrared image has a lot of noise contained in the image data. For this reason, it is preferable to perform some kind of image processing on the far-infrared image in order to grasp the morphology of the object photographed by the far-infrared camera. On the other hand, if the image data is corrected in order to improve the visibility of the photographed object, the temperature information included in the far-infrared image may be damaged.
従って、本発明は、遠赤外線画像を撮影し、取得された画像データに基づいて撮影された対象物の形状及び温度を把握することが可能な遠赤外線カメラを提供することを目的としている。 Therefore, an object of the present invention is to provide a far-infrared camera capable of capturing a far-infrared image and grasping the shape and temperature of the captured object based on the acquired image data.
上述した課題を解決するために、本発明は、遠赤外線画像の画像データを外部機器に送信する動画撮影用の遠赤外線カメラであって、入射した遠赤外線を合焦させる遠赤外レンズと、この遠赤外レンズによって合焦された遠赤外線画像の画像データを取得する遠赤外線アレイセンサと、遠赤外線アレイセンサによって取得された画像データにノンユニフォミティ画像補正を施した補正画像データを生成するノンユニフォミティ補正部と、補正画像データに基づいて、画像内の各部における温度を表す温度画像データを生成する温度画像生成部と、補正画像データに基づいて、当該画像データの階調を補正した処理画像データを生成する画像処理部と、温度画像データ、及び処理画像データを送信する送信部と、を有することを特徴としている。 In order to solve the above-mentioned problems, the present invention is a far-infrared camera for moving images that transmits image data of a far-infrared image to an external device, and a far-infrared lens that focuses the incident far-infrared rays. A far-infrared array sensor that acquires image data of a far-infrared image focused by this far-infrared lens, and a non-uniform image data that is obtained by applying non-uniform image correction to the image data acquired by the far-infrared array sensor. A uniformity correction unit, a temperature image generation unit that generates temperature image data representing the temperature in each part of the image based on the correction image data, and a processed image in which the gradation of the image data is corrected based on the correction image data. It is characterized by having an image processing unit for generating data, a temperature image data, and a transmission unit for transmitting the processed image data.
このように構成された本発明によれば、画像データに基づいて生成された温度画像データ及び処理画像データから、撮影された対象物の形状及び温度の両方を把握することができる。 According to the present invention configured in this way, both the shape and temperature of the photographed object can be grasped from the temperature image data and the processed image data generated based on the image data.
本発明の遠赤外線カメラによれば、遠赤外線画像を撮影し、取得された画像データに基づいて撮影された対象物の形状及び温度を把握することができる。 According to the far-infrared camera of the present invention, it is possible to take a far-infrared image and grasp the shape and temperature of the photographed object based on the acquired image data.
次に、添付図面を参照して、本発明の好ましい実施形態を説明する。
まず、図１及び図２を参照して、本発明の実施形態による遠赤外線カメラを説明する。図１は、本実施形態の遠赤外線カメラの外観を示す斜視図である。図２は、遠赤外線カメラの内部構造を示す斜視断面図である。
Next, a preferred embodiment of the present invention will be described with reference to the accompanying drawings.
First, a far-infrared camera according to an embodiment of the present invention will be described with reference to FIGS. 1 and 2. FIG. 1 is a perspective view showing the appearance of the far-infrared camera of the present embodiment. FIG. 2 is a perspective sectional view showing the internal structure of the far-infrared camera.
＜遠赤外線カメラの構成＞
図１及び図２に示すように、本発明の実施形態による遠赤外線カメラ１は、直方体状の箱形の筐体を有しており、遠赤外線カメラ１のレンズが筐体の一側面に取り付けられている。また、図２に示すように、遠赤外線カメラ１の筐体内には、遠赤外線カメラ１によって撮影された遠赤外線画像を画像処理するための信号処理用のデータ処理基板８、及び通信基板１０が内蔵されている。
<Structure of far-infrared camera>
As shown in FIGS. 1 and 2, the far-infrared camera 1 according to the embodiment of the present invention has a rectangular parallelepiped box-shaped housing, and the lens of the far-infrared camera 1 is attached to one side surface of the housing. Has been done. Further, as shown in FIG. 2, in the housing of the far-infrared camera 1, a data processing board 8 for signal processing and a communication board 10 for image processing the far-infrared image taken by the far-infrared camera 1 are provided. It is built-in.
次に、図３を参照して、遠赤外線カメラ１の全体構成を説明する。図３は、本実施形態の遠赤外線カメラの構成を示すブロック図である。
図３に示すように、遠赤外線カメラ１は、遠赤外レンズである遠赤外広角レンズ２と、遠赤外線アレイセンサである熱画像アレイ４と、ボロメータ基板６と、を備え、遠赤外線画像のデータを取得するように構成されている。さらに、遠赤外線カメラ１には、データ処理基板８、及び送信部である通信基板１０が内蔵されている。なお、本実施形態の遠赤外線カメラ１は、１秒間に８フレームの頻度で、連続的に遠赤外線画像を撮影するように構成されている。なお、本明細書において、「遠赤外線」とは、波長が約８μｍ乃至約１４μｍの赤外線を意味している。
Next, the overall configuration of the far-infrared camera 1 will be described with reference to FIG. FIG. 3 is a block diagram showing the configuration of the far-infrared camera of the present embodiment.
As shown in FIG. 3, the far-infrared camera 1 includes a far-infrared wide-angle lens 2 which is a far-infrared lens, a thermal image array 4 which is a far-infrared array sensor, and a bolometer substrate 6. It is configured to retrieve the data of. Further, the far-infrared camera 1 includes a data processing board 8 and a communication board 10 which is a transmission unit. The far-infrared camera 1 of the present embodiment is configured to continuously capture far-infrared images at a frequency of 8 frames per second. In addition, in this specification, "far infrared ray" means an infrared ray having a wavelength of about 8 μm to about 14 μm.
遠赤外広角レンズ２は、入射した遠赤外線を熱画像アレイ４上に合焦させるように構成されている。好ましくは、遠赤外広角レンズ２は広角で、中心から周辺まで均質且つ高透過に熱放射エネルギーを伝達して、熱画像アレイ４上に結像するレンズを使用する。また、本実施形態においては、遠赤外広角レンズ２は単一のレンズであるが、遠赤外広角レンズ２は複数のレンズから構成されていても良い。さらに、本実施形態において、遠赤外広角レンズ２として、水平角度７０度以上で、遠赤外線の波長の透過率の中心に対する周辺１０割像高の光量比が７０％以上のレンズが使用されている。 The far-infrared wide-angle lens 2 is configured to focus the incident far-infrared rays on the thermal image array 4. Preferably, the far-infrared wide-angle lens 2 is a wide-angle lens that transmits heat radiant energy uniformly and highly transmitted from the center to the periphery to form an image on the thermal image array 4. Further, in the present embodiment, the far-infrared wide-angle lens 2 is a single lens, but the far-infrared wide-angle lens 2 may be composed of a plurality of lenses. Further, in the present embodiment, as the far-infrared wide-angle lens 2, a lens having a horizontal angle of 70 degrees or more and a light amount ratio of the peripheral 100% image height to the center of the transmittance of the far-infrared wavelength is 70% or more is used. There is.
熱画像アレイ４は、縦横に配列された多数のマイクロボロメータピクセルから構成されている。熱画像アレイ４の各ピクセルは遠赤外線が入射すると温度が上昇し、この温度変化により抵抗値が変化して、入射した遠赤外線の強度を電流値の変化として取り出すことができるように構成されている。なお、本実施形態においては、熱画像アレイ４は、縦横に８０×８０個のピクセルが配列された比較的低画素の熱画像アレイ４が使用されている。 The thermal image array 4 is composed of a large number of microbolometer pixels arranged vertically and horizontally. The temperature of each pixel of the thermal image array 4 rises when far infrared rays are incident, and the resistance value changes due to this temperature change, so that the intensity of the incident far infrared rays can be extracted as a change in the current value. There is. In the present embodiment, as the thermal image array 4, a relatively low pixel thermal image array 4 in which 80 × 80 pixels are arranged vertically and horizontally is used.
ボロメータ基板６は、熱画像アレイ４の各ピクセルに入射した遠赤外線の強度を表すＲＡＷ階調信号を、熱画像アレイ４から取り出すように構成されている。本実施形態において、ボロメータ基板６は取り出された信号を１４ｂｉｔのＡ／Ｄ変換器によりディジタル値に変換するように構成されている。従って、熱画像アレイ４から取り出された遠赤外線の強度を表す信号は、ボロメータ基板６によって１６３８４階調のＲＡＷ階調信号として取り出される。 The bolometer substrate 6 is configured to extract a RAW gradation signal representing the intensity of far infrared rays incident on each pixel of the thermal image array 4 from the thermal image array 4. In the present embodiment, the bolometer substrate 6 is configured to convert the extracted signal into a digital value by a 14-bit A / D converter. Therefore, the signal representing the intensity of the far infrared rays extracted from the thermal image array 4 is extracted by the bolometer substrate 6 as a RAW gradation signal of 16384 gradations.
データ処理基板８は、ボロメータ基板６からＲＡＷ階調信号として入力された画像データを、画像処理するように構成されている。また、データ処理基板８は、ボロメータ基板６から入力された遠赤外線画像のデータを温度データに変換するように構成されている。なお、本実施形態において、データ処理基板８は、遠赤外線画像のデータに基づいて１６ｂｉｔの温度データを生成するように構成されている。具体的には、データ処理基板８は、マイクロプロセッサ、各種インターフェイス回路、メモリ、及びこれらを作動させるプログラム（以上、図示せず）等から構成されている。 The data processing board 8 is configured to perform image processing on image data input as a RAW gradation signal from the bolometer board 6. Further, the data processing board 8 is configured to convert the far-infrared image data input from the bolometer board 6 into temperature data. In the present embodiment, the data processing substrate 8 is configured to generate 16-bit temperature data based on the far-infrared image data. Specifically, the data processing board 8 is composed of a microprocessor, various interface circuits, a memory, a program for operating these (these are not shown above), and the like.
通信基板１０は、データ処理基板８によって処理された遠赤外線画像の画像データを、外部機器であるサーバー１２等に送信するように構成されている。本実施形態においては、通信基板１０は無線ＬＡＮによってサーバー１２に情報を送信するように構成されているが、有線ＬＡＮの他、無線又は有線の任意の通信方式によりサーバー１２に情報を送信することができる。
これらデータ処理基板８及び通信基板１０における具体的な信号処理については後述する。
The communication board 10 is configured to transmit image data of a far-infrared image processed by the data processing board 8 to a server 12 or the like which is an external device. In the present embodiment, the communication board 10 is configured to transmit information to the server 12 by wireless LAN, but the information is transmitted to the server 12 by any wireless or wired communication method other than the wired LAN. Can be done.
Specific signal processing on the data processing board 8 and the communication board 10 will be described later.
サーバー１２は、通信基板１０から送信されたデータを格納する。また、サーバー１２は例えばパーソナルコンピュータ（ＰＣ）やスマートフォン、タブレット端末などのユーザ端末からアクセス可能であり、ユーザはサーバー１２に格納されているデータ（赤外線画像、温度情報等）をユーザ端末のディスプレイ等に表示して確認することができる。 The server 12 stores the data transmitted from the communication board 10. Further, the server 12 can be accessed from a user terminal such as a personal computer (PC), a smartphone, or a tablet terminal, and the user can use the data (infrared image, temperature information, etc.) stored in the server 12 on the display of the user terminal or the like. It can be confirmed by displaying it on.
＜データ処理基板における処理＞
次に、図４乃至図９を参照して、データ処理基板において実行されるデータ処理を説明する。
図４は、遠赤外線カメラ１に内蔵されたデータ処理基板８におけるデータ処理の流れを示すブロック図である。データ処理基板８において処理された遠赤外線画像は通信基板１０に出力され、通信基板１０から外部機器に送信される。
<Processing on the data processing board>
Next, the data processing executed on the data processing board will be described with reference to FIGS. 4 to 9.
FIG. 4 is a block diagram showing a flow of data processing on the data processing board 8 built in the far-infrared camera 1. The far-infrared image processed by the data processing board 8 is output to the communication board 10 and transmitted from the communication board 10 to an external device.
図４に示すように、遠赤外線カメラ１の遠赤外広角レンズ２によって熱画像アレイ４上に合焦された遠赤外線画像は、画像データとしてボロメータ基板６に読み込まれる。ボロメータ基板６に読み込まれた画像データはデータ処理基板８内で画像処理される。即ち、本実施形態においては、ノンユニフォミティ画像補正（ＮＵＣ）が施されていない１４ｂｉｔのＲＡＷ画像データが、データ処理基板８に入力される。 As shown in FIG. 4, the far-infrared image focused on the thermal image array 4 by the far-infrared wide-angle lens 2 of the far-infrared camera 1 is read into the bolometer substrate 6 as image data. The image data read on the bolometer board 6 is image-processed in the data processing board 8. That is, in the present embodiment, 14-bit RAW image data that has not been subjected to non-uniformity image correction (NUC) is input to the data processing board 8.
データ処理基板８には、ノンユニフォミティ画像補正を施すためのノンユニフォミティ補正部１４と、温度画像を生成するための温度画像生成部１６と、処理画像を生成するための画像処理部１８と、合成部１９が内蔵されている。これらノンユニフォミティ補正部１４、温度画像生成部１６、及び画像処理部１８、及び合成部１９は、具体的には、データ処理基板８上の、マイクロプロセッサ、メモリ、及びこれらを作動させるプログラム等によって実現されている。また、本実施形態においては、画像処理部１８は、画像情報入力部１８ａ、ヒストグラム生成部１８ｂ、ヒストグラム再構成部１８ｃ、平坦化処理部１８ｄ、平滑化処理部１８ｅ、及びエッジ強調処理部１８ｆから構成されている。 The data processing substrate 8 is composed of a non-uniformity correction unit 14 for performing non-uniformity image correction, a temperature image generation unit 16 for generating a temperature image, and an image processing unit 18 for generating a processed image. The unit 19 is built in. The non-uniformity correction unit 14, the temperature image generation unit 16, the image processing unit 18, and the composition unit 19 are specifically based on a microprocessor, a memory, a program for operating them, and the like on the data processing board 8. It has been realized. Further, in the present embodiment, the image processing unit 18 is derived from the image information input unit 18a, the histogram generation unit 18b, the histogram reconstruction unit 18c, the flattening processing unit 18d, the smoothing processing unit 18e, and the edge enhancement processing unit 18f. It is configured.
データ処理基板８にノンユニフォミティ未補正のＲＡＷ画像データが入力されると、ノンユニフォミティ補正部１４によって、画素欠陥補正、及びノンユニフォミティ画像補正（ＮＵＣ）が施され、補正画像データが生成される。画素欠陥補正では、熱画像アレイ４上で欠陥のある画素が予め特定されており、この欠陥のある画素の画素値が、周辺の画素の画素値によって置き換えられる。ノンユニフォミティ画像補正は、熱画像アレイ４の各画素の感度等の不均一性を補正する処理である。ノンユニフォミティ補正部１４により、ＲＡＷ画像データから、ノンユニフォミティ画像補正を施した１４ｂｉｔの補正画像データが生成される。 When the non-uniformity uncorrected RAW image data is input to the data processing board 8, the non-uniformity correction unit 14 performs pixel defect correction and non-uniformity image correction (NUC) to generate the corrected image data. In the pixel defect correction, a defective pixel is specified in advance on the thermal image array 4, and the pixel value of the defective pixel is replaced by the pixel value of the peripheral pixel. The non-uniform image correction is a process for correcting non-uniformity such as sensitivity of each pixel of the thermal image array 4. The non-uniformity correction unit 14 generates 14-bit corrected image data with non-uniformity image correction from the RAW image data.
ノンユニフォミティ補正部１４によって補正された補正画像データに対し、温度画像生成部１６によって「温度演算」が実行される。即ち、遠赤外線画像の各画素の画素値は、画像内の、その画素に対応する部分の温度に対応している。温度画像生成部１６は、遠赤外線画像（ＲＡＷ画像データ）に含まれる全ての画素の画素値を、予め設定されている変換テーブルに基づいて対応する温度に変換し、画像内の各部における温度を表す１６ｂｉｔの「温度画像」が生成される。 A "temperature calculation" is executed by the temperature image generation unit 16 on the corrected image data corrected by the non-uniformity correction unit 14. That is, the pixel value of each pixel of the far-infrared image corresponds to the temperature of the portion of the image corresponding to that pixel. The temperature image generation unit 16 converts the pixel values of all the pixels included in the far-infrared image (RAW image data) into corresponding temperatures based on a preset conversion table, and calculates the temperature in each part in the image. A 16-bit "temperature image" is generated.
一方、ノンユニフォミティ補正部１４によって補正した後の補正画像データに対して、「温度演算」と平行して、画像処理部１８による画像処理が施される。一般に、遠赤外線画像は、画像に多くのノイズが含まれるばかりでなく、極めて階調性が悪く（ヒストグラムに偏りがある）、これに基づいて撮影された対象物の形状等を把握することが困難である。本実施形態においては、遠赤外線画像から有用な情報を抽出できるよう、画像処理部１８において、補正画像データの階調を補正して「処理画像」を生成する。具体的には、画像処理部１８は、「多閾値ヒストグラム平坦化処理」、「三次元ノイズリダクション処理」、及び「エッジ強調処理」を施す。この画像処理部１８による処理が施された後の処理画像は、各画素が８ｂｉｔの輝度階調データに変換されている。このように、本実施形態においては、「温度画像」と「処理画像」で有効なｂｉｔ数が異なっている。しかしながら、有効なｂｉｔ数が少ない方の画像データの上位又は下位桁に「０」を充当し、各画像データの見かけ上のｂｉｔ数を同一にすることもできる。 On the other hand, the corrected image data corrected by the non-uniformity correction unit 14 is subjected to image processing by the image processing unit 18 in parallel with the "temperature calculation". In general, a far-infrared image not only contains a lot of noise, but also has extremely poor gradation (the histogram is biased), and it is possible to grasp the shape of an object photographed based on this. Have difficulty. In the present embodiment, the image processing unit 18 corrects the gradation of the corrected image data to generate a "processed image" so that useful information can be extracted from the far-infrared image. Specifically, the image processing unit 18 performs "multi-threshold histogram flattening processing", "three-dimensional noise reduction processing", and "edge enhancement processing". In the processed image after the processing by the image processing unit 18, each pixel is converted into 8-bit luminance gradation data. As described above, in the present embodiment, the number of effective bits differs between the "temperature image" and the "processed image". However, it is also possible to allocate "0" to the upper or lower digit of the image data having the smaller number of valid bits so that the apparent number of bits of each image data is the same.
これら温度画像生成部１６によって生成された温度画像、及び画像処理部１８によって生成された処理画像は、通信基板１０に送られる。通信基板１０は、温度画像のデータ、及び処理画像のデータの両方をサーバー１２等の外部機器に送信する。通信基板１０による処理については後述する。 The temperature image generated by the temperature image generation unit 16 and the processed image generated by the image processing unit 18 are sent to the communication board 10. The communication board 10 transmits both the temperature image data and the processed image data to an external device such as the server 12. The processing by the communication board 10 will be described later.
＜画像処理部における処理＞
次に、図５乃至図７を参照して、画像処理部１８において実行される「多閾値ヒストグラム平坦化処理」を説明する。
図５は、画像処理部１８において実行される多閾値ヒストグラム平坦化処理を示すフローチャートである。図６は、本実施形態による遠赤外線カメラ１によって撮影された遠赤外線画像のヒストグラムの一例を示す図である。図７は、原画像と、従来のヒストグラム平坦化処理後の画像と、本実施形態における多閾値ヒストグラム平坦化処理後の画像の一例を比較して示す図である。
<Processing in the image processing section>
Next, the “multi-threshold histogram flattening process” executed by the image processing unit 18 will be described with reference to FIGS. 5 to 7.
FIG. 5 is a flowchart showing a multi-threshold histogram flattening process executed by the image processing unit 18. FIG. 6 is a diagram showing an example of a histogram of a far-infrared image taken by the far-infrared camera 1 according to the present embodiment. FIG. 7 is a diagram showing an example of an original image, an image after the conventional histogram flattening process, and an image after the multi-threshold histogram flattening process in the present embodiment in comparison.
画像処理部１８における処理は、図４の画像処理部１８に内蔵された画像情報入力部１８ａ、ヒストグラム生成部１８ｂ、ヒストグラム再構成部１８ｃ、平坦化処理部１８ｄ、平滑化処理部１８ｅ、及びエッジ強調処理部１８ｆによって実行される。具体的には、画像情報入力部１８ａ、ヒストグラム生成部１８ｂ、ヒストグラム再構成部１８ｃ、平坦化処理部１８ｄ、平滑化処理部１８ｅ、及びエッジ強調処理部１８ｆは、マイクロプロセッサ、各種インターフェイス回路、メモリ、及びこれらを作動させるプログラム（以上、図示せず）等から構成されている。 The processing in the image processing unit 18 includes an image information input unit 18a, a histogram generation unit 18b, a histogram reconstruction unit 18c, a flattening processing unit 18d, a smoothing processing unit 18e, and an edge built in the image processing unit 18 of FIG. It is executed by the emphasis processing unit 18f. Specifically, the image information input unit 18a, the histogram generation unit 18b, the histogram reconstruction unit 18c, the flattening processing unit 18d, the smoothing processing unit 18e, and the edge enhancement processing unit 18f are a microprocessor, various interface circuits, and a memory. , And a program (not shown above) that operates them.
まず、図５のステップＳ６１においては、ノンユニフォミティ画像補正後の１４ｂｉｔの補正画像データが、画像情報入力部１８ａによって取り込まれる。 First, in step S61 of FIG. 5, 14-bit corrected image data after non-uniformity image correction is captured by the image information input unit 18a.
次に、ステップＳ６２においては、ヒストグラム生成処理として、ステップＳ６１において取り込まれた画像データに含まれる画素値のヒストグラムが、ヒストグラム生成部１８ｂによって生成される。本実施形態において、具体的には、画像情報入力部１８ａによって取り込まれた画像データは画素値として輝度を有しており、ヒストグラム生成部１８ｂは、横軸を画素値ｖ（輝度）、縦軸を各画素値の度数Hist(v)（画素の個数）としたヒストグラムを生成する。 Next, in step S62, as a histogram generation process, the histogram generation unit 18b generates a histogram of the pixel values included in the image data captured in step S61. In the present embodiment, specifically, the image data captured by the image information input unit 18a has a brightness as a pixel value, and the histogram generation unit 18b has a pixel value v (brightness) on the horizontal axis and a vertical axis on the vertical axis. Is the frequency Hist (v) (number of pixels) of each pixel value to generate a histogram.
図６は、遠赤外線画像のヒストグラムの一例を示す図であり、ヒストグラム生成部１８ｂによって生成されたヒストグラムを（ａ）欄に、本発明の実施形態における多閾値ヒストグラム平坦化法によって平坦化されたヒストグラムを（ｂ）欄に、従来のヒストグラム平坦化法によって平坦化されたヒストグラムを（ｃ）欄に示している。 FIG. 6 is a diagram showing an example of a histogram of a far-infrared image, in which the histogram generated by the histogram generation unit 18b is flattened in column (a) by the multi-threshold histogram flattening method according to the embodiment of the present invention. The histogram is shown in column (b), and the histogram flattened by the conventional histogram flattening method is shown in column (c).
図６の（ａ）欄に示すように、画像情報入力部１８ａによって取り込まれた画像データは１４ｂｉｔの補正画像データであるため、その画素値ｖ（輝度）は０〜１６３８３の間の値を有する。しかしながら、補正画像データは、極めてコントラストが低く、大部分の画素は約１２０００〜約１４０００程度の画素値ｖを有し、画素値が約１２０００以下の画素は殆ど存在しない。また、画素値ｖ＝約１４０００〜約１６０００の間にも僅かに画素が分布しており、画素値ｖ＝約１６３８３付近に小さなピークが存在している。しかしながら、この補正画像データをそのまま画像化しても、その画像から対象物の形状等、有意な情報を抽出することは困難である。 As shown in the column (a) of FIG. 6, since the image data captured by the image information input unit 18a is 14-bit corrected image data, its pixel value v (luminance) has a value between 0 and 16383. .. However, the corrected image data has extremely low contrast, most of the pixels have a pixel value v of about 12,000 to about 14,000, and there are almost no pixels having a pixel value of about 12,000 or less. Further, the pixels are slightly distributed between the pixel value v = about 14,000 to about 16000, and a small peak exists in the vicinity of the pixel value v = about 16383. However, even if this corrected image data is imaged as it is, it is difficult to extract significant information such as the shape of an object from the image.
次に、図５のステップＳ６３においては、ステップＳ６２において得られたヒストグラムに対し、上端閾値ＴHigh及び下端閾値ＴLowが設定される。本実施形態においては、図６に示すように、上端閾値ＴHighの値は画素値ｖ＝約１２０００〜約１４０００の間に分布するピークにおける度数Hist(v)よりも小さい値に設定されている。一方、下端閾値ＴLowは、上端閾値ＴHighよりも小さく、０よりも大きい所定の値（度数）に設定されている。 Next, in step S63 of FIG. 5, the upper limit threshold value T High and the lower end threshold value T Low are set with respect to the histogram obtained in step S62. In the present embodiment, as shown in FIG. 6, the value of the upper end threshold value T High is set to a value smaller than the frequency Hist (v) at the peak distributed between the pixel value v = about 12000 to about 14000. .. On the other hand, the lower end threshold value T Low is set to a predetermined value (frequency) smaller than the upper end threshold value T High and larger than 0.
具体的には、本実施形態においては、上端閾値ＴHigh＝２７００画素、下端閾値ＴLow＝７０画素に設定されている。好ましくは、上端閾値ＴHighは全画素数の約３０％〜約６５％の値に設定し、下端閾値ＴLowは全画素数の０％〜約２％の値に設定する。なお、本実施形態においては、上端閾値ＴHigh及び下端閾値ＴLowは固定値であるが、取り込まれた補正画像データや、撮影環境等に基づいて異なる上端閾値ＴHigh、下端閾値ＴLowが設定されるように本発明を構成することもできる。 Specifically, in the present embodiment, the upper end threshold value T High = 2700 pixels and the lower end threshold value T Low = 70 pixels are set. Preferably, the upper limit threshold T High is set to a value of about 30% to about 65% of the total number of pixels, and the lower end threshold T Low is set to a value of 0% to about 2% of the total number of pixels. In the present embodiment, the upper end threshold value T High and the lower end threshold value T Low are fixed values, but different upper end threshold values T High and lower end threshold value T Low are set based on the captured corrected image data, the shooting environment, and the like. The present invention can also be configured as described above.
次に、ステップＳ６４においては、ヒストグラム再構成処理として、ヒストグラム再構成部１８ｃ（図４）によってヒストグラムが再構成される。具体的には、ヒストグラム生成部１８ｂによって生成されたヒストグラムの度数Hist(v)が、上端閾値ＴHigh及び下端閾値ＴLowを使用して、上端閾値ＴHighと下端閾値ＴLowの間の値となるように、ヒストグラム再構成部１８ｃによって修正される。即ち、ヒストグラム生成部１８ｂによって生成されたヒストグラムの度数Hist(v)が、下記の数式（１）によって上端閾値ＴHighと下端閾値ＴLowの間の値に修正され、修正された度数Hist'(v)を有するヒストグラムが再構成される。換言すれば、度数Hist(v)が上端閾値ＴHighと下端閾値ＴLowの値である場合には、度数の修正は行われない（Hist'(v)＝Hist(v)）。また、度数Hist(v)が上端閾値ＴHigh以上の場合には、度数Hist(v)は上端閾値ＴHighに修正され（Hist'(v)＝ＴHigh）、度数Hist(v)が１以上、下端閾値ＴLow以下の場合には、度数Hist(v)は下端閾値ＴLowに修正される（Hist'(v)＝ＴLow）。さらに、度数Hist(v)が０である場合には、度数Hist(v)は０のまま修正されない（Hist'(v)＝０）。
Next, in step S64, as the histogram reconstruction process, the histogram is reconstructed by the histogram reconstruction unit 18c (FIG. 4). Specifically, the frequency Hist (v) of the histogram generated by the histogram generation unit 18b is a value between the upper threshold T High and the lower threshold T Low using the upper threshold T High and the lower threshold T Low. It is corrected by the histogram reconstruction unit 18c so as to be. That is, the frequency Hist (v) of the histogram generated by the histogram generation unit 18b is corrected to a value between the upper threshold T High and the lower threshold T Low by the following mathematical formula (1), and the corrected frequency Hist'(. The histogram with v) is reconstructed. In other words, when the frequency Hist (v) is the value of the upper threshold T High and the lower threshold T Low , the frequency is not modified (Hist'(v) = Hist (v)). When the frequency Hist (v) is equal to or higher than the upper threshold T High , the frequency Hist (v) is corrected to the upper threshold T High (Hist'(v) = T High ), and the frequency Hist (v) is 1 or more. , When the lower end threshold T Low or less, the frequency Hist (v) is corrected to the lower end threshold T Low (Hist'(v) = T Low ). Further, when the frequency Hist (v) is 0, the frequency Hist (v) remains 0 and is not modified (Hist'(v) = 0).
次いで、ステップＳ６５においては、ヒストグラムの平坦化処理として、度数がHist'(v)に修正されたヒストグラムに基づいて、ヒストグラムの平坦化テーブルＴ（ｖ）が、平坦化処理部１８ｄ（図４）によって作成される。具体的には、ヒストグラムを平坦化するための平坦化テーブルＴ（ｖ）が、下記の数式（２）によって生成される。なお、本実施形態においては、補正画像データが１４ｂｉｔ階調を有するため、数式（２）において、Dipth＝２14＝１６３８４である。
Next, in step S65, as a histogram flattening process, the histogram flattening table T (v) is subjected to the flattening processing unit 18d (FIG. 4) based on the histogram whose frequency is corrected to Hist'(v). Created by. Specifically, a flattening table T (v) for flattening the histogram is generated by the following mathematical formula (2). In this embodiment, since the corrected image data has a 14-bit gradation, Dipth = 2 14 = 16384 in the mathematical formula (2).
次に、ステップＳ６６においては、ステップＳ６５において生成された平坦化テーブルＴ（ｖ）を使用して、元の遠赤外線画像データの画素値ｖの値が、画素値ｖ’＝Ｔ（ｖ）に変換される。さらに、ステップＳ６６においては、変換された画素値ｖ’に基づいて、ヒストグラムが平坦化された画像データが生成され、図５に示すフローチャートの１回の処理を終了する。 Next, in step S66, the value of the pixel value v of the original far-infrared image data is changed to the pixel value v'= T (v) by using the flattening table T (v) generated in step S65. Will be converted. Further, in step S66, image data in which the histogram is flattened is generated based on the converted pixel value v', and one process of the flowchart shown in FIG. 5 is completed.
ここで、図６の（ｂ）欄には、図６の（ａ）欄に示すヒストグラムの画素値ｖを、平坦化テーブルＴ（ｖ）によって変換した画素値ｖ’に基づいて生成されたヒストグラムが示されている。なお、本実施形態においては、変換後の画素値ｖ’は８ｂｉｔ階調のデータ（画素値＝０〜２５５）に変換され、データ量が圧縮されている。ここで、図７の（ａ）欄は、画像情報入力部１８ａ（図４）に入力された原画像を示している。また、図７の（ｂ）欄は、画素値の値が図６の（ｂ）欄に示すようにヒストグラムが変換された遠赤外線画像を示している。 Here, in column (b) of FIG. 6, a histogram generated based on the pixel value v'converted from the pixel value v of the histogram shown in column (a) of FIG. 6 by the flattening table T (v). It is shown. In the present embodiment, the converted pixel value v'is converted into 8-bit gradation data (pixel value = 0 to 255), and the amount of data is compressed. Here, the column (a) of FIG. 7 shows the original image input to the image information input unit 18a (FIG. 4). Further, the column (b) of FIG. 7 shows a far-infrared image in which the pixel value is converted into a histogram as shown in the column (b) of FIG.
図７の（ａ）欄の画像では、撮影された像を殆ど認識することができない。図７の（ｂ）欄の画像では、画像の中央及び左側に撮影されている人２０の輪郭を視認することができる。即ち、図６の（ｂ）欄に示すヒストグラムでは、画面の背景等に対応する画素値（輝度）の小さい部分（画素値＝０〜１５０程度）と、人２０に対応する画素値（輝度）の大きい部分（画素値＝２５５付近）が明確に分離されている。この結果、画像内の人２０の輪郭をある程度明確に把握することが可能になる。 In the image in column (a) of FIG. 7, the captured image can hardly be recognized. In the image in column (b) of FIG. 7, the contours of the person 20 photographed in the center and the left side of the image can be visually recognized. That is, in the histogram shown in column (b) of FIG. 6, a portion having a small pixel value (brightness) corresponding to the background of the screen (pixel value = about 0 to 150) and a pixel value (brightness) corresponding to the person 20 The large part (pixel value = around 255) is clearly separated. As a result, it becomes possible to grasp the outline of the person 20 in the image to some extent clearly.
一方、図６の（ｃ）欄には、比較例として、従来のヒストグラム平坦化処理により平坦化されたヒストグラムが示されている。また、図７の（ｃ）欄には、比較例として、図６の（ｃ）欄のように平坦化されたヒストグラムに基づく画像が示されている。即ち、図６の（ｃ）に示すヒストグラムは、図６の（ａ）欄に示すヒストグラムを上端閾値ＴHigh及び下端閾値ＴLowにより再構成することなく、そのまま平坦化したものである。 On the other hand, in column (c) of FIG. 6, as a comparative example, a histogram flattened by a conventional histogram flattening process is shown. Further, in the column (c) of FIG. 7, as a comparative example, an image based on a flattened histogram as in the column (c) of FIG. 6 is shown. That is, the histogram shown in FIG. 6 (c) is a flattened histogram shown in the column (a) of FIG. 6 without being reconstructed by the upper end threshold value T High and the lower end threshold value T Low .
ここで、図６の（ａ）欄に示すヒストグラムでは、上述したように画素値ｖ＝約１２０００以下の画素は皆無に等しく、画素値ｖ＝約１４０００〜約１６０００の間の画素の度数は非常に小さい（画素の数が少ない）。このため、ヒストグラムを再構成することなくヒストグラム平坦化処理を施すと、平坦化後のヒストグラム（図６の（ｃ）欄）において、図６の（ａ）欄の画素値ｖ＝約１２０００以下、及び画素値ｖ＝約１４０００〜約１６０００に対応して割り当てられる画素値（輝度階調）が極めて少なくなる。この結果、遠赤外線画像中の背景等に対応する部分と、画像中の人２０に対応する部分の間の画素値（輝度）の差（輝度差）が極めて少なくなる。このため、図６の（ａ）欄に示すヒストグラムに対して従来のヒストグラム平坦化処理を施すと、比較例として図７の（ｃ）欄に示す画像のように、画像中の人２０の輪郭を視認しにくい画像となる。 Here, in the histogram shown in the column (a) of FIG. 6, as described above, there are almost no pixels having a pixel value v = about 12000 or less, and the pixel power between the pixel value v = about 14,000 to about 16000 is very high. Small (small number of pixels). Therefore, when the histogram flattening process is performed without reconstructing the histogram, the pixel value v in the column (a) of FIG. 6 = about 12000 or less in the histogram after flattening (column (c) in FIG. 6). And the pixel value (luminance gradation) assigned corresponding to the pixel value v = about 14,000 to about 16000 becomes extremely small. As a result, the difference in pixel value (luminance) (luminance difference) between the portion corresponding to the background or the like in the far-infrared image and the portion corresponding to the person 20 in the image becomes extremely small. Therefore, when the conventional histogram flattening process is applied to the histogram shown in the column (a) of FIG. 6, the contour of the person 20 in the image is as shown in the image shown in the column (c) of FIG. 7 as a comparative example. The image is difficult to see.
これに対して、図６の（ａ）欄のヒストグラムを、本実施形態のように再構成することにより、非常に高い度数を有する画素値（図６（ａ）欄の画素値約１２０００〜約１４０００）については、度数が上端閾値ＴHighにより頭打ちにされる。これに対して、低い度数を有する画素値（図６（ａ）欄の画素値約１４０００〜約１６０００）については、度数が下端閾値ＴLowにより底上げされる。このようにヒストグラムを再構成しておくことにより、元の画像（図６（ａ）欄）における画素値約１４０００〜約１６０００に対応した画素値が、平坦化処理後のヒストグラム（図６（ｂ）欄）においてもある程度割り当てられるようになる。この結果、人２０の輪郭を把握することが可能な遠赤外線画像を生成することが可能になる。 On the other hand, by reconstructing the histogram in the column (a) of FIG. 6 as in the present embodiment, the pixel value having a very high frequency (the pixel value in the column (a) of FIG. 6 is about 12000 to about 12000 to about). For 14000), the frequency is leveled off by the upper threshold T High . On the other hand, for the pixel value having a low dioptric power (pixel value of about 14,000 to about 16000 in the column of FIG. 6A), the dioptric power is raised by the lower end threshold value T Low . By reconstructing the histogram in this way, the pixel values corresponding to the pixel values of about 14,000 to about 16000 in the original image (column 6 (a)) are converted into the histogram after the flattening process (FIG. 6 (b)). ) Will also be assigned to some extent. As a result, it becomes possible to generate a far-infrared image capable of grasping the contour of the person 20.
次に、図８を参照して、画像処理部１８において実行される「三次元ノイズリダクション処理」を説明する。
図８は、画像処理部１８において実行される三次元ノイズリダクション処理を示すフローチャートである。なお、図８に示す三次元ノイズリダクション処理は、データ処理基板８に内蔵された平滑化処理部１８ｅ（図４）により実行される。
Next, with reference to FIG. 8, the “three-dimensional noise reduction process” executed by the image processing unit 18 will be described.
FIG. 8 is a flowchart showing a three-dimensional noise reduction process executed by the image processing unit 18. The three-dimensional noise reduction process shown in FIG. 8 is executed by the smoothing processing unit 18e (FIG. 4) built in the data processing board 8.
まず、図８のステップＳ７１においては、図５示す多閾値ヒストグラム平坦化処理が施された画像データが取り込まれる。
次に、ステップＳ７２においては、ステップＳ７１において取り込まれた画像が（二次元的に）平滑化される。即ち、画像データ中の注目画素の画素値が、注目画素及びその周囲の画素の画素値に所定の重みを夫々乗じて合算した値に置き換えられる。本実施形態においては、平滑化フィルタとして、下記のフィルタ係数を使用した３×３の一般的なガウシアンフィルタが使用される。
上記のフィルタ係数を使用することにより、注目画素の画素値に４／１６を、注目画素の上下左右の画素の画素値に夫々２／１６を、注目画素の左右の斜め上下の４つの画素の画素値に夫々１／１６を乗じた値が合算され、注目画素の画素値が合算された合計値に置き換えられる。
First, in step S71 of FIG. 8, the image data subjected to the multi-threshold histogram flattening process shown in FIG. 5 is taken in.
Next, in step S72, the image captured in step S71 is smoothed (two-dimensionally). That is, the pixel value of the pixel of interest in the image data is replaced with the sum of the pixel values of the pixel of interest and the pixels around it multiplied by a predetermined weight. In the present embodiment, as the smoothing filter, a general Gaussian filter of 3 × 3 using the following filter coefficients is used.
By using the above filter coefficient, 4/16 is set for the pixel value of the pixel of interest, 2/16 is set for the pixel values of the pixels above, below, left and right of the pixel of interest, and 4/16 diagonally above and below the pixel of interest. The value obtained by multiplying the pixel value by 1/16 is added up, and the pixel value of the pixel of interest is replaced with the added total value.
さらに、ステップＳ７３以下の処理においては、ステップＳ７２においてガウシアンフィルタが施された画像データを、２枚の画像データについて平均化することにより、画像が三次元的に平滑化される。上述したように本実施形態においては、遠赤外線カメラ１により、所定の時間間隔で連続的に動画として遠赤外線画像が撮影されている。平滑化処理部１８ｅは、平坦化処理部１８ｄによって時系列で生成された複数フレームの画像データに基づいて画像を平滑化する。具体的には、本実施形態においては１秒間に８フレームの遠赤外線画像が撮影されており、連続的に撮影された２枚の画像データ（フレーム）に重みを付けて平均化することにより、画像が平滑化される。 Further, in the processing of step S73 or lower, the image is three-dimensionally smoothed by averaging the image data subjected to the Gaussian filter in step S72 with respect to the two image data. As described above, in the present embodiment, the far-infrared camera 1 continuously captures far-infrared images as moving images at predetermined time intervals. The smoothing processing unit 18e smoothes an image based on image data of a plurality of frames generated in time series by the flattening processing unit 18d. Specifically, in the present embodiment, eight frames of far-infrared images are captured per second, and two continuously captured image data (frames) are weighted and averaged. The image is smoothed.
まず、ステップＳ７３においては、最新の画像と、１つ前のフレームの画像（前画像）の画素値の差（輝度差）が計算される。具体的には、最新の画像のｉ番目の画素の輝度ｆ(ｉ)と、前画像のｉ番目の画素の輝度ｆ'(ｉ)との差の絶対値σ(ｉ)が全ての画素について夫々計算される。即ち、最新の画像と前画像の間で、同一の画素における輝度の差が大きいほど輝度差σ(ｉ)の値が大きくなる。 First, in step S73, the difference (luminance difference) between the pixel values of the latest image and the image of the previous frame (previous image) is calculated. Specifically, the absolute value σ (i) of the difference between the brightness f (i) of the i-th pixel of the latest image and the brightness f'(i) of the i-th pixel of the previous image is for all pixels. Calculated respectively. That is, the larger the difference in brightness between the latest image and the previous image in the same pixel, the larger the value of the brightness difference σ (i).
次に、ステップＳ７４においては、輝度差σ(ｉ)に基づいて、重み係数が全ての画素について計算される。本実施形態においては、ｉ番目の画素に対する重み係数Range(ｉ)の値は、下記の数式（３）により計算される。なお、本実施形態においては、数式（３）の最右辺に示すように、重み係数Range(ｉ)の計算においてｅの冪乗の値を３次までのテイラー展開により近似して計算しており、これにより必要な精度を確保しながら計算量を低下させている。
Next, in step S74, the weighting coefficient is calculated for all the pixels based on the luminance difference σ (i). In the present embodiment, the value of the weighting coefficient Range (i) for the i-th pixel is calculated by the following mathematical formula (3). In this embodiment, as shown on the rightmost side of the mathematical formula (3), the power value of e is approximated by Taylor expansion up to the third order in the calculation of the weighting coefficient Range (i). As a result, the amount of calculation is reduced while ensuring the required accuracy.
さらに、ステップＳ７５においては、ステップＳ７４において計算された重み係数Range(ｉ)を使用して、最新の画像のｉ番目の画素の輝度と、前画像のｉ番目の画素の輝度との重み付き平均が、全ての画素について計算される。具体的には、ｉ番目の画素の重み付き平均値Average(ｉ)の値は、下記の数式（４）により計算される。
Further, in step S75, the weighted average of the brightness of the i-th pixel of the latest image and the brightness of the i-th pixel of the previous image is used by using the weighting coefficient Range (i) calculated in step S74. Is calculated for all pixels. Specifically, the value of the weighted average value Average (i) of the i-th pixel is calculated by the following mathematical formula (4).
ここで、数式（４）において、ｆ(ｉ)は最新の画像のｉ番目の画素の輝度を示している。また、Range(ｉ)は、最新の画像と前画像に基づいて計算されたｉ番目の画素に対する重み係数である。Average'(ｉ)は、ｉ番目の画素について、前画像と前々画像に基づいて同様にして数式（４）により計算された重み付き平均値である。 Here, in the mathematical formula (4), f (i) indicates the brightness of the i-th pixel of the latest image. Further, Range (i) is a weighting coefficient for the i-th pixel calculated based on the latest image and the previous image. Average'(i) is a weighted average value calculated by the mathematical formula (4) in the same manner based on the previous image and the previous image for the i-th pixel.
最後に、ステップＳ７６においては、ステップＳ７５において計算された各画素に対する重み付き平均値Average(ｉ)から構成された画像が、「三次元ノイズリダクション処理」の出力画像として出力され、図８のフローチャートの１回の処理を終了する。 Finally, in step S76, an image composed of the weighted average value Average (i) for each pixel calculated in step S75 is output as an output image of the "three-dimensional noise reduction process", and the flowchart of FIG. Ends one process of.
このように、図８に示す「三次元ノイズリダクション処理」においては、まず、各フレームの遠赤外線画像について３×３のガウシアンフィルタが施される。次いで、同一画素（各画像中の同一の位置にある画素）について最新の画像の輝度と前画像の輝度の重み付き平均値を計算することにより、遠赤外線画像に含まれるノイズが低減される。なお、本実施形態においては、２枚の画像の重み付き平均が計算されているが、３枚以上の画像に基づいて重み付き平均値を計算し、三次元ノイズリダクション処理を実行することもできる。また、その場合には平均値を計算する画像は５枚以下であるのが良い。或いは、複数フレームの画像データに基づく平滑化は行わなくても良い。 As described above, in the "three-dimensional noise reduction processing" shown in FIG. 8, first, a 3 × 3 Gaussian filter is applied to the far-infrared image of each frame. Next, the noise contained in the far-infrared image is reduced by calculating the weighted average value of the brightness of the latest image and the brightness of the previous image for the same pixel (pixels at the same position in each image). In the present embodiment, the weighted average of two images is calculated, but the weighted average value can be calculated based on three or more images, and the three-dimensional noise reduction process can be executed. .. In that case, the number of images for which the average value is calculated is preferably 5 or less. Alternatively, smoothing based on image data of a plurality of frames may not be performed.
（エッジ強調処理）
次に、図９を参照して、画像処理部１８において実行される「エッジ強調処理」を説明する。
図９は、画像処理部１８において実行されるエッジ強調処理を示すフローチャートである。なお、図９に示すエッジ強調処理は、画像処理部１８に内蔵されたエッジ強調処理部１８ｆ（図４）により実行される。
(Edge enhancement processing)
Next, with reference to FIG. 9, the "edge enhancement process" executed in the image processing unit 18 will be described.
FIG. 9 is a flowchart showing an edge enhancement process executed by the image processing unit 18. The edge enhancement process shown in FIG. 9 is executed by the edge enhancement processing unit 18f (FIG. 4) built in the image processing unit 18.
上述した「三次元ノイズリダクション処理」においては、画素値の平均値を三次元的に計算することにより、遠赤外線画像に含まれるノイズを低減した。しかしながら、注目画素と周辺の画素の平均によりノイズを低減すると、遠赤外線画像中に含まれる像のエッジが不鮮明になるという問題が生じる。そこで、画像処理部１８では、エッジ強調処理部１８ｆにおいて、平滑化処理部１８ｅによって「三次元ノイズリダクション処理」が施された画像に対して「エッジ強調処理」が施され、像のエッジが強調され、鮮明にされる。また、本実施形態においては、「エッジ強調処理」としてソーベルフィルタ（Sobel Filter）が使用されている。 In the above-mentioned "three-dimensional noise reduction processing", the noise contained in the far-infrared image was reduced by three-dimensionally calculating the average value of the pixel values. However, if the noise is reduced by averaging the pixel of interest and the surrounding pixels, there arises a problem that the edges of the image included in the far-infrared image become unclear. Therefore, in the image processing unit 18, the edge enhancement processing unit 18f performs "edge enhancement processing" on the image that has been subjected to "three-dimensional noise reduction processing" by the smoothing processing unit 18e to emphasize the edges of the image. Be made clear. Further, in the present embodiment, a Sobel Filter is used as the "edge enhancement process".
まず、図９のステップＳ８１においては、図８示す三次元ノイズリダクション処理が施された画像データが取り込まれる。
次に、ステップＳ８２においては、ステップＳ８１において取り込まれた画像に対してソーベルフィルタが施される。本実施形態においては、ソーベルフィルタによる縦線検出（強調）オペレータとして、
が使用され、横線検出（強調）オペレータとして、
が使用される。
First, in step S81 of FIG. 9, the image data subjected to the three-dimensional noise reduction processing shown in FIG. 8 is taken in.
Next, in step S82, a sobel filter is applied to the image captured in step S81. In the present embodiment, as a vertical line detection (emphasis) operator using a sobel filter,
Is used as a horizontal line detection (emphasis) operator
Is used.
即ち、縦線検出オペレータＫxを使用することにより、注目画素及びその上下の画素の画素値に夫々０を、注目画素の左上及び左下の画素の画素値に夫々−１を、右上及び右下の画素の画素値に夫々１を、左の画素の画素値に−２を、右の画素の画素値に２を夫々乗じた値が合算され、注目画素の画素値ｆ(ｉ)が合算された合計値（輝度）ｆx(ｉ)に置き換えられる。また、横線検出オペレータＫyを使用することにより、注目画素及びその左右の画素の画素値に夫々０を、注目画素の左上及び右上の画素の画素値に夫々−１を、左下及び右下の画素の画素値に夫々１を、上の画素の画素値に−２を、下の画素の画素値に２を夫々乗じた値が合算され、注目画素の画素値ｆ(ｉ)が合算された合計値（輝度）ｆy(ｉ)に置き換えられる。これらの輝度ｆx(ｉ)、ｆy(ｉ)の値が全ての画素について計算される。 That is, by using the vertical line detection operator K x , 0 is set for the pixel values of the pixel of interest and the pixels above and below it, -1 is set for the pixel values of the upper left and lower left pixels of the pixel of interest, respectively, and the upper right and lower right are set. The pixel value of each of the pixels is multiplied by 1, the pixel value of the left pixel is multiplied by -2, and the pixel value of the right pixel is multiplied by 2, and the pixel values f (i) of the pixel of interest are added. It is replaced with the total value (brightness) f x (i). In addition, by using the horizontal line detection operator K y , 0 is set for the pixel values of the pixel of interest and the pixels on the left and right of the pixel of interest, -1 is set for the pixel values of the upper left and upper right pixels of the pixel of interest, respectively, and the lower left and lower right The pixel value of each pixel is multiplied by 1, the pixel value of the upper pixel is multiplied by -2, and the pixel value of the lower pixel is multiplied by 2, and the pixel values f (i) of the pixel of interest are added. It is replaced with the total value (brightness) f y (i). The values of these luminances f x (i) and f y (i) are calculated for all pixels.
次に、ステップＳ８３においては、ステップＳ８２において計算された輝度を使用して、縦横両方（対角線方向）が強調された輝度が全ての画素について夫々計算される。即ち、遠赤外線画像のｉ番目の画素の輝度ｆ(ｉ)に縦線検出オペレータＫxを施すことにより得られた輝度をｆx(ｉ)、横線検出オペレータＫyを施すことにより得られた輝度をｆy(ｉ)とすると、対角線方向が強調された輝度ｆxy(ｉ)は数式（５）により計算される。
Next, in step S83, using the brightness calculated in step S82, the brightness in which both the vertical and horizontal directions (diagonal direction) are emphasized is calculated for all the pixels. That is, the brightness obtained by applying the vertical line detection operator K x to the brightness f (i) of the i-th pixel of the far-infrared image was obtained by applying f x (i) and the horizontal line detection operator K y . Assuming that the brightness is f y (i), the brightness f xy (i) in which the diagonal direction is emphasized is calculated by the mathematical formula (5).
さらに、ステップＳ８４においては、ステップＳ８２及びステップＳ８３において計算された輝度ｆx(ｉ)、ｆy(ｉ)及びｆxy(ｉ)を使用して、エッジが強調された出力画像が生成され、図９に示すフローチャートの１回の処理を終了する。対角線方向が強調された各輝度ｆxy(ｉ)から構成される画像は、像のエッジ部分の輝度が高く、他の部分の輝度が低いものとなる。このため、強調された輝度ｆx(ｉ)、ｆy(ｉ)及びｆxy(ｉ)からなる画像の各々と、エッジ強調処理を施す前の画像を合成することにより、何れの方向についてもエッジが強調された画像を生成することができる。なお、本実施形態において輝度ｆx(ｉ)、ｆy(ｉ)、及びｆxy(ｉ)を用いてエッジが強調された画像を生成しているが、本発明はこれに限定されず、少なくとも対角線方向強調されたｆxy(ｉ)からなる画像を用いてエッジが強調された画像を生成すれば、従来では得られなかったエッジの強調された画像を得ることができる。 Further, in step S84, an output image with emphasized edges is generated using the luminance f x (i), f y (i) and f xy (i) calculated in step S82 and step S83. One process of the flowchart shown in FIG. 9 is completed. In an image composed of each luminance f xy (i) in which the diagonal direction is emphasized, the luminance of the edge portion of the image is high and the luminance of the other portions is low. Therefore, by synthesizing each of the images having the enhanced luminance f x (i), f y (i), and f xy (i) with the image before the edge enhancement processing, the image can be combined in any direction. It is possible to generate an image with emphasized edges. In the present embodiment, the brightness f x (i), f y (i), and f xy (i) are used to generate an image in which the edges are emphasized, but the present invention is not limited to this. By generating an image with enhanced edges using an image consisting of at least diagonally emphasized f xy (i), it is possible to obtain an image with enhanced edges that could not be obtained in the past.
本実施形態においては、三次元ノイズリダクション処理が施された遠赤外線画像の各画素の輝度ｆ(ｉ)と、これに対してエッジ強調処理を施すことにより得られた輝度ｆxy(ｉ)に基づいて、出力画像OutImage(ｉ)が数式（６）により求められる。
数式（６）におけるβは合成係数であり、本実施形態においてはβ＝１／３とすることにより、エッジが適度に強調された画像が得られている。
In the present embodiment, the brightness f (i) of each pixel of the far-infrared image subjected to the three-dimensional noise reduction processing and the brightness f xy (i) obtained by performing the edge enhancement processing on the brightness f (i) are used. Based on this, the output image OutImage (i) is obtained by the mathematical formula (6).
Β in the mathematical formula (6) is a synthesis coefficient, and in the present embodiment, by setting β = 1/3, an image in which the edges are appropriately emphasized is obtained.
上述したように、画像処理部１８において、「多閾値ヒストグラム平坦化処理」、「三次元ノイズリダクション処理」、及び「エッジ強調処理」からなる「画像処理」が施された処理画像のデータは、通信基板１０を介してサーバー１２に出力される。 As described above, in the image processing unit 18, the data of the processed image subjected to the "image processing" including the "multi-threshold histogram flattening processing", the "three-dimensional noise reduction processing", and the "edge enhancement processing" is It is output to the server 12 via the communication board 10.
（合成部における処理）
次に、合成部１９における合成処理について説明する。合成部１９は、図４に示すように、温度画像生成部１６により生成された温度画像データと画像処理部１８により生成された処理画像データとを合成し、１つのデータパッケージとして通信基板１０にデータを送信する。
(Processing in the synthesis section)
Next, the synthesis process in the synthesis unit 19 will be described. As shown in FIG. 4, the synthesizing unit 19 synthesizes the temperature image data generated by the temperature image generation unit 16 and the processed image data generated by the image processing unit 18 and puts them on the communication board 10 as one data package. Send data.
＜データ処理基板におけるデータの処理の流れ＞
以上ではデータ処理基板８における各部の処理を説明した。以下では、データ処理基板８における処理全体の流れについて説明する。
本実施形態に係るデータ処理基板８では、ボロメータ基板６からＲＡＷ画像データを取得すると、まず、ノンユニフォミティ補正部１４が、取得したＲＡＷ画像データ毎に対してノンユニフォミティ補正が施された補正画像データを生成し、不図示の記憶部に格納する。つまり、記憶部には、ボロメータ基板６から取得したＲＡＷ画像データの各々について、ノンユニフォミティ補正が施された補正画像データが逐次格納されていく。
<Flow of data processing on the data processing board>
The processing of each part of the data processing board 8 has been described above. Hereinafter, the flow of the entire process on the data processing board 8 will be described.
In the data processing board 8 according to the present embodiment, when RAW image data is acquired from the bolometer board 6, first, the non-uniformity correction unit 14 applies non-uniformity correction to each acquired RAW image data. Is generated and stored in a storage unit (not shown). That is, the corrected image data to which the non-uniformity correction is applied is sequentially stored in the storage unit for each of the RAW image data acquired from the bolometer substrate 6.
また、ノンユニフォミティ補正部１４における補正画像データの生成及び格納が開始されると、温度画像生成部１６及び画像処理部１８は、記憶部から同一の補正画像データを抽出し、温度画像データの生成と処理画像データの生成とを並行して実行する。ここで、本実施形態に係る温度画像生成部１６及び画像処理部１８（特に画像処理部１８）における処理には上述の通り多くの処理が必要になることから、ノンユニフォミティ補正部１４における補正画像データの生成にかかる処理時間よりも長い処理時間が必要となる。従って、１つの温度画像データ及び処理画像データが生成される間に、複数の補正画像データが生成され、格納されることとなる。 Further, when the generation and storage of the corrected image data in the non-uniformity correction unit 14 is started, the temperature image generation unit 16 and the image processing unit 18 extract the same corrected image data from the storage unit and generate the temperature image data. And the generation of processed image data are executed in parallel. Here, since the processing in the temperature image generation unit 16 and the image processing unit 18 (particularly the image processing unit 18) according to the present embodiment requires a lot of processing as described above, the corrected image in the non-uniformity correction unit 14 A processing time longer than the processing time required to generate data is required. Therefore, while one temperature image data and the processed image data are generated, a plurality of corrected image data are generated and stored.
本実施形態では、温度画像生成部１６及び画像処理部１８は、１つの温度画像データ及び処理画像データを生成する間に記憶部に格納された複数の補正画像データを用いて、次の温度画像データ及び処理画像データを生成することが好ましい。この場合には、温度画像生成部１６及び画像処理部１８は、複数の補正画像データにおける各画素に対応する値を平均したデータを用いて温度画像データ及び処理画像データを生成することが好ましい。遠赤外線画像である補正画像データは、多くのノイズを含むため処理が難しいことが知られているが、このように複数の補正画像データを平均することでノイズを低減し、より高い精度で温度画像データ及び処理画像データを生成することができる。 In the present embodiment, the temperature image generation unit 16 and the image processing unit 18 use a plurality of corrected image data stored in the storage unit while generating one temperature image data and the processed image data, and use the next temperature image. It is preferable to generate data and processed image data. In this case, it is preferable that the temperature image generation unit 16 and the image processing unit 18 generate the temperature image data and the processed image data using the data obtained by averaging the values corresponding to each pixel in the plurality of corrected image data. It is known that the corrected image data, which is a far-infrared image, is difficult to process because it contains a lot of noise. However, by averaging a plurality of corrected image data in this way, the noise is reduced and the temperature is improved with higher accuracy. Image data and processed image data can be generated.
なお、本発明はこれに限定されるものではなく、温度画像生成部１６及び画像処理部１８は、１つの温度画像データ及び処理画像データを生成する間に生成され、格納された複数の補正画像データのうち、何れか１つの同一の補正画像データを用いて、次の温度画像データ及び処理画像データを生成してもよい。 The present invention is not limited to this, and the temperature image generation unit 16 and the image processing unit 18 are a plurality of corrected images generated and stored while generating one temperature image data and processed image data. The next temperature image data and processed image data may be generated by using any one of the same corrected image data.
また、本実施形態では温度画像生成部１６及び画像処理部１８が同一の補正画像データに基づいて温度画像データ及び処理画像データを生成する構成を例に説明したが、これに限定されない。例えば、温度画像生成部１６がある補正画像データに基づいて温度画像データを生成した後、次にある補正画像データの後に生成された補正画像データに基づいて処理画像データを生成する、というように、温度画像データと処理画像データを異なる補正画像データに基づいて交互に生成してもよい。温度画像データと処理画像データを交互に生成することでデータ量を低減することができるため、データ処理基板８における処理及び通信基板１０における通信にかかる処理を低減することができる。 Further, in the present embodiment, the configuration in which the temperature image generation unit 16 and the image processing unit 18 generate the temperature image data and the processed image data based on the same corrected image data has been described as an example, but the present invention is not limited to this. For example, the temperature image generation unit 16 generates temperature image data based on the corrected image data, and then generates processed image data based on the corrected image data generated after the next corrected image data. , Temperature image data and processed image data may be alternately generated based on different corrected image data. Since the amount of data can be reduced by alternately generating the temperature image data and the processed image data, it is possible to reduce the processing on the data processing board 8 and the processing related to the communication on the communication board 10.
合成部１９は、温度画像データ及び処理画像データを１つのデータパッケージとして（つまり、同期して）通信基板１０に出力する。データパッケージ（画像出力用プロトコル）についてはその一例を、図１３を参照して後述する。なお、合成部１９の出力は特に限定されるものではなく、同一の補正画像データに基づいて生成された温度画像データ及び処理画像データを同時に出力してもよいし、交互に出力してもよい。また、温度画像データと処理画像データが異なる補正画像データに基づいて交互に生成された場合にも、温度画像データと処理画像データを交互に出力すればよい。この場合には、温度画像データと処理画像データとを異なるデータパッケージとして出力するように合成部１９を構成することもできる。 The synthesis unit 19 outputs the temperature image data and the processed image data as one data package (that is, synchronously) to the communication board 10. An example of the data package (protocol for image output) will be described later with reference to FIG. The output of the compositing unit 19 is not particularly limited, and the temperature image data and the processed image data generated based on the same corrected image data may be output at the same time or may be output alternately. .. Further, even when the temperature image data and the processed image data are alternately generated based on different corrected image data, the temperature image data and the processed image data may be output alternately. In this case, the compositing unit 19 can be configured to output the temperature image data and the processed image data as different data packages.
また、赤外線カメラ１は、例えば熱画像アレイ４において撮影されたＲＡＷ画像に対して撮影時刻を示す時刻データを関連づけてデータ処理基板８にデータを送信できる構成を備えていてもよい。これによれば、合成部１９は、時刻データに基づいて同一のＲＡＷ画像から生成された温度画像データと処理画像データとを特定し、同時又は交互に（同期して）通信基板１０に送信することができる。また、温度画像データと処理画像データとが交互に生成される場合には、時刻データの示す撮影時刻の早い順に温度画像データと処理画像データとを交互に出力することもできる。 Further, the infrared camera 1 may have a configuration capable of transmitting data to the data processing board 8 in association with time data indicating a shooting time with, for example, a RAW image captured by the thermal image array 4. According to this, the synthesis unit 19 identifies the temperature image data and the processed image data generated from the same RAW image based on the time data, and simultaneously or alternately (synchronously) transmits them to the communication board 10. be able to. Further, when the temperature image data and the processed image data are alternately generated, the temperature image data and the processed image data can be alternately output in the order of the earliest shooting time indicated by the time data.
＜通信基板における処理＞
次に、図１０乃至図１３を参照して、通信基板１０における処理を説明する。
図１０は、通信基板１０によるデータの送信に使用される制御用プロトコルのフォーマットである。図１１は、通信基板１０によるデータの送信に使用される制御用のシステムコマンドの一例である。図１２は、通信基板１０によるデータの送信に使用される制御用のキャリブレーションコマンドの一例である。図１３は、通信基板１０によるデータの送信に使用される画像出力用プロトコルのフォーマットである。
<Processing on communication board>
Next, processing on the communication board 10 will be described with reference to FIGS. 10 to 13.
FIG. 10 is a format of a control protocol used for data transmission by the communication board 10. FIG. 11 is an example of a control system command used for data transmission by the communication board 10. FIG. 12 is an example of a control calibration command used for data transmission by the communication board 10. FIG. 13 is a format of an image output protocol used for data transmission by the communication board 10.
上述したように、通信基板１０は、温度画像生成部１６によって生成された温度画像データ、及び画像処理部１８によって生成された処理画像データを、サーバー１２等の外部機器に送信するように構成されている。 As described above, the communication board 10 is configured to transmit the temperature image data generated by the temperature image generation unit 16 and the processed image data generated by the image processing unit 18 to an external device such as the server 12. ing.
図１０に示すように、通信基板１０によって使用される制御用プロトコルには３種類のコマンドがある。即ち、図１０の（ａ）欄に示す送信要求コマンドと、図１０の（ｂ）欄に示す送信要求に対する応答（リターンデータあり）コマンドと、図１０の（ｃ）欄に示す送信要求に対する応答（リターンデータなし）がある。 As shown in FIG. 10, there are three types of commands in the control protocol used by the communication board 10. That is, the transmission request command shown in column (a) of FIG. 10, the response (with return data) command to the transmission request shown in column (b) of FIG. 10, and the response to the transmission request shown in column (c) of FIG. (No return data).
図１０の（ａ）欄に示すように、送信要求コマンドは、最初の２バイトがアルファベット２文字のキーワードに割り当てられ、次の２バイトがデータ長に割り当てられ、次の１バイトがコマンドカテゴリに割り当てられ、次の１バイトがコマンドのコードに割り当てられている。さらに、コマンドのコードに続いて、「データ長」において指定されたバイト数のデータが、送信要求コマンドに含められる。本実施形態においては、「コマンドカテゴリ」として、システムコマンド「Ｓ」、キャリブレーションコマンド「Ｎ」、カメラ管理コマンド「Ｃ」等が設定されている。また、本実施形態においては、各「コマンドカテゴリ」に対し、２５５個のコマンドを割り付けることができる。 As shown in column (a) of FIG. 10, in the transmission request command, the first 2 bytes are assigned to the keyword of 2 letters of the alphabet, the next 2 bytes are assigned to the data length, and the next 1 byte is assigned to the command category. Allocated, the next byte is allocated to the command code. Further, following the command code, the data of the number of bytes specified in the "data length" is included in the transmission request command. In the present embodiment, the system command "S", the calibration command "N", the camera management command "C", and the like are set as the "command category". Further, in the present embodiment, 255 commands can be assigned to each "command category".
次に、図１０の（ｂ）欄に示すように、応答コマンド（リターンデータあり）は、最初の２バイトがアルファベット２文字のキーワードに割り当てられ、次の２バイトがデータ長に割り当てられ、次の１バイトがコマンドカテゴリに割り当てられ、次の１バイトがコマンドのコードに割り当てられている。さらに、コマンドのコードに続いて、「データ長」において指定されたバイト数のデータが、応答コマンドに含められる。 Next, as shown in column (b) of FIG. 10, in the response command (with return data), the first 2 bytes are assigned to the keyword of 2 letters of the alphabet, the next 2 bytes are assigned to the data length, and then the next. 1 byte is assigned to the command category, and the next 1 byte is assigned to the command code. Further, following the command code, the number of bytes of data specified in the "data length" is included in the response command.
さらに、図１０の（ｃ）欄に示すように、応答コマンド（リターンデータなし）は、最初の２バイトがアルファベット２文字のキーワードに割り当てられ、次の２バイトがデータ長に割り当てられ、次の１バイトがコマンドカテゴリに割り当てられ、次の１バイトがコマンドのコードに割り当てられている。応答コマンド（リターンデータなし）では、「データ長」として常に「２」が割り当てられ、コマンドのコードに続いて、アルファベット２文字（例えば「Ｏ」、「Ｋ」）が送信される。 Further, as shown in column (c) of FIG. 10, in the response command (without return data), the first 2 bytes are assigned to the keyword of 2 letters of the alphabet, the next 2 bytes are assigned to the data length, and the next One byte is assigned to the command category and the next one byte is assigned to the command code. In the response command (without return data), "2" is always assigned as the "data length", and two letters of the alphabet (for example, "O" and "K") are transmitted following the command code.
ここで、キーワードは、単にデータの開始点を示してもよいし、また、通信基板１０からのデータの送信先（本実施形態では、サーバー１２）において実行される制御用プロトコルを指定する識別子として使用されてもよい。換言すれば、後者の場合、キーワードは、以降に続くデータが何れの制御用プロトコルで処理されるデータであるかを示すことができる。 Here, the keyword may simply indicate the starting point of the data, or may be used as an identifier that specifies a control protocol to be executed at the data transmission destination (server 12 in this embodiment) from the communication board 10. May be used. In other words, in the latter case, the keyword can indicate which control protocol the subsequent data is processed by.
例えば、本実施形態に係る通信基板１０は、サーバー１２において実行される制御プロトコルを指定可能に構成されていてもよい。この場合、実行される制御用プロトコルとキーワードとを関連付けておくことで、サーバー１２は、送信されたコマンドに含まれるキーワードから実行する制御用プロトコルを特定し、キーワードに対応した制御用プロトコルを実行することができる。 For example, the communication board 10 according to the present embodiment may be configured so that the control protocol executed by the server 12 can be specified. In this case, by associating the execution control protocol with the keyword, the server 12 identifies the control protocol to be executed from the keyword included in the transmitted command, and executes the control protocol corresponding to the keyword. can do.
次に、図１１及び図１２を参照して、制御用のシステムコマンドの一例を説明する。
図１１に示すように、本実施形態においては、システムコマンド（コマンドカテゴリ「Ｓ」）として、Stream start, Stream end, Alive, Reset, Stream continue(1)等が設定されており、これらに対してコード0x01〜0x05が夫々割り当てられている。また、各システムコマンドには、送信要求コマンド（Request）及び応答コマンド（Responseリターンデータなし）が設けられている。さらに、各システムコマンドには、キーワードとして「ＸＸ」が設定されており、各送信要求コマンドのデータ長には「０」（データなし）が設定されている。
Next, an example of a control system command will be described with reference to FIGS. 11 and 12.
As shown in FIG. 11, in the present embodiment, Stream start, Stream end, Alive, Reset, Stream continue (1) and the like are set as system commands (command category “S”), and these are set. Codes 0x01 to 0x05 are assigned to each. In addition, each system command is provided with a transmission request command (Request) and a response command (without Response return data). Further, "XX" is set as a keyword in each system command, and "0" (no data) is set in the data length of each transmission request command.
また、図１２に示すように、本実施形態においては、キャリブレーションコマンド（コマンドカテゴリ「Ｎ」）として、Get Cold Image, Get Hot Image, Create Tamron NUC, Range Mode Set, Range Mode Get, Range Max Set, Range Max Get, Range Min Set, Range Min Get, Gamma Set, Gamma Get等が設定されており、これらに対してコード0x11〜0x18が夫々割り当てられている。また、各システムコマンドには、送信要求コマンド（Request）と、応答コマンド（Responseリターンデータなし）又は応答コマンド（Responseリターンデータあり）が設けられている。さらに、各システムコマンドには、キーワードとして「ＸＸ」が設定されている。これらのキャリブレーションコマンドにより、動作モードやデータレンジ等の設定、確認を行うことができる。 Further, as shown in FIG. 12, in the present embodiment, as the calibration command (command category “N”), Get Cold Image, Get Hot Image, Create Tamron NUC, Range Mode Set, Range Mode Get, Range Max Set , Range Max Get, Range Min Set, Range Min Get, Gamma Set, Gamma Get, etc. are set, and codes 0x11 to 0x18 are assigned to each of them. Further, each system command is provided with a transmission request command (Request) and a response command (without Response return data) or a response command (with Response return data). Further, "XX" is set as a keyword in each system command. With these calibration commands, it is possible to set and check the operation mode, data range, and so on.
次に、図１３を参照して、画像出力用プロトコルのフォーマットを説明する。
上述したように、本実施形態においては、温度画像生成部１６によって生成された温度画像、画像処理部１８によって生成された処理画像とも、８０×８０個の画素から構成されている。これらの画像のデータが、画像出力用プロトコルに基づいて送信される。ここで、「温度画像」を形成する各画素の画素値は、１６ｂｉｔ（２バイト）の温度データ（画像データ）によって表されている。また、「処理画像」を形成する各画素の画素値は、８ｂｉｔ（１バイト）の輝度階調データ（画像データ）によって表されている。なお、本実施形態においては、熱画像アレイ４によって取得された１フレームの画像データに基づいて「温度画像」及び「処理画像」が夫々生成され、これらの画像のデータが１フレーム分の画像データの中に含められて通信基板１０から送信される。この１フレーム分の画像データの中には、「温度画像」、「処理画像」の順で各画素の画素データが埋め込まれている。
Next, the format of the image output protocol will be described with reference to FIG.
As described above, in the present embodiment, both the temperature image generated by the temperature image generation unit 16 and the processed image generated by the image processing unit 18 are composed of 80 × 80 pixels. The data of these images is transmitted based on the image output protocol. Here, the pixel value of each pixel forming the "temperature image" is represented by 16 bits (2 bytes) of temperature data (image data). Further, the pixel value of each pixel forming the "processed image" is represented by 8-bit (1 byte) luminance gradation data (image data). In the present embodiment, a "temperature image" and a "processed image" are generated, respectively, based on the image data of one frame acquired by the thermal image array 4, and the data of these images is the image data for one frame. It is included in and transmitted from the communication board 10. Pixel data of each pixel is embedded in the image data for one frame in the order of "temperature image" and "processed image".
図１３に示すように、画像出力用プロトコルにおいては、１行の出力データの最初の２バイトが画像の行番号（line num）に割り当てられ、次の２バイトが必要なデータ（v temp, Thermistor）に割り当てられている。本実施形態においては、「v temp」は熱画像アレイ４の温度データであり、「Thermistor」は遠赤外線カメラ１内部の雰囲気温度のデータである。これらの温度のデータは１フレーム分の画像データの最初の２行に埋め込まれており、３行目以下では「０」にされている。この「必要なデータ」に続いて、画像の１行分の画素データが割り当てられている。出力データの最初の８０行（０〜７９行）には、「温度画像」の画素データが埋め込まれている。即ち、出力データの０行目には、２バイトの「必要なデータ」に続き、「温度画像」の０行目（line num 0）の画素データ（２バイト×８０＝１６０バイト）が埋め込まれている。同様にして、「温度画像」の１行目以降の画素データが出力データに埋め込まれ、出力データの７９行目には、「温度画像」の７９行目（line num 79）の画素データが埋め込まれる。さらに、出力データの８０〜８３行目は空行であり、「ＦＦ」が埋め込まれている。 As shown in FIG. 13, in the image output protocol, the first 2 bytes of the output data of one line are allocated to the line number (line num) of the image, and the next 2 bytes are required data (v temp, Thermistor). ) Is assigned. In the present embodiment, "v temp" is the temperature data of the thermal image array 4, and "Thermistor" is the data of the ambient temperature inside the far infrared camera 1. These temperature data are embedded in the first two lines of the image data for one frame, and are set to "0" in the third and lower lines. Following this "necessary data", pixel data for one line of the image is assigned. Pixel data of the "temperature image" is embedded in the first 80 lines (0 to 79 lines) of the output data. That is, in the 0th line of the output data, the pixel data (2 bytes x 80 = 160 bytes) of the 0th line (line num 0) of the "temperature image" is embedded following the 2-byte "necessary data". ing. Similarly, the pixel data of the first and subsequent lines of the "temperature image" is embedded in the output data, and the pixel data of the 79th line (line num 79) of the "temperature image" is embedded in the 79th line of the output data. Is done. Further, the 80th to 83rd lines of the output data are blank lines, and "FF" is embedded in them.
次いで、出力データの８４行目には、「処理画像」の行番号（line num 0）の２バイトに続き、「必要なデータ」２バイト、さらに、「処理画像」の０行目（line num 0）の画素データ（１バイト×８０＝８０バイト）が埋め込まれている。同様にして、「処理画像」の１行目以降の画素データが出力データに埋め込まれ、出力データの１６３行目には、「処理画像」の７９行目（line num 79）の画素データが埋め込まれる。さらに、出力データの１６４〜１６７行目は空行であり、「ＦＦ」が埋め込まれている。 Next, on the 84th line of the output data, 2 bytes of the line number (line num 0) of the "processed image" is followed by 2 bytes of the "necessary data", and further, the 0th line (line num 0) of the "processed image". The pixel data (1 byte x 80 = 80 bytes) of 0) is embedded. Similarly, the pixel data of the first and subsequent lines of the "processed image" is embedded in the output data, and the pixel data of the 79th line (line num 79) of the "processed image" is embedded in the 163rd line of the output data. Is done. Further, the 164th to 167th lines of the output data are blank lines, and "FF" is embedded in them.
さらに、通信基板１０では、このようにして生成された「温度画像」及び「処理画像」の両方の情報を含む１フレーム分の画像データが、下位層の通信プロトコル（例えば、TCP, IP, Ethernet等）に引き渡され、送信される。さらに、遠赤外線カメラ１の通信基板１０から送信された画像のデータは、サーバー１２等の外部機器によって受信される。画像データを受信した外部機器は、例えば、画像データ中の「処理画像」を表す部分を動画としてディスプレイに表示することができる。また、受信された画像データ中の「温度画像」を表す部分は、画像中の対象物の温度を表示するために使用することができる。例えば、ディスプレイに表示されている動画中の或る点がマウスポインタで指示されると、その点の温度を「温度画像」の画素値に基づいて表示するように外部機器を構成することもできる。 Further, in the communication board 10, one frame of image data including both "temperature image" and "processed image" information generated in this way is used as a lower layer communication protocol (for example, TCP, IP, Ethernet). Etc.) and sent. Further, the image data transmitted from the communication board 10 of the far-infrared camera 1 is received by an external device such as a server 12. The external device that has received the image data can, for example, display a portion of the image data representing the "processed image" as a moving image on the display. Further, the portion representing the "temperature image" in the received image data can be used to display the temperature of the object in the image. For example, when a certain point in the moving image displayed on the display is pointed by the mouse pointer, the external device can be configured to display the temperature of the point based on the pixel value of the "temperature image". ..
ここで、本実施形態においては、「処理画像」と「温度画像」は、同一の画素数を有すると共に、熱画像アレイ４によって取得された同一フレームの画像データから生成されたものである。このため、ディスプレイ上に表示される画像と、画像上の各点に対応する温度データの整合性が高く、信頼性の高い温度を表示することができる。なお、外部機器において、遠赤外線カメラ１から送信された「処理画像」及び「温度画像」データに対して種々の処理を行うことができ、各データに対して任意の処理を施し利用することができる。 Here, in the present embodiment, the "processed image" and the "temperature image" have the same number of pixels and are generated from the image data of the same frame acquired by the thermal image array 4. Therefore, the image displayed on the display and the temperature data corresponding to each point on the image are highly consistent, and the temperature can be displayed with high reliability. In the external device, various processing can be performed on the "processed image" and "temperature image" data transmitted from the far-infrared camera 1, and each data can be subjected to arbitrary processing and used. it can.
なお、図１３では温度画像データと処理画像データを１つのデータパッケージとして同時に出力する場合のデータフォーマットの一例について説明したが、本発明はこれに限定されるものではない。例えば、温度画像データと処理画像データを交互に送信する場合には、例えば図１３に示すデータフォーマットのうち、Line0〜Line79及びLine80〜Line83（ＦＦ）を１つのデータパッケージとして送信した後、Line84〜Line163及びLine164〜Line167（ＦＦ）を次のデータパッケージとして送信する構成を採用することもできる。 Although FIG. 13 has described an example of a data format in which temperature image data and processed image data are simultaneously output as one data package, the present invention is not limited to this. For example, when the temperature image data and the processed image data are transmitted alternately, for example, among the data formats shown in FIG. 13, Line 0 to Line 79 and Line 80 to Line 83 (FF) are transmitted as one data package, and then Line 84 to It is also possible to adopt a configuration in which Line163 and Line164 to Line167 (FF) are transmitted as the next data package.
なお、本実施形態では、データ処理基板８の合成部１９において温度画像データと処理画像データとを１つのデータパッケージとして通信基板１０に出力する構成を例に挙げて説明したが、本発明はこれに限定されるものではない。例えば、通信基板１０の機能がデータ処理基板８に実装されていてもよいし、合成部１９の機能や他の機能が通信基板１０に実装されていてもよい。 In the present embodiment, the configuration in which the temperature image data and the processed image data are output to the communication board 10 as one data package in the synthesis unit 19 of the data processing board 8 has been described as an example, but the present invention has been described. It is not limited to. For example, the function of the communication board 10 may be mounted on the data processing board 8, or the function of the synthesis unit 19 or other functions may be mounted on the communication board 10.
本発明の実施形態の遠赤外線カメラ１によれば、温度画像生成部１６によって生成された温度画像のデータ、及び画像処理部１８によって生成された処理画像のデータ（図１３）がサーバー１２等の外部機器に送信されるので、撮影された対象物の形状及び温度の両方を把握することができる。 According to the far-infrared camera 1 of the embodiment of the present invention, the temperature image data generated by the temperature image generation unit 16 and the processed image data (FIG. 13) generated by the image processing unit 18 are the data of the server 12 or the like. Since it is transmitted to an external device, it is possible to grasp both the shape and temperature of the photographed object.
また、本実施形態の遠赤外線カメラ１によれば、遠赤外線アレイセンサである熱画像アレイ４によって取得された１フレームの画像データ（補正画像データ）に対し、温度画像及び処理画像が夫々生成されるので、処理画像中に撮影されている対象物と、温度画像中の温度の整合性が高く、信頼性の高い温度情報を得ることができる。 Further, according to the far-infrared camera 1 of the present embodiment, a temperature image and a processed image are generated for each frame of image data (corrected image data) acquired by the thermal image array 4 which is a far-infrared array sensor. Therefore, the temperature of the object captured in the processed image and the temperature in the temperature image are highly consistent, and highly reliable temperature information can be obtained.
さらに、本実施形態の遠赤外線カメラ１によれば、画像処理部１８は、ノンユニフォミティ補正部１４によって補正した後の補正画像データの階調を補正するので、熱画像アレイ４によって取得されたデータに基づいて、対象物を視認しやすい画像を生成することができる。 Further, according to the far-infrared camera 1 of the present embodiment, the image processing unit 18 corrects the gradation of the corrected image data after the correction by the non-uniformity correction unit 14, so that the data acquired by the thermal image array 4 Based on the above, it is possible to generate an image in which the object is easily visible.
また、本実施形態の遠赤外線カメラ１によれば、温度画像生成部１６によって生成された温度画像の各画素の画素値を表す画像データと、画像処理部１８によって生成された処理画像の各画素の画素値を表す画像データは、有効なｂｉｔ数が異なっている。このため、温度画像及び処理画像を必要にして十分な分解能で生成することができ、画像処理に要する計算量、送信すべきデータ量を最適化することができる。 Further, according to the far-infrared camera 1 of the present embodiment, the image data representing the pixel value of each pixel of the temperature image generated by the temperature image generation unit 16 and each pixel of the processed image generated by the image processing unit 18 The image data representing the pixel value of is different in the number of effective bits. Therefore, the temperature image and the processed image can be generated with sufficient resolution, and the amount of calculation required for the image processing and the amount of data to be transmitted can be optimized.
さらに、本実施形態の遠赤外線カメラ１によれば、温度画像生成部によって生成された温度画像と、画像処理部によって生成された処理画像は、同一の画素数を有する。このため、処理画像中に撮影されている対象物の位置と、温度画像中の温度のデータを正確に整合させることができ、信頼性の高い温度測定値を得ることができる。 Further, according to the far-infrared camera 1 of the present embodiment, the temperature image generated by the temperature image generation unit and the processed image generated by the image processing unit have the same number of pixels. Therefore, the position of the object captured in the processed image and the temperature data in the temperature image can be accurately matched, and a highly reliable temperature measurement value can be obtained.
また、本実施形態の遠赤外線カメラ１によれば、送信部である通信基板１０は、温度画像生成部１６によって生成された温度画像のデータ、及び画像処理部１８によって生成された処理画像のデータを、１フレームの画像データの中に含めてサーバー１２等の外部機器に送信する。このため、処理画像と、これと同時に取得された温度画像を容易に対応させることができ、処理画像中に撮影されている対象物の正確な温度を特定することができる。 Further, according to the far-infrared camera 1 of the present embodiment, the communication board 10 which is a transmission unit has the data of the temperature image generated by the temperature image generation unit 16 and the data of the processed image generated by the image processing unit 18. Is included in the image data of one frame and transmitted to an external device such as the server 12. Therefore, the processed image can be easily associated with the temperature image acquired at the same time, and the exact temperature of the object captured in the processed image can be specified.
以上、本発明の実施形態による遠赤外線カメラを説明したが、上述した実施形態に種々の変更を加えることができる。特に、上述した実施形態において、画像処理部は補正画像データの階調を補正していたが、任意の処理を施した画像データを処理画像として送信するように、本発明の遠赤外線カメラを構成することができる。 Although the far-infrared camera according to the embodiment of the present invention has been described above, various modifications can be made to the above-described embodiment. In particular, in the above-described embodiment, the image processing unit corrects the gradation of the corrected image data, but the far-infrared camera of the present invention is configured so as to transmit the image data subjected to arbitrary processing as a processed image. can do.
さらに、上述した実施形態においては、温度画像のデータ、及び処理画像のデータが、１フレーム分の画像データとして送信されていたが、これらを別々に送信することもできる。また、上述した実施形態においては、熱画像アレイによって取得された１フレームの画像データから、温度画像及び処理画像が夫々生成されていたが、温度画像及び処理画像を別フレームの画像データから生成することもできる。さらに、上述した実施形態においては、温度画像の画素値として１６ｂｉｔ、処理画像の画素値として８ｂｉｔの画素値が割り当てられていたが、各画素値に任意のｂｉｔ数を割り当てることができる。また、上述した実施形態においては、温度画像及び処理画像は同一の画素数で構成されていたが、各画像の画素数は、任意に設定することができる。 Further, in the above-described embodiment, the temperature image data and the processed image data are transmitted as image data for one frame, but these can also be transmitted separately. Further, in the above-described embodiment, the temperature image and the processed image are generated from the image data of one frame acquired by the thermal image array, respectively, but the temperature image and the processed image are generated from the image data of another frame. You can also do it. Further, in the above-described embodiment, 16 bits are assigned as the pixel value of the temperature image and 8 bits are assigned as the pixel value of the processed image, but an arbitrary number of bits can be assigned to each pixel value. Further, in the above-described embodiment, the temperature image and the processed image are composed of the same number of pixels, but the number of pixels of each image can be arbitrarily set.
１ 遠赤外線カメラ
２ 遠赤外広角レンズ（遠赤外レンズ）
４ 熱画像アレイ（遠赤外線アレイセンサ）
６ ボロメータ基板
８ データ処理基板
１０ 通信基板（送信部）
１２ サーバー（外部機器）
１４ ノンユニフォミティ補正部
１６ 温度画像生成部
１８ 画像処理部
１８ａ 画像情報入力部
１８ｂ ヒストグラム生成部
１８ｃ ヒストグラム再構成部
１８ｄ 平坦化処理部
１８ｅ 平滑化処理部
１８ｆ エッジ強調処理部
１９ 合成部
２０ 人
1 Far-infrared camera 2 Far-infrared wide-angle lens (far-infrared lens)
4 Thermal image array (far infrared array sensor)
6 Bolometer board 8 Data processing board 10 Communication board (transmitter)
12 server (external device)
14 Non-uniformity correction unit 16 Temperature image generation unit 18 Image processing unit 18a Image information input unit 18b Histogram generation unit 18c Histogram reconstruction unit 18d Flattening processing unit 18e Smoothing processing unit 18f Edge enhancement processing unit 19 Synthesis unit 20 people
Claims (10)
入射した遠赤外線を合焦させる遠赤外レンズと、
この遠赤外レンズによって合焦された遠赤外線画像の画像データを取得する遠赤外線アレイセンサと、
上記遠赤外線アレイセンサによって取得された画像データにノンユニフォミティ画像補正を施した補正画像データを生成するノンユニフォミティ補正部と、
上記補正画像データに基づいて、画像内の各部における温度を表す温度画像データを生成する温度画像生成部と、
上記補正画像データに基づいて、当該補正画像データの階調を補正した処理画像データを生成する画像処理部と、
上記温度画像データ、及び上記処理画像データを送信する送信部と、
を有することを特徴とする遠赤外線カメラ。 A far-infrared camera for movie shooting that transmits image data of far-infrared images to an external device.
A far-infrared lens that focuses the incident far-infrared rays,
A far-infrared array sensor that acquires image data of a far-infrared image focused by this far-infrared lens,
A non-uniformity correction unit that generates corrected image data obtained by applying non-uniformity image correction to the image data acquired by the far-infrared array sensor, and a non-uniformity correction unit.
Based on the corrected image data, a temperature image generation unit that generates temperature image data representing the temperature in each part of the image, and a temperature image generation unit.
An image processing unit that generates processed image data in which the gradation of the corrected image data is corrected based on the corrected image data.
A transmitter that transmits the temperature image data and the processed image data,
A far-infrared camera characterized by having.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019067259A JP7274909B2 (en) | 2019-03-29 | 2019-03-29 | far infrared camera |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019067259A JP7274909B2 (en) | 2019-03-29 | 2019-03-29 | far infrared camera |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020167556A true JP2020167556A (en) | 2020-10-08 |
| JP7274909B2 JP7274909B2 (en) | 2023-05-17 |
Family
ID=72715305
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019067259A Active JP7274909B2 (en) | 2019-03-29 | 2019-03-29 | far infrared camera |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7274909B2 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007325120A (en) * | 2006-06-02 | 2007-12-13 | Sumitomo Electric Ind Ltd | Far infrared imaging system and far infrared imaging method |
| JP2012083822A (en) * | 2010-10-07 | 2012-04-26 | Seiko Epson Corp | Image processor and image processing method |
| US20160042500A1 (en) * | 2014-08-05 | 2016-02-11 | Seek Thermal, Inc. | Local contrast adjustment for digital images |
| WO2018025466A1 (en) * | 2016-08-04 | 2018-02-08 | ソニー株式会社 | Image processing apparatus and image processing method |
-
2019
- 2019-03-29 JP JP2019067259A patent/JP7274909B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007325120A (en) * | 2006-06-02 | 2007-12-13 | Sumitomo Electric Ind Ltd | Far infrared imaging system and far infrared imaging method |
| JP2012083822A (en) * | 2010-10-07 | 2012-04-26 | Seiko Epson Corp | Image processor and image processing method |
| US20160042500A1 (en) * | 2014-08-05 | 2016-02-11 | Seek Thermal, Inc. | Local contrast adjustment for digital images |
| WO2018025466A1 (en) * | 2016-08-04 | 2018-02-08 | ソニー株式会社 | Image processing apparatus and image processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7274909B2 (en) | 2023-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6602009B2 (en) | Image processing apparatus, image processing method, and program | |
| CN108055452A (en) | Image processing method, device and equipment | |
| US10200624B2 (en) | Three-dimensional, 360-degree virtual reality exposure control | |
| TWI709110B (en) | Camera calibration method and apparatus, electronic device | |
| KR20150021353A (en) | Image systhesis system and image synthesis method | |
| JP6852411B2 (en) | Video signal processing device, video signal processing method and program | |
| CN107704798B (en) | Image blurring method and device, computer readable storage medium and computer device | |
| CN108024054A (en) | Image processing method, device and equipment | |
| JP2006163350A (en) | Automatic focusing device and method for camera using divergence cosine conversion coefficient | |
| JP2015127668A (en) | Measurement device, system and program | |
| CN110198418A (en) | Image processing method, device, storage medium and electronic equipment | |
| CN107454335B (en) | Image processing method, image processing device, computer-readable storage medium and mobile terminal | |
| CN107563329B (en) | Image processing method, image processing device, computer-readable storage medium and mobile terminal | |
| JP2009014475A (en) | Far-infrared image processing device, far-infrared imaging device, far-infrared image processing method, and far-infrared image processing program | |
| CN108574803B (en) | Image selection method and device, storage medium and electronic equipment | |
| TWI542212B (en) | Photographic system with visibility enhancement | |
| JP2009010669A (en) | Image processing unit, imaging apparatus, image processing method, and program | |
| CN107464225B (en) | Image processing method, image processing device, computer-readable storage medium and mobile terminal | |
| CN107424134B (en) | Image processing method, image processing device, computer-readable storage medium and computer equipment | |
| WO2022006556A1 (en) | Systems and methods of nonlinear image intensity transformation for denoising and low-precision image processing | |
| JP2022045567A (en) | Imaging control device, imaging control method, and program | |
| JP7274909B2 (en) | far infrared camera | |
| JP6662302B2 (en) | Image processing apparatus, image processing method, and program | |
| CN110266967A (en) | Image processing method, device, storage medium and electronic equipment | |
| CN109120846A (en) | Image processing method and device, electronic equipment, computer readable storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220328 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221216 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230118 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230320 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230406 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230502 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7274909 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |