JP2023095847A - system - Google Patents
system Download PDFInfo
- Publication number
- JP2023095847A JP2023095847A JP2023048952A JP2023048952A JP2023095847A JP 2023095847 A JP2023095847 A JP 2023095847A JP 2023048952 A JP2023048952 A JP 2023048952A JP 2023048952 A JP2023048952 A JP 2023048952A JP 2023095847 A JP2023095847 A JP 2023095847A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- temperature
- image
- distance
- controller
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 70
- 241000282414 Homo sapiens Species 0.000 claims description 30
- 238000000034 method Methods 0.000 claims description 17
- 230000006399 behavior Effects 0.000 description 13
- 239000000284 extract Substances 0.000 description 10
- 241000282412 Homo Species 0.000 description 4
- 230000036760 body temperature Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000002835 absorbance Methods 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 239000011230 binding agent Substances 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000009529 body temperature measurement Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Radiation Pyrometers (AREA)
- Traffic Control Systems (AREA)
- Geophysics And Detection Of Objects (AREA)
- Image Analysis (AREA)
Abstract
Description
本開示は、システムに関する。 The present disclosure relates to systems.
従来、遠赤外線カメラが、被写体から放出される赤外線を撮像し、撮像した赤外線の強度に基づいて算出される被写体の温度により、歩行者である被写体を抽出することが知られている。遠赤外線カメラによって得られた熱画像から路面の領域を推定し、該路面の温度に基づいて歩行者の取り得る温度を算出することによって、高い精度で歩行者を抽出することが提案されている(例えば、特許文献1参照)。
2. Description of the Related Art Conventionally, it is known that a far-infrared camera picks up an image of an infrared ray emitted from an object and extracts an object, which is a pedestrian, from the temperature of the object calculated based on the intensity of the imaged infrared ray. It has been proposed to extract pedestrians with high accuracy by estimating the area of the road surface from a thermal image obtained by a far-infrared camera and calculating the possible temperature of the pedestrian based on the temperature of the road surface. (See
しかしながら、路面の温度と歩行者の取り得る温度との関係は一定でないことがある。このため、特許文献1に記載の方法では、遠赤外線カメラによって検出された遠赤外線の強度を用いて路面の温度と歩行者の取り得る温度との関係に基づいて、被写体の温度に関する情報を正確に推定することが困難となる。
However, the relationship between the temperature of the road surface and the possible temperature of the pedestrian may not be constant. Therefore, in the method described in
本開示は、被写体の温度に関する情報を高い精度で推定することを目的とする。 An object of the present disclosure is to estimate information about the temperature of a subject with high accuracy.
本開示の一実施形態に係るシステムは、被写体の遠赤外画像を撮像部が撮像する。前記システムは、前記撮像部の撮像範囲に含まれる前記被写体までの距離である被写体距離情報を取得する。前記システムは、前記被写体距離情報に基づき前記被写体の温度に関する情報を推定する。 In a system according to an embodiment of the present disclosure, an imaging unit captures a far-infrared image of a subject. The system acquires subject distance information, which is the distance to the subject included in the imaging range of the imaging unit. The system estimates information about the temperature of the subject based on the subject distance information.
本開示の一実施形態によれば、被写体の温度に関する情報を高い精度で推定することができる。 According to an embodiment of the present disclosure, it is possible to estimate information regarding the temperature of a subject with high accuracy.
以下、本開示の一実施形態に係る画像処理装置10について、図面を参照して説明する。
An
図1に示すように、本開示の一実施形態に係る画像処理装置10を含む被写体種別推定システム1は、移動体100に取り付けられる。
As shown in FIG. 1 , a subject
移動体100は、例えば車両、船舶、および航空機等を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、および滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、およびトロリーバス等を含んでよい。産業車両は、例えば農業および建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフトおよびゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えばマリンジェット、ボート、およびタンカー等を含んでよい。航空機は、例えば固定翼機および回転翼機等を含んでよい。
図2に示すように、被写体種別推定システム1は、撮像装置11と、距離測定装置12とを備える。撮像装置11は、撮像部13と、画像処理装置10とを備える。
As shown in FIG. 2 , the subject
図1に示したように、撮像部13は、例えば、移動体100の前方から放出される遠赤外光を撮像可能なように移動体100に取付けられている。撮像部13は、移動体100の前方に限らず、側方または後方を撮像可能なように移動体100に取り付けられてもよい。撮像部13は、撮像範囲内にある被写体から放出された遠赤外光を撮像した遠赤外画像を生成する。撮像部13は、例えば、遠赤外カメラである。
As shown in FIG. 1, the
撮像装置11の撮像範囲に基準物体15が取り付けられている。具体的には、基準物体15は、移動体100の外表面における、撮像部13の撮像位置から予め定められた基準距離D1に固定されている。基準物体15は、所定の放射率を有する物体である。所定の放射率は、例えば、人間の放射率が取り得る範囲である。人間の放射率は、皮膚の状態、および衣服の素材等にもよるが、例えば0.95~1である。基準物体15は、例えば、放射率が1の物体である黒体であってよい。基準物体15の温度は、体温が取り得る範囲に含まれる所定温度であってよい。体温が取り得る範囲は、例えば、35度から42度である。基準物体15は、ヒーター等の任意の温度制御装置によって所定温度に保持されるよう制御されてよい。
A
画像処理装置10は、画像取得部17と、情報取得部18と、メモリ19と、コントローラ20と、出力部21とを備える。
The
画像取得部17は、撮像装置11によって生成された遠赤外画像を取得するインターフェースである。
The
情報取得部18は、被写体距離D2を取得する。被写体距離D2は、距離測定装置12によって測定された、遠赤外画像の撮像位置から該遠赤外画像に像として含まれる被写体までの距離である。
The
メモリ19は、例えばRAM(Random Access Memory)およびROM(Read Only Memory)など、任意の記憶デバイスにより構成される。メモリ19は、基準物体15から放出された遠赤外光の強度IA0を記憶する。メモリ19は、撮像部13における撮像位置から基準物体15までの基準距離D1を記憶する。メモリ19は、撮像部13における撮像位置から距離測定装置12までの距離D22を記憶する。遠赤外光の強度IA0、基準距離D1、および距離D22は、予め設計された値である。遠赤外光の強度IA0、基準距離D1、および距離D22は、被写体種別推定システム1の移動体100への搭載後に校正された値、あるいは実測値であってもよい。
The
コントローラ20は、1以上のプロセッサおよびメモリを含む。コントローラ20は、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けIC(ASIC; Application Specific Integrated Circuit)を含んでよい。プロセッサは、プログラマブルロジックデバイス(PLD; Programmable Logic Device)を含んでよい。PLDは、FPGA(Field-Programmable Gate Array)を含んでよい。コントローラ20は、1つまたは複数のプロセッサが協働するSoC(System-on-a-Chip)、およびSiP(System In a Package)のいずれかであってもよい。
コントローラ20は、画像取得部17によって取得された遠赤外画像に対して処理を実行する。コントローラ20が実行する処理の詳細は後述する。
The
出力部21は、コントローラ20によって実行された処理に基づく情報を、距離測定装置12、ならびに移動体100に搭載されたディスプレイおよびECU(Engine Control UnitまたはElectric Control Unit)等に出力してよい。ECUは、出力部21によって出力された情報に基づいて、例えば移動体100に関連して使用される被制御装置を制御することにより、移動体100の走行を制御しうる。被制御装置には、例えば、エンジン、モータ、トランスミッション、カーエアコンディショナ、パワーウィンドウ、カーナビゲーションシステム、カーオーディオ、ヘッドアップディスプレイ等を含んでよいが、これらに限られない。
The
距離測定装置12は、撮像装置11における撮像位置から被写体までの距離である被写体距離D2を算出するための情報を生成する。被写体距離D2を算出するための情報は、例えば、該距離測定装置12から被写体までの距離D21、または被写体距離D2そのものである。被写体距離D2を算出するための情報が距離D21である構成では、距離測定装置12は、距離D21を測定し、測定した距離D21を、被写体距離D2を算出するための情報として生成する。被写体距離D2を算出するための情報が被写体距離D2そのものである構成では、距離測定装置12は、距離D21を測定する。距離測定装置12は、測定された距離D21と、予め定められた撮像装置11の撮像位置および距離測定装置12の間の距離D22とに基づいて撮像装置11における撮像位置から被写体までの被写体距離D2を算出する。図1に示した例では、距離測定装置12は、撮像部13と被写体との間に位置する。このため、距離測定装置12は、距離測定装置12から被写体までの距離D21と、撮像装置11から距離測定装置12まで間の距離D22との合計D21+D22である被写体距離D2を算出する。
The
距離測定装置12は、例えば、RADAR(Radio detection And Ranging)、LIDAR(Light Detection and Ranging)等であってよい。距離測定装置12は、単眼カメラであってもよい。単眼カメラを適用した距離測定装置12は、被写体を撮像した画像に基づいて公知の方法により、被写体距離D2を算出しうる。これらに限られず、距離測定装置12は、任意の方法で撮像位置から被写体までの距離を測定してよい。
The
ここで、コントローラ20が実行する処理について、図面を参照して詳細に説明する。
Here, processing executed by the
コントローラ20は、撮像部13によって撮像された、図3に示すような遠赤外画像に対象被写体16の像16imが含まれるか否かを判定する。コントローラ20は、遠赤外画像に対象被写体16の像16imが含まれると判定した場合、対象被写体16の像16imを抽出する。対象被写体16は、コントローラ20によって後述するように温度を推定する対象となる被写体である。
The
具体的には、コントローラ20は、遠赤外画像におけるエッジを検出し、該エッジによって囲まれる領域を抽出する。そして、コントローラ20は、該領域が所定の大きさ以上であるか否かを判定する。さらに、コントローラ20は、該領域が所定の大きさ以上である場合に、該領域に含まれる各画素の信号レベルの最大値と最小値との差が閾値以下であるか否かを判定する。コントローラ20は、差が閾値以下である領域がある場合、遠赤外画像に対象被写体16の像16imが含まれると判定する。コントローラ20は、遠赤外画像に対象被写体16の像16imが含まれると判定すると、該領域に表される像を対象被写体16の像16imとして抽出する。コントローラ20が、遠赤外画像において対象被写体16の像16imを抽出する方法は、これに限られず任意の方法であってよい。
Specifically, the
コントローラ20は、対象被写体16までの距離を算出するための情報を距離測定装置12から取得する。
The
具体的には、コントローラ20は、遠赤外画像における対象被写体16の像16imの位置を判定する。コントローラ20は、出力部21に、距離測定装置12に該位置を出力させる。距離測定装置12は、出力部21によって出力された、遠赤外画像内での位置に基づいて、撮像位置から対象被写体16までの被写体距離D2を測定する。距離測定装置12は、測定された被写体距離D2を画像処理装置10に出力する。距離測定装置12によって被写体距離D2が出力されると、情報取得部18は、被写体距離D2を取得する。
Specifically, the
コントローラ20は、距離測定装置12によって測定可能な範囲にある全ての物体までの距離を該距離測定装置12から取得してもよい。この場合、コントローラ20は、距離測定装置12が測定した各物体までの距離のうち、遠赤外画像における対象被写体16の像16imの位置に相当する実空間での位置ある物体までの距離を被写体距離D2として抽出する。
The
コントローラ20は、被写体距離D2と、基準距離D1と、基準物体15の温度に関する情報と、対象被写体16の像16imにおける信号レベルと、基準物体15の撮像領域として予め定められている領域15imにおける信号レベルとに基づいて、対象被写体16の温度を推定する。温度に関する情報は、温度であってよい。温度に関する情報は、温度を換算することのできる任意の情報であってよい。以降において、温度に関する情報は、温度であるとして説明する。
The
基準物体15および対象被写体16を含む被写体から放出された遠赤外光は、大気に吸収される。そのため、遠赤外光の強度は、該遠赤外光が伝播する距離が長くなるほど減衰する。具体的には、基準物体15から放出された遠赤外光の強度IA0、基準物体15から基準距離D1離れた撮像位置で撮像された遠赤外光の強度IA1、および大気による遠赤外光の吸収係数αには、式(1)に示す関係が成立する。上述したように、基準物体15は所定の放射率を有し、予め定められた温度に制御されている。そのため、遠赤外光の強度IA0は、既知の値であり、上述したように予めメモリ19に記憶されている。また、遠赤外光の強度IA1は、遠赤外画像内で基準物体15の撮像領域として予め定められている領域15imの信号レベルに対応する値である。また、基準距離D1は、上述したように撮像部13の撮像位置から基準物体15までの距離であり、上述したように予めメモリ19に記憶されている。
Far-infrared light emitted from subjects including the
α=-(log10(IA1/IA0))/D1 式(1) α=−(log 10 (I A1 /I A0 ))/D1 formula (1)
また、対象被写体16から放出された遠赤外光の強度IB0、対象被写体16から被写体距離D2離れた撮像位置で撮像された遠赤外光の強度IB1、及び大気による遠赤外光の吸収係数αには、式(2)に示す関係が成立する。遠赤外光の強度IB1は、遠赤外画像内で被写体の像における信号レベルに対応する値である。また、上述したように、被写体距離D2は、距離測定装置12によって測定されている。
In addition, the intensity I B0 of far-infrared light emitted from the target subject 16, the intensity I B1 of far-infrared light captured at an imaging position distant from the target subject 16 by a subject distance D2, and the intensity of far-infrared light by the atmosphere The absorption coefficient α satisfies the relationship shown in Equation (2). The far-infrared light intensity I B1 is a value corresponding to the signal level in the image of the subject in the far-infrared image. In addition, the subject distance D2 is measured by the
α=-(log10(IB1/IB0))/D2 式(2) α=−(log 10 (I B1 /I B0 ))/D2 Equation (2)
したがって、対象被写体16から放出された遠赤外光の強度IB0は、式(3)によって導出される。 Therefore, the intensity I B0 of the far-infrared light emitted from the target subject 16 is derived by equation (3).
コントローラ20は、対象被写体16から放出された遠赤外光の強度IB0を算出すると、強度IB0を温度に換算し、換算された温度を対象被写体16の温度と推定する。
After calculating the intensity I B0 of the far-infrared light emitted from the target subject 16 , the
コントローラ20は、対象被写体16の温度を推定すると、該温度に基づいて対象被写体16の種別を推定する。具体的には、コントローラ20は、対象被写体16の温度が所定範囲内であるか否かを判定する。所定範囲とは、人間の体温がとり得る範囲であり、例えば、35度から39度である。コントローラ20は、対象被写体16の温度が所定範囲にある場合、対象被写体16の種別が人間であると推定する。コントローラ20は、対象被写体16の温度が所定範囲にない場合、対象被写体16の種別が人間以外であると推定する。
After estimating the temperature of the target subject 16, the
コントローラ20は、対象被写体16の温度が所定範囲にある場合、対象被写体16の種別ではなく、種別の候補が人間であると推定してもよい。この場合、コントローラ20は、対象被写体16の像16imの形状または挙動に基づいて、対象被写体16の種別が人間であるか否かを判定する。具体的には、コントローラ20は、種別の候補が人間であると推定された対象被写体16の像16imの形状が予め記憶されている形状と類似している場合、対象被写体16の種別が人間であると推定する。また、コントローラ20は、種別の候補が人間であると推定された対象被写体16の像16imの挙動によって対象被写体16の種別が人間であるか否かを推定してもよい。対象被写体16の像16imの挙動は、例えば、対象被写体16の像16imの形状が時間に伴って変化した履歴である。コントローラ20は、対象被写体16の像16imの挙動が予め記憶されている挙動と類似している場合、該対象被写体16の種別が人間であると判定してよい。なお、形状または挙動が類似しているか否かを判定する方法は、任意の方法であってよい。
When the temperature of the target subject 16 is within a predetermined range, the
コントローラ20は、対象被写体16の種別を判定すると、該種別を移動体100に搭載されたディスプレイまたはECUに出力するよう出力部21を制御してもよい。コントローラ20は、該種別とともに被写体距離D2をディスプレイまたはECUに出力するよう出力部21を制御してもよい。
After determining the type of the target subject 16 , the
続いて、本実施形態の画像処理装置10の被写体種別推定処理について、図4を参照して説明する。画像処理装置10は、撮像部13から遠赤外画像を取得すると、被写体種別推定処理を開始する。
Subsequently, subject type estimation processing of the
ステップS11では、コントローラ20は、画像取得部17によって取得された遠赤外画像に対象被写体16の像16imが含まれるか否かを判定する。コントローラ20が、遠赤外画像に対象被写体16の像16imが含まれると判定すると、プロセスは、ステップS12に進む。コントローラ20は、遠赤外画像に対象被写体16の像16imが含まれないと判定すると、被写体種別推定処理を終了する。
In step S<b>11 , the
ステップS12では、コントローラ20は、画像取得部17によって取得された遠赤外画像において対象被写体16の像16imを抽出する。コントローラ20が対象被写体16の像を抽出すると、プロセスはステップS13に進む。
In step S<b>12 , the
ステップS13では、コントローラ20は、遠赤外画像における対象被写体16の像16imの位置を判定する。コントローラ20が対象被写体16の像16imの位置を判定すると、プロセスはステップS14に進む。
In step S13, the
ステップS14では、コントローラ20は、距離測定装置12が測定した被写体距離D2を対象被写体16の像16imの位置に基づいて取得する。コントローラ20が被写体距離D2を取得すると、プロセスはステップS15に進む。
In step S14, the
ステップS15では、コントローラ20は、被写体距離D2と、基準距離D1と、基準物体15の温度と、対象被写体16の像16imにおける信号レベルと、基準物体15の撮像領域として予め定められている領域15imにおける信号レベルとに基づいて、対象被写体16の温度を推定する。コントローラ20が対象被写体16の温度を推定すると、プロセスはステップS16に進む。
In step S15, the
ステップS16では、コントローラ20は、推定された対象被写体16の温度が所定範囲内にあるか否かを判定する。コントローラ20が、推定された対象被写体16の温度が所定範囲内であると判定すると、プロセスは、ステップS17に進む。コントローラ20が、推定された対象被写体16の温度が所定範囲内でないと判定すると、プロセスは、ステップS18に進む。
In step S16, the
ステップS17では、コントローラ20は、対象被写体16の種別が人間であると推定する。コントローラ20は、対象被写体16の種別が人間であると推定すると、被写体種別推定処理を終了する。
In step S17, the
ステップS18では、コントローラ20は、対象被写体16の種別が人間でないと推定する。コントローラ20は、対象被写体16の種別が人間でないと推定すると、被写体種別推定処理を終了する。
In step S18, the
以上説明したように、本実施形態によれば、画像処理装置10は、被写体距離D2と、基準距離D1と、基準物体15の温度と、対象被写体16の像16imにおける信号レベルと、基準物体15の撮像領域として予め定められている領域15imにおける信号レベルとに基づいて、対象被写体16の温度を推定する。このため、画像処理装置10は、基準物体15の温度と、遠赤外画像における撮像領域の信号レベルとから推定される遠赤外光の減衰の度合いを鑑みて対象被写体16の温度を推定することになる。したがって、画像処理装置10は、大気による遠赤外光の吸収率が変動しても、温度の推定における正確性を向上させうる。また、遠赤外光は、伝播する距離が長いほど多く吸収される。そのため、画像処理装置10は、撮像位置から基準距離D1にある基準物体15の温度に基づいて、被写体距離D2にある対象被写体16の温度を推定することによって、該温度の推定の正確性をより向上させうる。
As described above, according to the present embodiment, the
また、本実施形態によれば、基準物体15の温度は定められた温度である。これにより、画像処理装置10は、基準物体15の温度を計測するための機器を備えることなく、簡易な構成で対象被写体16の温度の測定の正確性を向上させうる。
Also, according to this embodiment, the temperature of the
また、本実施形態によれば、画像処理装置10は、被写体の温度と、遠赤外画像における被写体の像の形状または挙動とに基づいて被写体の種別を推定する。具体的には、画像処理装置10は、遠赤外画像における被写体の像の形状または挙動に基づいて対象被写体16を抽出し、対象被写体16の温度に基づいて対象被写体16の種別を推定する。仮に、対象被写体16の像16imの形状または挙動のみに基づいて該対象被写体16の種別を推定する場合、形状または挙動が所定の種別のそれぞれ形状または挙動に類似しているが、温度が所定の種別について定められる範囲にない対象被写体16が所定の種別であると誤って推定される場合がある。例えば、対象被写体16の像16imは人間の形状に類似しているが、人間の取り得る範囲の温度でないマネキン等が人間であると誤って推定される場合がある。したがって、画像処理装置10は、対象被写体16の温度と、遠赤外画像における対象被写体16の像16imの形状または挙動とに基づいて被写体の種別を推定することによって、該種別の推定の正確性を向上させうる。
Further, according to the present embodiment, the
また、本実施形態によれば、画像処理装置10は、対象被写体16の種別が人間であるか否かを推定し、基準物体15の放射率は人間の放射率に等しい。仮に、基準物体15の放射率が人間の放射率と異なる場合、放射率の差異に起因して、基準物体15における温度と像の撮像領域の信号レベルとの関係は、対象被写体16における温度と信号レベルとの関係とは同じでないことがある。この場合、基準物体15における温度と像の撮像領域の信号レベルとの関係を鑑みても、対象被写体16の像の信号レベルに基づいて対象被写体16の温度は正確に推定されないことがある。これに対し、基準物体15の放射率が人間の放射率と等しいことによって、基準物体15における温度と像の撮像領域の信号レベルとの関係は、人間である対象被写体16における温度と像の信号レベルとの関係に適用される。したがって、画像処理装置10は、基準物体15における温度と像の撮像領域の信号レベルとの関係に基づいて対象被写体16の温度を推定することによって、温度の推定の正確性を向上させうる。
Further, according to the present embodiment, the
また、本実施形態によれば、基準物体15の温度は、体温の取り得る範囲に含まれる。被写体から放出される赤外光の波長の分布範囲は、該被写体の温度によって異なる。また、被写体から放出される赤外光のうち、最も強度の高い光の波長は該被写体の温度によって異なる。したがって、波長の分布範囲、および最も強度の高い波長が類似している赤外光を放出する基準物体15が適用されることによって、人間から放出される赤外光と基準物体15から放出する赤外光の特性が類似する。そのため、画像処理装置10は、被写体から放出される赤外光の強度を、人間と類似した特性を有する赤外光の強度と比較することによって、被写体が人間である場合の該被写体の温度の推定の正確性を向上させうる。したがって、画像処理装置10は、温度の推定の正確性を向上することによって、被写体の種別の推定の正確性を向上させうる。
Further, according to the present embodiment, the temperature of the
本実施形態は代表的な例として説明したが、本発明の趣旨および範囲内で、多くの変更および置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限されるものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形または変更が可能である。例えば、実施形態および実施例に記載の複数の構成ブロックを1つに組合せたり、あるいは1つの構成ブロックを分割したりすることが可能である。 Although the present embodiments have been described as representative examples, it will be apparent to those skilled in the art that many modifications and substitutions may be made within the spirit and scope of the invention. Therefore, this invention should not be construed as limited by the above-described embodiments, and various modifications and changes are possible without departing from the scope of the claims. For example, it is possible to combine a plurality of configuration blocks described in the embodiments and examples into one, or divide one configuration block.
上述の実施形態において、撮像装置11と距離測定装置12とが別体である構成を説明したが、撮像装置11と距離測定装置12とが一体として構成されてよい。撮像装置11は、内部に距離測定装置12を備えてもよい。
In the above-described embodiment, the configuration in which the
上述の実施形態において、撮像装置11が撮像部13と画像処理装置10とを備える構成を説明し、図1において撮像部13と画像処理装置10とは別体に構成されている例を示したが、これに限らない。例えば、撮像部13と画像処理装置10とは一体に構成されてもよい。
In the above-described embodiment, the configuration in which the
上述の実施形態において、複数の基準物体15が、移動体100における、撮像部13の撮像範囲に取り付けられてもよい。この場合、複数の基準物体15は、人間が取り得る温度範囲における互いに異なる温度に定められてよい。例えば、複数の基準物体15のうちの第1基準物体の温度は、例えば該温度範囲の最高温度に定められてよい。第2基準物体の温度は、例えば該温度範囲の最低温度に定められてよい。このような構成において、コントローラ20は、第1基準物体および第2基準物体の両方に基づいて、対象被写体16の温度を推定してもよい。
In the above-described embodiments, a plurality of reference objects 15 may be attached to the imaging range of the
例えば、コントローラ20は、第1基準物体および第2基準物体それぞれの撮像領域として予め定められている領域の信号レベルの平均値を算出する。そして、コントローラ20は、算出した信号レベルの平均値に対応する強度に基づいて、上述の式(1)および式(2)を用いて、対象被写体16の温度を推定する。
For example, the
また、例えば、コントローラ20は、第1基準物体および第2基準物体に基づいて、上述の式(1)を用いてそれぞれ放射率αを算出してもよい。そして、コントローラ20は、それぞれ算出された放射率αの平均値に基づいて、上述の式(2)を用いて対象被写体16から放出された赤外光の強度IB1を算出し、強度IB1を換算することによって対象被写体16の温度を推定してもよい。
Also, for example, the
また、例えば、コントローラ20は、第1基準物体の温度と、遠赤外画像内で第1基準物体の撮像領域として予め定められている領域における信号レベルと、撮像位置から第1基準物体までの距離に基づいて、上述と同様に対象被写体16の温度を推定する。さらに、コントローラ20は、第2基準物体の温度と、遠赤外画像内で第2基準物体の撮像領域として予め定められている領域における信号レベルと、撮像位置から第2基準物体までの距離に基づいて、上述と同様に対象被写体16の温度を推定する。そして、コントローラ20は、第1基準物体に基づいて推定された温度と第2基準物体に基づいて推定された温度とに基づいて対象被写体16の温度を推定してもよい。例えば、コントローラ20は、第1基準物体に基づいて推定された温度と第2基準物体に基づいて推定された温度との平均温度を対象被写体16の温度としてもよい。
Further, for example, the
上述の実施形態において、被写体種別推定システム1は距離測定装置12を備えるが、これに限らない。例えば、被写体種別推定システム1は、距離測定装置12を備えず、画像処理装置10のコントローラ20が、画像取得部17によって取得された遠赤外画像に基づいて、公知の方法により被写体距離D2を算出してもよい。この場合、コントローラ20は、遠赤外画像に基づいて算出された被写体距離D2を用いて、対象被写体16の温度を推定してもよい。この場合、被写体種別推定システム1は、距離測定装置12を備える必要がなく、簡易な構成により対象被写体16の温度を推定しうる。
In the above-described embodiment, the subject
上述の実施形態において、温度に関する情報は遠赤外光の強度IB0であってもよい。この場合、コントローラ20は、対象被写体16から放出された遠赤外光の強度IB0に基づいて対象被写体16の種別を推定してもよい。具体的には、コントローラ20は、強度IB0が所定範囲にあるか否かを判定する。所定範囲とは、人間から放出されうる遠赤外光の強度の範囲である。コントローラ20は、強度IB0が所定範囲にある場合、対象被写体16の種別が人間であると推定する。コントローラ20は、強度IB0が所定範囲にない場合、対象被写体16の種別が人間でないと推定する。
In the above-described embodiments, the information about the temperature may be the far-infrared light intensity I B0 . In this case, the
上述の実施形態において、メモリ19は、基準物体15から放出された遠赤外光の強度IA0を記憶するが、これに限られない。例えば、メモリ19は、基準物体15の温度を記憶してもよい。この場合、コントローラ20は、メモリ19に記憶されている基準物体15の温度を遠赤外光の強度IA0に換算する。そして、コントローラ20は、換算された強度IA0に基づいて、対象被写体16の温度を推定する。
In the above-described embodiment, the
上述の実施形態において、コントローラ20は、遠赤外画像のエッジ、ならびに該エッジに囲まれる領域の大きさおよび信号レベルに基づいて対象被写体16の像16imを抽出したが、この限りではない。コントローラ20は、上述のように抽出された被写体の中から、さらにエッジに囲まれる領域の形状または挙動に基づいて、対象被写体16の像16imを抽出してもよい。
In the embodiment described above, the
上述の実施形態において、コントローラ20は、対象被写体16の種別が人間であるか否かを判定したかを判定したがこの限りではない。例えば、コントローラ20は、対象被写体16の種別が人間ではない所定の物体であるか否かを判定してよい。この場合、コントローラ20は、推定された対象被写体16の温度が該物体の取り得る温度範囲内であるか否かを判定する。また、基準物体15は、該物体の温度が取り得る範囲に制御されてよい。また、基準物体15の放射率は該物体の放射率が取り得る範囲であってよい。
In the above-described embodiment, the
1 被写体種別推定システム
10 画像処理装置
11 撮像装置
12 距離測定装置
13 撮像部
15 基準物体
16 対象被写体
17 画像取得部
18 情報取得部
19 メモリ
20 コントローラ
21 出力部
100 移動体
1 subject
Claims (4)
前記撮像部の撮像範囲に含まれる前記被写体までの距離である被写体距離情報を取得し、
前記被写体距離情報に基づき前記被写体の温度に関する情報を推定する、
システム。 The imaging unit captures a far-infrared image of the subject,
obtaining subject distance information, which is the distance to the subject included in the imaging range of the imaging unit;
estimating information about the temperature of the subject based on the subject distance information;
system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023048952A JP2023095847A (en) | 2018-03-28 | 2023-03-24 | system |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018063194A JP6927914B2 (en) | 2018-03-28 | 2018-03-28 | Image processing equipment, imaging equipment, and moving objects |
JP2021129305A JP2021183974A (en) | 2018-03-28 | 2021-08-05 | Subject type determination device and movable body |
JP2023048952A JP2023095847A (en) | 2018-03-28 | 2023-03-24 | system |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021129305A Division JP2021183974A (en) | 2018-03-28 | 2021-08-05 | Subject type determination device and movable body |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023095847A true JP2023095847A (en) | 2023-07-06 |
Family
ID=68168720
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018063194A Active JP6927914B2 (en) | 2018-03-28 | 2018-03-28 | Image processing equipment, imaging equipment, and moving objects |
JP2021129305A Pending JP2021183974A (en) | 2018-03-28 | 2021-08-05 | Subject type determination device and movable body |
JP2023048952A Pending JP2023095847A (en) | 2018-03-28 | 2023-03-24 | system |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018063194A Active JP6927914B2 (en) | 2018-03-28 | 2018-03-28 | Image processing equipment, imaging equipment, and moving objects |
JP2021129305A Pending JP2021183974A (en) | 2018-03-28 | 2021-08-05 | Subject type determination device and movable body |
Country Status (1)
Country | Link |
---|---|
JP (3) | JP6927914B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7260935B2 (en) * | 2021-01-28 | 2023-04-19 | 国立研究開発法人農業・食品産業技術総合研究機構 | ANTI-AIR SIGN, THERMAL IMAGING DEVICE, THERMAL IMAGING METHOD, AND PROGRAM |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06109549A (en) * | 1992-09-24 | 1994-04-19 | Mitsubishi Electric Corp | Infrared imaging system |
JP2001349786A (en) * | 2000-06-06 | 2001-12-21 | Denso Corp | Calibration method for non-contact temperature sensor |
EP1618740A2 (en) * | 2003-04-25 | 2006-01-25 | Land Instruments International Limited | Thermal imaging system and method |
JP2006113025A (en) * | 2004-10-18 | 2006-04-27 | Calsonic Kansei Corp | Temperature measuring device of vehicle |
JP5314260B2 (en) * | 2007-08-31 | 2013-10-16 | 株式会社豊田中央研究所 | Detection system, detected object estimation system, obstacle estimation system, safe driving system, and physical quantity detection method |
JP2009150842A (en) * | 2007-12-21 | 2009-07-09 | Sumitomo Electric Ind Ltd | Temperature measuring device and vehicle |
US8101905B2 (en) * | 2008-09-04 | 2012-01-24 | The Boeing Company | Infrared sensor calibration system and method |
JP2010265535A (en) * | 2009-05-18 | 2010-11-25 | Nippon Steel Corp | Heating furnace and heating method |
JP2011107952A (en) * | 2009-11-17 | 2011-06-02 | Honda Motor Co Ltd | Vehicle surroundings monitoring device |
JP5503730B2 (en) * | 2010-03-17 | 2014-05-28 | 本田技研工業株式会社 | Vehicle periphery monitoring device |
WO2012081512A1 (en) * | 2010-12-13 | 2012-06-21 | 独立行政法人産業技術総合研究所 | Method and system for measuring surface temperature |
JP2013019822A (en) * | 2011-07-13 | 2013-01-31 | Tokyo Electric Power Co Inc:The | System and method for measuring temperature of electrical equipment |
JP6777428B2 (en) * | 2016-06-02 | 2020-10-28 | アズビル株式会社 | Temperature measuring device |
-
2018
- 2018-03-28 JP JP2018063194A patent/JP6927914B2/en active Active
-
2021
- 2021-08-05 JP JP2021129305A patent/JP2021183974A/en active Pending
-
2023
- 2023-03-24 JP JP2023048952A patent/JP2023095847A/en active Pending
Also Published As
Publication number | Publication date |
---|---|
JP6927914B2 (en) | 2021-09-01 |
JP2021183974A (en) | 2021-12-02 |
JP2019174299A (en) | 2019-10-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10317522B2 (en) | Detecting long objects by sensor fusion | |
US10861176B2 (en) | Systems and methods for enhanced distance estimation by a mono-camera using radar and motion data | |
EP3327618B1 (en) | Method and apparatus to control velocity of vehicle | |
JP6582055B2 (en) | Road surface state determination device, imaging device, imaging system, and road surface state determination method | |
US11281230B2 (en) | Vehicle control using vision-based flashing light signal detection | |
JP7351139B2 (en) | sensing device | |
US8886387B1 (en) | Estimating multi-vehicle motion characteristics by finding stable reference points | |
US20150344037A1 (en) | Method and device for predictive determination of a parameter value of a surface on which a vehicle can drive | |
KR20170132860A (en) | Generate three-dimensional map of a scene using manual and active measurements | |
JP2014215877A (en) | Object detection device | |
CN112639908B (en) | Detection device, mobile body system, detection method, and storage medium | |
JP2023095847A (en) | system | |
CN113343738A (en) | Detection method, device and storage medium | |
WO2021069503A1 (en) | Multi-sensory measuring system and method for transportation vehicle operating systems | |
CN110789519B (en) | Method, device, equipment and storage medium for acquiring parking position of vehicle | |
US10904409B2 (en) | Detection apparatus, imaging apparatus, moveable body, and detection method | |
JP7312275B2 (en) | Information processing device, sensing device, moving object, information processing method, and information processing system | |
JP7021798B1 (en) | Trained model generation method, road surface slip friction coefficient estimation device, road surface slip friction coefficient estimation program and road surface slip friction coefficient estimation method | |
US11867835B2 (en) | System and method for classifying pulses generated by a sensor | |
US20230063683A1 (en) | Atmospheric property estimation system and method in dynamic environments using lidar | |
US20230221410A1 (en) | Object sensing device and object sensing method | |
CN114114183A (en) | Vehicle-mounted SAR speed estimation method, system and terminal based on deep learning | |
CN116125440A (en) | Method and device for determining a maximum range of action of a lidar sensor | |
JP2023550392A (en) | Method and apparatus for detecting contamination on a lidar viewing window | |
Chondro et al. | Auto-Quantification of Various Contributing Factors on LiDAR-Camera Modalities Toward Autonomous Driving Environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230324 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240402 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240603 |