JP6299630B2 - 警告装置、警告方法及び警告プログラム - Google Patents

警告装置、警告方法及び警告プログラム Download PDF

Info

Publication number
JP6299630B2
JP6299630B2 JP2015046584A JP2015046584A JP6299630B2 JP 6299630 B2 JP6299630 B2 JP 6299630B2 JP 2015046584 A JP2015046584 A JP 2015046584A JP 2015046584 A JP2015046584 A JP 2015046584A JP 6299630 B2 JP6299630 B2 JP 6299630B2
Authority
JP
Japan
Prior art keywords
warning
detected
images
image
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015046584A
Other languages
English (en)
Other versions
JP2016167173A (ja
Inventor
覚 齋部
覚 齋部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2015046584A priority Critical patent/JP6299630B2/ja
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to EP23151554.5A priority patent/EP4187524A1/en
Priority to EP16761282.9A priority patent/EP3270352B1/en
Priority to PCT/JP2016/001136 priority patent/WO2016143306A1/ja
Priority to CN201680013013.XA priority patent/CN107408288B/zh
Publication of JP2016167173A publication Critical patent/JP2016167173A/ja
Priority to US15/698,099 priority patent/US10474910B2/en
Application granted granted Critical
Publication of JP6299630B2 publication Critical patent/JP6299630B2/ja
Priority to US16/591,537 priority patent/US11423664B2/en
Priority to US17/866,371 priority patent/US11749112B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、警告装置、警告方法及び警告プログラムに関する。
デジタルカメラ等の撮影装置は、一般に、特定の波長の光を通過させるフィルタを用いて撮影対象の領域を撮影する。そして、撮影装置は、撮影対象の領域の光量等に適したフィルタを用いることで、撮影画像の画質を向上させることができる。そのため、可視光の量が多い昼間には、可視光領域をより多く通過させる昼間用のフィルタを適用したカメラを用いる。一方、可視光の量が少ない夜間には、赤外線領域をより多く通過させる夜間用のフィルタを適用した赤外線カメラを用いる。
特許文献1には、赤外線センサと赤外線カメラとを備える監視装置に関する技術が開示されている。特許文献1にかかる監視装置は、赤外線センサで監視するエリアを赤外線カメラにより撮影し、監視カメラによる撮影画像に基づき監視エリアの変化を検出する。そして、検出した変化と赤外線センサの出力とに基づいて異常状態を判定するものである。
近年、車載カメラを用いて車両の周辺を撮影し、撮影された画像を画像認識して画像内の対象物として人物や車等を検出し、運転者に警告するような警告装置が開発されている。そして、特許文献2には、撮影画像から人物を検出するための人物検出装置に関する技術が開示されている。特許文献2にかかる人物検出装置は、画像センサから取得した画像に基づいて対象物の外観を検出し、検出された対象物の外観に関するパラメータと人物に関する比較用パラメータとが一致するか否かを判定し、一致する度合いに応じて、対象物が人物である確率を表す人物確率を演算し、人物確率が予め設定された人物閾値以上である場合に対象物が人物であると判定する。
特開2007−160957号公報 特開2011−146049号公報
ここで、上述した警告装置の場合、車両の外部環境の判別が困難な状況があり得る。例えば、天候の変化や、トンネルの内外など明るさが急激に変化する場所を走行する状況などである。そのため、車両の外部環境の判別が困難な状況では、対象物の検出に基づく警告が困難な場合があるという問題点がある。
尚、特許文献1にかかる監視装置では、監視エリアが施設内の特定領域であり、外部環境の判別が困難な状況を想定したものではない。また、特許文献2にかかる人物検出装置は、解析対象が単一の画像である。それ故、例えば、外部環境の判別が困難な状況なために、適切なフィルタを用いることができなかった場合には、画質が低下してしまう。そして、解析対象の画像の画質が低い場合には、車両の走行を妨げ得る対象物の検出精度が低下し得る。そのため、適切な警告が行えないこととなる。さらに、このような問題は、車両に限らず、移動体全般に搭載される警告装置においても生じる。
本発明は、上述の課題に鑑みてなされたものであり、移動体の外部環境の判別が困難な状況であっても対象物の検出に基づく警告を適切に行なうための警告装置、警告方法及び警告プログラムを提供することを目的とする。
本発明の第1の態様は、複数のフィルタ特性それぞれに基づく複数の画像を取得する画像取得手段と、前記取得された複数の画像のそれぞれに対して、所定の対象物の検出を行なう検出手段と、前記取得された複数の画像のうち少なくともいずれか一つの画像から前記対象物が検出された場合に、所定の警告を行う警告手段と、を備え、前記警告手段は、前記複数の画像の全てから前記対象物が検出された場合には、前記複数の画像の一部から前記対象物が検出された場合よりも警告の度合いを高くする警告装置を提供する。
本発明の第2の態様は、複数のフィルタ特性それぞれに基づく複数の画像を取得する画像取得ステップと、前記取得された複数の画像のそれぞれに対して、所定の対象物の検出を行う検出ステップと、前記取得された複数の画像のうち少なくともいずれか一つの画像から前記対象物が検出された場合に、所定の警告を行う警告ステップと、を備え、前記警告ステップは、前記複数の画像の全てから前記対象物が検出された場合には、前記複数の画像の一部から前記対象物が検出された場合よりも警告の度合いを高くすることを特徴とする警告方法を提供する。
本発明の第3の態様は、複数のフィルタ特性それぞれに基づく複数の画像を取得する画像取得ステップと、前記取得された複数の画像のそれぞれに対して、所定の対象物の検出を行う検出ステップと、前記取得された複数の画像のうち少なくともいずれか一つの画像から前記対象物が検出された場合に、所定の警告を行う警告ステップと、をコンピュータに実行させ、前記警告ステップは、前記複数の画像の全てから前記対象物が検出された場合には、前記複数の画像の一部から前記対象物が検出された場合よりも警告の度合いを高くすることを特徴とする警告プログラムを提供する。
本発明により、移動体の外部環境の判別が困難な状況であっても対象物の検出に基づく警告を適切に行なうための警告装置、警告方法及び警告プログラムを提供することができる。
本実施の形態1にかかる警告装置を搭載した移動体の全体構成を示すブロック図である。 本実施の形態1にかかる警告装置のハードウェア構成を示すブロック図である。 本実施の形態1にかかる対象物の検出及び警告処理の流れを説明するためのフローチャートである。 本実施の形態1にかかる第1のフィルタによる撮影画像の例を示す図である。 本実施の形態1にかかる第2のフィルタによる撮影画像の例を示す図である。 本実施の形態1にかかる警告処理の一例の流れを説明するためのフローチャートである。 本実施の形態1にかかる対象物の位置を強調して画面に表示する例を示す図である。 本実施の形態2にかかる警告装置の構成を示すブロック図である。 本実施の形態2にかかるモード設定処理の流れを説明するためのフローチャートである。 本実施の形態3にかかる画像取得手段の構成を示すブロック図である。
以下では、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。各図面において、同一要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略する。
<発明の実施の形態1>
図1は、本実施の形態1にかかる警告装置10を搭載した移動体1の全体構成を示すブロック図である。移動体1は、警告装置10、表示装置21及びスピーカ22等を搭載し、運転者の操作により走行を行う。移動体1は、例えば、自動車等の車両である。警告装置10は、移動体1の走行中に撮影された画像を解析することで、移動体1と衝突等のおそれのある周辺の対象物を検出し、表示装置21又はスピーカ22等を通じて運転者に警告を行う装置である。なお、表示装置は、例えば、有機EL(electro-luminescence)ディスプレイやプラズマディスプレイである。
警告装置10は、画像取得手段11と、検出手段12と、警告手段13とを備える。画像取得手段11は、移動体1の走行中に、移動体1の周辺領域を異なる複数のフィルタ特性により撮影し、複数の画像として取得する。すなわち、画像取得手段11は、複数のフィルタ特性それぞれに基づく複数の画像を取得する。画像取得手段11は、撮影装置111及び112を有する。撮影装置111及び112は、複数のフィルタ特性のそれぞれに対応する。そして、撮影装置111及び112のそれぞれは、対応するフィルタ特性により撮影を行なう。尚、画像取得手段11が備える撮影装置は2つに限定されない。例えば、画像取得手段11は、3つ以上のフィルタ特性のそれぞれに対応する3つ以上の撮影装置を有していても良い。なお、撮影装置は、例えば、カメラである。
検出手段12は、取得された複数の画像のそれぞれに対して、所定の対象物の検出を行なう。警告手段13は、取得された複数の画像のうち少なくともいずれか一つの画像から対象物が検出された場合に、所定の警告を行う。特に、本発明の実施の形態にかかる警告手段13は、複数の画像の全てから対象物が検出された場合には、複数の画像の一部から対象物が検出された場合よりも警告の度合いを高くする。ここで、警告の度合いを高くするとは、後述の通り、対象物をより認識できるように警告手段の動作を変更することをいう。
図2は、本実施の形態1にかかる警告装置10のハードウェア構成を示すブロック図である。警告装置10は、プロセッサ110、IF(InterFace)部120、撮影装置131及び132、並びに、記憶部140を備える。
プロセッサ110は、CPU(Central Processing Unit)等の制御装置である。IF部120は、警告装置10の外部との入出力を行うインタフェースである。特に、IF部120は、プロセッサ110の制御により、警告を示す情報を表示装置21又はスピーカ22へ出力する。
撮影装置131及び132は、上述した撮影装置111及び112に対応する。撮影装置131は、第1のフィルタ1311及び第1の撮像素子1312を有する。第1のフィルタ1311は、第1の撮像素子1312に入射する光の波長を選択する処理を行う。つまり、第1のフィルタ1311は、撮影装置131の撮影時に適用されるフィルタである。第1のフィルタ1311は、例えば、近赤外領域を遮断して、可視光領域を通過させるフィルタ特性を有するものである。第1のフィルタ1311は、少なくとも昼間等、移動体1の周辺領域が明るい場合に適したフィルタであるものとする。第1の撮像素子1312は、第1のフィルタ1311を通過した光の強度を電気信号に変換する素子である。
撮影装置132は、第2のフィルタ1321及び第2の撮像素子1322を有する。第2のフィルタ1321は、第2の撮像素子1322に入射する光の波長を選択する処理を行う。つまり、第2のフィルタ1321は、撮影装置132の撮影時に適用されるフィルタである。第2のフィルタ1321は、例えば、近赤外領域を遮断して、可視光領域を通過させるフィルタ特性を有するものである。第2のフィルタ1321は、少なくとも夜間等、移動体1の周辺領域が暗い場合に適したフィルタであるものとする。第2の撮像素子1322は、第2のフィルタ1321を通過した光の強度を電気信号に変換する素子である。
記憶部140は、例えば、メモリやハードディスク等の記憶装置である。記憶部140は、警告プログラム141、撮影画像1421及び1422、並びに、指標値1431及び1432を記憶する。警告プログラム141は、本実施の形態にかかる警告装置10の対象物の検出及び警告処理、すなわち警告方法が実装されたコンピュータプログラムである。
撮影画像1421は、撮影装置131が第1のフィルタ1311及び第1の撮像素子1312により撮影した画像データである。撮影画像1422は、撮影装置132が第2のフィルタ1321及び第2の撮像素子1322により撮影した画像データである。指標値1431は、検出手段12による撮影画像1421からの対象物の検出の度合いを示す値である。指標値1432は、検出手段12による撮影画像1422からの対象物の検出の度合いを示す値である。指標値1431及び1432は、撮影画像が画像認識されたた場合の対象物の検出精度の指標値ともいえる。
プロセッサ110は、記憶部140から警告プログラム141を読み込み、実行する。これにより、警告装置10は、IF部120、撮影装置131及び132を適宜用いて本実施の形態にかかる画像取得手段11、検出手段12及び警告手段13等として動作する。
図3は、本実施の形態1にかかる対象物の検出及び警告処理の流れを説明するためのフローチャートである。前提として、夕方等であり、昼間と夜間の間の光量が移動体1に入射されているものとする。
まず、撮影装置111は、移動体1の走行中に、移動体1の周辺領域を第1のフィルタ特性により撮影し、第1の画像として取得する(S111)。このとき、警告装置10は、取得した第1の画像を記憶部140に格納する。そして、検出手段12は、第1の画像に対して所定の対象物の検出を行う(S112)。ここで、図4は、本実施の形態1にかかる第1のフィルタによる撮影画像31の例を示す図である。撮影画像31には、移動体1の進行方向に対象物41がある程度、検出されていることを示す。但し、検出手段12は、対象物41だけでは十分には識別できないものとする。
ステップS111と並行して、撮影装置112は、移動体1の走行中に、移動体1の周辺領域を第2のフィルタ特性により撮影し、第2の画像として取得する(S121)。このとき、警告装置10は、取得した第2の画像を記憶部140に格納する。そして、検出手段12は、第2の画像に対して所定の対象物の検出を行う(S122)。ここで、図5は、本実施の形態1にかかる第2のフィルタによる撮影画像32の例を示す図である。撮影画像32には、移動体1の進行方向に対象物42がわずかに検出されていることを示す。但し、撮影画像32自体が不鮮明であるため、検出手段12は、対象物42と道路との識別が十分にはできないものとする。
ステップS112及びS122の後、警告手段13は、第1の画像及び第2の画像のうち一方の画像から対象物が検出されたか否かを判定する(S131)。ここで、一方から検出された場合、警告手段13は、第1の警告処理を行う(S132)。例えば、警告手段13は、対象物が検出された画像を表示装置21へ出力し、画面に表示させる。例えば、外部環境の光量が十分な場合には、第1の画像に対象物が鮮明に映っているが、第2の画像では対象物が識別できず検出されない。このような場合、警告手段13は、第1の画像を表示装置21へ出力する。そして、運転者は、第1の画像が画面に表示されることで、危険を認識できる。
ステップS131でNOと判定された場合、警告手段13は、第1の画像及び第2の画像の両方から対象物が検出されたか否かを判定する(S133)。例えば、上述した図4及び図5の撮影画像31及び32の場合、両方から対象物が検出された場合となる。このとき、警告手段13は、第2の警告処理を行う(S134)。ここで、第2の警告処理は、ステップS132の第1の警告よりも警告の度合いを高いものとする。ここで警告の度合いが高いものについて説明する。例えば、警告手段13は、第1の画像及び第2の画像のうち対象物がより高い精度で検出された第1の画像を表示装置21へ出力し、画面に表示させる。このとき、警告手段13は、第1の画像を加工して、第1の画像内の対象物付近を強調して表示装置21に表示させてもよい。なお、強調して表示させることとは、後述するが、例えば、対象物を四角の線により囲むことや、対象物又は対象物の上方にマークを付すること、対象物の色彩を変更することなどがある。または、警告手段13は、第1の画像に基づく表示と共に、スピーカ22を介して警告音を出力してもよい。すなわち、警告手段13は、第1の画像及び第2の画像のうち対象物がより高い精度で検出された画像を用いて所定の警告を行う。
一方で、一例として、警告の度合いが上記として比較して高くない場合(例えば、第1の画像又は第2の画像の一方から対象物が検出された場合)についても説明する。この場合では、上述の通り、第1の画像及び第2の画像のうち対象物が映っている画像を表示装置21へ出力し、画面に表示させる。このとき、警告手段13は、第1の画像を加工せず表示装置21に表示させることや、表示装置21に画像を加工して表示させる場合には、警告度合いが高い場合と比較して対象物を囲む線を細くすることや、対象物の上方に付すマークを異ならせることや、変更させる対象物の色彩を異ならせることなどの処理を行う。また、警告手段13がスピーカ22を介して警告音を出力する場合には、警告度合いが高い場合と比較して音量を異ならせること、警告音を変更することなどの処理を行う。
また、ステップS133でNOと判定された場合、図3の処理を終了する。
ここで、図3のステップS112及びS122において、検出手段12は、取得された複数の画像のそれぞれに対して対象物の検出の度合いを示す指標値を算出してもよい。例えば、検出手段12は、特許文献2に示すように、対象物の外観に関するパラメータを検出し、比較用パラメータと検出したパラメータとの一致する度合いを指標値として算出してもよい。なお、外観に関するパラメータとしては、例えば、輝度、彩度、エッジまたはこれらの組み合わせが挙げられる。尚、各画像から対象物を検出する際に指標値を算出する処理はこれに限定されない。
そして、検出手段12は、算出した指標値を記憶部140に格納するものとする。この場合における図3のステップS131からS134の警告処理の一例を図6を用いて説明する。
まず、警告手段13は、指標値が所定値を超える画像が1つか否かを判定する(S131a)。例えば、警告手段13は、記憶部140から読み出した指標値1431が、所定値を超えるか否かを判定する。同様に、警告手段13は、記憶部140から読み出した指標値1432が、所定値を超えるか否かを判定する。そして、指標値1431及び1432のうち一方が所定値を超え、他方が所定値以下である場合、警告手段13は、該当する画像、つまり所定値を超える画像を画面に表示する(S132a)。ステップS132aは、第1の警告処理の一例である。
ステップS131aにおいてNOと判定された場合、警告手段13は、指標値が所定値を超える画像が両方であるか否かを判定する(S133a)。両方である場合、警告手段13は、指標値が最も高い画像を選択する(S134a)。例えば、撮影画像31と32の場合、撮影画像31が選択される。そして、警告手段13は、選択した画像を用いて画面に対象物を強調して表示する(S134b)。例えば、警告手段13は、撮影画像31内の対象物41の領域を囲んだ画像を生成し、表示装置21へ出力して画面に表示させる。ここで、図7は、本実施の形態1にかかる対象物の位置を強調して画面に表示する例を示す図である。撮影画像31内の強調表示領域43が強調表示の一例である。但し、協調表示はこれに限定されない。尚、ステップS133aにおいてNOと判定された場合、図6の処理を終了する。
このように、本実施の形態1から少なくとも次のことがいえる。
まず、これまでのように、2つのフィルタ特性のいずれか用いて撮影する場合には、外部環境に対して適切なフィルタ特性を用いれば、対象物を高い精度で検出することが可能である。しかし、不適切なフィルタ特性を用いた場合には、対象物の検出精度は低くなる。そして、移動体が走行中の場合には、外部環境の判別が困難な状況も起こりうる。そのため、本実施の形態1では、予め複数のフィルタ特性のそれぞれを用いて周辺を撮影することで、少なくともいずれか一つの画像から対象物を検出できる確率が高まる。そのため、危険な状況についてより多くのケースを運転者に警告することができ、安全性を高めることができる。
そして、外部環境の判別が困難な状況として、例えば、光の量からは昼間と夜間との判別が付きにくい夕方などがある。このような状況では、昼用のフィルタと夜用のフィルタのいずれを用いても、それぞれの画像が十分な画質とならず、単一の画像を解析しただけでは、十分な精度で検出できないおそれがある。そこで、本実施の形態1では、同じ対象物について異なる複数のフィルタ特性で撮影した複数の画像のそれぞれからある程度の精度で対象物が検出された場合には、危険な状況であると判定する。特にこのような状況は、昼か夜か明確である場合に比べて、運転者にとっても対象物の認識が困難な可能性がある。そのため、このような状況では通常と比べて警告の度合いを高くすることで、運転者に適切に警告することができる。
また、第1の警告処理より警告の度合いの高い第2の警告処理の場合には、2画像のうち対象物がより高い精度で検出された画像を用いる。その理由は、2つ以上の撮影画像から対象物が検出された場合には、検出精度がより高い画像を用いて警告することで、運転者には対象物の識別がよりし易くなるためである。
<発明の実施の形態2>
本実施の形態2は、上述した実施の形態1の改良例である。図8は、本実施の形態2にかかる警告装置10aの構成を示すブロック図である。警告装置10aは、図1の警告装置10に位置情報取得手段14及び設定手段15が追加されたものである。そのため、以下の説明では、図1と同等の構成についての説明は省略する。また、説明の便宜上、図2の記憶部140に相当する記憶部16を図8に図示している。尚、警告プログラム141には、実施の形態2に対応する機能も実装されているものとする。
記憶部16は、図2の記憶部140内の構成に加えて、地図情報161、特定領域162、位置情報163、第1のモード164及び第1のモード165がさらに記憶されているものとする。地図情報161は、車両が走行する道路や各施設の位置が座標で定義された情報である。尚、地図情報161は、一般的なカーナビゲーションシステムで用いられるものを用いることができる。特定領域162は、地図情報161内の一部の領域を予め定義した情報である。特定領域162は、例えば、高速道路、一般道、トンネル内、鉄道の駅付近等のエリアを示す。位置情報163は、位置情報取得手段14により取得された、移動体1の現在の位置情報である。
第1のモード164は、画像取得手段11が一つのフィルタ特性により撮影することを定義した設定情報である。第2のモード165は、画像取得手段11が複数のフィルタ特性により撮影することを定義した設定情報である。
位置情報取得手段14は、移動体1の現在の位置情報を定期的に取得する。そして、位置情報取得手段14は、取得した位置情報を記憶部16に格納する。位置情報取得手段14は、例えば、車両に搭載され、GPS(Global Positioning System)情報を取得する装置である。
設定手段15は、第1のモード164、又は、第2のモード165を、所定の条件により選択し、選択したモードを画像取得手段11に設定する。さらに、設定手段15は、取得した位置情報163が地図情報161上の特定の領域162の範囲内である場合に、第2のモード165を選択して画像取得手段11に設定する。
ここで、所定の条件としては、例えば、位置情報、時間情報、天候、道路情報、又は、走行情報等の一部又は全部を用いた条件であるものとする。位置情報を用いた条件としては、例えば、現在位置と特定位置との距離が所定値以内か否かであるか、または、特定領域の範囲内か否か等である。また、時間情報を用いた条件としては、例えば、現在の月日による季節の判別条件、時分による昼夜や夕方等の時間帯の判別条件等である。尚、時間情報を用いるためには、別途、現在時刻の情報を取得する構成等が必要である。
また、天候を用いた条件としては、例えば、雲の状態、天気が快晴、曇り、雨等であるか等である。尚、天候を用いるためには、別途、天候の情報を取得する構成等が必要である。また、道路情報を用いた条件としては、例えば、道路種別が高速道路か一般道か、道路の幅員、道路標識、道路形状、路面状態等の判別条件である。尚、道路情報を用いるためには、別途、走行中の道路に関する情報を取得する構成等が必要である。また、走行情報を用いた条件としては、車両の速度やブレーキの制御情報等が所定値を超えるか否か等の判別条件である。尚、走行情報を用いるためには、別途、車両から速度やブレーキの制御情報を取得する構成等が必要である。
図9は、本実施の形態2にかかるモード設定処理の流れを説明するためのフローチャートである。まず、位置情報取得手段14は、定期的に現在の位置情報を取得する(S21)。次に、設定手段15は、取得した位置情報が特定領域の範囲内であるか否かを判定する(S22)。特定領域の範囲内であると判定した場合、設定手段15は、第2のモードを選択する(S23)。一方、特定領域の範囲外であると判定した場合、設定手段15は、第1のモードを選択する(S24)。その後、設定手段15は、選択したモードを画像取得手段11に設定する(S25)。
このように、本実施の形態2では、撮影時に用いるフィルタの種類を状況に応じて切り替えることができる。これにより、外部環境の判別が容易な場合には、第1のモードを用いて移動体1の消費電力等を抑えることができる。また、外部環境の判別が困難な場合には、複数のフィルタ特性を用いる第2のモードに即時に切り替えることができる。
<発明の実施の形態3>
本実施の形態3は、上述した実施の形態1の変形例である。上述した実施の形態1では、画像取得手段11は、2つの撮影装置を有するものであったが、本実施の形態3にかかる画像取得手段11は、1つの撮影装置を有するものである。
図10は、本実施の形態3にかかる画像取得手段11aの構成を示すブロック図である。画像取得手段11aは、1つの撮影装置113を有する。撮影装置113は、複数のフィルタ特性を定期的に切り替えて撮影を行なう。撮影装置113は、フィルタ1131、撮像素子1132及び切替手段1133を備える。フィルタ1131は、撮像素子1132に入射する光の波長を選択する処理を行う。例えば、フィルタ1131は、可視光領域や近赤外領域を選択して光を通過させ、撮像素子1132へ入射する。尚、フィルタ1131には、赤外領域カットフィルタ(IRフィルタ)、ハイパスフィルタ、バンドパスフィルタ等を含めることができる。つまり、フィルタ1131は、複数種類のフィルタ特性のうち選択されたものを実現できる。撮像素子1132は、フィルタ1131を通過した光の強度を電気信号に変換する素子である。切替手段1133は、フィルタ1131に対して選択したフィルタ特性を設定するものである。そして、切替手段1133は、定期的にフィルタ特性の選択を切り替える。尚、切替手段1133は、複数のフィルタ特性により複数の撮影装置が同時に同一の対象を撮影する場合と、実質的に同等となるような速さで、フィルタ特性を切り替えるものとする。なお、切替手段がクロックを有するか、またクロックによる信号を受信することにより、定期的に切り替え撮影を行う。
このように、本実施の形態3によっても、上述した実施の形態1と同等の効果を奏することができる。
<その他の発明の実施の形態>
尚、上述した各実施例は、適宜、組み合せることが可能である。すなわち、実施形態2と実施形態3を組み合わせても構わない。
以上、本発明を上記実施の形態に即して説明したが、本発明は上記実施の形態の構成にのみ限定されるものではなく、本願特許請求の範囲の請求項の発明の範囲内で当業者であればなし得る各種変形、修正、組み合わせを含むことは勿論である。
また、上述の車載装置の任意の処理は、CPU(Central Processing Unit)にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Read Only Memory)、CD−R、CD−R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
また、コンピュータが上述の実施の形態の機能を実現するプログラムを実行することにより、上述の実施の形態の機能が実現される場合だけでなく、このプログラムが、コンピュータ上で稼動しているOS(Operating System)もしくはアプリケーションソフトウェアと共同して、上述の実施の形態の機能を実現する場合も、本発明の実施の形態に含まれる。さらに、このプログラムの処理の全てもしくは一部がコンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットによって行われて、上述の実施の形態の機能が実現される場合も、本発明の実施の形態に含まれる。
1 移動体
10 警告装置
10a 警告装置
11 画像取得手段
11a 画像取得手段
111 撮影装置
112 撮影装置
113 撮影装置
1131 フィルタ
1132 撮像素子
1133 切替手段
12 検出手段
13 警告手段
14 位置情報取得手段
15 設定手段
16 記憶部
161 地図情報
162 特定領域
163 位置情報
164 第1のモード
165 第2のモード
21 表示装置
22 スピーカ
110 プロセッサ
120 IF部
131 撮影装置
1311 第1のフィルタ
1312 第1の撮像素子
132 撮影装置
1321 第2のフィルタ
1322 第2の撮像素子
140 記憶部
141 警告プログラム
1421 撮影画像
1422 撮影画像
1431 指標値
1432 指標値
31 撮影画像
32 撮影画像
41 対象物
42 対象物
43 強調表示領域

Claims (10)

  1. 複数のフィルタ特性それぞれに基づく複数の画像を取得する画像取得手段と、
    前記取得された複数の画像のそれぞれに対して、所定の対象物の検出を行なう検出手段と、
    前記取得された複数の画像のうち少なくともいずれか一つの画像から前記対象物が検出された場合に、所定の警告を行う警告手段と、
    を備え、
    前記警告手段は、
    前記複数の画像の全てから前記対象物が検出された場合には、前記複数の画像の一部から前記対象物が検出された場合よりも警告の度合いを高くする
    警告装置。
  2. 前記警告手段は、
    前記複数の画像のうち2以上から前記対象物が検出された場合、前記対象物がより高い精度で検出された画像を用いて前記所定の警告を行う
    請求項1に記載の警告装置。
  3. 前記検出手段は、
    前記取得された複数の画像のそれぞれに対して前記対象物の検出の度合いを示す指標値を算出し、
    前記警告手段は、
    前記指標値が所定値を超える画像を、前記対象物が検出されたものとし、
    前記複数の画像のうち2以上から前記対象物が検出された場合、前記指標値が最も高い画像を用いて前記所定の警告を行う
    請求項2に記載の警告装置。
  4. 前記画像取得手段が一つのフィルタ特性により撮影する第1のモード、又は、前記画像取得手段が前記複数のフィルタ特性により撮影する第2のモードを、所定の条件により選択し、選択したモードを前記画像取得手段に設定する設定手段をさらに備える
    請求項1〜3のいずれか1項に記載の警告装置。
  5. 前記警告装置を搭載した移動体の現在の位置情報を取得する位置情報取得手段をさらに備え、
    前記設定手段は、
    前記取得した位置情報が地図情報上の特定の領域の範囲内である場合に、前記第2のモードを選択して前記画像取得手段に設定する
    請求項4に記載の警告装置。
  6. 前記警告手段は、
    前記検出手段により前記対象物が検出された場合、前記検出された画像上の前記対象物の位置を強調して画面に表示することにより前記所定の警告を行う
    請求項1〜5のいずれか1項に記載の警告装置。
  7. 前記画像取得手段は、
    前記複数のフィルタ特性のそれぞれに対応する複数の撮影装置を有し、
    前記複数の撮影装置のそれぞれは、
    対応するフィルタ特性により撮影を行なう
    請求項1〜6のいずれか1項に記載の警告装置。
  8. 前記画像取得手段は、1つの撮影装置を有し、
    前記撮影装置は、前記複数のフィルタ特性を定期的に切り替えて撮影を行なう
    請求項1〜6のいずれか1項に記載の警告装置。
  9. 複数のフィルタ特性それぞれに基づく複数の画像を取得する画像取得ステップと、
    前記取得された複数の画像のそれぞれに対して、所定の対象物の検出を行う検出ステップと、
    前記取得された複数の画像のうち少なくともいずれか一つの画像から前記対象物が検出された場合に、所定の警告を行う警告ステップと、
    を備え、
    前記警告ステップは、
    前記複数の画像の全てから前記対象物が検出された場合には、前記複数の画像の一部から前記対象物が検出された場合よりも警告の度合いを高くする
    ことを特徴とする警告方法。
  10. 複数のフィルタ特性それぞれに基づく複数の画像を取得する画像取得ステップと、
    前記取得された複数の画像のそれぞれに対して、所定の対象物の検出を行う検出ステップと、
    前記取得された複数の画像のうち少なくともいずれか一つの画像から前記対象物が検出された場合に、所定の警告を行う警告ステップと、
    をコンピュータに実行させ、
    前記警告ステップは、
    前記複数の画像の全てから前記対象物が検出された場合には、前記複数の画像の一部から前記対象物が検出された場合よりも警告の度合いを高くする
    ことを特徴とする警告プログラム。
JP2015046584A 2015-03-10 2015-03-10 警告装置、警告方法及び警告プログラム Active JP6299630B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2015046584A JP6299630B2 (ja) 2015-03-10 2015-03-10 警告装置、警告方法及び警告プログラム
EP16761282.9A EP3270352B1 (en) 2015-03-10 2016-03-02 Alert device, alert method, and alert program
PCT/JP2016/001136 WO2016143306A1 (ja) 2015-03-10 2016-03-02 警告装置、警告方法及び警告プログラム
CN201680013013.XA CN107408288B (zh) 2015-03-10 2016-03-02 警告装置、警告方法以及警告程序
EP23151554.5A EP4187524A1 (en) 2015-03-10 2016-03-02 Alert device, alert method, and alert program
US15/698,099 US10474910B2 (en) 2015-03-10 2017-09-07 Warning device, warning method, and warning program
US16/591,537 US11423664B2 (en) 2015-03-10 2019-10-02 Warning device, warning method, and warning program
US17/866,371 US11749112B2 (en) 2015-03-10 2022-07-15 Warning device, warning method, and warning program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015046584A JP6299630B2 (ja) 2015-03-10 2015-03-10 警告装置、警告方法及び警告プログラム

Publications (2)

Publication Number Publication Date
JP2016167173A JP2016167173A (ja) 2016-09-15
JP6299630B2 true JP6299630B2 (ja) 2018-03-28

Family

ID=56897605

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015046584A Active JP6299630B2 (ja) 2015-03-10 2015-03-10 警告装置、警告方法及び警告プログラム

Country Status (1)

Country Link
JP (1) JP6299630B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6677830B1 (ja) * 2019-01-18 2020-04-08 ソフトバンク株式会社 情報処理装置の制御プログラム、情報処理装置の制御方法、及び、情報処理装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3822515B2 (ja) * 2002-03-29 2006-09-20 株式会社東芝 障害物検知装置及びその方法
JP2012240530A (ja) * 2011-05-18 2012-12-10 Koito Mfg Co Ltd 画像処理装置
CN103975585B (zh) * 2011-12-16 2016-10-12 本田技研工业株式会社 图像处理装置

Also Published As

Publication number Publication date
JP2016167173A (ja) 2016-09-15

Similar Documents

Publication Publication Date Title
WO2016143306A1 (ja) 警告装置、警告方法及び警告プログラム
JP7332726B2 (ja) ヒートマップを使用したドライバーの注目の検出
CN108460734B (zh) 车辆驾驶员辅助模块进行图像呈现的***和方法
JP5577398B2 (ja) 車両の周辺監視装置
WO2016113983A1 (ja) 画像処理装置、画像処理方法、プログラム及びシステム
JP5809751B2 (ja) 対象物認識装置
JP2008027309A (ja) 衝突判定システム、及び衝突判定方法
JP2014215877A (ja) 物体検出装置
WO2018042747A1 (ja) 画像処理装置、画像処理システム、画像処理プログラムおよびラベル
WO2020031970A1 (en) Information processing device, information processing method, and program
JP2010234851A (ja) 車両用表示装置
JP5937832B2 (ja) 車載カメラ用露出制御装置
JP2007323578A (ja) 車両周辺監視装置
US20160232415A1 (en) Detection detection of cell phone or mobile device use in motor vehicle
CN114332821A (zh) 决策信息获取方法、装置、终端及存储介质
JP2019146012A (ja) 撮像装置
JP5083164B2 (ja) 画像処理装置及び画像処理方法
JP2020052639A (ja) 車両監視装置及び車両監視システム
JP6299630B2 (ja) 警告装置、警告方法及び警告プログラム
JP6387869B2 (ja) 警告装置、警告方法及び警告プログラム
JP2008028478A (ja) 障害物検出システム、及び障害物検出方法
JP2015032107A (ja) 車両周辺監視装置
JP2017174174A (ja) 対象物認識装置、対象物認識方法及び対象物認識プログラム
JP2012142832A (ja) 撮像装置
KR102299500B1 (ko) 전자 장치 및 그의 제어 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170330

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171205

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180212

R150 Certificate of patent or registration of utility model

Ref document number: 6299630

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150