JP2016167174A - Warning device, warning method, and warning program - Google Patents
Warning device, warning method, and warning program Download PDFInfo
- Publication number
- JP2016167174A JP2016167174A JP2015046585A JP2015046585A JP2016167174A JP 2016167174 A JP2016167174 A JP 2016167174A JP 2015046585 A JP2015046585 A JP 2015046585A JP 2015046585 A JP2015046585 A JP 2015046585A JP 2016167174 A JP2016167174 A JP 2016167174A
- Authority
- JP
- Japan
- Prior art keywords
- image
- warning
- image group
- images
- degree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、警告装置、警告方法及び警告プログラムに関する。 The present invention relates to a warning device, a warning method, and a warning program.
デジタルカメラ等の撮影装置は、一般に、特定の波長の光を通過させるフィルタを用いて撮影対象の領域を撮影する。そして、撮影装置は、撮影対象の領域の光量等に適したフィルタを用いることで、撮影画像の画質を向上させることができる。そのため、可視光の量が多い昼間には、可視光領域をより多く通過させる昼間用のフィルタを適用したカメラを用いる。一方、可視光の量が少ない夜間には、赤外線領域をより多く通過させる夜間用のフィルタを適用した赤外線カメラを用いる。 An imaging device such as a digital camera generally images an area to be imaged using a filter that allows light of a specific wavelength to pass through. The image capturing apparatus can improve the image quality of the captured image by using a filter suitable for the amount of light in the region to be imaged. Therefore, during the daytime when the amount of visible light is large, a camera to which a daytime filter that passes more visible light region is applied is used. On the other hand, at night when the amount of visible light is small, an infrared camera to which a night filter that allows more infrared region to pass is applied.
特許文献１には、赤外線センサと赤外線カメラとを備える監視装置に関する技術が開示されている。特許文献１にかかる監視装置は、赤外線センサで監視するエリアを赤外線カメラにより撮影し、監視カメラによる撮影画像に基づき監視エリアの変化を検出する。そして、検出した変化と赤外線センサの出力とに基づいて異常状態を判定するものである。 Patent Document 1 discloses a technique related to a monitoring device including an infrared sensor and an infrared camera. The monitoring apparatus according to Patent Document 1 captures an area monitored by an infrared sensor using an infrared camera, and detects a change in the monitored area based on a captured image captured by the monitoring camera. Then, the abnormal state is determined based on the detected change and the output of the infrared sensor.
近年、車載カメラを用いて車両の周辺を撮影し、撮影された画像を画像認識して画像内の対象物として人物や車等を検出し、運転者に警告するような警告装置が開発されている。そして、特許文献２には、撮影画像から人物を検出するための人物検出装置に関する技術が開示されている。特許文献２にかかる人物検出装置は、画像センサから取得した画像に基づいて対象物の外観を検出し、検出された対象物の外観に関するパラメータと人物に関する比較用パラメータとが一致するか否かを判定し、一致する度合いに応じて、対象物が人物である確率を表す人物確率を演算し、人物確率が予め設定された人物閾値以上である場合に対象物が人物であると判定する。
In recent years, warning devices have been developed that take pictures of the surroundings of a vehicle using an in-vehicle camera, recognize the photographed image, detect a person or car as an object in the image, and warn the driver. Yes.
ここで、上述した警告装置では、車両の走行方向に対象物が存在する場合、衝突する可能性があるために運転者に警告を行う必要がある。衝突の可能性は、車両の走行中に連続して撮影された画像の解析結果から、対象物の相対的な移動速度や移動方向等を予測することで求めることができる。しかしながら、車両の外部環境の判別が困難な状況では、対象物の移動の検出精度が低下する可能性があり、適切な警告が困難な場合があるという問題点がある。ここで、車両の外部環境の判別が困難な状況とは、例えば、天候が変化する場合や、トンネルに入る前後で周辺の明るさが急激に変化する場合などである。 Here, in the warning device described above, when there is an object in the traveling direction of the vehicle, there is a possibility of collision, so it is necessary to warn the driver. The possibility of a collision can be obtained by predicting the relative moving speed, moving direction, etc. of an object from the analysis result of images taken continuously while the vehicle is running. However, in a situation where it is difficult to determine the external environment of the vehicle, there is a possibility that the detection accuracy of the movement of the object may be lowered, and there is a problem that an appropriate warning may be difficult. Here, the situation where it is difficult to determine the external environment of the vehicle is, for example, when the weather changes or when the brightness of the surroundings changes abruptly before and after entering the tunnel.
尚、特許文献１にかかる監視装置では、監視エリアが施設内の特定領域であり、外部環境の判別が困難な状況を想定したものではない。また、特許文献２にかかる人物検出装置は、解析対象が単一の画像である。それ故、例えば、外部環境の判別が困難な状況なために、適切なフィルタを用いることができなかった場合には、画質が低下してしまう。そして、解析対象の画像の画質が低い場合には、車両の走行を妨げ得る対象物の移動の検出精度が低下し得る。そのため、適切な警告が行えないこととなる。さらに、このような問題は、車両に限らず、移動体全般に搭載される警告装置においても生じる。
In the monitoring apparatus according to Patent Document 1, it is not assumed that the monitoring area is a specific area in the facility and it is difficult to determine the external environment. Moreover, the person detection apparatus according to
本発明は、上述の課題に鑑みてなされたものであり、移動体の外部環境の判別が困難な状況であっても対象物の移動の検出精度を維持して警告を適切に行なうための警告装置、警告方法及び警告プログラムを提供することを目的とする。 The present invention has been made in view of the above-described problems, and is a warning for appropriately performing a warning while maintaining the detection accuracy of the movement of an object even in a situation where it is difficult to determine the external environment of the moving body. An object is to provide a device, a warning method, and a warning program.
本発明の第１の態様は、連続して撮影される複数の画像から構成される画像群を取得する画像取得手段と、前記画像群内の画像のそれぞれに対して、対象物の検出を行う検出手段と、前記画像群における前記対象物の検出結果を時系列に沿って比較して、前記対象物の移動の度合いを判定する判定手段と、前記判定された移動の度合いに応じて警告を行う警告手段とを備え、前記画像取得手段は、複数のフィルタ特性それぞれに基づく複数の画像群を取得することを特徴とする警告装置を提供する。 According to a first aspect of the present invention, an object is detected for each of an image acquisition unit that acquires an image group composed of a plurality of images photographed in succession, and an image in the image group. A detection means, a detection means for comparing the detection results of the object in the image group along a time series, determining a degree of movement of the object, and a warning according to the determined degree of movement. A warning device for performing a warning, wherein the image acquisition unit acquires a plurality of image groups based on each of a plurality of filter characteristics.
本発明の第２の態様は、連続して撮影される複数の画像から構成される画像群を取得する画像取得ステップと、前記画像群内の画像のそれぞれに対して、対象物の検出を行う検出ステップと、前記画像群における前記対象物の検出結果を時系列に沿って比較して、前記対象物の移動の度合いを判定する判定ステップと、前記判定された移動の度合いに応じて警告を行う警告ステップとを有し、前記画像取得ステップは、複数のフィルタ特性それぞれに基づく複数の画像群を取得することを特徴とする警告方法を提供する。 According to a second aspect of the present invention, an image acquisition step for acquiring an image group composed of a plurality of images photographed in succession, and detection of an object for each of the images in the image group. A detection step, a determination step for determining the degree of movement of the object by comparing the detection results of the object in the image group along a time series, and a warning according to the determined degree of movement A warning step to be performed, wherein the image acquisition step acquires a plurality of image groups based on each of the plurality of filter characteristics.
本発明の第３の態様は、連続して撮影される複数の画像から構成される画像群を取得する画像取得ステップと、前記画像群内の画像のそれぞれに対して、対象物の検出を行う検出ステップと、前記画像群における前記対象物の検出結果を時系列に沿って比較して、前記対象物の移動の度合いを判定する判定ステップと、前記判定された移動の度合いに応じて警告を行う警告ステップとをコンピュータに実行させ、前記画像取得ステップは、複数のフィルタ特性それぞれに基づく複数の画像群を取得することを特徴とする警告プログラムを提供する。 According to a third aspect of the present invention, an image acquisition step of acquiring an image group composed of a plurality of images that are continuously captured, and an object is detected for each of the images in the image group. A detection step, a determination step for determining the degree of movement of the object by comparing the detection results of the object in the image group along a time series, and a warning according to the determined degree of movement A warning program to be executed by the computer, wherein the image acquisition step acquires a plurality of image groups based on each of the plurality of filter characteristics.
本発明により、移動体の外部環境の判別が困難な状況であっても対象物の移動の検出精度を維持して警告を適切に行なうための警告装置、警告方法及び警告プログラムを提供することができる。 According to the present invention, it is possible to provide a warning device, a warning method, and a warning program for appropriately performing a warning while maintaining the detection accuracy of the movement of an object even in a situation where it is difficult to determine the external environment of the moving body. it can.
以下では、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。各図面において、同一要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略する。 Hereinafter, specific embodiments to which the present invention is applied will be described in detail with reference to the drawings. In the drawings, the same elements are denoted by the same reference numerals, and redundant description will be omitted as necessary for the sake of clarity.
＜発明の実施の形態１＞
図１は、本実施の形態１にかかる警告装置１０を搭載した移動体１の全体構成を示すブロック図である。移動体１は、警告装置１０、表示装置２１及びスピーカ２２等を搭載し、運転者の操作により走行を行う。移動体１は、例えば、自動車等の車両である。警告装置１０は、移動体１の走行中に撮影された画像を解析することで、移動体１と衝突等のおそれのある周辺の対象物を検出し、表示装置２１又はスピーカ２２等を通じて運転者に警告を行う装置である。なお、表示装置は、例えば、有機ＥＬ（electro-luminescence）ディスプレイやプラズマディスプレイである。
<Embodiment 1 of the Invention>
FIG. 1 is a block diagram showing an overall configuration of a moving body 1 equipped with a
警告装置１０は、画像取得手段１１と、検出手段１２と、判定手段１３と、警告手段１４とを備える。画像取得手段１１は、移動体１の走行中に、移動体１の周辺領域を異なる複数のフィルタ特性により連続して並列に撮影する。そして、画像取得手段１１は、撮影した複数の画像を、フィルタ特性ごとに時系列に沿った複数の画像群として取得する。言い換えると、画像取得手段１１は、連続して撮影される複数の画像から構成される画像群を取得する。そして、画像取得手段１１は、複数のフィルタ特性それぞれに基づく複数の画像群を取得する。画像取得手段１１は、撮影装置１１１及び１１２を有する。撮影装置１１１及び１１２は、複数のフィルタ特性のそれぞれに対応する。そして、撮影装置１１１及び１１２のそれぞれは、対応するフィルタ特性により撮影を行なう。尚、画像取得手段１１が備える撮影装置は２つに限定されない。例えば、画像取得手段１１は、３つ以上のフィルタ特性のそれぞれに対応する３つ以上の撮影装置を有していても良い。また、撮影装置は、例えば、カメラである。
The
検出手段１２は、複数の画像群内の画像のそれぞれに対して、所定の対象物の検出を行う。ここで、対象物の検出とは、画像認識により対象物の外観の検出を試みる処理である。そして、検出手段１２は、画像ごとに検出結果を生成する。 The detection means 12 detects a predetermined target object for each of the images in the plurality of image groups. Here, the detection of the object is a process of trying to detect the appearance of the object by image recognition. And the detection means 12 produces | generates a detection result for every image.
例えば、車両の走行方向のカメラによる撮影画像には、道路の形状と共に道路の横断者が映されている場合がある。このような場合には、横断者の外観の領域が検出され得る。検出手段１２は、このときの検出結果を指標値として生成する。また、検出手段１２は、特許文献２に示すように、対象物の外観に関するパラメータを検出し、比較用パラメータと検出したパラメータとの一致する度合いを検出結果として生成してもよい。尚、各画像から対象物を検出する際に検出結果を生成する処理はこれに限定されない。また、対象物は、人間に限定されず、動物や他の車両等の移動体１の走行の妨げとなり得る移動体を含む。または、対象物は、移動体である必要はなく、路上で立ち止まっている人物等か、停車している車両か、通行止めを示す看板、路上に放置された障害物等であってもよい。なお、外観に関するパラメータとしては、例えば、輝度、彩度、エッジまたはこれらの組み合わせが挙げられる。
For example, there may be a case where a crossing person of a road is shown together with the shape of the road in an image taken by a camera in the traveling direction of the vehicle. In such a case, a region of the crosser's appearance can be detected. The detection means 12 generates the detection result at this time as an index value. Further, as shown in
判定手段１３は、複数の画像群における対象物の検出結果を時系列に沿って比較して、対象物の移動の度合いを判定する。ここで、「検出結果を時系列に沿って比較」するとは、例えば、撮影時刻が隣接する画像同士の検出結果を比較することを示す。このとき、画像群ごとに比較を行っても良く、異なる画像群に属する画像同士の検出結果を比較してもよい。または、同じ撮影時刻における異なる画像群に属する画像同士の検出結果を比較してもよい。さらに、ある撮影時刻における異なる画像群に属する画像同士の検出結果の平均値を算出し、隣接する撮影時刻における平均値を比較してもよい。
The
また、「移動の度合い」とは、例えば、対象物が移動体１に近付いているか、遠ざかっているかの度合い、つまり、対象物の移動体１への接近度合い又は接近速度や、対象物の移動速度や移動方向等を含む。また、「対象物の移動の度合いを判定」するとは、例えば、接近速度等が基準値と比べて速いか否か等を判定することを含む。または、対象物が道路を横切って移動している場合には、移動方向や移動速度と、移動体１の走行方向と走行速度とから対象物と移動体１との衝突確率を算出し、衝突確率が基準値を超えているか否か等を判定してもよい。 The “degree of movement” refers to, for example, the degree of whether the object is approaching or moving away from the moving body 1, that is, the degree of approach or speed of the object to the moving body 1, or the movement of the object Including speed and moving direction. Further, “determining the degree of movement of the object” includes, for example, determining whether or not the approach speed is faster than the reference value. Alternatively, when the object is moving across the road, the collision probability between the object and the moving object 1 is calculated from the moving direction and moving speed, and the moving direction and moving speed of the moving object 1, and the collision It may be determined whether or not the probability exceeds a reference value.
警告手段１４は、判定された移動の度合いに応じて警告を行う。例えば、移動の度合いにより対象物が移動体１に近付いている場合には、警告を行う。特に、接近度合いが基準値を超えている場合には、警告度合いを大きくする。また、上述したように衝突確率が基準値を超えている場合にも、警告度合いを大きくする。
The
図２は、本実施の形態１にかかる警告装置１０のハードウェア構成を示すブロック図である。警告装置１０は、プロセッサ１１０、ＩＦ（InterFace）部１２０、撮影装置１３１及び１３２、並びに、記憶部１４０を備える。
FIG. 2 is a block diagram of a hardware configuration of the
プロセッサ１１０は、ＣＰＵ（Central Processing Unit）等の制御装置である。ＩＦ部１２０は、警告装置１０の外部との入出力を行うインタフェースである。特に、ＩＦ部１２０は、プロセッサ１１０の制御により、警告を示す情報を表示装置２１又はスピーカ２２へ出力する。
The
撮影装置１３１及び１３２は、上述した撮影装置１１１及び１１２に対応する。撮影装置１３１は、第１のフィルタ１３１１及び第１の撮像素子１３１２を有する。第１のフィルタ１３１１は、第１の撮像素子１３１２に入射する光の波長を選択する処理を行う。つまり、第１のフィルタ１３１１は、撮影装置１３１の撮影時に適用されるフィルタである。第１のフィルタ１３１１は、例えば、近赤外領域を遮断して、可視光領域を通過させるフィルタ特性を有するものである。第１のフィルタ１３１１は、少なくとも昼間等、移動体１の周辺領域が明るい場合に適したフィルタであるものとする。第１の撮像素子１３１２は、第１のフィルタ１３１１を通過した光の強度を電気信号に変換する素子である。
The photographing
撮影装置１３２は、第２のフィルタ１３２１及び第２の撮像素子１３２２を有する。第２のフィルタ１３２１は、第２の撮像素子１３２２に入射する光の波長を選択する処理を行う。つまり、第２のフィルタ１３２１は、撮影装置１３２の撮影時に適用されるフィルタである。第２のフィルタ１３２１は、例えば、近赤外領域を遮断して、可視光領域を通過させるフィルタ特性を有するものである。第２のフィルタ１３２１は、少なくとも夜間等、移動体１の周辺領域が暗い場合に適したフィルタであるものとする。第２の撮像素子１３２２は、第２のフィルタ１３２１を通過した光の強度を電気信号に変換する素子である。
The
記憶部１４０は、メモリ等の記憶装置である。記憶部１４０は、警告プログラム１４１、第１の画像群１４２１及び第２の画像群１４２２、検出結果１４３及び接近速度１４４を記憶する。警告プログラム１４１は、本実施の形態にかかる警告装置１０の処理すなわち警告方法が実装されたコンピュータプログラムである。
The
第１の画像群１４２１は、移動体１の走行中に、移動体１の周辺領域が第１のフィルタ特性により連続して撮影された複数の撮影画像１４２１１、１４２１２・・・の時系列に沿った集合である。例えば、撮影画像１４２１１、１４２１２、・・・は、この順序に連続して撮影されたものとする。また、第２の画像群１４２２は、第１の画像群１４２１の撮影と並行して、移動体１の周辺領域が第２のフィルタ特性により連続して撮影された複数の撮影画像１４２２１、１４２２２・・・の時系列に沿った集合である。例えば、撮影画像１４２２１、１４２２２、・・・は、この順序に連続して撮影されたものとする。つまり、撮影画像１４２１１と１４２２１とは、撮影時刻が対応し、撮影画像１４２１２と１４２２２とは、撮影時刻が対応する。
The first image group 1421 follows a time series of a plurality of captured
検出結果１４３は、各撮影画像に対して対象物の検出を試みた結果である。検出結果１４３は、撮影画像ごとに存在するものとする。接近速度１４４は、対象物の移動体１への接近度合いの一例であり、移動体１に対する対象物の相対的な移動速度である。接近速度１４４は、撮影時刻のことから複数の画像の検出結果等から算出される。 The detection result 143 is a result of an attempt to detect an object for each captured image. It is assumed that the detection result 143 exists for each captured image. The approach speed 144 is an example of the degree of approach of the object to the moving body 1 and is a relative moving speed of the object with respect to the moving body 1. The approach speed 144 is calculated from detection results of a plurality of images from the shooting time.
プロセッサ１１０は、記憶部１４０から警告プログラム１４１を読み込み、実行する。これにより、警告装置１０は、ＩＦ部１２０、撮影装置１３１及び１３２を適宜用いて本実施の形態にかかる画像取得手段１１、検出手段１２、判定手段１３及び警告手段１４等として動作する。
The
図３は、本実施の形態１にかかる撮影から警告までの処理の流れを説明するためのフローチャートである。まず、撮影装置１１１は、移動体１の走行中に、移動体１の周辺領域を第１のフィルタ特性により連続して撮影する（Ｓ１１）。そして、画像取得手段１１は、撮影画像を第１の画像群として取得する（Ｓ１２）。具体的には、画像取得手段１１は、撮影するごとに撮影画像を記憶部１４０内の第１の画像群１４２１に対応付けて保存する。そして、検出手段１２は、第１の画像群の各画像に対して所定の対象物の検出を行う（Ｓ１３）。具体的には、検出手段１２は、記憶部１４０に保存された第１の画像群１４２１に対応付けられた撮影画像１４２１１等を読み出し、画像ごとに検出処理を行い、検出結果を記憶部１４０に保存する。
FIG. 3 is a flowchart for explaining the flow of processing from photographing to warning according to the first embodiment. First, the photographing
また、撮影装置１１２は、ステップＳ１１と並行して、移動体１の走行中に、移動体１の周辺領域を第２のフィルタ特性により連続して撮影する（Ｓ１４）。そして、画像取得手段１１は、撮影画像を第２の画像群として取得する（Ｓ１５）。具体的には、画像取得手段１１は、撮影するごとに撮影画像を記憶部１４０内の第２の画像群１４２２に対応付けて保存する。そして、検出手段１２は、第２の画像群の各画像に対して所定の対象物の検出を行う（Ｓ１６）。具体的には、検出手段１２は、記憶部１４０に保存された第２の画像群１４２２に対応付けられた撮影画像１４２２１等を読み出し、画像ごとに検出処理を行い、検出結果を記憶部１４０に保存する。
In parallel with step S11, the photographing
尚、検出手段１２は、撮影装置１１１及び１１２により撮影されるごとにステップＳ１３及びＳ１６の検出処理を行っても構わない。
Note that the
その後、判定手段１３は、第１の画像群及び第２の画像群における検出結果を時系列に沿って比較して、対象物の移動の度合いを判定する（Ｓ１７）。例えば、判定手段１３は、検出結果に基づいて対象物における移動体１への接近速度を算出し、接近速度を用いて対象物の移動の度合いを判定する。そして、警告手段１４は、判定された移動の度合いに応じて警告を行う（Ｓ１８）。
Thereafter, the
このように、本実施の形態１では、移動体１の走行中に移動体１の周辺を連続して撮影する際に、複数のフィルタ特性により並列して行う。このとき、撮影画像をフィルタ特性ごとの異なる画像群に時系列に沿って分類しておく。ここで、複数のフィルタ特性による撮影画像は、移動体１の外部環境の判別が困難な状況であっても、各時間帯で少なくともいずれかのフィルタ特性により撮影された画像の画質が、適切なフィルタ特性による撮影画像に相当する画質を維持している確率が高い。そのため、各画像に対する対象物の検出結果を、時系列に沿って比較することで、対象物の移動の度合いを判定できる。それ故、対象物の移動の度合いに応じて、運転者に適切に警告することができる。よって、安全性を高めることもできる。 As described above, in the first embodiment, when the periphery of the moving body 1 is continuously photographed while the moving body 1 is traveling, the plurality of filter characteristics are used in parallel. At this time, the captured images are classified in time series into different image groups for each filter characteristic. Here, even if it is difficult to discriminate the external environment of the moving body 1, the image quality of an image captured with at least one of the filter characteristics is appropriate for each captured image with a plurality of filter characteristics. There is a high probability that the image quality corresponding to the captured image by the filter characteristics is maintained. Therefore, the degree of movement of the object can be determined by comparing the detection results of the object for each image along a time series. Therefore, it is possible to appropriately warn the driver according to the degree of movement of the object. Therefore, safety can be improved.
特に、接近速度を用いて移動の度合いを判定することで、衝突の危険性についてより直接的に判定できるため、警告の精度も向上できる。 In particular, by determining the degree of movement using the approach speed, the risk of collision can be determined more directly, so that the accuracy of warning can be improved.
次に、上述した図３のステップＳ１７及びＳ１８の詳細な処理を示す実施例１〜３を以下に示す。 Next, Examples 1 to 3 showing detailed processing of Steps S17 and S18 of FIG. 3 described above are shown below.
＜実施例１＞
本実施例１は、画像群ごとに接近速度を算出し、接近速度がより速い画像群に基づいて警告を行うものである。以下では、実施例１の処理を図４に基づいて説明し、適宜、図５を参照する。図４は、本実施の形態１の実施例１における詳細な処理の流れを説明するためのフローチャートである。また、図５は、本実施の形態１の実施例１における処理の概念を説明するための図である。
<Example 1>
In the first embodiment, an approach speed is calculated for each image group, and a warning is given based on an image group having a faster approach speed. Below, the process of Example 1 is demonstrated based on FIG. 4, and FIG. 5 is referred suitably. FIG. 4 is a flowchart for explaining a detailed processing flow in example 1 of the first embodiment. FIG. 5 is a diagram for explaining the concept of processing in Example 1 of the first embodiment.
まず、判定手段１３は、第１の画像群の中の画像間で時系列に沿って比較して、接近速度を算出する（Ｓ２１）。図５の例では、判定手段１３は、第１の画像群３１に属する撮影画像３１１と撮影画像３１２との検出結果を比較し、また、撮影画像３１２と撮影画像３１３との検出結果を比較することで、対象物の移動距離を求める。そして、判定手段１３は、移動距離と時刻ｔ１から時刻ｔ３の時間とに基づいて第１の画像群３１における対象物の接近速度を算出する。
First, the
同様に、判定手段１３は、第２の画像群の中の画像間で時系列に沿って比較して、接近速度を算出する（Ｓ２２）。図５の例では、判定手段１３は、第２の画像群３２に属する撮影画像３２１と撮影画像３２２との検出結果を比較し、また、撮影画像３２２と撮影画像３２３との検出結果を比較することで、対象物の移動距離を求める。そして、判定手段１３は、移動距離と時刻ｔ１から時刻ｔ３の時間とに基づいて第２の画像群３２における対象物の接近速度を算出する。尚、ステップＳ２１及びＳ２２は、並列実行する必要はない。つまり、判定手段１３は、画像群ごとに接近速度を算出すればよい。
Similarly, the
次に、判定手段１３は、複数の画像群の中で接近速度がより速い画像群を選択する（Ｓ２３）。つまり、判定手段１３は、ステップＳ２１及びＳ２２で算出した接近速度を比較して、接近速度がより速い画像群が第１の画像群３１と第２の画像群３２のいずれであるかを判定して選択する。そして、判定手段１３は、選択した画像群における接近速度を用いて対象物の移動の度合いを判定する（Ｓ２４）。例えば、判定手段１３は、選択した接近速度が所定の基準値以上か否かを判定し、基準値以上である場合には、対象物が移動体１により速く接近していると判定する。
Next, the
その後、警告手段１４は、選択された画像群を用いて接近速度に応じた警告を行う（Ｓ２５）。例えば、警告手段１４は、接近速度が基準値以上である場合には、接近速度が基準値未満である場合よりも警告の度合いを高くする。ここで警告の度合いが高いものについて説明する。例えば、警告手段１４は、選択された画像群に属する画像について、画像に含まれる対象物が強調される表示に加工して、表示装置２１へ出力してもよい。なお、強調される表示とは、例えば、対象物を四角の線により囲むことや、対象物又は対象物の上方にマークを付すること、対象物の色彩を変更することなどがある。
Thereafter, the warning means 14 issues a warning according to the approach speed using the selected image group (S25). For example, when the approach speed is equal to or higher than the reference value, the
図６は、本実施の形態１の実施例１において対象物の位置を強調して画面に表示する例を示す図である。ここでは、表示画面４１に、強調表示領域４２が表示されていることを示す。尚、警告の度合いを高くする処理はこれに限定されず、例えば、警告手段１４がスピーカ２２を介して警告音を出力してもよい。
FIG. 6 is a diagram illustrating an example in which the position of an object is emphasized and displayed on a screen in Example 1 of the first embodiment. Here, it is shown that the
一方で、一例として、警告の度合いが上記として比較して高くない場合（例えば、接近速度が基準値未満である場合）についても説明する。この場合では、選択された画像群に属する画像を表示装置２１へ出力し、画面に表示させる。このとき、警告手段１４は、選択された画像群に属する画像を加工せず表示装置２１に表示させることや、表示装置２１に画像を加工して表示させる場合には、警告度合いが高い場合と比較して対象物を囲む線を細くすることや、対象物の上方に付すマークを異ならせることや、変更させる対象物の色彩を異ならせることなどの処理を行う。また、警告手段１４がスピーカ２２を介して警告音を出力する場合には、警告度合いが高い場合と比較して音量を異ならせること、警告音を変更することなどの処理を行う。
On the other hand, as an example, a case where the degree of warning is not as high as the above (for example, the approach speed is less than the reference value) will be described. In this case, images belonging to the selected image group are output to the
このように、本実施の形態１の実施例１では、一定の期間の外部環境において、より適切なフィルタによる撮影画像群を用いて対象物の移動度合いを判定するため、検出精度がより高い画像を用いて適切な警告を行うことができる。 As described above, in Example 1 of the first embodiment, since the degree of movement of the object is determined using a group of captured images by a more appropriate filter in the external environment for a certain period, an image with higher detection accuracy. Can be used to give appropriate warnings.
ここで、適切なフィルタによる撮影画像群に属する各画像は、対象物の検出精度が高いため、時系列で隣接する画像間の対象物の位置の差異が明確となる。つまり、対象物の移動が明確に把握できる。一方、不適切なフィルタにより撮影画像群に属する各画像は、対象物の検出精度が低いため、時系列で隣接する画像間の対象物の位置の差異は不明確となる。つまり、対象物が移動しているか否かの判別がしにくい。そのため、前者は後者に比べて接近速度が相対的に速く算出される。よって、接近速度がより速く算出された画像群では、フィルタによる検出精度も相対的に高いといえる。そして、検出精度の高い画像群を用いて画面に出力等することで、運転者に危険を的確に把握させることができる。 Here, each image belonging to the group of captured images obtained by an appropriate filter has high detection accuracy of the object, and therefore, the difference in the position of the object between the adjacent images in time series becomes clear. That is, the movement of the object can be clearly grasped. On the other hand, each image belonging to the photographed image group due to an inappropriate filter has low detection accuracy of the object, and thus the difference in the position of the object between the adjacent images in time series becomes unclear. That is, it is difficult to determine whether or not the object is moving. Therefore, the former is calculated with a relatively fast approach speed compared to the latter. Therefore, it can be said that the detection accuracy by the filter is relatively high in the image group in which the approach speed is calculated faster. And a driver | operator can be made to grasp | ascertain a danger exactly by outputting on a screen using an image group with high detection accuracy.
また、例えば、接近速度が基準値を超えていた場合には、緊急性が高いため、警告の度合いをより高くすることで、運転者に適切に警告することができる。逆に、ある時刻の撮影画像に対象物が検出されても、以降の時刻の撮影画像には対象物が検出されなかった場合、対象物が誤検出であったか、対象物が移動体１から離れた可能性が高い。このような場合には、警告の対象外と判定することで過剰な警告を避けることができる。 Further, for example, when the approach speed exceeds the reference value, the urgency is high, so that the driver can be warned appropriately by increasing the degree of warning. On the other hand, if a target object is detected in a captured image at a certain time, but the target object is not detected in a captured image at a later time, the target object is erroneously detected or the target is separated from the moving body 1. There is a high possibility. In such a case, it is possible to avoid an excessive warning by determining that it is not a warning target.
＜実施例２＞
次に、本実施例２は、外部環境の急激な変化に対応するために、時間帯ごとに検出精度の高い画像を選択するものである。以下では、実施例２の処理を図７に基づいて説明し、適宜、図８を参照する。図７は、本実施の形態１の実施例２における詳細な処理の流れを説明するためのフローチャートである。また、図８は、本実施の形態１の実施例２における処理の概念を説明するための図である。
<Example 2>
Next, in the second embodiment, an image with high detection accuracy is selected for each time zone in order to cope with a sudden change in the external environment. Below, the process of Example 2 is demonstrated based on FIG. 7, and FIG. 8 is referred suitably. FIG. 7 is a flowchart for explaining a detailed processing flow in example 2 of the first embodiment. FIG. 8 is a diagram for explaining the concept of processing in Example 2 of the first embodiment.
まず、判定手段１３は、時刻ｔ１に対応する画像同士を比較して検出精度の高い画像を選択する（Ｓ３１）。例えば、時刻に対応する画像同士の検出精度の比較は、上述した検出結果の際に用いる外観に関するパラメータと比較用パラメータとを用いて、パターンマッチング手法等により一致する度合いを検出し、その結果を比較してもよい。続いて、判定手段１３は、時刻ｔ２に対応する画像同士を比較して検出精度の高い画像を選択する（Ｓ３２）。同様に、判定手段１３は、時刻ｔ３に対応する画像同士を比較して検出精度の高い画像を選択する（Ｓ３３）。尚、ステップＳ３１〜Ｓ３３の実行順序は、これに限定されない。
First, the
図８の例では、判定手段１３は、時刻ｔ１に対応する撮影画像３１１と撮影画像３２１との検出結果を比較して、検出精度がより高い撮影画像３１１を選択したことを示す。同様に、判定手段１３は、時刻ｔ２に対応する撮影画像３１２と撮影画像３２２との検出結果を比較して、検出精度がより高い撮影画像３２２を選択したことを示す。そして、判定手段１３は、時刻ｔ３に対応する撮影画像３１３撮影画像３２３との検出結果を比較して、検出精度がより高い撮影画像３１３を選択したことを示す。
In the example of FIG. 8, the
その後、判定手段１３は、時刻ｔ１〜ｔ３の選択画像間で、時系列に沿って比較して、接近速度を算出する（Ｓ３４）。図８の例では、判定手段１３は、撮影画像３１１、撮影画像３２２及び撮影画像３１３を一つの画像群として接近速度を算出する。
Thereafter, the
そして、判定手段１３は、算出した接近速度を用いて対象物の移動の度合いを判定する（Ｓ３５）。その後、警告手段１４は、選択された各画像を用いて接近速度に応じた警告を行う（Ｓ３６）。尚、ステップＳ３５及びＳ３６は、接近速度が基準値以上である場合に、図６のように警告の度合いを高くしてもよい。
Then, the
このように、本実施の形態１の実施例２では、一定の期間内で外部環境の変化が激しい場合において、対象物の移動度合いを適切に判定し、適切な警告ができる。一定の期間内で外部環境の変化が激しい場合とは、例えば、トンネルに入る前後、又は、トンネルから出る前後や、急激な雲の動きにより天候が急変した場合等、周辺の明るさが急激に変化した場合が該当する。このような場合、時系列のある時点までは、第１のフィルタ特性により撮影された第１の画像群の検出精度が高いが、途中からは第１の画像群の検出精度が低下し、逆に、第２のフィルタ特性により撮影された第２の画像群の検出精度が高くなり得る。また、夕日と雲の関係で明るさが安定しないような場合には、図８のように検出精度の高い画像群が交互になり得る。 As described above, in Example 2 of the first embodiment, when the external environment changes drastically within a certain period, it is possible to appropriately determine the degree of movement of the object and provide an appropriate warning. When the external environment changes drastically within a certain period of time, the brightness of the surroundings suddenly changes, for example, before or after entering the tunnel, before or after exiting the tunnel, or when the weather changes suddenly due to sudden cloud movements. Applicable when changed. In such a case, the detection accuracy of the first image group captured by the first filter characteristic is high until a certain point in time series, but the detection accuracy of the first image group decreases from the middle, and conversely In addition, the detection accuracy of the second image group captured by the second filter characteristic can be increased. Further, when the brightness is not stable due to the relationship between the sunset and the clouds, image groups with high detection accuracy can be alternated as shown in FIG.
そこで、本実施例２では、撮影時刻ごとに検出精度を比較しているため、撮影時刻ごとの明るさに対して適切なフィルタ特性で撮影された画像を選択し、選択画像の集合により検出精度の高い画像群を構成できる。そのため、信頼性の高い接近速度を算出でき、適切な警告を行うことができる。 Therefore, in the second embodiment, since the detection accuracy is compared at each photographing time, an image photographed with an appropriate filter characteristic with respect to the brightness at each photographing time is selected, and the detection accuracy is obtained by a set of selected images. High image groups can be constructed. Therefore, a reliable approach speed can be calculated and an appropriate warning can be given.
＜実施例３＞
続いて、本実施例３は、複数のフィルタ特性のうち外部環境に対して適切なフィルタ特性の判別が困難な場合に、各フィルタ特性により撮影された画像を総合して検出精度を高めるものである。以下では、実施例３の処理を図９に基づいて説明し、適宜、図１０を参照する。図９は、本実施の形態１の実施例３における詳細な処理の流れを説明するためのフローチャートである。図１０は、本実施の形態１の実施例３における処理の概念を説明するための図である。
<Example 3>
Subsequently, in the third embodiment, when it is difficult to determine an appropriate filter characteristic for the external environment among a plurality of filter characteristics, the images captured by the respective filter characteristics are combined to improve detection accuracy. is there. Below, the process of Example 3 is demonstrated based on FIG. 9, and FIG. 10 is referred suitably. FIG. 9 is a flowchart for explaining a detailed processing flow in example 3 of the first embodiment. FIG. 10 is a diagram for explaining the concept of processing in example 3 of the first embodiment.
まず、判定手段１３は、時刻ｔ１に対応する画像同士を比較して対象物の画像内の位置を特定する（Ｓ４１）。次に、判定手段１３は、時刻ｔ２に対応する画像同士を比較して対象物の画像内の位置を特定する（Ｓ４２）。同様に。判定手段１３は、時刻ｔ３に対応する画像同士を比較して対象物の画像内の位置を特定する（Ｓ４３）。尚、位置を特定する処理は、比較対象画像内の対象物の位置の平均値を算出してもよい。また、比較対象画像同士を合成してもよい。尚、ステップＳ４１〜Ｓ４３の実行順序は、これに限定されない。
First, the
図１０の例では、判定手段１３は、時刻ｔ１に対応する撮影画像３１１と撮影画像３２１とから、対象物の位置をこれらの中間程度として特定したことを示す。同様に、判定手段１３は、時刻ｔ２に対応する撮影画像３１２と撮影画像３２２とを比較し、時刻ｔ３に対応する撮影画像３１３と撮影画像３２３とを比較し、それぞれ対象物の位置をこれらの中間程度として特定したことを示す。
In the example of FIG. 10, the
その後、判定手段１３は、特定した位置を時系列に沿って比較して、接近速度を算出する（Ｓ４４）。図１０の例では、判定手段１３は、画像３３１、３３２及び３３３を一つの画像群として接近速度を算出する。
Thereafter, the
そして、判定手段１３は、算出した接近速度を用いて対象物の移動の度合いを判定する（Ｓ４５）。その後、警告手段１４は、各時間帯の特定された対象物の位置を用いて接近速度に応じた警告を行う（Ｓ４６）。尚、ステップＳ４５及びＳ４６は、接近速度が基準値以上である場合に、図６のように警告の度合いを高くしてもよい。
Then, the
このように、本実施の形態１の実施例３では、各画像群の検出結果から平均等を取るため、誤判定の影響を抑制できる。また、例えば、夕方の場合、移動体１の周辺の明るさが昼間と夜間の間であるため、第１のフィルタ特性と第２のフィルタ特性のいずれが適切かの判断が困難な場合がある。そのような場合であっても、双方の検出結果の中間を取ることで、対象物の位置をある程度妥当な精度で特定できる。そのため、複数の画像群を総合的に用いて、対象物の検出精度を維持できる。 As described above, in Example 3 of Embodiment 1, since the average and the like are obtained from the detection results of the respective image groups, the influence of erroneous determination can be suppressed. Further, for example, in the evening, since the brightness around the moving body 1 is between daytime and nighttime, it may be difficult to determine which of the first filter characteristic and the second filter characteristic is appropriate. . Even in such a case, the position of the object can be specified with a certain degree of accuracy by taking the middle of both detection results. Therefore, the detection accuracy of the object can be maintained by using a plurality of image groups comprehensively.
＜発明の実施の形態２＞
本実施の形態２は、上述した実施の形態１の変形例である。上述した実施の形態１では、画像取得手段１１は、２つの撮影装置を有するものであったが、本実施の形態２にかかる画像取得手段１１は、１つの撮影装置を有するものである。
<
The second embodiment is a modification of the first embodiment described above. In the first embodiment described above, the
図１０は、本実施の形態２にかかる画像取得手段１１ａの構成を示すブロック図である。画像取得手段１１ａは、１つの撮影装置１１３を有する。撮影装置１１３は、複数のフィルタ特性を定期的に切り替えて撮影を行なう。撮影装置１１３は、フィルタ１１３１、撮像素子１１３２及び切替手段１１３３を備える。フィルタ１１３１は、撮像素子１１３２に入射する光の波長を選択する処理を行う。例えば、フィルタ１１３１は、可視光領域や近赤外領域を選択して光を通過させ、撮像素子１１３２へ入射する。尚、フィルタ１１３１には、赤外領域カットフィルタ（ＩＲフィルタ）、ハイパスフィルタ、バンドパスフィルタ等を含めることができる。つまり、フィルタ１１３１は、複数種類のフィルタ特性のうち選択されたものを実現できる。撮像素子１１３２は、フィルタ１１３１を通過した光の強度を電気信号に変換する素子である。切替手段１１３３は、フィルタ１１３１に対して選択したフィルタ特性を設定するものである。そして、切替手段１１３３は、定期的にフィルタ特性の選択を切り替える。尚、切替手段１１３３は、複数のフィルタ特性により複数の撮影装置が同時に同一の対象を撮影する場合と、実質的に同等となるような速さで、フィルタ特性を切り替えるものとする。なお、切替手段がクロックを有するか、またクロックによる信号を受信することにより、定期的に切り替え撮影を行う。
FIG. 10 is a block diagram illustrating a configuration of the image acquisition unit 11a according to the second embodiment. The image acquisition unit 11a includes one photographing
このように、本実施の形態２によっても、上述した実施の形態１と同等の効果を奏することができる。また、本実施の形態２には、上述した実施例１〜３のいずれも適用することができる。 As described above, according to the second embodiment, the same effects as those of the first embodiment can be obtained. In addition, any of the first to third embodiments described above can be applied to the second embodiment.
＜その他の発明の実施の形態＞
以上、本発明を上記実施の形態に即して説明したが、本発明は上記実施の形態の構成にのみ限定されるものではなく、本願特許請求の範囲の請求項の発明の範囲内で当業者であればなし得る各種変形、修正、組み合わせを含むことは勿論である。
<Other embodiments of the invention>
Although the present invention has been described with reference to the above embodiment, the present invention is not limited only to the configuration of the above embodiment, and within the scope of the invention of the claims of the present application. It goes without saying that various modifications, corrections, and combinations that can be made by a trader are included.
尚、上記判定手段は、前記検出結果を、各画像群の中の画像間で前記時系列に沿って比較して、前記画像群ごとに前記対象物への接近速度を算出し、前記複数の画像群の中で前記接近速度が最も速い画像群を選択し、前記選択した画像群における前記対象物の移動の度合いを判定するようにしてもよい。 The determination means compares the detection results between the images in each image group along the time series, calculates an approach speed to the object for each image group, and An image group having the fastest approach speed may be selected from among the image groups, and the degree of movement of the object in the selected image group may be determined.
また、上述の車載装置の任意の処理は、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。 Further, the arbitrary processing of the above-described in-vehicle device can be realized by causing a CPU (Central Processing Unit) to execute a computer program. In this case, the computer program can be stored using various types of non-transitory computer readable media and supplied to the computer. Non-transitory computer readable media include various types of tangible storage media. Examples of non-transitory computer-readable media include magnetic recording media (for example, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (for example, magneto-optical disks), CD-ROMs (Read Only Memory), CD-Rs, CD-R / W and semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (random access memory)) are included. The program may also be supplied to the computer by various types of transitory computer readable media. Examples of transitory computer readable media include electrical signals, optical signals, and electromagnetic waves. The temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
また、コンピュータが上述の実施の形態の機能を実現するプログラムを実行することにより、上述の実施の形態の機能が実現される場合だけでなく、このプログラムが、コンピュータ上で稼動しているＯＳ（Operating System）もしくはアプリケーションソフトウェアと共同して、上述の実施の形態の機能を実現する場合も、本発明の実施の形態に含まれる。さらに、このプログラムの処理の全てもしくは一部がコンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットによって行われて、上述の実施の形態の機能が実現される場合も、本発明の実施の形態に含まれる。 In addition to the case where the function of the above-described embodiment is realized by the computer executing the program that realizes the function of the above-described embodiment, this program is not limited to the OS ( A case where the functions of the above-described embodiment are realized in cooperation with an operating system or application software is also included in the embodiment of the present invention. Furthermore, the present invention is also applicable to the case where the functions of the above-described embodiment are realized by performing all or part of the processing of the program by a function expansion board inserted into the computer or a function expansion unit connected to the computer. It is included in the embodiment.
１ 移動体
１０ 警告装置
１０ａ 警告装置
１１ 画像取得手段
１１ａ 画像取得手段
１１１ 撮影装置
１１２ 撮影装置
１１３ 撮影装置
１１３１ フィルタ
１１３２ 撮像素子
１１３３ 切替手段
１２ 検出手段
１３ 判定手段
１４ 警告手段
２１ 表示装置
２２ スピーカ
１１０ プロセッサ
１２０ ＩＦ部
１３１ 撮影装置
１３１１ 第１のフィルタ
１３１２ 第１の撮像素子
１３２ 撮影装置
１３２１ 第２のフィルタ
１３２２ 第２の撮像素子
１４０ 記憶部
１４１ 警告プログラム
１４２１ 第１の画像群
１４２１１ 撮影画像
１４２１２ 撮影画像
１４２２ 第２の画像群
１４２２１ 撮影画像
１４２２２ 撮影画像
１４３ 検出結果
１４４ 接近速度
３１ 第１の画像群
３１１ 撮影画像
３１２ 撮影画像
３１３ 撮影画像
３２ 第２の画像群
３２１ 撮影画像
３２２ 撮影画像
３２３ 撮影画像
３３１ 画像
３３２ 画像
３３３ 画像
ｔ１ 時刻
ｔ２ 時刻
ｔ３ 時刻
４１ 表示画面
４２ 強調表示領域
DESCRIPTION OF SYMBOLS 1
Claims (7)
前記画像群内の画像のそれぞれに対して、対象物の検出を行う検出手段と、
前記画像群における前記対象物の検出結果を時系列に沿って比較して、前記対象物の移動の度合いを判定する判定手段と、
前記判定された移動の度合いに応じて警告を行う警告手段と
を備え、
前記画像取得手段は、複数のフィルタ特性それぞれに基づく複数の画像群を取得することを特徴とする警告装置。 Image acquisition means for acquiring an image group composed of a plurality of images photographed in succession;
Detecting means for detecting an object for each of the images in the image group;
A determination means for comparing the detection results of the object in the image group along a time series and determining a degree of movement of the object;
Warning means for giving a warning according to the determined degree of movement,
The warning device characterized in that the image acquisition means acquires a plurality of image groups based on a plurality of filter characteristics.
前記複数の画像群の間で対応する画像同士を比較して、時間帯ごとに前記検出の精度が高い画像を選択し、
前記選択された各画像を前記時系列に沿って比較して、前記対象物の移動の度合いを判定する
ことを特徴とする請求項１に記載の警告装置。 The determination means includes
Compare the corresponding images between the plurality of image groups, select an image with high detection accuracy for each time zone,
The warning device according to claim 1, wherein the degree of movement of the object is determined by comparing the selected images along the time series.
前記複数の画像群の間で対応する画像同士を比較して、時間帯ごとに前記対象物の画像内の位置を特定し、
前記特定した位置を前記時系列に沿って比較して、前記対象物の移動の度合いを判定する
ことを特徴とする請求項１に記載の警告装置。 The determination means includes
Compare the corresponding images among the plurality of image groups, identify the position in the image of the object for each time zone,
The warning device according to claim 1, wherein the degree of movement of the object is determined by comparing the specified positions along the time series.
前記検出結果を、各画像群の中の画像間で前記時系列に沿って比較して、前記画像群ごとに前記対象物への接近速度を算出し、
前記複数の画像群の中で前記接近速度が最も速い画像群を選択し、
前記選択した画像群における前記対象物の移動の度合いを判定する
ことを特徴とする請求項１に記載の警告装置。 The determination means includes
The detection results are compared along the time series between images in each image group, and the approach speed to the object is calculated for each image group,
Selecting the image group having the fastest approach speed among the plurality of image groups;
The warning device according to claim 1, wherein a degree of movement of the object in the selected image group is determined.
前記検出結果を、各画像群の中の画像間で前記時系列に沿って比較して、前記画像群ごとに前記対象物への接近速度を算出し、
前記接近速度が基準値以上か否かを判定し、
前記警告手段は、
前記接近速度が所定の基準値以上である場合には、前記接近速度が基準値未満である場合よりも警告の度合いを高くする
請求項１〜３のいずれか１項に記載の警告装置。 The determination means includes
The detection results are compared along the time series between images in each image group, and the approach speed to the object is calculated for each image group,
Determine whether the approach speed is greater than or equal to a reference value;
The warning means is
The warning device according to any one of claims 1 to 3, wherein when the approach speed is equal to or higher than a predetermined reference value, the degree of warning is set higher than when the approach speed is less than a reference value.
前記画像群内の画像のそれぞれに対して、対象物の検出を行う検出ステップと、
前記画像群における前記対象物の検出結果を時系列に沿って比較して、前記対象物の移動の度合いを判定する判定ステップと、
前記判定された移動の度合いに応じて警告を行う警告ステップと
を有し、
前記画像取得ステップは、複数のフィルタ特性それぞれに基づく複数の画像群を取得することを特徴とする警告方法。 An image acquisition step of acquiring an image group composed of a plurality of images photographed in succession;
A detection step of detecting an object for each of the images in the image group;
A determination step of comparing the detection results of the object in the image group along a time series and determining a degree of movement of the object;
A warning step for giving a warning according to the determined degree of movement,
The image acquisition step includes acquiring a plurality of image groups based on each of a plurality of filter characteristics.
前記画像群内の画像のそれぞれに対して、対象物の検出を行う検出ステップと、
前記画像群における前記対象物の検出結果を時系列に沿って比較して、前記対象物の移動の度合いを判定する判定ステップと、
前記判定された移動の度合いに応じて警告を行う警告ステップと
をコンピュータに実行させ、
前記画像取得ステップは、複数のフィルタ特性それぞれに基づく複数の画像群を取得することを特徴とする警告プログラム。 An image acquisition step of acquiring an image group composed of a plurality of images photographed in succession;
A detection step of detecting an object for each of the images in the image group;
A determination step of comparing the detection results of the object in the image group along a time series and determining a degree of movement of the object;
Causing the computer to execute a warning step of giving a warning according to the determined degree of movement,
The image acquisition step acquires a plurality of image groups based on each of a plurality of filter characteristics.
Priority Applications (8)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015046585A JP6387869B2 (en) | 2015-03-10 | 2015-03-10 | Warning device, warning method and warning program |
| CN201680013013.XA CN107408288B (en) | 2015-03-10 | 2016-03-02 | Warning device, warning method, and warning program |
| EP16761282.9A EP3270352B1 (en) | 2015-03-10 | 2016-03-02 | Alert device, alert method, and alert program |
| EP23151554.5A EP4187524A1 (en) | 2015-03-10 | 2016-03-02 | Alert device, alert method, and alert program |
| PCT/JP2016/001136 WO2016143306A1 (en) | 2015-03-10 | 2016-03-02 | Alert device, alert method, and alert program |
| US15/698,099 US10474910B2 (en) | 2015-03-10 | 2017-09-07 | Warning device, warning method, and warning program |
| US16/591,537 US11423664B2 (en) | 2015-03-10 | 2019-10-02 | Warning device, warning method, and warning program |
| US17/866,371 US11749112B2 (en) | 2015-03-10 | 2022-07-15 | Warning device, warning method, and warning program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015046585A JP6387869B2 (en) | 2015-03-10 | 2015-03-10 | Warning device, warning method and warning program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016167174A true JP2016167174A (en) | 2016-09-15 |
| JP6387869B2 JP6387869B2 (en) | 2018-09-12 |
Family
ID=56898558
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015046585A Active JP6387869B2 (en) | 2015-03-10 | 2015-03-10 | Warning device, warning method and warning program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6387869B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020016950A (en) * | 2018-07-23 | 2020-01-30 | 株式会社デンソーテン | Collision determination device and collision determination method |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009055553A (en) * | 2007-08-29 | 2009-03-12 | Fujifilm Corp | Imaging apparatus mounting a plurality of image sensors |
| JP2012203884A (en) * | 2011-03-28 | 2012-10-22 | Toyota Central R&D Labs Inc | Jumping-out pedestrian determining device and program |
-
2015
- 2015-03-10 JP JP2015046585A patent/JP6387869B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009055553A (en) * | 2007-08-29 | 2009-03-12 | Fujifilm Corp | Imaging apparatus mounting a plurality of image sensors |
| JP2012203884A (en) * | 2011-03-28 | 2012-10-22 | Toyota Central R&D Labs Inc | Jumping-out pedestrian determining device and program |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020016950A (en) * | 2018-07-23 | 2020-01-30 | 株式会社デンソーテン | Collision determination device and collision determination method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6387869B2 (en) | 2018-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2016143306A1 (en) | Alert device, alert method, and alert program | |
| JP6888950B2 (en) | Image processing device, external world recognition device | |
| JP5577398B2 (en) | Vehicle periphery monitoring device | |
| US9424462B2 (en) | Object detection device and object detection method | |
| US20210192239A1 (en) | Method for recognizing indication information of an indicator light, electronic apparatus and storage medium | |
| JP5937832B2 (en) | In-vehicle camera exposure control system | |
| JP2016170663A (en) | Vehicle monitoring device, vehicle monitoring method, and vehicle monitoring program | |
| JP2018097515A (en) | Drive assisting device, drive assisting method, and program thereof | |
| JP2012185684A (en) | Object detection device and object detection method | |
| JP2016116137A (en) | Image processing device, image processing method, and program | |
| JP6387869B2 (en) | Warning device, warning method and warning program | |
| JP2017167608A (en) | Object recognition device, object recognition method, and object recognition program | |
| JP2011191859A (en) | Apparatus for monitoring surroundings of vehicle | |
| KR101960741B1 (en) | Method for Setting Event Rule According to Interested Boundary and Apparatus for Monitoring Event Using The Method | |
| JP6313999B2 (en) | Object detection device and object detection system | |
| JP6299630B2 (en) | Warning device, warning method and warning program | |
| JP5587068B2 (en) | Driving support apparatus and method | |
| JP6405765B2 (en) | Imaging apparatus and determination method | |
| JP2015097089A (en) | Object detection device and object detection method | |
| JP6405141B2 (en) | Imaging apparatus and determination method | |
| JPWO2015098107A1 (en) | Image processing device, alarm device, and image processing method | |
| KR101970129B1 (en) | Method for Setting Event Rule and Apparatus for Monitoring Event Using The Method | |
| KR20170075523A (en) | Apparatus and method for monitoring environment of vehicle | |
| JP2017084019A (en) | Object detection device, object detection method, and, object detection program | |
| JP5804155B1 (en) | Information processing apparatus, information processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170330 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171226 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180205 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180717 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180730 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6387869 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |