JP2013257630A - Image processing apparatus - Google Patents
Image processing apparatus Download PDFInfo
- Publication number
- JP2013257630A JP2013257630A JP2012131898A JP2012131898A JP2013257630A JP 2013257630 A JP2013257630 A JP 2013257630A JP 2012131898 A JP2012131898 A JP 2012131898A JP 2012131898 A JP2012131898 A JP 2012131898A JP 2013257630 A JP2013257630 A JP 2013257630A
- Authority
- JP
- Japan
- Prior art keywords
- block
- correlation
- unit
- feature
- feature quantity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、監視用ＣＣＴＶ（Ｃｌｏｓｅｄ Ｃｉｒｃｕｉｔ Ｔｅｌｅｖｉｓｉｏｎ）システム等に適用される画像処理装置に関する。 The present invention relates to an image processing apparatus applied to a CCTV (Closed Circuit Television) system for monitoring.
高速道路、一般道を問わず、突発事象（例：事故、落下物等）を監視する需要は、従来より存在する。
画像処理による自動監視システムも、様々なアルゴリズムによる手法が提供されてきているが、屋外の道路固有の問題によって性能が確保しきれていない。
例えば、従来より存在する突発事象発見アルゴリズムの一つに、車両をパターンマッチングで追従し、そのベクトル（移動方向、移動速度）より突発事象の発生を類推するシステムがある。
これは、車両の移動方向が許容範囲より外れれば「車両の迷走」と判断し、落下物を回避する行動だったのではないかと類推し、また、車両の移動速度が許容範囲を上回れば「車両の速度超過」と判断すると言ったものである。
There has been a demand for monitoring sudden events (eg accidents, falling objects, etc.) on both highways and ordinary roads.
Various automatic algorithm monitoring systems using image processing have been provided, but performance has not been ensured due to problems inherent to outdoor roads.
For example, as one of the conventional sudden event detection algorithms, there is a system that tracks a vehicle by pattern matching and analogizes the occurrence of a sudden event from its vector (moving direction, moving speed).
This means that if the moving direction of the vehicle deviates from the allowable range, it is judged that the vehicle is straying, and it is assumed that it was an action to avoid falling objects, and if the moving speed of the vehicle exceeds the allowable range, It is said that it is judged that the vehicle is overspeeding.
図９は従来の突発事象発見アルゴリズムの構成図である。
図９において、ビデオ入力部１００は、映像信号を入力する。
Ａ／Ｄ変換部２００は、ビデオ入力部１００から入力される映像を量子化する。
画像蓄積部３００は、Ａ／Ｄ変換部２００から所定の周期にて入力される画像の２フレーム前の画像を蓄積し、画像蓄積部４００は、１フレーム前の画像を蓄積する。
差分部５００は、２フレーム前の画像と１フレーム前の画像を比較し、差分を抽出する。
テンプレート作成部６００は、差分部５００にて抽出された差分により、対象車両のテンプレート画像を作成する。
パターンマッチング部７００は、テンプレート作成部６００にて作成されたテンプレート画像により、対象車両を検索する。
ベクトル算出部８００は、パターンマッチング部７００の検索結果により、対象車両の移動方向と移動速度を算出する。
突発事象判断部９００は、ベクトル算出部８００にて算出された情報により、突発事象の発生を類推し、突発事象が発生したと判断した場合に、警報出力１０００する。
FIG. 9 is a configuration diagram of a conventional sudden event detection algorithm.
In FIG. 9, a
The A /
The
The
The
The pattern matching
The
The sudden
図１０は図９の画像蓄積部３００に蓄積される画像例であり、矢印部分が対象車両である。
図１１は図９の画像蓄積部４００に蓄積される画像例であり、矢印部分が対象車両である。図１０より若干新しい画像であり、該当車両が前進している。
図１２は現画像であり、矢印部分が対象車両である。図１１より更に新しい画像であり、該当車両が更に前進している。
FIG. 10 is an example of an image stored in the
FIG. 11 is an example of an image stored in the
FIG. 12 is the current image, and the arrow portion is the target vehicle. It is a newer image than FIG. 11, and the corresponding vehicle is further moving forward.
次に動作について説明する。
図９において、外部から画像処理装置に与えられた映像信号は、ビデオ入力部１００にて受け取り、Ａ／Ｄ変換部２００に送られる。
Ａ／Ｄ変換部２００では、受け取ったビデオ信号を後の処理のためにデジタルデータに変換する。１画素当たり８ビットの多値データに変換するのが一般的である。
画像蓄積部３００では、２フレーム前に入力された画像データを蓄積し、後の処理に備える。
画像蓄積部４００では、１フレーム前に入力された画像データを蓄積し、後の処理に備える。
その画像は、例えば、図１０および図１１の様なものである。
また、現画像を図１２に示す。
対象車両が、図１０、図１１、図１２と徐々に前進しているのが見れる。
Next, the operation will be described.
In FIG. 9, a video signal given from the outside to the image processing apparatus is received by the
The A /
The
The
The image is, for example, as shown in FIGS.
The current image is shown in FIG.
It can be seen that the target vehicle is gradually moving forward as shown in FIGS.
差分部５００では、２フレーム前の画像と１フレーム前の画像の差分をとって、差分画像を作成する。
差分画像の一般的作成方法は、全画素において輝度差の絶対値を算出し、それを差分画像とする方法である。
車両の存在する場所は、存在しない場所より大きな差分値が得られる。
図１０と図１１の差分画像例を、図１３に示す。
The
A general method for creating a difference image is a method in which an absolute value of a luminance difference is calculated for all pixels and is used as a difference image.
A location where the vehicle is present can obtain a larger difference value than a location where the vehicle does not exist.
An example of the difference image between FIGS. 10 and 11 is shown in FIG.
テンプレート作成部６００では、差分部５００にて作成した差分画像より、差分の連結した固まり（この場合は車両）を囲む外接矩形を作成し、その座標を記憶する。
記憶した座標を元に、画像蓄積部３００，４００の画像を参照し、実際の該当座標の画像を切り出す。
切り出された画像が、テンプレート画像となる。
外接矩形の例、テンプレート画像の例を、図１４、図１５に示す。
The
Based on the stored coordinates, the images of the
The cut out image becomes a template image.
Examples of circumscribed rectangles and template images are shown in FIGS.
パターンマッチング部７００では、テンプレート作成部６００にて作成したテンプレート画像を元に、現画像の中に存在する同一車両を検索する。
一般に、この作業は「テンプレートマッチング」とよばれ、現画像に対してテンプレート画像と一致する画像部分を、総当たりで検索する作業である。
検索の際は、テンプレート画像の縮尺も変更してマッチングを行うと、発見精度が高まる。
図１６は、現画像に図１５のテンプレート画像を総当たりで検索し、発見した様子の例を示す。
The pattern matching
Generally, this operation is called “template matching”, and is an operation for searching the image portion that matches the template image with respect to the current image.
When searching, if the scale of the template image is also changed and matching is performed, discovery accuracy increases.
FIG. 16 shows an example of a state where the template image of FIG.
ベクトル算出部８００では、パターンマッチング部７００の検索結果を元に、対象車両の移動距離と差分時間の関係から、移動速度と移動方向を求める。
突発事象判断部９００では、ベクトル算出部８００での算出結果が予め指示されている「速度の許容範囲」と「方向の許容範囲」を超過するか否かを判断し、超過した場合は警報出力１０００する。
Based on the search result of the
The sudden
従来の突発事象発見アルゴリズム（テンプレートマッチングを使用した場合の例）は、以上のような構成であるのが一般的である。
なお、下記特許文献１は、公知の速度検出方法として「テンプレートマッチング」に言及している。
また、下記特許文献２は、「テンプレートマッチング」の使用による速度検出に言及している。
A conventional sudden event detection algorithm (an example in the case of using template matching) is generally configured as described above.
The following Patent Document 1 refers to “template matching” as a known speed detection method.
従来の画像処理装置は、以上のように構成されているので、テンプレートマッチングの精度がそのまま突発事象判断の精度となる。
しかし、屋外でのテンプレートマッチングには、様々な精度劣化の要因が存在する。
例えば、図１７では、夜間の道路状況を示している。
夜間は、照度が不足し、カメラは、シャッタースピードを遅く、絞りも開く。
その結果、高速で移動する車両は、輪郭が崩れて撮影される。
併せて、ヘッドライトやテールランプといった昼間に存在しなかった障害物が現れる。
その結果、差分部５００にて差分画像を作成する際、明確な車両形状が切り出されない。
逆に、車両ではないはずの「ヘッドライトが照らす路面」や「テールランプの軌跡」が不要に切り出されて、誤ったテンプレート画像が作成される。
その結果、テンプレートマッチングの精度は、著しく劣化し、夜間の突発事象判断の精度は、著しく劣化する。
Since the conventional image processing apparatus is configured as described above, the accuracy of template matching directly becomes the accuracy of sudden event determination.
However, there are various factors of accuracy degradation in outdoor template matching.
For example, FIG. 17 shows a night road situation.
At night, the illuminance is insufficient, and the camera slows the shutter speed and opens the aperture.
As a result, the vehicle moving at high speed is photographed with its outline broken.
In addition, obstacles that did not exist in the daytime, such as headlights and taillights, appear.
As a result, when creating a difference image in the
Conversely, the “road surface illuminated by the headlight” and the “trajectory of the tail lamp” that should not be a vehicle are cut out unnecessarily, and an incorrect template image is created.
As a result, the accuracy of template matching is remarkably deteriorated, and the accuracy of determination of sudden incidents at night is remarkably deteriorated.
また、例えば、図１８では、混雑時の道路状況を示している。
渋滞が続き、車両がカメラから見て重なって撮像されている。
その結果、対象車両は全体が見えず、逆に差分部５００では、数珠繋ぎになった一連の車両列が、差分画像として切り出される。
これら車両列が不要に切り出されて、誤ったテンプレート画像が作成される。
その結果、テンプレートマッチングの精度は、著しく劣化し、渋滞時の突発事象判断の精度は、著しく劣化する。
Further, for example, FIG. 18 shows a road situation at the time of congestion.
Congestion continues and the vehicles are picked up from the camera.
As a result, the entire target vehicle cannot be seen, and conversely, in the
These vehicle trains are cut out unnecessarily, and an incorrect template image is created.
As a result, the accuracy of template matching is remarkably deteriorated, and the accuracy of sudden event determination at the time of traffic congestion is remarkably deteriorated.
更に、例えば、図１９では、夕方の道路状況を示している。
夕陽が低い位置より路面を照らし、車両の影が長く伸びている。
その結果、影は常に車両に連結して移動し、差分部５００では、車両のみならず、そこより伸びた影も車両と同様に、差分画像として切り出される。
これら影が車両に付随して不要に切り出されて、誤ったテンプレート画像が作成される。
その結果、テンプレートマッチングの精度は、著しく劣化し、夕方の突発事象判断の精度は、著しく劣化する。
Further, for example, FIG. 19 shows an evening road condition.
The shadow of the vehicle extends longer, illuminating the road surface from a low sunset.
As a result, the shadow is always connected to the vehicle and moved, and the
These shadows are unnecessarily cut out accompanying the vehicle, and an incorrect template image is created.
As a result, the accuracy of template matching is significantly deteriorated, and the accuracy of sudden event determination in the evening is significantly deteriorated.
以上のとおり、従来の画像処理装置では、時間帯や交通事情等の環境の変化により、突発事象の判断が、精度良く行えないといった課題があった。 As described above, the conventional image processing apparatus has a problem that the sudden event cannot be accurately determined due to environmental changes such as time zones and traffic conditions.
本発明は、環境に変化が生じても、突発事象の判断を精度良く行う画像処理装置を得ることを目的とする。 It is an object of the present invention to obtain an image processing apparatus that accurately determines a sudden event even when a change occurs in the environment.
本発明の画像処理装置は、所定の周期にて入力される画像のフレーム毎の差分画像を抽出する差分手段と、入力される画像を複数のブロックに分割すると共に、差分手段により抽出された差分画像が生じたブロックを特定し、該特定したブロック単位の特徴量を算出するブロック単位特徴量算出手段と、ブロック単位特徴量算出手段により算出されたブロック単位の特徴量を時間帯毎に集計し、時間帯毎にブロック単位の特徴量の一般的な発生状況を学習して記憶する時系列特徴量学習記憶手段と、ブロック単位特徴量算出手段により算出されたブロック単位の特徴量と、時系列特徴量学習記憶手段により記憶された該当する時間帯における同一のブロック単位の特徴量の一般的な発生状況との比較に応じて突発事象の発生を判断する特徴量比較手段とを備えたものである。 The image processing apparatus according to the present invention includes a difference unit that extracts a difference image for each frame of an image input at a predetermined period, and a difference extracted by the difference unit while dividing the input image into a plurality of blocks. A block unit feature quantity calculation unit that identifies a block in which an image is generated and calculates the feature quantity of the specified block unit, and the block unit feature quantity calculated by the block unit feature quantity calculation unit is aggregated for each time zone. , A time-series feature amount learning storage unit that learns and stores a general occurrence state of a block-unit feature amount for each time period, a block-unit feature amount calculated by the block-unit feature amount calculation unit, and a time series Feature quantity for determining occurrence of sudden event according to comparison with general occurrence status of feature quantity in same block unit in corresponding time zone stored by feature quantity learning storage means It is obtained by a compare means.
本発明によれば、時系列特徴量学習記憶手段が、時間帯毎にブロック単位の特徴量の一般的な発生状況を学習して記憶するので、特徴量比較手段において、ブロック単位特徴量算出手段により算出されたブロック単位の特徴量と、該当する時間帯における同一のブロック単位の特徴量の一般的な発生状況とを比較すれば、時間帯等により環境に変化が生じても、突発事象の発生の判断を精度良く行うことができる効果がある。 According to the present invention, the time-series feature amount learning storage unit learns and stores a general occurrence state of the block-unit feature amount for each time zone, so that the block-unit feature amount calculation unit in the feature amount comparison unit If the feature quantity of the block unit calculated by the above and the general occurrence status of the feature quantity of the same block unit in the corresponding time zone are compared, even if the environment changes due to the time zone etc., the sudden event There is an effect that the occurrence can be determined with high accuracy.
実施の形態１．
図１は本発明の実施の形態１による画像処理装置の突発事象判断アルゴリズムを示す構成図である。
図１において、ビデオ入力部１は、映像信号を入力する。
Ａ／Ｄ変換部２は、ビデオ入力部１から入力される映像を量子化する。
画像蓄積部３は、Ａ／Ｄ変換部２から所定の周期にて入力される画像の、例えば、１フレーム前の画像を記憶する。
画像蓄積部４は、同様に、例えば、現画像を記憶する。
差分部５は、１フレーム前の画像と現画像を比較し、差分画像を抽出する。
Embodiment 1 FIG.
FIG. 1 is a block diagram showing a sudden event determination algorithm of the image processing apparatus according to Embodiment 1 of the present invention.
In FIG. 1, a video input unit 1 inputs a video signal.
The A /
The
Similarly, the image storage unit 4 stores the current image, for example.
The
ブロック単位特徴量算出部６は、入力される画像をブロックという複数の単位に分割した後、差分画像が生じたブロックを特定し、特定したブロック単位の面積、輝度、色、およびエッジ量等の特徴量を算出する。
時系列特徴量学習記憶部６ａは、ブロック単位特徴量算出部６にて、１０回／秒のペースで算出される特徴量を、１時間単位で１週間２４時間分、ヒストグラム化することにより集計し、時間毎および曜日毎にブロック単位の特徴量の一般的な発生状況を学習して記憶する。
The block unit feature
The time-series feature amount learning
ブロック単位特徴量相関算出部７は、ブロック単位特徴量算出部６にて算出されたブロック単位の特徴量を利用し、隣接ブロック間の特徴量の相関関係の強さを算出する。
時系列特徴量相関学習記憶部７ａは、ブロック単位特徴量相関算出部７にて、１０回／秒のペースで算出される隣接ブロック間の特徴量の相関関係の強さを、１時間単位で１週間２４時間分、ヒストグラム化することにより集計し、時間毎および曜日毎に隣接ブロック間の特徴量の相関関係の一般的な発生状況を学習して記憶する。
The block unit feature quantity
The time-series feature amount correlation learning
特徴量比較部８は、ブロック単位特徴量算出部６により算出された現画像のブロック単位の特徴量と、時系列特徴量学習記憶部６ａにより記憶された現画像に該当する同一時間および同一曜日における同一のブロック単位の特徴量の一般的な発生状況（学習記憶データ）との比較に応じて、現画像の特徴量が学習記憶データの範囲内かを判断し、範囲外の場合に突発事象の発生と判断し、警報出力１０する。
特徴量相関比較部９は、ブロック単位特徴量相関算出部７により算出された現画像の隣接ブロック間の特徴量の相関関係の強さと、時系列特徴量相関学習記憶部７ａにより記憶された現画像に該当する同一時間および同一曜日における同一の隣接ブロック間の特徴量の相関関係の一般的な発生状況（学習記憶データ）との比較に応じて、突発事象の発生を判断し、警報出力１０する。
The feature
The feature amount
次に動作について説明する。
外部から画像処理装置に与えられた映像信号は、ビデオ入力部１にて受け取り、Ａ／Ｄ変換部２に送られる。
Ａ／Ｄ変換部２では、受け取ったビデオ信号を後の処理のためにデジタルデータに変換する。
１画素当たり８ビットの多値データに変換するのが一般的である。
画像蓄積部３では、入力された画像を蓄積し、後の処理に備える。例として、ここでは、１フレーム前の画像を蓄積するものとする。
その１フレーム前の画像は、例えば、図２の様なものである。
画像蓄積部４では、入力された現画像を蓄積し、後の処理に備える。
その現画像は、例えば、図３の様なものである。
Next, the operation will be described.
A video signal given to the image processing apparatus from the outside is received by the video input unit 1 and sent to the A /
The A /
In general, conversion into multi-value data of 8 bits per pixel is performed.
The
The image one frame before is, for example, as shown in FIG.
The image storage unit 4 stores the input current image and prepares for subsequent processing.
The current image is, for example, as shown in FIG.
差分部５では、１フレーム前の画像と現フレームの画像の差分をとって差分画像を抽出する。
差分画像の一般的作成方法は、全画素において輝度差の絶対値を算出し、それを差分画像とする方法である。
車両の存在する場所は、存在しない場所より大きな差分値が得られる。
図４に、図２と図３の差分画像例を示す。
The
A general method for creating a difference image is a method in which an absolute value of a luminance difference is calculated for all pixels and is used as a difference image.
A location where the vehicle is present can obtain a larger difference value than a location where the vehicle does not exist.
FIG. 4 shows an example of the difference image between FIG. 2 and FIG.
ブロック単位特徴量算出部６では、先ず、画像をブロックという複数の単位に分割する。
図５にブロック分割例を示す。
道路監視の場合は、道路を等面積で分割するのが望ましいが、必須ではない。
更に、そのブロック毎に、差分部５より入力される差分画像を重ね、差分のあるブロックを特定する。
図６では、２つの車両の差分画像が見えるが、図５の現画像に該当するのは、手前の車両であるため、手前の車両を囲むブロックを該当ブロックとする（ブロックＵ，Ｖ，Ｘ，Ｙ）。
なお、該当ブロックは、手前の車両だけではなく、奥手の車両も加えても良く、更に、差分画像が含まれる全てのブロックを対象にしても良い。
In the block unit feature
FIG. 5 shows an example of block division.
In the case of road monitoring, it is desirable to divide the road into equal areas, but this is not essential.
Furthermore, the difference image input from the
In FIG. 6, a difference image of two vehicles can be seen, but since the current image in FIG. 5 corresponds to the vehicle in front, the block surrounding the vehicle in front is set as the corresponding block (blocks U, V, X). , Y).
Note that the corresponding block may include not only the vehicle in front but also the vehicle in the back, and may also target all blocks including the difference image.
その上で、該当ブロックにて下記特徴量（例）を算出する。
（１）面積 一定量の差分が確認された画素数をカウントする。
（２）輝度 画像蓄積部にある画像で、（１）に該当する画素の平均輝度を求める。
（３）色 画像蓄積部にある画像で、（１）に該当する画素の平均ＲＧＢ値を求める。
（４）エッジ量 画像蓄積部にある画像で、（１）に該当する画素のみでエッジ抽出を行い、一定強度を有するエッジ画素数をカウントする。
ここで、エッジ量について、もう少し詳しく説明する。
（１）に該当する画素を対象に、隣接する画素間の輝度差をエッジ強度とする。
例えば、輝度５０と輝度１５０の画素間では、輝度差が１００なので、エッジ強度も１００とする。
このエッジ強度を、例えば、閾値８０で２値化し、“１”となった部分をエッジとする。
よって、エッジ強度１００は、２値化後“１”となる。
この作業をエッジ抽出とする。
エッジ量は、抽出されたエッジの総量をカウントすることにより得られる。
なお、（１），（４）は、遠近補正を行い、数字が直接比較できるように正規化することが望ましい。
ここでは、以上の処理を、例として、１０回／秒行う。
Then, the following feature amount (example) is calculated in the corresponding block.
(1) Area Count the number of pixels for which a certain amount of difference has been confirmed.
(2) Luminance The average luminance of the pixels corresponding to (1) is obtained from the image in the image storage unit.
(3) Color The average RGB value of the pixel corresponding to (1) is obtained from the image in the image storage unit.
(4) Edge amount Edge extraction is performed on only the pixels corresponding to (1) in the image in the image storage unit, and the number of edge pixels having a constant intensity is counted.
Here, the edge amount will be described in a little more detail.
For the pixel corresponding to (1), the luminance difference between adjacent pixels is set as the edge strength.
For example, since the luminance difference is 100 between pixels with luminance 50 and luminance 150, the edge strength is also set to 100.
For example, the edge intensity is binarized with a threshold value 80, and a portion that is “1” is defined as an edge.
Therefore, the
This operation is referred to as edge extraction.
The edge amount is obtained by counting the total amount of extracted edges.
It should be noted that (1) and (4) are preferably normalized so that perspective correction is performed and numbers can be directly compared.
Here, the above process is performed 10 times / second as an example.
時系列特徴量学習記憶部６ａでは、ブロック単位特徴量算出部６にて、１０回／秒のペースで算出される特徴量を、例えば、１時間単位で集計し、ヒストグラム化する。
ヒストグラムは、各ブロック毎に全特徴量数だけ用意され、かつ１週間２４時間分存在する。
図７に、ブロックＸの月曜１６時台の特徴量「面積」のヒストグラム例を示す。
図７における、横軸が画素数、縦軸が発生頻度である。
１０回／秒のペースで算出される特徴量「面積」を画素数に見たてて、ヒストグラムの横軸である画素数の該当箇所に投票する。
１時間の間に（１０×６０×６０＝）３６０００回投票される。
よって、ヒストグラムの縦軸である発生頻度を全て合計すると、３６０００になる。
同様に「面積」「輝度」「色」「エッジ量」のヒストグラムを作成後、更に、これらヒストグラムより、下記二次的な特徴量も算出する。
In the time-series feature amount learning
As many histograms as the total number of features are prepared for each block and exist for 24 hours per week.
FIG. 7 shows a histogram example of the feature amount “area” of the block X on the Monday 16:00 level.
In FIG. 7, the horizontal axis represents the number of pixels and the vertical axis represents the occurrence frequency.
The feature amount “area” calculated at a pace of 10 times / second is found in terms of the number of pixels, and votes are given to the corresponding locations of the number of pixels on the horizontal axis of the histogram.
Voted 36000 times (10x60x60 =) in 1 hour.
Therefore, the sum of the occurrence frequencies on the vertical axis of the histogram is 36000.
Similarly, after creating histograms of “area”, “luminance”, “color”, and “edge amount”, the following secondary feature amounts are also calculated from these histograms.
（１）面積に対する二次的な特徴量例
ａ）最多面積 路肩に該当するブロックでは小さい
ｂ）発生頻度 ブロック内の通過車両数に比例
（２）輝度に対する二次的な特徴量例
ａ）最多輝度 夜間は高輝度に偏る
ｂ）発生頻度 ブロック内の通過車両数に比例
ｃ）分散値 夜間であれば照明の有無に逆比例
（３）色に対する二次的な特徴量例
ａ）最多色 夜間は赤か白に偏る、日中で影が有れば黒が突出してくる
ｂ）発生頻度 ブロック内の通過車両数に比例
ｃ）分散値 夜間は分散が減る
（４）エッジ量に対する二次的な特徴量例
ａ）縦エッジ横エッジ比 夜間は１に近づく
以上の「特徴量」「二次的特徴量」を１時間単位でヒストグラム化して記憶する。
更に、１週間に１時間、このヒストグラムが新たなデータで更新される。
季節的要因も、ここで平均化される。
(1) Example of secondary feature value for area a) Maximum area Small in block corresponding to road shoulder b) Frequency of occurrence proportional to the number of passing vehicles in block (2) Example of secondary feature value for luminance a) Maximum Luminance Nightly biased to high luminance b) Occurrence frequency Proportional to the number of passing cars in the block c) Dispersion value Inversely proportional to the presence or absence of lighting at night (3) Examples of secondary features for colors a) Most frequent colors Nighttime Is biased to red or white, black appears if there is a shadow in the day b) Frequency of occurrence proportional to the number of passing vehicles in the block c) Dispersion value Dispersion decreases at night (4) Secondary to the edge amount Examples of feature amounts a) Longitudinal edge width-to-edge ratio approaches 1 at night The above “feature amount” and “secondary feature amount” are stored as a histogram in units of one hour.
Further, this histogram is updated with new data for one hour per week.
Seasonal factors are also averaged here.
ブロック単位特徴量相関算出部７では、ブロック単位特徴量算出部６の出力を受け、隣接ブロック間で特徴量の相関関係の強さを測定する。
まず、平面的相関を見る。以下のような例。
該当ブロックＵに対して、その周辺８ブロック間で、特に相関が認められるブロックと特徴量は以下。
（１）ブロックＵ，Ｖ 面積／輝度／色 相関関係「中」
（２）ブロックＵ，Ｘ 面積／輝度／色 相関関係「強」
The block unit feature quantity
First, look at the planar correlation. The following example.
For the corresponding block U, the blocks and features that are particularly correlated among the surrounding 8 blocks are as follows.
(1) Blocks U and V Area / luminance / color correlation “medium”
(2) Block U, X Area / luminance / color correlation “strong”
次に、時間的相関を見る。以下のような例。
該当ブロックＸに対して、１処理サイクル前の周辺８ブロック間で特に相関が認められるブロックと特徴量は以下。
（１）１処理サイクル前のブロックＵ、現サイクルのブロックＸ 面積／輝度／色 相関関係「強」
相関関係の強度は、３〜５段階で示すのが有効であるが、特に制限はない。
また、上記では、平面的相関は、該当ブロックの周囲ブロック（８ブロック）で見たが、これは必須ではない。
時間的相関は、１処理サイクル前の周囲ブロック（８ブロック）で見たが、これも必須ではない。
画像処理装置の演算力に合わせて、範囲は拡大縮小しても良い。
Next, look at the temporal correlation. The following example.
For the corresponding block X, the following blocks and feature quantities are particularly correlated between the surrounding 8 blocks one processing cycle before.
(1) Block U one processing cycle before, block X of the current cycle Area / luminance / color correlation “strong”
It is effective to show the strength of the correlation in 3 to 5 stages, but there is no particular limitation.
In the above description, the planar correlation is seen in the surrounding blocks (8 blocks) of the corresponding block, but this is not essential.
Although the temporal correlation was seen in the surrounding blocks (8 blocks) before one processing cycle, this is also not essential.
The range may be enlarged or reduced in accordance with the computing power of the image processing apparatus.
時系列特徴量相関学習記憶部７ａでは、ブロック単位特徴量相関算出部７にて、１０回／秒のペースで算出される特徴量相関関係強度を、例えば、１時間単位で集計する。
データは、１週間２４時間分用意され、全ての特徴量相関関係強度に対し、各個に集計される。
In the time-series feature quantity correlation
Data is prepared for 24 hours per week, and is totaled for each characteristic amount correlation strength.
特徴量比較部８では、ブロック単位特徴量算出部６より送られてくる現画像のブロック単位の特徴量と、時系列特徴量学習記憶部６ａより送られてくる現画像に該当する同一時間および同一曜日における同一のブロック単位の特徴量の学習記憶データを比較して、現画像のブロック単位の特徴量が学習記憶データの範囲内かを判断する。
ここで、重要なのは、時系列特徴量学習記憶部６ａが曜日別、時間別に特徴量を集計するので、時系列特徴量学習記憶部６ａから出される学習記憶データが、環境変化に自動的に対応する点である。
In the feature
Here, what is important is that the time series feature quantity learning
例えば、図１７において、車両の形状は不鮮明で色も識別できず、テンプレートマッチングには不適であった。
しかし、図１７にて、時系列特徴量学習記憶部６ａから出される該当ブロックの学習記憶データでは、特徴量「色」がオレンジ、特徴量「面積」が１００画素程度のテールランプの特徴量が蓄積されている。
これを利用すると、特徴量比較部８では、車両のテールランプの動きを元に、正常な動きの判断が可能となる。
逆に、このテールランプの特徴量に反する動きが有れば、それが突発事象の発生と判断できる。
例えば、特徴量「色」が白、特徴量「面積」が５００画素の面積の移動が抽出されたら、逆行した車両が迷走している恐れがある。
これにより、警報出力１０することができる。
For example, in FIG. 17, the shape of the vehicle is unclear and the color cannot be identified, which is inappropriate for template matching.
However, in the learning storage data of the corresponding block output from the time-series feature amount learning
If this is utilized, the feature
On the contrary, if there is a movement against the feature amount of the tail lamp, it can be determined that the sudden event has occurred.
For example, if a movement of an area having a feature amount “color” of white and a feature amount “area” of 500 pixels is extracted, there is a possibility that the retrograde vehicle is straying.
Thereby, the
また、例えば、図１８において、車両の形状は連結されていて、単独車両としては切り出せず、テンプレートマッチングには不適であった。
しかし、図１８にて、時系列特徴量学習記憶部６ａから出される該当ブロックの学習記憶データでは、特徴量「面積」が１０００画素、特徴量「エッジ量」が縦エッジ「大」の、混雑した車両が連結している場合の特徴量が蓄積されている。
これを利用すると、特徴量比較部８では、車両の混雑・連結発生を元に、正常な動きの判断が可能となる。
逆に、混雑・連結の特徴量に反する動きが有れば、それが突発事象の発生と判断できる。
例えば、特徴量「面積」が１０画素、特徴量「エッジ量」が縦エッジ「小」の特徴量が抽出されたら、事故車両が道をふさいで、局部的に通行不可エリアができた恐れがある。
これにより、警報出力１０することができる。
Further, for example, in FIG. 18, the shapes of the vehicles are connected, and cannot be cut out as a single vehicle, which is inappropriate for template matching.
However, in FIG. 18, in the learning storage data of the corresponding block output from the time-series feature amount learning
If this is utilized, the feature
On the contrary, if there is a movement that is contrary to the feature amount of congestion / connection, it can be determined that a sudden event has occurred.
For example, if the feature quantity “area” is 10 pixels and the feature quantity “edge quantity” is the vertical edge “small”, the accident vehicle may block the road and create a locally inaccessible area. is there.
Thereby, the
更に、例えば、図１９において、車両に長く伸びた影が連結されていて、車両と一緒に切り出されてしまうため、テンプレートマッチングには不適であった。
しかし、図１９にて、時系列特徴量学習記憶部６ａから出される該当ブロックの学習記憶データでは、特徴量「面積」が５００画素の一般的車両通行時の特徴を示す。
それは、特徴量をブロック単位で比較するため、他のブロックに存在しているであろう影の有無は別判定となり、該当ブロックには影響しないためである（後述の相関情報には影響がある）。
これを利用すると、特徴量比較部８では、正常な動きの判断が可能となる。
Further, for example, in FIG. 19, since a long shadow is connected to the vehicle and cut out together with the vehicle, it is not suitable for template matching.
However, in FIG. 19, the learning storage data of the corresponding block output from the time-series feature amount learning
This is because, since the feature values are compared in units of blocks, the presence or absence of shadows that may exist in other blocks is determined separately, and does not affect the corresponding block (the correlation information described later is affected). ).
If this is utilized, the feature
特徴量相関比較部９では、ブロック単位特徴量相関算出部７より送られてくる現画像の隣接ブロック間の特徴量の相関関係の強さと、時系列特徴量相関学習記憶部７ａより送られてくる現画像に該当する同一時間および同一曜日における同一の隣接ブロック間の特徴量の相関関係の学習記憶データとの比較に応じて、突発事象の発生を判断し、警報出力１０する。
ここでも、重要なのは、時系列特徴量相関学習記憶部７ａが曜日別、時間別に隣接ブロック間の特徴量の相関関係の強さを集計するので、時系列特徴量相関学習記憶部７ａから出される学習記憶データが、環境変化に自動的に対応する点である。
The feature quantity
Here too, what is important is that the time series feature quantity correlation
平面的相関では、ブロックをまたいで大きな車両が存在する場合、夕方に影がのびている場合に、強い相関が現れる。
したがって、図１８にて、時系列特徴量相関学習記憶部７ａから出される該当ブロックの学習記憶データでは、ブロックをまたいで強い相関が現れ、これを利用すると、特徴量相関比較部９では、車両の影の発生を元に、正常な動きの判断が可能となる。
また、時間的相関では、速度が極端に異なる車両が存在する場合、学習記憶データで強い相関があった場所が、逆に相関が弱まる。
その場合は、速度超過車両、もしくは停止車両がいる可能性があり、これにより、警報出力１０することができる。
In the planar correlation, a strong correlation appears when there is a large vehicle across the blocks or when there is a shadow in the evening.
Accordingly, in FIG. 18, strong correlation appears across the blocks in the learning storage data of the corresponding block output from the time-series feature amount correlation learning
Further, in the temporal correlation, when there are vehicles with extremely different speeds, the correlation is weakened at a place where there is a strong correlation in the learning storage data.
In that case, there is a possibility that there is an overspeed vehicle or a stopped vehicle, so that an
以上のように、本実施の形態１によれば、時系列特徴量学習記憶部６ａが、１時間単位で１週間２４時間分、ヒストグラム化することによりブロック単位の特徴量を集計し、曜日毎および時間毎にブロック単位の特徴量の一般的な発生状況を学習して記憶するので、特徴量比較部８において、ブロック単位特徴量算出部６により算出されたブロック単位の特徴量と、該当する曜日および時間における同一のブロック単位の特徴量の一般的な発生状況とを比較すれば、曜日および時間等により環境に変化が生じても、突発事象の発生の判断を精度良く行うことができる。
As described above, according to the first embodiment, the time-series feature amount learning
また、時系列特徴量相関学習記憶部７ａが、１時間単位で１週間２４時間分、ヒストグラム化することにより隣接ブロック間の特徴量の相関関係の強さを集計し、曜日毎および時間毎に隣接ブロック間の特徴量の相関関係の一般的な発生状況を学習して記憶するので、特徴量相関比較部９において、ブロック単位特徴量相関算出部７により算出された隣接ブロック間の特徴量の相関関係の強さと、該当する曜日および時間における同一の隣接ブロック間の特徴量の相関関係の一般的な発生状況とを比較すれば、曜日および時間等により環境に変化が生じても、突発事象の発生の判断を、更に精度良く行うことができる。
なお、その結果、画像処理装置の設置時の現地調整は不要となる。
In addition, the time-series feature quantity correlation
As a result, no on-site adjustment is required when the image processing apparatus is installed.
したがって、従来例では精度の確保ができなかった「夜間」，「渋滞」，「夕方の影」等の影響を受けない画像処理を実施することができる。
なお、特徴量比較部８、特徴量相関比較部９は、それぞれの個別の比較結果から突発事象の発生の判断を行ったが、特徴量比較部８の比較結果と特徴量相関比較部９の比較結果との協同により、突発事象の発生の判断を行っても良く、より精度良く行うことができる。
Therefore, it is possible to perform image processing that is not affected by “nighttime”, “traffic jam”, “evening shadow”, etc., which cannot ensure accuracy in the conventional example.
Note that the feature
実施の形態２．
図８は本発明の実施の形態２による画像処理装置の突発事象判断アルゴリズムを示す構成図である。
図８において、時系列特徴量学習記憶部６ｂは、警報出力１０のフィードバック１１に応じて、ブロック単位特徴量算出部６により算出されたブロック単位の特徴量のうちの、突発事象が発生したブロック単位の特徴量を集計から外すものである。
また、時系列特徴量相関学習記憶部７ｂは、警報出力１０のフィードバック１１に応じて、ブロック単位特徴量相関算出部７により算出された隣接ブロック間の特徴量の相関関係の強さのうちの、突発事象が発生した隣接ブロック間の特徴量の相関関係の強さを集計から外すものである。
その他の構成については、図１と同様である。
FIG. 8 is a block diagram showing a sudden event determination algorithm of the image processing apparatus according to the second embodiment of the present invention.
In FIG. 8, the time-series feature amount learning
In addition, the time-series feature quantity correlation
Other configurations are the same as those in FIG.
次に動作について説明する。
警報出力１０された場合に、時系列特徴量学習記憶部６ｂおよび時系列特徴量相関学習記憶部７ｂにフィードバック１１される。
時系列特徴量学習記憶部６ｂは、警報出力１０のフィードバック１１に応じて、ブロック単位特徴量算出部６により算出され、突発事象が発生したブロック単位の特徴量をヒストグラムの集計から外す。
また、時系列特徴量相関学習記憶部７ｂは、警報出力１０のフィードバック１１に応じて、ブロック単位特徴量相関算出部７により算出され、突発事象が発生した隣接ブロック間の特徴量の相関関係の強さをヒストグラムの集計から外す。
Next, the operation will be described.
When the alarm output is 10, the
The time-series feature quantity learning
The time-series feature quantity correlation
以上のように、本実施の形態２によれば、時系列特徴量学習記憶部６ｂが、突発事象が発生したブロック単位の特徴量を集計から外すようにしたので、過った学習を回避し、継続的に正しい学習を続けることができるため、長期的運用の際の信頼度を向上させることができる。
また、時系列特徴量相関学習記憶部７ｂが、突発事象が発生した隣接ブロック間の特徴量の相関関係の強さを集計から外すようにしたので、過った学習を回避し、継続的に正しい学習を続けることができるため、長期的運用の際の信頼度を向上させることができる。
As described above, according to the second embodiment, the time-series feature amount learning
In addition, since the time-series feature quantity correlation
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。 In the present invention, within the scope of the invention, any combination of the embodiments, or any modification of any component in each embodiment, or omission of any component in each embodiment is possible. .
１ ビデオ入力部、２ Ａ／Ｄ変換部、３，４ 画像蓄積部、５ 差分部、６ ブロック単位特徴量算出部、６ａ，６ｂ 時系列特徴量学習記憶部、７ ブロック単位特徴量相関算出部、７ａ，７ｂ 時系列特徴量相関学習記憶部、８ 特徴量比較部、９ 特徴量相関比較部、１０ 警報出力、１１ フィードバック。
DESCRIPTION OF SYMBOLS 1 Video input part, 2 A / D conversion part, 3, 4 Image storage part, 5 Difference part, 6 Block unit feature-value calculation part, 6a, 6b Time series feature-value learning memory | storage part, 7 Block unit feature-value
Claims (7)
入力される上記画像を複数のブロックに分割すると共に、上記差分手段により抽出された差分画像が生じたブロックを特定し、該特定したブロック単位の特徴量を算出するブロック単位特徴量算出手段と、
上記ブロック単位特徴量算出手段により算出されたブロック単位の特徴量を時間帯毎に集計し、時間帯毎にブロック単位の特徴量の一般的な発生状況を学習して記憶する時系列特徴量学習記憶手段と、
上記ブロック単位特徴量算出手段により算出されたブロック単位の特徴量と、上記時系列特徴量学習記憶手段により記憶された該当する時間帯における同一のブロック単位の特徴量の一般的な発生状況との比較に応じて突発事象の発生を判断する特徴量比較手段とを備えた画像処理装置。 Differential means for extracting a differential image for each frame of an image input at a predetermined period;
A block unit feature quantity calculating unit that divides the input image into a plurality of blocks, specifies a block in which the difference image extracted by the difference unit is generated, and calculates a feature quantity of the specified block unit;
Time series feature amount learning that aggregates the feature amounts of the block units calculated by the block unit feature amount calculation means for each time zone, and learns and stores the general occurrence state of the block unit feature amounts for each time zone. Storage means;
The block-wise feature quantity calculated by the block-unit feature quantity calculating means and the general occurrence status of the same block-unit feature quantity in the corresponding time zone stored by the time-series feature quantity learning storage means An image processing apparatus comprising: feature amount comparison means for determining occurrence of a sudden event according to comparison.
上記ブロック単位特徴量相関算出手段により算出された隣接ブロック間の特徴量の相関関係の強さを時間帯毎に集計し、時間帯毎に隣接ブロック間の特徴量の相関関係の一般的な発生状況を学習して記憶する時系列特徴量相関学習記憶手段と、
上記ブロック単位特徴量相関算出手段により算出された隣接ブロック間の特徴量の相関関係の強さと、上記時系列特徴量相関学習記憶手段により記憶された該当する時間帯における同一の隣接ブロック間の特徴量の相関関係の一般的な発生状況との比較に応じて突発事象の発生を判断する特徴量相関比較手段とを備えた請求項１記載の画像処理装置。 Based on the block unit feature quantity calculated by the block unit feature quantity calculation means, the correlation of the feature quantity between adjacent blocks according to the comparison of the block unit feature quantity between the block whose feature quantity was calculated and the adjacent block A block unit feature amount correlation calculating means for calculating the strength of
Aggregate the strength of correlation between adjacent blocks calculated by the block-unit feature block correlation calculation means for each time zone, and generate a general correlation between adjacent blocks for each time zone Time-series feature correlation learning storage means for learning and storing the situation;
The strength of the correlation between the feature quantities between adjacent blocks calculated by the block unit feature quantity correlation calculating means, and the feature between the same adjacent blocks in the corresponding time zone stored by the time series feature quantity correlation learning storage means The image processing apparatus according to claim 1, further comprising: a feature amount correlation comparison unit that determines the occurrence of a sudden event according to a comparison with a general occurrence state of the amount correlation.
突発事象が発生した場合に、該突発事象が発生したブロック単位の特徴量を集計から外すことを特徴とする請求項１記載の画像処理装置。 The time-series feature amount learning storage means
The image processing apparatus according to claim 1, wherein, when a sudden event occurs, the feature amount of the block unit in which the sudden event has occurred is excluded from aggregation.
突発事象が発生した場合に、該突発事象が発生した隣接ブロック間の特徴量の相関関係の強さを集計から外すことを特徴とする請求項２記載の画像処理装置。 Time series feature quantity correlation learning storage means
The image processing apparatus according to claim 2, wherein, when a sudden event occurs, the strength of the correlation of the feature amounts between adjacent blocks in which the sudden event has occurred is excluded from counting.
特徴量として、面積、輝度、色、およびエッジ量のうちの少なくとも一つを算出することを特徴とする請求項１から請求項４のうちのいずれか１項記載の画像処理装置。 The block unit feature quantity calculation means
The image processing apparatus according to claim 1, wherein at least one of an area, luminance, color, and edge amount is calculated as the feature amount.
ブロック単位の特徴量を１時間単位で１週間２４時間分、ヒストグラム化することにより集計することを特徴とする請求項１から請求項５のうちのいずれか１項記載の画像処理装置。 The time-series feature amount learning storage means
The image processing apparatus according to claim 1, wherein the feature amounts in block units are tabulated for 24 hours per week in a unit of one hour, and are tabulated.
ブロック単位特徴量算出手段により今回算出されたブロックの特徴量と、前回算出された隣接ブロックとのブロック単位の特徴量との比較に応じて隣接ブロック間の特徴量の相関関係の強さを算出することを特徴とする請求項２記載の画像処理装置。 The block unit feature quantity correlation calculating means is:
Calculates the strength of the correlation between the feature quantities between adjacent blocks according to the comparison between the block feature quantity calculated this time by the block unit feature quantity calculation means and the block-wise feature quantity calculated with the adjacent block calculated last time. The image processing apparatus according to claim 2, wherein:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012131898A JP5988716B2 (en) | 2012-06-11 | 2012-06-11 | Image processing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012131898A JP5988716B2 (en) | 2012-06-11 | 2012-06-11 | Image processing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013257630A true JP2013257630A (en) | 2013-12-26 |
| JP5988716B2 JP5988716B2 (en) | 2016-09-07 |
Family
ID=49954047
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012131898A Expired - Fee Related JP5988716B2 (en) | 2012-06-11 | 2012-06-11 | Image processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5988716B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015194970A (en) * | 2014-03-31 | 2015-11-05 | 富士重工業株式会社 | Outside-vehicle environment recognition device |
| JP2016024651A (en) * | 2014-07-22 | 2016-02-08 | 沖電気工業株式会社 | State determination system, state determination method, and program |
| JP2022532792A (en) * | 2019-06-05 | 2022-07-19 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツング | Detection, 3D reproduction and tracking of rigid objects moving in close proximity to multiple objects |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006099373A (en) * | 2004-09-29 | 2006-04-13 | Mitsubishi Electric Corp | Traffic flow monitoring system |
| JP2007209008A (en) * | 2003-10-21 | 2007-08-16 | Matsushita Electric Ind Co Ltd | Surveillance device |
-
2012
- 2012-06-11 JP JP2012131898A patent/JP5988716B2/en not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007209008A (en) * | 2003-10-21 | 2007-08-16 | Matsushita Electric Ind Co Ltd | Surveillance device |
| JP2006099373A (en) * | 2004-09-29 | 2006-04-13 | Mitsubishi Electric Corp | Traffic flow monitoring system |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015194970A (en) * | 2014-03-31 | 2015-11-05 | 富士重工業株式会社 | Outside-vehicle environment recognition device |
| JP2016024651A (en) * | 2014-07-22 | 2016-02-08 | 沖電気工業株式会社 | State determination system, state determination method, and program |
| JP2022532792A (en) * | 2019-06-05 | 2022-07-19 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツング | Detection, 3D reproduction and tracking of rigid objects moving in close proximity to multiple objects |
| JP7209115B2 (en) | 2019-06-05 | 2023-01-19 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツング | Detection, 3D reconstruction and tracking of multiple rigid objects moving in relatively close proximity |
| US12008785B2 (en) | 2019-06-05 | 2024-06-11 | Conti Temic Microelectronic Gmbh | Detection, 3D reconstruction and tracking of multiple rigid objects moving in relation to one another |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5988716B2 (en) | 2016-09-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9904860B2 (en) | Vehicle exterior environment recognition apparatus | |
| US11108970B2 (en) | Flicker mitigation via image signal processing | |
| CN107507142B (en) | Signal lamp image processing method | |
| CN102568242B (en) | Signal lamp state detection method and system based on video processing | |
| CN107730481B (en) | Traffic signal lamp image processing method and traffic signal lamp image processing device | |
| US20060215882A1 (en) | Image processing apparatus and method, recording medium, and program | |
| US8204305B2 (en) | Daytime and nighttime image recognizing method and apparatus | |
| US10037473B2 (en) | Vehicle exterior environment recognition apparatus | |
| US9111353B2 (en) | Adaptive illuminance filter in a video analysis system | |
| KR101432440B1 (en) | Fire smoke detection method and apparatus | |
| CN105812674A (en) | Signal lamp color correction method, monitoring method, and device thereof | |
| JP6420650B2 (en) | Outside environment recognition device | |
| US20160379069A1 (en) | Vehicle exterior environment recognition apparatus | |
| CN104869321A (en) | Method and control unit for controlling exposure of camera | |
| Hsu et al. | Real-time traffic parameter extraction using entropy | |
| JP5988716B2 (en) | Image processing device | |
| KR101026778B1 (en) | Vehicle image detection apparatus | |
| CN104156727A (en) | Lamplight inverted image detection method based on monocular vision | |
| JP2018107665A (en) | Imaging apparatus, dirt detection system, and dirt detection method | |
| Sasaki et al. | Development of ranging method for inter-vehicle distance using visible light communication and image processing | |
| CN112906428A (en) | Image detection area acquisition method and space use condition judgment method | |
| CN105740841B (en) | Method and device for determining vehicle detection mode | |
| JP6654870B2 (en) | Outside environment recognition device | |
| CN110020575B (en) | Vehicle detection device and method and electronic equipment | |
| Wangsiripitak et al. | Traffic light and crosswalk detection and localization using vehicular camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150515 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160421 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160426 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160621 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160712 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160809 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5988716 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |