JP2000123151A - 画像処理方法 - Google Patents
画像処理方法Info
- Publication number
- JP2000123151A JP2000123151A JP10293196A JP29319698A JP2000123151A JP 2000123151 A JP2000123151 A JP 2000123151A JP 10293196 A JP10293196 A JP 10293196A JP 29319698 A JP29319698 A JP 29319698A JP 2000123151 A JP2000123151 A JP 2000123151A
- Authority
- JP
- Japan
- Prior art keywords
- image
- wiper
- processing
- wiper frame
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 単純にワイパーの動作中に画像処理を停止さ
せる場合、その間、路面状況認識、障害物検知や前方車
両追尾などが行われないので、システムの安全性が低下
してしまう。また、機構的にワイパーの位置を検出する
場合、ワイパーの移動抵抗が原理的に存在し、また、あ
る程度、ワイパーにはしなりや遊びがあるので、正確な
ワイパーの位置を検出することができず、ワイパーの位
置を画像処理に反映させることが困難であるなどの課題
があった。 【解決手段】 画像から自動車のワイパーの動作・位置
を検出し、このワイパーを画像から除外するようにした
ものである。
せる場合、その間、路面状況認識、障害物検知や前方車
両追尾などが行われないので、システムの安全性が低下
してしまう。また、機構的にワイパーの位置を検出する
場合、ワイパーの移動抵抗が原理的に存在し、また、あ
る程度、ワイパーにはしなりや遊びがあるので、正確な
ワイパーの位置を検出することができず、ワイパーの位
置を画像処理に反映させることが困難であるなどの課題
があった。 【解決手段】 画像から自動車のワイパーの動作・位置
を検出し、このワイパーを画像から除外するようにした
ものである。
Description
【0001】
【発明の属する技術分野】この発明は、自動車の自動走
行・走行補助システムにおいて、路面状況認識、障害物
検知や前方車両追尾などを行うために、車載カメラによ
って撮像した画像を処理する画像処理方法に関するもの
である。
行・走行補助システムにおいて、路面状況認識、障害物
検知や前方車両追尾などを行うために、車載カメラによ
って撮像した画像を処理する画像処理方法に関するもの
である。
【0002】
【従来の技術】従来より、自動車の自動走行・走行補助
システムでは、自動車のルームミラー(バックミラー)
の裏側などに取り付けられた車載カメラで自動車の前方
を撮像し、その撮像した画像を画像処理装置で処理する
ことによって、路面状況認識、障害物検知や前方車両追
尾などを行っている。
システムでは、自動車のルームミラー(バックミラー)
の裏側などに取り付けられた車載カメラで自動車の前方
を撮像し、その撮像した画像を画像処理装置で処理する
ことによって、路面状況認識、障害物検知や前方車両追
尾などを行っている。
【0003】ここで、雨が降った場合には、運転者は自
動車のワイパーを動作させるが、このワイパーが車載カ
メラによって撮像されると、画像処理装置がワイパーを
障害物であると誤って検知してしまうなどの画像処理に
悪影響を及ぼすおそれがあった。
動車のワイパーを動作させるが、このワイパーが車載カ
メラによって撮像されると、画像処理装置がワイパーを
障害物であると誤って検知してしまうなどの画像処理に
悪影響を及ぼすおそれがあった。
【0004】そこで、従来では、画像処理装置は、ワイ
パーが動作していることを、ワイパーのスイッチに連動
した機構的・電気的情報から得ることにより、ワイパー
の動作中は画像処理を停止させたり、または、機構的に
動作中のワイパーの位置を検出し、ワイパーの写ってい
る画像または画像の部分を画像処理にて除外することが
行われていた。
パーが動作していることを、ワイパーのスイッチに連動
した機構的・電気的情報から得ることにより、ワイパー
の動作中は画像処理を停止させたり、または、機構的に
動作中のワイパーの位置を検出し、ワイパーの写ってい
る画像または画像の部分を画像処理にて除外することが
行われていた。
【0005】
【発明が解決しようとする課題】しかし、上記のよう
な、単純にワイパーの動作中に画像処理を停止させる場
合、その間、路面状況認識、障害物検知や前方車両追尾
などが行われないので、システムの安全性が低下してし
まう。また、ワイパーの動作中に車載カメラが撮像した
画像の中にも、画像処理に影響のない(ワイパーの写っ
ていない)画像及び画像の部分なども存在するが、これ
らの画像及び画像の部分を画像処理に効率的に使用する
ことができないという課題があった。
な、単純にワイパーの動作中に画像処理を停止させる場
合、その間、路面状況認識、障害物検知や前方車両追尾
などが行われないので、システムの安全性が低下してし
まう。また、ワイパーの動作中に車載カメラが撮像した
画像の中にも、画像処理に影響のない(ワイパーの写っ
ていない)画像及び画像の部分なども存在するが、これ
らの画像及び画像の部分を画像処理に効率的に使用する
ことができないという課題があった。
【0006】また、機構的にワイパーの位置を検出する
場合、ワイパーの移動抵抗が原理的に存在し、また、あ
る程度、ワイパーにはしなりや遊びがあるので、正確な
ワイパーの位置を検出することができず、ワイパーの位
置を画像処理に反映させることが困難であるなどの課題
があった。
場合、ワイパーの移動抵抗が原理的に存在し、また、あ
る程度、ワイパーにはしなりや遊びがあるので、正確な
ワイパーの位置を検出することができず、ワイパーの位
置を画像処理に反映させることが困難であるなどの課題
があった。
【0007】この発明は、上記のような課題を解決する
ためになされたものであり、ワイパーの影響による誤認
識を防ぎ、システムの安全性及び信頼性を向上させると
ともに、ワイパーの正確な動作及び位置を得ることによ
り、効率よく画像処理を行うことができる画像処理方法
を得ることを目的とする。
ためになされたものであり、ワイパーの影響による誤認
識を防ぎ、システムの安全性及び信頼性を向上させると
ともに、ワイパーの正確な動作及び位置を得ることによ
り、効率よく画像処理を行うことができる画像処理方法
を得ることを目的とする。
【0008】
【課題を解決するための手段】請求項1記載の発明に係
る画像処理方法は、画像から自動車のワイパーの動作・
位置を検出し、このワイパーを画像から除外するように
したものである。
る画像処理方法は、画像から自動車のワイパーの動作・
位置を検出し、このワイパーを画像から除外するように
したものである。
【0009】請求項2記載の発明に係る画像処理方法
は、撮像手段が撮像した自動車の前方の画像を取り込む
画像取込処理と、この画像取込処理で取り込んだ現画像
と前画像とを各画素の濃度について差分する差分処理
と、この差分処理の結果得られる差分画像の平均濃度や
分散に基づいて、現画像がワイパーフレームであるか否
か判定するワイパーフレーム判定処理と、このワイパー
フレーム判定処理の結果、現画像がワイパーフレームの
場合、現画像のワイパー部分を除去し、現画像が非ワイ
パーフレームの場合、現画像に基づいて自動車の自動走
行・走行補助などの画像処理を行う画像実処理と、差分
処理を行うために、現画像の1フレーム前の前画像を保
存する画像保存処理とを備えたものである。
は、撮像手段が撮像した自動車の前方の画像を取り込む
画像取込処理と、この画像取込処理で取り込んだ現画像
と前画像とを各画素の濃度について差分する差分処理
と、この差分処理の結果得られる差分画像の平均濃度や
分散に基づいて、現画像がワイパーフレームであるか否
か判定するワイパーフレーム判定処理と、このワイパー
フレーム判定処理の結果、現画像がワイパーフレームの
場合、現画像のワイパー部分を除去し、現画像が非ワイ
パーフレームの場合、現画像に基づいて自動車の自動走
行・走行補助などの画像処理を行う画像実処理と、差分
処理を行うために、現画像の1フレーム前の前画像を保
存する画像保存処理とを備えたものである。
【0010】請求項3記載の発明に係る画像処理方法
は、画像保存処理において、現画像が非ワイパーフレー
ムの場合にのみこの現画像を保存するようにしたもので
ある。
は、画像保存処理において、現画像が非ワイパーフレー
ムの場合にのみこの現画像を保存するようにしたもので
ある。
【0011】請求項4記載の発明に係る画像処理方法
は、ワイパーフレーム判定処理にて現画像がワイパーフ
レームと判定された場合に、その後の数フレームは無条
件にワイパーフレームとして処理するようにしたもので
ある。
は、ワイパーフレーム判定処理にて現画像がワイパーフ
レームと判定された場合に、その後の数フレームは無条
件にワイパーフレームとして処理するようにしたもので
ある。
【0012】請求項5記載の発明に係る画像処理方法h
は、ワイパーフレーム判定処理において、外界照度の変
動に対応させて、ワイパーフレームの判定基準を変動さ
せるようにしたものである。
は、ワイパーフレーム判定処理において、外界照度の変
動に対応させて、ワイパーフレームの判定基準を変動さ
せるようにしたものである。
【0013】請求項6記載の発明に係る画像処理方法
は、現画像と前画像との濃度のレベルを一定にするため
に、外界照度に応じて撮像手段のシャッター速度を制御
するようにしたものである。
は、現画像と前画像との濃度のレベルを一定にするため
に、外界照度に応じて撮像手段のシャッター速度を制御
するようにしたものである。
【0014】請求項7記載の発明に係る画像処理方法
は、撮像手段のシャッター速度を上げると同時に、ワイ
パーフレーム判定処理における差分画像の平均濃度や分
散の基準値のレベルを下げるようにしたものである。
は、撮像手段のシャッター速度を上げると同時に、ワイ
パーフレーム判定処理における差分画像の平均濃度や分
散の基準値のレベルを下げるようにしたものである。
【0015】請求項8記載の発明に係る画像処理方法
は、ワイパーフレーム判定処理において、差分画像内の
所定位置に設定した矩形範囲の平均濃度及び分散によっ
て現画像がワイパーフレームであるか否か判定するよう
にしたものである。
は、ワイパーフレーム判定処理において、差分画像内の
所定位置に設定した矩形範囲の平均濃度及び分散によっ
て現画像がワイパーフレームであるか否か判定するよう
にしたものである。
【0016】請求項9記載の発明に係る画像処理方法
は、差分画像の矩形範囲単位で差分処理を行うようにし
たものである。
は、差分画像の矩形範囲単位で差分処理を行うようにし
たものである。
【0017】請求項10記載の発明に係る画像処理方法
は、ワイパー部分が最も多い矩形範囲を判定し、この矩
形範囲のみ除外し、その他の領域は画像処理を行うよう
にしたものである。
は、ワイパー部分が最も多い矩形範囲を判定し、この矩
形範囲のみ除外し、その他の領域は画像処理を行うよう
にしたものである。
【0018】請求項11記載の発明に係る画像処理方法
は、差分処理において、差分画像の飽和閾値以上の濃度
レベルをカットするとともに、ワイパーフレーム判定処
理の前にフィルタ処理にてノイズを除去するようにした
ものである。
は、差分処理において、差分画像の飽和閾値以上の濃度
レベルをカットするとともに、ワイパーフレーム判定処
理の前にフィルタ処理にてノイズを除去するようにした
ものである。
【0019】
【発明の実施の形態】以下、この発明の実施の一形態を
説明する。 実施の形態1.図1は、この発明の実施の形態1による
画像処理方法を説明するための画像例を示す図である。
図1において、画像101は、車載カメラ(図示せず)
が撮像した現画像である。この画像101には、自動車
のワイパー部分101Aが写っている。画像101の全
画素の濃度(輝度)の平均値(平均濃度)は、ANであ
り、また、全画素の濃度の分散値(分散)は、VNであ
る。
説明する。 実施の形態1.図1は、この発明の実施の形態1による
画像処理方法を説明するための画像例を示す図である。
図1において、画像101は、車載カメラ(図示せず)
が撮像した現画像である。この画像101には、自動車
のワイパー部分101Aが写っている。画像101の全
画素の濃度(輝度)の平均値(平均濃度)は、ANであ
り、また、全画素の濃度の分散値(分散)は、VNであ
る。
【0020】画像102は、車載カメラが撮像した画像
101の1フレーム前の画像である。因みに、フレーム
とは、車載カメラが撮像したある瞬間の画像のことをい
う。画像102には、画像101のように自動車のワイ
パー部分101Aは写っていない。画像102の全画素
の濃度の平均値(平均濃度)は、ABであり、また、全
画素の濃度の分散値(分散)は、VBである。
101の1フレーム前の画像である。因みに、フレーム
とは、車載カメラが撮像したある瞬間の画像のことをい
う。画像102には、画像101のように自動車のワイ
パー部分101Aは写っていない。画像102の全画素
の濃度の平均値(平均濃度)は、ABであり、また、全
画素の濃度の分散値(分散)は、VBである。
【0021】画像103は、画像101と画像102の
差分画像、即ち、画像101各画素の濃度と画像102
の各画素の濃度の差分値の画像である。尚、この差分画
像103の各画素の濃度は、画像101,102の濃度
の差分値の絶対値を取る場合と、マイナス値が生じる場
合のいずれでもよいものとする。この差分画像103に
は、画像101と画像102を差分した結果、ワイパー
部分103Aが残っている。差分画像103の全画素の
濃度の平均値(平均濃度)は、aであり、また、全画素
の濃度の分散値(分散)は、vである。
差分画像、即ち、画像101各画素の濃度と画像102
の各画素の濃度の差分値の画像である。尚、この差分画
像103の各画素の濃度は、画像101,102の濃度
の差分値の絶対値を取る場合と、マイナス値が生じる場
合のいずれでもよいものとする。この差分画像103に
は、画像101と画像102を差分した結果、ワイパー
部分103Aが残っている。差分画像103の全画素の
濃度の平均値(平均濃度)は、aであり、また、全画素
の濃度の分散値(分散)は、vである。
【0022】次に、画像処理動作について説明する。図
2は、この発明の実施の形態1による画像処理方法を説
明するためのフローチャートである。図2に示すよう
に、まず、画像処理装置(図示せず)は、画像処理を行
う画像101を取り込み(ステップST1)、現画像1
01とこの現画像101の1フレーム前の画像102と
の差分処理を行う(ステップST2)。上記したよう
に、差分処理は、画像101,102の各画素の濃度を
差分値を求めるものであり、この差分処理の結果、差分
画像103が得られる。
2は、この発明の実施の形態1による画像処理方法を説
明するためのフローチャートである。図2に示すよう
に、まず、画像処理装置(図示せず)は、画像処理を行
う画像101を取り込み(ステップST1)、現画像1
01とこの現画像101の1フレーム前の画像102と
の差分処理を行う(ステップST2)。上記したよう
に、差分処理は、画像101,102の各画素の濃度を
差分値を求めるものであり、この差分処理の結果、差分
画像103が得られる。
【0023】次に、画像処理装置は、差分画像103に
基づいて、現画像101がワイパーフレームであるか否
か判定する(ステップST3)。ここで、ワイパーフレ
ームとは、車載カメラが撮像したある瞬間の画像のう
ち、ワイパーが写っている画像のことをいう。
基づいて、現画像101がワイパーフレームであるか否
か判定する(ステップST3)。ここで、ワイパーフレ
ームとは、車載カメラが撮像したある瞬間の画像のう
ち、ワイパーが写っている画像のことをいう。
【0024】ワイパーフレームであるか否かは、差分画
像103から平均濃度a及び分散vを求め、これら平均
濃度a及び分散vが平均濃度aの所定閾値TA,TB及
び分散vの所定閾値TVに対して、以下の条件式を満た
すとき、現画像101をワイパーフレームであると判定
する。
像103から平均濃度a及び分散vを求め、これら平均
濃度a及び分散vが平均濃度aの所定閾値TA,TB及
び分散vの所定閾値TVに対して、以下の条件式を満た
すとき、現画像101をワイパーフレームであると判定
する。
【0025】(1)a>TA または、 (2)a>TB かつ、v<TV 但し、TA>TBとする。
【0026】即ち、差分画像103の全体の平均濃度a
のレベルが(所定閾値TAより)高いか、または、差分
画像103の平均濃度aのレベルがある程度(所定閾値
TBより)高く、かつ、分散vが(所定閾値TVより)
小さい場合を、ワイパーフレームと判定する。なぜな
ら、画像101にワイパー部分101Aが写っている
と、差分画像103のワイパー部分103Aによって、
差分画像103の全体の平均濃度が高くなり、また、濃
度が高い画素の分散も小さくなるからである。
のレベルが(所定閾値TAより)高いか、または、差分
画像103の平均濃度aのレベルがある程度(所定閾値
TBより)高く、かつ、分散vが(所定閾値TVより)
小さい場合を、ワイパーフレームと判定する。なぜな
ら、画像101にワイパー部分101Aが写っている
と、差分画像103のワイパー部分103Aによって、
差分画像103の全体の平均濃度が高くなり、また、濃
度が高い画素の分散も小さくなるからである。
【0027】ワイパーフレーム判定処理(ステップST
3)の結果、現画像101がワイパーフレームであると
判定されると、現画像101についてワイパーフレーム
用実処理を実行する(ステップST4)。このワイパー
フレーム用実処理は、ワイパーフレームである画像10
1が画像処理に悪影響を及ぼすので、その画像101を
除外するものである。
3)の結果、現画像101がワイパーフレームであると
判定されると、現画像101についてワイパーフレーム
用実処理を実行する(ステップST4)。このワイパー
フレーム用実処理は、ワイパーフレームである画像10
1が画像処理に悪影響を及ぼすので、その画像101を
除外するものである。
【0028】一方、ワイパーフレーム判定処理(ステッ
プST3)の結果、ワイパーフレームでないと判定され
ると、現画像101について非ワイパーフレーム用実処
理を実行する(ステップST5)。この非ワイパーフレ
ーム用実処理は、ワイパーフレームでない画像101に
基づいて、画像処理を行って、路面状況認識や障害物検
知などを行うものである。
プST3)の結果、ワイパーフレームでないと判定され
ると、現画像101について非ワイパーフレーム用実処
理を実行する(ステップST5)。この非ワイパーフレ
ーム用実処理は、ワイパーフレームでない画像101に
基づいて、画像処理を行って、路面状況認識や障害物検
知などを行うものである。
【0029】ワイパーフレーム用実処理(ステップST
4)または非ワイパーフレーム用実処理(ステップST
5)の後、画像101がワイパーフレームであるか非ワ
イパーフレームであるかに拘わらず、現画像101を次
フレームの画像(101)との差分処理用に保存する
(ステップST6)。即ち、この現フレーム保存処理に
よって保存された画像は、次フレームに対しては、1フ
レーム前の画像(102)となる。
4)または非ワイパーフレーム用実処理(ステップST
5)の後、画像101がワイパーフレームであるか非ワ
イパーフレームであるかに拘わらず、現画像101を次
フレームの画像(101)との差分処理用に保存する
(ステップST6)。即ち、この現フレーム保存処理に
よって保存された画像は、次フレームに対しては、1フ
レーム前の画像(102)となる。
【0030】現フレーム保存処理(ステップST6)の
後、画像取込処理(ステップST1)に戻り、次フレー
ムの処理が実行される。
後、画像取込処理(ステップST1)に戻り、次フレー
ムの処理が実行される。
【0031】以上のように、この実施の形態1によれ
ば、ワイパーの動作・位置を、従来技術のように、ワイ
パーに連動した機構的・電気的情報から得るのでなく、
撮像した画像101,102より求める差分画像103
から得るので、正確にワイパーの動作・位置を検出する
ことができ、その結果、システムの安全性・信頼性を向
上させることができる。
ば、ワイパーの動作・位置を、従来技術のように、ワイ
パーに連動した機構的・電気的情報から得るのでなく、
撮像した画像101,102より求める差分画像103
から得るので、正確にワイパーの動作・位置を検出する
ことができ、その結果、システムの安全性・信頼性を向
上させることができる。
【0032】また、画像毎に、ワイパーフレームか否か
判定するので、画像処理に悪影響を及ぼすワイパーフレ
ームのみ除外することができ、効率よく画像処理を行う
ことができる。
判定するので、画像処理に悪影響を及ぼすワイパーフレ
ームのみ除外することができ、効率よく画像処理を行う
ことができる。
【0033】実施の形態2.上記実施の形態1では、現
フレーム保存処理(ステップST6)にて、画像がワイ
パーフレームであるか否かに拘わらず、次フレーム用に
保存していたが、この実施の形態2では、画像が非ワイ
パーフレームである場合に限り、その画像を次フレーム
用に保存するものである。即ち、この実施の形態2で
は、現画像と最も近い過去の非ワイパーフレームの画像
との差分処理を行うようにしたものである。
フレーム保存処理(ステップST6)にて、画像がワイ
パーフレームであるか否かに拘わらず、次フレーム用に
保存していたが、この実施の形態2では、画像が非ワイ
パーフレームである場合に限り、その画像を次フレーム
用に保存するものである。即ち、この実施の形態2で
は、現画像と最も近い過去の非ワイパーフレームの画像
との差分処理を行うようにしたものである。
【0034】図3は、この発明の実施の形態2による画
像処理方法を説明するための画像例を示す図である。画
像111〜116は左から右に時系列に並べている。画
像111,112,116は、非ワイパーフレームであ
り、画像113〜115は、ワイパーフレームであると
する。
像処理方法を説明するための画像例を示す図である。画
像111〜116は左から右に時系列に並べている。画
像111,112,116は、非ワイパーフレームであ
り、画像113〜115は、ワイパーフレームであると
する。
【0035】次に、画像処理動作について説明する。図
4は、この発明の実施の形態2による画像処理方法を説
明するためのフローチャートである。 (1)図3の画像112の処理から説明する。画像処理
装置は、上記実施の形態1と同様、画像112を取り込
み(ステップST1)、現画像112とこの現画像11
2の最も近い過去の非ワイパーフレームの画像111
(現画像112の1フレーム前の画像)との差分処理を
行う(ステップST2)。そして、画像処理装置は、上
記実施の形態1と同様、差分画像(図示せず)に基づい
て、現画像112がワイパーフレームであるか否か判定
する(ステップST3)。
4は、この発明の実施の形態2による画像処理方法を説
明するためのフローチャートである。 (1)図3の画像112の処理から説明する。画像処理
装置は、上記実施の形態1と同様、画像112を取り込
み(ステップST1)、現画像112とこの現画像11
2の最も近い過去の非ワイパーフレームの画像111
(現画像112の1フレーム前の画像)との差分処理を
行う(ステップST2)。そして、画像処理装置は、上
記実施の形態1と同様、差分画像(図示せず)に基づい
て、現画像112がワイパーフレームであるか否か判定
する(ステップST3)。
【0036】現画像112は、非ワイパーフレームであ
るので、画像処理装置は、現画像112を、次フレーム
以降の画像処理で使用する最も近い過去の非ワイパーフ
レームとして保存(画像111からの更新)する(ステ
ップST11)。そして、画像処理装置は、上記実施の
形態1と同様、その画像112について非ワイパーフレ
ーム用実処理を実行して(ステップST5)、次の画像
113の処理に移行する(ステップST1)。
るので、画像処理装置は、現画像112を、次フレーム
以降の画像処理で使用する最も近い過去の非ワイパーフ
レームとして保存(画像111からの更新)する(ステ
ップST11)。そして、画像処理装置は、上記実施の
形態1と同様、その画像112について非ワイパーフレ
ーム用実処理を実行して(ステップST5)、次の画像
113の処理に移行する(ステップST1)。
【0037】(2)図3の画像113の処理を説明す
る。画像処理装置は、上記したのと同様、画像113を
取り込み(ステップST1)、現画像113とこの現画
像113の最も近い過去の非ワイパーフレームの画像1
12との差分処理を行い(ステップST2)、差分画像
に基づいて、現画像113がワイパーフレームであるか
否か判定する(ステップST3)。
る。画像処理装置は、上記したのと同様、画像113を
取り込み(ステップST1)、現画像113とこの現画
像113の最も近い過去の非ワイパーフレームの画像1
12との差分処理を行い(ステップST2)、差分画像
に基づいて、現画像113がワイパーフレームであるか
否か判定する(ステップST3)。
【0038】現画像113は、ワイパーフレームである
ので、画像処理装置は、現画像112を保存せずに、上
記実施の形態1と同様、その画像113についてワイパ
ーフレーム用実処理を実行して(ステップST4)、次
の画像113の処理に移行する(ステップST1)。即
ち、非ワイパーフレームである画像112は、保存され
たまま更新されずに、次フレーム以降の画像処理で使用
される。
ので、画像処理装置は、現画像112を保存せずに、上
記実施の形態1と同様、その画像113についてワイパ
ーフレーム用実処理を実行して(ステップST4)、次
の画像113の処理に移行する(ステップST1)。即
ち、非ワイパーフレームである画像112は、保存され
たまま更新されずに、次フレーム以降の画像処理で使用
される。
【0039】(3)図3の画像114,115の処理
は、画像114,115がワイパーフレームであるの
で、上記した画像113の処理と同様、画像取込処理
(ステップST1)、最も近い過去の非ワイパーフレー
ムである画像112との差分処理(ステップST2)、
ワイパーフレーム判定処理(ステップST3)、及びワ
イパーフレーム用実処理(ステップST4)が行われ
る。
は、画像114,115がワイパーフレームであるの
で、上記した画像113の処理と同様、画像取込処理
(ステップST1)、最も近い過去の非ワイパーフレー
ムである画像112との差分処理(ステップST2)、
ワイパーフレーム判定処理(ステップST3)、及びワ
イパーフレーム用実処理(ステップST4)が行われ
る。
【0040】(4)図3の画像116の処理は、画像1
16が非ワイパーフレームであるので、上記した画像1
12の処理と同様、画像取込処理(ステップST1)、
最も近い過去の非ワイパーフレームである画像112と
の差分処理(ステップST2)、ワイパーフレーム判定
処理(ステップST3)、画像116を最も近い過去の
非ワイパーフレームとして保存(画像112から更新)
する現フレーム保存処理(ステップST11)、及び非
ワイパーフレーム用実処理(ステップST5)が行われ
る。従って、画像116が次フレーム以降の画像処理に
差分処理用に使用される。
16が非ワイパーフレームであるので、上記した画像1
12の処理と同様、画像取込処理(ステップST1)、
最も近い過去の非ワイパーフレームである画像112と
の差分処理(ステップST2)、ワイパーフレーム判定
処理(ステップST3)、画像116を最も近い過去の
非ワイパーフレームとして保存(画像112から更新)
する現フレーム保存処理(ステップST11)、及び非
ワイパーフレーム用実処理(ステップST5)が行われ
る。従って、画像116が次フレーム以降の画像処理に
差分処理用に使用される。
【0041】尚、現画像が非ワイパーフレームである場
合の現フレーム保存処理(ステップST11)は、非ワ
イパーフレーム用実処理(ステップST5)の前に行っ
ていたが、非ワイパーフレーム用実処理(ステップST
5)の後に行ってもよい。
合の現フレーム保存処理(ステップST11)は、非ワ
イパーフレーム用実処理(ステップST5)の前に行っ
ていたが、非ワイパーフレーム用実処理(ステップST
5)の後に行ってもよい。
【0042】以上のように、この実施の形態2によれ
ば、現画像との差分処理用に、最も近い過去の非ワイパ
ーフレームの画像を保存するようにしたので、ワイパー
フレーム判定処理(ステップST3)の誤判定を少なく
することができる。
ば、現画像との差分処理用に、最も近い過去の非ワイパ
ーフレームの画像を保存するようにしたので、ワイパー
フレーム判定処理(ステップST3)の誤判定を少なく
することができる。
【0043】即ち、上記実施の形態1では、現画像がワ
イパーフレームであるか否かに拘わらず、現画像を次フ
レーム用に保存するので、差分用に保存した画像がワイ
パーフレームである場合、ワイパーフレームの平均濃度
が高いため、ワイパーフレームとワイパーフレームの差
分画像の平均濃度aが低下し、現画像がワイパーフレー
ムであるにも拘わらず、現画像を非ワイパーフレームと
誤判定してしまうおそれがあるが、この実施の形態2で
は、必ず非ワイパーフレームと差分処理を行うので、現
画像を非ワイパーフレームと誤判定してしまうことが少
なくなる。
イパーフレームであるか否かに拘わらず、現画像を次フ
レーム用に保存するので、差分用に保存した画像がワイ
パーフレームである場合、ワイパーフレームの平均濃度
が高いため、ワイパーフレームとワイパーフレームの差
分画像の平均濃度aが低下し、現画像がワイパーフレー
ムであるにも拘わらず、現画像を非ワイパーフレームと
誤判定してしまうおそれがあるが、この実施の形態2で
は、必ず非ワイパーフレームと差分処理を行うので、現
画像を非ワイパーフレームと誤判定してしまうことが少
なくなる。
【0044】実施の形態3.上記実施の形態1では、画
像毎に、ワイパーフレームであるか否か判定していた
が、この実施の形態3では、現画像がワイパーフレーム
であれば、続く数フレームもワイパーフレームであると
して処理するものである。
像毎に、ワイパーフレームであるか否か判定していた
が、この実施の形態3では、現画像がワイパーフレーム
であれば、続く数フレームもワイパーフレームであると
して処理するものである。
【0045】尚、この実施の形態3による画像例は、上
記図1及び図3と同様の画像例を適用できるので、説明
を省略する。
記図1及び図3と同様の画像例を適用できるので、説明
を省略する。
【0046】次に、画像処理動作について説明する。図
5は、この発明の実施の形態3による画像処理方法を説
明するためのフローチャートである。画像処理装置は、
上記実施の形態2と同様、処理する画像を取り込むと
(ステップST1)、次に、現画像が無条件にワイパー
フレームとして判断してよいか否か判定する(ステップ
ST21)。
5は、この発明の実施の形態3による画像処理方法を説
明するためのフローチャートである。画像処理装置は、
上記実施の形態2と同様、処理する画像を取り込むと
(ステップST1)、次に、現画像が無条件にワイパー
フレームとして判断してよいか否か判定する(ステップ
ST21)。
【0047】無条件にワイパーフレームとして判断して
よいか否かは、「wip_cnt」の値が0か否か、即
ち、「wip_cnt」の値が1以上か否かによって判
定される。ここで、「wip_cnt」とは、画像処理
装置によってワイパーフレームが検出された後、続く何
フレームまでを無条件にワイパーフレームと判断するか
を示す値である。例えば、画像処理装置に取り込まれた
現画像の「wip_cnt」の値が3であれば、画像処
理装置は、続く3フレームまでを無条件にワイパーフレ
ームとして判断する。
よいか否かは、「wip_cnt」の値が0か否か、即
ち、「wip_cnt」の値が1以上か否かによって判
定される。ここで、「wip_cnt」とは、画像処理
装置によってワイパーフレームが検出された後、続く何
フレームまでを無条件にワイパーフレームと判断するか
を示す値である。例えば、画像処理装置に取り込まれた
現画像の「wip_cnt」の値が3であれば、画像処
理装置は、続く3フレームまでを無条件にワイパーフレ
ームとして判断する。
【0048】無条件ワイパーフレーム判定処理(ステッ
プST21)の結果、「wip_cnt」の値が1以上
の場合、現画像を無条件にワイパーフレームと判断でき
る期間中であるので、画像処理装置は、数値デクリメン
ト処理、即ち、「wip_cnt」の値を1引き(ステ
ップST22)、その後、ワイパーフレーム用実処理を
実行して(ステップST4)、次の画像の処理に移行す
る(ステップST1)。
プST21)の結果、「wip_cnt」の値が1以上
の場合、現画像を無条件にワイパーフレームと判断でき
る期間中であるので、画像処理装置は、数値デクリメン
ト処理、即ち、「wip_cnt」の値を1引き(ステ
ップST22)、その後、ワイパーフレーム用実処理を
実行して(ステップST4)、次の画像の処理に移行す
る(ステップST1)。
【0049】一方、無条件ワイパーフレーム判定処理
(ステップST21)の結果、「wip_cnt」の値
が0の場合、無条件にワイパーフレームと判断できない
ので、現画像がワイパーフレームであるか否かを判定す
る必要がある。従って、上記実施の形態2と同様、現画
像と最も近い過去の非ワイパーフレームの画像との差分
処理(ステップST2)を行うことにより差分画像を求
め、その差分画像に基づいて、現画像がワイパーフレー
ムであるか否か判断する(ステップST3)。
(ステップST21)の結果、「wip_cnt」の値
が0の場合、無条件にワイパーフレームと判断できない
ので、現画像がワイパーフレームであるか否かを判定す
る必要がある。従って、上記実施の形態2と同様、現画
像と最も近い過去の非ワイパーフレームの画像との差分
処理(ステップST2)を行うことにより差分画像を求
め、その差分画像に基づいて、現画像がワイパーフレー
ムであるか否か判断する(ステップST3)。
【0050】ワイパーフレーム判定処理(ステップST
3)の結果、現画像がワイパーフレームであると判定さ
れると、画像処理装置は、続く何フレームまでを無条件
にワイパーフレームと判断するかを示す値である「wi
p_cnt」の値を任意の値nに設定する。即ち、以
後、無条件に現画像をワイパーフレームとするフレーム
数をnに設定する(ステップST23)。そして、画像
処理装置は、上記実施の形態2と同様、ワイパーフレー
ム用実処理を実行して(ステップST4)、次の画像の
処理に移行する(ステップST1)。
3)の結果、現画像がワイパーフレームであると判定さ
れると、画像処理装置は、続く何フレームまでを無条件
にワイパーフレームと判断するかを示す値である「wi
p_cnt」の値を任意の値nに設定する。即ち、以
後、無条件に現画像をワイパーフレームとするフレーム
数をnに設定する(ステップST23)。そして、画像
処理装置は、上記実施の形態2と同様、ワイパーフレー
ム用実処理を実行して(ステップST4)、次の画像の
処理に移行する(ステップST1)。
【0051】また、ワイパーフレーム判定処理(ステッ
プST3)の結果、現画像が非ワイパーフレームである
と判定されると、画像処理装置は、上記実施の形態2と
同様、現画像を、最も近い過去の非ワイパーフレームと
して保存し(ステップST11)、その後、非ワイパー
フレーム用実処理を実行して(ステップST5)、次の
画像の処理に移行する(ステップST1)。
プST3)の結果、現画像が非ワイパーフレームである
と判定されると、画像処理装置は、上記実施の形態2と
同様、現画像を、最も近い過去の非ワイパーフレームと
して保存し(ステップST11)、その後、非ワイパー
フレーム用実処理を実行して(ステップST5)、次の
画像の処理に移行する(ステップST1)。
【0052】以上のように、この実施の形態3によれ
ば、現画像がワイパーフレームであると検出した場合
に、続く数フレームも無条件にワイパーフレームである
として処理するので、絶対にワイパーフレームである画
像(あるいはワイパーフレームである可能性が高い画
像)について、直ちにワイパーフレーム用実処理(ステ
ップST4)を実行することができ、画像処理の効率化
を図ることができるとともに、ワイパーフレーム判定処
理(ステップ3)における誤判定の可能性を低くするこ
とができる。
ば、現画像がワイパーフレームであると検出した場合
に、続く数フレームも無条件にワイパーフレームである
として処理するので、絶対にワイパーフレームである画
像(あるいはワイパーフレームである可能性が高い画
像)について、直ちにワイパーフレーム用実処理(ステ
ップST4)を実行することができ、画像処理の効率化
を図ることができるとともに、ワイパーフレーム判定処
理(ステップ3)における誤判定の可能性を低くするこ
とができる。
【0053】実施の形態4.上記実施の形態1から実施
の形態3では、現画像の濃度と差分処理用の前画像(現
画像の1フレーム前の画像、または現画像と最も近い過
去の非ワイパーフレームの画像)の濃度とを差分した差
分画像を求め、その差分画像の平均濃度a及び分散vか
ら、現画像がワイパーフレームであるか否かを判定して
いるので、現画像と前画像の濃度のレベルを一定にする
必要がある。
の形態3では、現画像の濃度と差分処理用の前画像(現
画像の1フレーム前の画像、または現画像と最も近い過
去の非ワイパーフレームの画像)の濃度とを差分した差
分画像を求め、その差分画像の平均濃度a及び分散vか
ら、現画像がワイパーフレームであるか否かを判定して
いるので、現画像と前画像の濃度のレベルを一定にする
必要がある。
【0054】しかし、自動車が移動するに従って、外界
照度が変動する(自動車の外が明るくなったり暗くなっ
たりする)ので、現画像と前画像の濃度のレベルは一定
にならない。例えば、自動車が建物の陰に差し掛かって
いる場合は、外界照度は暗くなり画像も暗くなってしま
う。そこで、この実施の形態4では、外界照度の変動に
対応させるようにしたものである。
照度が変動する(自動車の外が明るくなったり暗くなっ
たりする)ので、現画像と前画像の濃度のレベルは一定
にならない。例えば、自動車が建物の陰に差し掛かって
いる場合は、外界照度は暗くなり画像も暗くなってしま
う。そこで、この実施の形態4では、外界照度の変動に
対応させるようにしたものである。
【0055】図6は、この発明の実施の形態4による画
像処理方法を説明するための画像例を示す図である。図
6において、画像121は、建物の陰に差し掛かったと
きに車載カメラによって撮像された現画像である。この
画像121には、自動車のワイパー部分121Aが写っ
ており、ワイパーフレームであるとする。画像121の
平均濃度AN’及び分散VN’は、通常(図1の画像1
01の平均濃度AN及び分散VN)よりも低くなってい
る。
像処理方法を説明するための画像例を示す図である。図
6において、画像121は、建物の陰に差し掛かったと
きに車載カメラによって撮像された現画像である。この
画像121には、自動車のワイパー部分121Aが写っ
ており、ワイパーフレームであるとする。画像121の
平均濃度AN’及び分散VN’は、通常(図1の画像1
01の平均濃度AN及び分散VN)よりも低くなってい
る。
【0056】画像122は、建物の陰に差し掛かってい
ないときに車載カメラによって撮像された差分処理用の
前画像である。この画像122の平均濃度AB及び分散
VBは、通常(図1の画像102の平均濃度AB及び分
散VBと同様)であるとする。
ないときに車載カメラによって撮像された差分処理用の
前画像である。この画像122の平均濃度AB及び分散
VBは、通常(図1の画像102の平均濃度AB及び分
散VBと同様)であるとする。
【0057】画像123は、画像121と画像122の
差分画像である。この差分画像123には、画像121
と画像122を差分した結果、ワイパー部分123Aが
残っている。差分画像123の平均濃度a’及び分散
v’は、画像121が建物の陰で全体的に暗くなってい
るので、通常(図1の差分画像103の平均濃度a及び
分散v)よりも低くなっている。
差分画像である。この差分画像123には、画像121
と画像122を差分した結果、ワイパー部分123Aが
残っている。差分画像123の平均濃度a’及び分散
v’は、画像121が建物の陰で全体的に暗くなってい
るので、通常(図1の差分画像103の平均濃度a及び
分散v)よりも低くなっている。
【0058】画像124は、外界照度に対応させて、差
分画像123の外界照度の影響(陰による画像全体の濃
度の低下)による平均濃度a’及び分散v’の変動を修
正した差分画像であり、この差分画像124の平均濃度
a及び分散vは、通常(図1の差分画像103の平均濃
度a及び分散v)と同様となっている。
分画像123の外界照度の影響(陰による画像全体の濃
度の低下)による平均濃度a’及び分散v’の変動を修
正した差分画像であり、この差分画像124の平均濃度
a及び分散vは、通常(図1の差分画像103の平均濃
度a及び分散v)と同様となっている。
【0059】画像処理装置による差分画像123の修正
動作を説明すると、画像処理装置は、差分画像123の
平均濃度a’及び分散v’を求めた後、外界照度に対応
させて、差分画像123の外界照度の影響による平均濃
度a’及び分散v’の変動を修正する。即ち、外界照度
の影響のある差分画像123の平均濃度a’及び分散
v’を、外界照度に応じて、外界照度の影響のない差分
画像124の平均濃度a及び分散vに修正する。
動作を説明すると、画像処理装置は、差分画像123の
平均濃度a’及び分散v’を求めた後、外界照度に対応
させて、差分画像123の外界照度の影響による平均濃
度a’及び分散v’の変動を修正する。即ち、外界照度
の影響のある差分画像123の平均濃度a’及び分散
v’を、外界照度に応じて、外界照度の影響のない差分
画像124の平均濃度a及び分散vに修正する。
【0060】このように、平均濃度a及び分散vを求め
ることにより、上記実施の形態1で説明したのと同様、
差分画像124の平均濃度a及び分散vが、所定閾値T
A,TB及び所定閾値TVによる条件式を満たすか否か
によって、現画像121がワイパーフレームであるか否
か判定することができる。
ることにより、上記実施の形態1で説明したのと同様、
差分画像124の平均濃度a及び分散vが、所定閾値T
A,TB及び所定閾値TVによる条件式を満たすか否か
によって、現画像121がワイパーフレームであるか否
か判定することができる。
【0061】尚、差分画像123の平均濃度a’及び分
散v’を、外界照度に応じて、通常の平均濃度a及び分
散vに修正するのではなく、外界照度に応じて、ワイパ
ーフレーム判定の条件式の所定閾値TA,TB及び所定
閾値TVを変動させてもよい。即ち、差分画像123の
平均濃度a’及び分散v’が、外界照度に応じた所定閾
値TA’,TB’及び所定閾値TV’による条件式を満
たすか否かによって、現画像121がワイパーフレーム
であるか否かを判定することもできる。このとき、所定
閾値TA’,TB’及び所定閾値TV’は、外界照度に
比例した値となる。
散v’を、外界照度に応じて、通常の平均濃度a及び分
散vに修正するのではなく、外界照度に応じて、ワイパ
ーフレーム判定の条件式の所定閾値TA,TB及び所定
閾値TVを変動させてもよい。即ち、差分画像123の
平均濃度a’及び分散v’が、外界照度に応じた所定閾
値TA’,TB’及び所定閾値TV’による条件式を満
たすか否かによって、現画像121がワイパーフレーム
であるか否かを判定することもできる。このとき、所定
閾値TA’,TB’及び所定閾値TV’は、外界照度に
比例した値となる。
【0062】以上のように、この実施の形態4によれ
ば、外界照度の変動に対応させるように、外界照度に応
じて、平均濃度a’及び分散v’を変動させ、または、
所定閾値TA,TB及び所定閾値TVを変動させるよう
にしたので、外界照度の影響をなくすことができ、ワイ
パー検出の信頼性を向上させることができる。
ば、外界照度の変動に対応させるように、外界照度に応
じて、平均濃度a’及び分散v’を変動させ、または、
所定閾値TA,TB及び所定閾値TVを変動させるよう
にしたので、外界照度の影響をなくすことができ、ワイ
パー検出の信頼性を向上させることができる。
【0063】実施の形態5.一般的に、カメラのシャッ
ター速度(秒/フレーム)を上げると、撮像した画像全
体の濃度(輝度)のレベルが下がって画像全体が暗くな
る。逆に、カメラのシャッター速度を下げると、撮像し
た画像全体の濃度のレベルが上がって画像全体が明るく
なる。即ち、カメラのシャッター速度と画像の濃度は反
比例する関係にある。
ター速度(秒/フレーム)を上げると、撮像した画像全
体の濃度(輝度)のレベルが下がって画像全体が暗くな
る。逆に、カメラのシャッター速度を下げると、撮像し
た画像全体の濃度のレベルが上がって画像全体が明るく
なる。即ち、カメラのシャッター速度と画像の濃度は反
比例する関係にある。
【0064】上記実施の形態4では、外界照度の影響を
なくすために、外界照度に応じて、平均濃度a’及び分
散v’を変動させ、または、所定閾値TA,TB及び所
定閾値TVを変動させるようにしたが、この実施の形態
5では、上記のカメラのシャッター速度と画像の濃度の
関係を利用して、現画像の濃度のレベルと前画像の濃度
のレベルを一定にすることにより、外界照度の影響をな
くすようにしたものである。
なくすために、外界照度に応じて、平均濃度a’及び分
散v’を変動させ、または、所定閾値TA,TB及び所
定閾値TVを変動させるようにしたが、この実施の形態
5では、上記のカメラのシャッター速度と画像の濃度の
関係を利用して、現画像の濃度のレベルと前画像の濃度
のレベルを一定にすることにより、外界照度の影響をな
くすようにしたものである。
【0065】外界照度が高い場合(外が明るい場合)に
は、シャッター速度を上げて画像全体の濃度のレベルを
下げ、逆に、外界照度が低い場合(外が暗い場合)に
は、シャッター速度を下げて画像全体の濃度のレベルを
上げるようにする。例えば、図6において、外界照度が
低い画像121を撮像するときのシャッター速度を、外
界照度が通常の画像122を撮像するときのシャッター
速度よりも下げることにより、画像121と画像122
の濃度のレベルを一定にすることができる。
は、シャッター速度を上げて画像全体の濃度のレベルを
下げ、逆に、外界照度が低い場合(外が暗い場合)に
は、シャッター速度を下げて画像全体の濃度のレベルを
上げるようにする。例えば、図6において、外界照度が
低い画像121を撮像するときのシャッター速度を、外
界照度が通常の画像122を撮像するときのシャッター
速度よりも下げることにより、画像121と画像122
の濃度のレベルを一定にすることができる。
【0066】以上のように、この実施の形態5によれ
ば、外界照度に応じて車載カメラのシャッター速度を制
御することにより、現画像の濃度のレベルと前画像の濃
度のレベルが一定となり、外界照度の影響をなくすこと
ができ、その結果、ワイパー検出の信頼性を向上させる
ことができる。
ば、外界照度に応じて車載カメラのシャッター速度を制
御することにより、現画像の濃度のレベルと前画像の濃
度のレベルが一定となり、外界照度の影響をなくすこと
ができ、その結果、ワイパー検出の信頼性を向上させる
ことができる。
【0067】実施の形態6.上記実施の形態5では、現
画像の濃度のレベルと前画像の濃度のレベルを一定とす
るために、外界照度に応じて車載カメラのシャッター速
度を制御するようにした。かかる場合、雨のときには、
外界照度が低いため(外が暗いため)、シャッター速度
が下げられるが、シャッター速度が下げられると、ワイ
パーが写る時間が長くなってしまい、画像処理に利用で
きる画像(非ワイパーフレーム)が少なくなってしま
い、効率よく画像処理を行えなくなってしまう。
画像の濃度のレベルと前画像の濃度のレベルを一定とす
るために、外界照度に応じて車載カメラのシャッター速
度を制御するようにした。かかる場合、雨のときには、
外界照度が低いため(外が暗いため)、シャッター速度
が下げられるが、シャッター速度が下げられると、ワイ
パーが写る時間が長くなってしまい、画像処理に利用で
きる画像(非ワイパーフレーム)が少なくなってしま
い、効率よく画像処理を行えなくなってしまう。
【0068】そこで、この実施の形態6では、雨の場合
には、シャッター速度を上げると同時に、ワイパーフレ
ーム判定の条件式に用いる所定閾値TA,TB及び所定
閾値TVを下げるように構成する。
には、シャッター速度を上げると同時に、ワイパーフレ
ーム判定の条件式に用いる所定閾値TA,TB及び所定
閾値TVを下げるように構成する。
【0069】このように、シャッター速度を上げると同
時に、所定閾値TA,TB及び所定閾値TVを下げるよ
うにすることにより、現画像の濃度のレベルと前画像の
濃度のレベルが一定となり、ワイパー検出の信頼性を向
上させることができるとともに、ワイパーが写る時間が
短くなり、画像処理に利用できる画像(非ワイパーフレ
ーム)が多くなって効率よく画像処理を行うことができ
る。
時に、所定閾値TA,TB及び所定閾値TVを下げるよ
うにすることにより、現画像の濃度のレベルと前画像の
濃度のレベルが一定となり、ワイパー検出の信頼性を向
上させることができるとともに、ワイパーが写る時間が
短くなり、画像処理に利用できる画像(非ワイパーフレ
ーム)が多くなって効率よく画像処理を行うことができ
る。
【0070】実施の形態7.上記実施の形態1から実施
の形態6では、現画像がワイパーフレームであるか否か
を、差分画像全体の平均濃度a及び分散vによって判定
していたが、この実施の形態7では、差分画像内の所定
位置に設定した矩形範囲の平均濃度及び分散によって判
定するものである。
の形態6では、現画像がワイパーフレームであるか否か
を、差分画像全体の平均濃度a及び分散vによって判定
していたが、この実施の形態7では、差分画像内の所定
位置に設定した矩形範囲の平均濃度及び分散によって判
定するものである。
【0071】図7は、この発明の実施の形態7による画
像処理方法を説明するための画像例を示す図である。図
7において、画像131は、車載カメラが撮像した現画
像であり、この画像131は、自動車のワイパー部分1
31Aが写っており、ワイパーフレームである。画像1
32は、車載カメラが撮像した画像131の前画像であ
り、この画像132は、非ワイパーフレームである。
像処理方法を説明するための画像例を示す図である。図
7において、画像131は、車載カメラが撮像した現画
像であり、この画像131は、自動車のワイパー部分1
31Aが写っており、ワイパーフレームである。画像1
32は、車載カメラが撮像した画像131の前画像であ
り、この画像132は、非ワイパーフレームである。
【0072】画像133は、画像131と画像132の
差分画像である。この差分画像133内には、所定位置
に矩形範囲133K〜133Pが設定してある。矩形範
囲133K〜133Pの設定位置は、差分画像133内
のワイパーが通過し得る場所(自動車の車種によって異
なる)とする。また、差分画像133の矩形範囲133
K〜133P内の平均濃度をそれぞれa1〜a6とし、
また、矩形範囲133K〜133P内の分散をそれぞれ
v1〜v6とする。
差分画像である。この差分画像133内には、所定位置
に矩形範囲133K〜133Pが設定してある。矩形範
囲133K〜133Pの設定位置は、差分画像133内
のワイパーが通過し得る場所(自動車の車種によって異
なる)とする。また、差分画像133の矩形範囲133
K〜133P内の平均濃度をそれぞれa1〜a6とし、
また、矩形範囲133K〜133P内の分散をそれぞれ
v1〜v6とする。
【0073】次に、画像処理動作について説明する。図
8は、この発明の実施の形態7による画像処理方法を説
明するためのフローチャートである。画像処理装置は、
上記実施の形態1から実施の形態6と同様、現画像13
1を取り込み(ステップST1)、現画像131と前画
像132とを差分処理(ステップST2)することによ
り、差分画像133を求める。このとき、差分画像13
3内の矩形範囲133K〜133Pの平均濃度a1〜a
6及び分散v1〜v6も求めておく。
8は、この発明の実施の形態7による画像処理方法を説
明するためのフローチャートである。画像処理装置は、
上記実施の形態1から実施の形態6と同様、現画像13
1を取り込み(ステップST1)、現画像131と前画
像132とを差分処理(ステップST2)することによ
り、差分画像133を求める。このとき、差分画像13
3内の矩形範囲133K〜133Pの平均濃度a1〜a
6及び分散v1〜v6も求めておく。
【0074】次に、画像処理装置は、差分画像133の
数値初期化を行う(ステップST31)。即ち、ワイパ
ーフレーム用のフラグである「wip_frm」を0に
設定し、また、矩形カウント数である「i」を1に設定
する。
数値初期化を行う(ステップST31)。即ち、ワイパ
ーフレーム用のフラグである「wip_frm」を0に
設定し、また、矩形カウント数である「i」を1に設定
する。
【0075】次に、画像処理装置は、差分画像133の
矩形カウント数「i」が「n」よりも大きい値であるか
否か判定することにより(ステップST32)、処理を
行う矩形範囲133K〜133Pの数を管理する。ここ
で、「n」の値は、差分画像133に設定された矩形範
囲133K〜133Pの数である。従って、「i」が
「n」よりも小さい場合には、差分画像133の処理し
ていない矩形範囲133K〜133Pがあり、「i」が
「n」よりも大きい場合には、差分画像133の全ての
矩形範囲133K〜133Pを処理したことを示す。
尚、差分画像133の場合は、矩形範囲133K〜13
3Pが6つであるので、「n」は5となる。
矩形カウント数「i」が「n」よりも大きい値であるか
否か判定することにより(ステップST32)、処理を
行う矩形範囲133K〜133Pの数を管理する。ここ
で、「n」の値は、差分画像133に設定された矩形範
囲133K〜133Pの数である。従って、「i」が
「n」よりも小さい場合には、差分画像133の処理し
ていない矩形範囲133K〜133Pがあり、「i」が
「n」よりも大きい場合には、差分画像133の全ての
矩形範囲133K〜133Pを処理したことを示す。
尚、差分画像133の場合は、矩形範囲133K〜13
3Pが6つであるので、「n」は5となる。
【0076】処理矩形数管理処理(ステップST32)
の結果、「i」が「n」よりも小さい場合、まだ処理し
ていない矩形範囲133K〜133Pがあるので、次
に、画像処理装置は、「i」番目の矩形範囲133K〜
133Pがワイパー矩形(ワイパーが撮像された矩形範
囲)であるか否か判定する(ステップST33)。ここ
で、ワイパー矩形であるか否かは、例えば、矩形範囲1
33K〜133P内の平均濃度a1〜a6が最大となる
場合などをワイパー矩形と判定する。
の結果、「i」が「n」よりも小さい場合、まだ処理し
ていない矩形範囲133K〜133Pがあるので、次
に、画像処理装置は、「i」番目の矩形範囲133K〜
133Pがワイパー矩形(ワイパーが撮像された矩形範
囲)であるか否か判定する(ステップST33)。ここ
で、ワイパー矩形であるか否かは、例えば、矩形範囲1
33K〜133P内の平均濃度a1〜a6が最大となる
場合などをワイパー矩形と判定する。
【0077】ワイパー矩形判定処理の結果、ワイパー矩
形でなく非ワイパー矩形(ワイパーが撮像されていない
矩形範囲)であれば、処理矩形数インクリメント処理、
即ち、「i」の値に1加え(ステップST34)、その
後、処理矩形数管理処理(ステップST32)に戻っ
て、まだ処理していない矩形範囲133K〜133Pが
あるか否か判定する。
形でなく非ワイパー矩形(ワイパーが撮像されていない
矩形範囲)であれば、処理矩形数インクリメント処理、
即ち、「i」の値に1加え(ステップST34)、その
後、処理矩形数管理処理(ステップST32)に戻っ
て、まだ処理していない矩形範囲133K〜133Pが
あるか否か判定する。
【0078】ワイパー矩形判定処理の結果、ワイパー矩
形であれば、画像処理装置は、現画像131がワイパー
フレームであると判断し、ワイパーフレーム用のフラグ
「wip_frm」を1に設定する(ステップST3
5)。そして、画像処理装置は、ワイパーフレーム判定
処理(ステップST36)にて、ワイパーフレーム用の
フラグ「wip_frm」が1であるか否かによって、
現画像131がワイパーフレームであるか否か判定し
(ステップST36)、「wip_frm」が1であれ
ば、ワイパーフレーム用実処理を実行して(ステップS
T4)、次の画像の処理に移行する(ステップST
1)。
形であれば、画像処理装置は、現画像131がワイパー
フレームであると判断し、ワイパーフレーム用のフラグ
「wip_frm」を1に設定する(ステップST3
5)。そして、画像処理装置は、ワイパーフレーム判定
処理(ステップST36)にて、ワイパーフレーム用の
フラグ「wip_frm」が1であるか否かによって、
現画像131がワイパーフレームであるか否か判定し
(ステップST36)、「wip_frm」が1であれ
ば、ワイパーフレーム用実処理を実行して(ステップS
T4)、次の画像の処理に移行する(ステップST
1)。
【0079】一方、処理矩形数管理処理(ステップST
32)の結果、「i」が「n」よりも大きい場合、全て
の矩形範囲133K〜133Pを処理したので、ワイパ
ーフレーム判定処理(ステップST36)に移行する。
このとき、「wip_frm」が0であるので、現画像
131が非ワイパーフレームであると判定し、現画像1
31を次の画像の差分処理用に保存し(ステップST1
1)、非ワイパーフレーム用実処理を実行して(ステッ
プST5)、次の画像の処理に移行する(ステップST
1)。
32)の結果、「i」が「n」よりも大きい場合、全て
の矩形範囲133K〜133Pを処理したので、ワイパ
ーフレーム判定処理(ステップST36)に移行する。
このとき、「wip_frm」が0であるので、現画像
131が非ワイパーフレームであると判定し、現画像1
31を次の画像の差分処理用に保存し(ステップST1
1)、非ワイパーフレーム用実処理を実行して(ステッ
プST5)、次の画像の処理に移行する(ステップST
1)。
【0080】以上のように、この実施の形態7によれ
ば、差分画像133内の矩形範囲133K〜133Pの
平均濃度a1〜a6及び分散v1〜v6によって、現画
像131がワイパーフレームであるか否か判定するの
で、画像全体よりも狭い範囲でワイパーフレーム判定を
行うことができ、その結果、一層、ワイパーフレーム判
定の信頼性を向上させることができる。
ば、差分画像133内の矩形範囲133K〜133Pの
平均濃度a1〜a6及び分散v1〜v6によって、現画
像131がワイパーフレームであるか否か判定するの
で、画像全体よりも狭い範囲でワイパーフレーム判定を
行うことができ、その結果、一層、ワイパーフレーム判
定の信頼性を向上させることができる。
【0081】実施の形態8.上記実施の形態7では、画
像単位で差分処理を行っていたが、この実施の形態8で
は、矩形範囲単位で差分処理を行うものである。
像単位で差分処理を行っていたが、この実施の形態8で
は、矩形範囲単位で差分処理を行うものである。
【0082】図9は、この発明の実施の形態8による画
像処理方法を説明するためのフローチャートである。
尚、画像例については、上記図7に示したものと同様で
あるため、説明を省略する。画像処理装置は、現画像1
312を取り込むと(ステップST1)、次に、差分処
理(ステップST2)を行わずに、数値初期化処理(ス
テップST31)を行う。
像処理方法を説明するためのフローチャートである。
尚、画像例については、上記図7に示したものと同様で
あるため、説明を省略する。画像処理装置は、現画像1
312を取り込むと(ステップST1)、次に、差分処
理(ステップST2)を行わずに、数値初期化処理(ス
テップST31)を行う。
【0083】数値初期化処理の後、画像処理装置は、処
理矩形数管理処理(ステップST32)を行う。処理矩
形数管理処理(ステップST32)の結果、「i」が
「n」よりも小さい場合、まだ処理していない矩形範囲
133K〜133Pがあるので、次に、画像処理装置
は、矩形範囲133K〜133P単位で差分処理を行う
(ステップST41)。そして、画像処理装置は、矩形
範囲133K〜133P単位でワイパー矩形か否か判定
する(ステップST42)。
理矩形数管理処理(ステップST32)を行う。処理矩
形数管理処理(ステップST32)の結果、「i」が
「n」よりも小さい場合、まだ処理していない矩形範囲
133K〜133Pがあるので、次に、画像処理装置
は、矩形範囲133K〜133P単位で差分処理を行う
(ステップST41)。そして、画像処理装置は、矩形
範囲133K〜133P単位でワイパー矩形か否か判定
する(ステップST42)。
【0084】ワイパー矩形判定処理の結果、現矩形範囲
がワイパー矩形であれば、ワイパーフレーム用のフラグ
「wip_frm」を1に設定し、処理矩形数インクリ
メント処理にて、「i」の値に1加え(ステップST4
5)、その後、処理矩形数管理処理(ステップST3
2)に戻って、まだ処理していない矩形範囲133K〜
133Pがあるか否か判定する。
がワイパー矩形であれば、ワイパーフレーム用のフラグ
「wip_frm」を1に設定し、処理矩形数インクリ
メント処理にて、「i」の値に1加え(ステップST4
5)、その後、処理矩形数管理処理(ステップST3
2)に戻って、まだ処理していない矩形範囲133K〜
133Pがあるか否か判定する。
【0085】また、ワイパー矩形判定処理の結果、現矩
形範囲が非ワイパー矩形であれば、現矩形範囲を次の矩
形範囲との差分処理用に保存し(ステップST44)そ
の後、処理矩形数管理処理(ステップST32)に戻っ
て、まだ処理していない矩形範囲133K〜133Pが
あるか否か判定する。
形範囲が非ワイパー矩形であれば、現矩形範囲を次の矩
形範囲との差分処理用に保存し(ステップST44)そ
の後、処理矩形数管理処理(ステップST32)に戻っ
て、まだ処理していない矩形範囲133K〜133Pが
あるか否か判定する。
【0086】一方、処理矩形数管理処理(ステップST
32)の結果、「i」が「n」よりも大きい場合、全て
の矩形範囲133K〜133Pを処理したので、ワイパ
ーフレーム判定処理(ステップST36)に移行する。
32)の結果、「i」が「n」よりも大きい場合、全て
の矩形範囲133K〜133Pを処理したので、ワイパ
ーフレーム判定処理(ステップST36)に移行する。
【0087】ワイパーフレーム判定処理の結果、画像処
理装置は、ワイパーフレーム用のフラグ「wip_fr
m」が1であれば、現画像131がワイパーフレームで
あると判定し、ワイパーフレーム用実処理(ステップS
T4)を実行し、また、ワイパーフレーム用のフラグ
「wip_frm」が0であれば、現画像131が非ワ
イパーフレームであると判定し、非ワイパーフレーム用
実処理(ステップST5)を実行して、次の画像の処理
に移行する(ステップST1)。
理装置は、ワイパーフレーム用のフラグ「wip_fr
m」が1であれば、現画像131がワイパーフレームで
あると判定し、ワイパーフレーム用実処理(ステップS
T4)を実行し、また、ワイパーフレーム用のフラグ
「wip_frm」が0であれば、現画像131が非ワ
イパーフレームであると判定し、非ワイパーフレーム用
実処理(ステップST5)を実行して、次の画像の処理
に移行する(ステップST1)。
【0088】以上のように、この実施の形態8によれ
ば、差分処理を矩形範囲133K〜133P単位で行う
ようにしたので、全ての矩形範囲133K〜133Pに
ついてワイパー矩形であるか否か判定することができ、
その結果、より一層、ワイパーフレーム判定の信頼性を
向上させることができる。
ば、差分処理を矩形範囲133K〜133P単位で行う
ようにしたので、全ての矩形範囲133K〜133Pに
ついてワイパー矩形であるか否か判定することができ、
その結果、より一層、ワイパーフレーム判定の信頼性を
向上させることができる。
【0089】実施の形態9.上記実施の形態7及び実施
の形態8では、矩形範囲133K〜133Pがワイパー
矩形であると判定されると、ワイパーフレーム用実処理
によって画像131全体を除外していたが、この実施の
形態8では、ワイパー部分が最も多いワイパー矩形の矩
形範囲のみ除外するものである。
の形態8では、矩形範囲133K〜133Pがワイパー
矩形であると判定されると、ワイパーフレーム用実処理
によって画像131全体を除外していたが、この実施の
形態8では、ワイパー部分が最も多いワイパー矩形の矩
形範囲のみ除外するものである。
【0090】図10は、この発明の実施の形態9による
画像処理方法を説明するための画像例を示す図である。
図10に示すように、画像140内には、矩形範囲14
0K〜140Nが重複させて設定されている。この矩形
範囲140K〜140Nのサイズ(辺の長さ)は、ワイ
パーの最大移動量(=ワイパーの最高速度×シャッター
時間)+αとし、また、矩形範囲140K〜140Nの
間隔(矩形範囲140K〜140Nの辺の間隔)は、ワ
イパーの最高速度×撮像間隔(≒α程度)とする。即
ち、矩形範囲140K〜140Nのサイズ及び間隔は、
矩形範囲140K〜140Nの中の1つに必ずワイパー
部分がはみ出さずに収まる(撮像される)ように設定さ
れる。
画像処理方法を説明するための画像例を示す図である。
図10に示すように、画像140内には、矩形範囲14
0K〜140Nが重複させて設定されている。この矩形
範囲140K〜140Nのサイズ(辺の長さ)は、ワイ
パーの最大移動量(=ワイパーの最高速度×シャッター
時間)+αとし、また、矩形範囲140K〜140Nの
間隔(矩形範囲140K〜140Nの辺の間隔)は、ワ
イパーの最高速度×撮像間隔(≒α程度)とする。即
ち、矩形範囲140K〜140Nのサイズ及び間隔は、
矩形範囲140K〜140Nの中の1つに必ずワイパー
部分がはみ出さずに収まる(撮像される)ように設定さ
れる。
【0091】画像141〜145は、上から下に時系列
に並べている。画像141は、非ワイパーフレームであ
り、画像142〜145は、ワイパーフレームであると
する。画像142〜145のワイパー部分142A〜1
45Aは、画像142〜145それぞれの矩形範囲14
2K,143L,144M,145N内に収まってい
る。
に並べている。画像141は、非ワイパーフレームであ
り、画像142〜145は、ワイパーフレームであると
する。画像142〜145のワイパー部分142A〜1
45Aは、画像142〜145それぞれの矩形範囲14
2K,143L,144M,145N内に収まってい
る。
【0092】図11は、上記図10の1つの画像143
の矩形範囲143K〜143Nの位置を示す図である。
図11に示すように、画像143内の矩形範囲143K
〜143Nは、上記図10の画像140の矩形範囲14
0K〜140Nと同じ位置に設定されている。即ち、矩
形範囲142K,143L,144M,145Nの添え
字のアルファベットは、画像140の矩形範囲140K
〜140Nの位置に対応させている。画像143のワイ
パー部分143Aは、矩形範囲143L内にはみ出さず
に収まっている。
の矩形範囲143K〜143Nの位置を示す図である。
図11に示すように、画像143内の矩形範囲143K
〜143Nは、上記図10の画像140の矩形範囲14
0K〜140Nと同じ位置に設定されている。即ち、矩
形範囲142K,143L,144M,145Nの添え
字のアルファベットは、画像140の矩形範囲140K
〜140Nの位置に対応させている。画像143のワイ
パー部分143Aは、矩形範囲143L内にはみ出さず
に収まっている。
【0093】次に、画像処理動作について説明する。こ
の実施の形態9の画像処理動作は、上記実施の形態7ま
たは実施の形態8の画像処理動作と次の点で異なる。即
ち、図11の画像143において、矩形範囲143K〜
143Nのうち、矩形範囲143K〜143Mがワイパ
ー矩形であると判定されると(尚、矩形範囲143Nは
非ワイパー矩形と判定)、そのワイパー矩形の矩形範囲
143K〜143Mの中で、最もワイパー部分143A
を含んでいる矩形範囲143Lを判定する。
の実施の形態9の画像処理動作は、上記実施の形態7ま
たは実施の形態8の画像処理動作と次の点で異なる。即
ち、図11の画像143において、矩形範囲143K〜
143Nのうち、矩形範囲143K〜143Mがワイパ
ー矩形であると判定されると(尚、矩形範囲143Nは
非ワイパー矩形と判定)、そのワイパー矩形の矩形範囲
143K〜143Mの中で、最もワイパー部分143A
を含んでいる矩形範囲143Lを判定する。
【0094】ここで、ワイパー矩形の矩形範囲143K
〜143Mの中で最もワイパー部分143Aを含んでい
る矩形範囲143Lを判定する基準は、矩形範囲143
K〜143M内の差分の濃度の絶対値の合計値Aiが最
大のもの、または、矩形範囲143K〜143Mの分散
Viが最小のものを選択する。また、場合によっては、
Ai−α・Vi、または、Ai−α√(Vi)などの条
件式を用いる。
〜143Mの中で最もワイパー部分143Aを含んでい
る矩形範囲143Lを判定する基準は、矩形範囲143
K〜143M内の差分の濃度の絶対値の合計値Aiが最
大のもの、または、矩形範囲143K〜143Mの分散
Viが最小のものを選択する。また、場合によっては、
Ai−α・Vi、または、Ai−α√(Vi)などの条
件式を用いる。
【0095】そして、画像処理装置は、ワイパー矩形の
矩形範囲143K〜143Mの中で最もワイパー部分1
43Aを含んでいる矩形範囲143Lを除外する処理を
実行する。
矩形範囲143K〜143Mの中で最もワイパー部分1
43Aを含んでいる矩形範囲143Lを除外する処理を
実行する。
【0096】矩形範囲143L以外の領域については、
画像処理装置は、ワイパー部分143Aを含んでいない
ので、非ワイパーフレーム用実処理を実行する。
画像処理装置は、ワイパー部分143Aを含んでいない
ので、非ワイパーフレーム用実処理を実行する。
【0097】以上のように、この実施の形態9によれ
ば、ワイパー部分が最も多いワイパー矩形の矩形範囲を
判定し、この矩形範囲のみ除外するので、ワイパー部分
143Aを含んでいるワイパーフレームの画像143を
有効に利用することができ、その結果、システムの安全
性・信頼性を一層向上させることができる。
ば、ワイパー部分が最も多いワイパー矩形の矩形範囲を
判定し、この矩形範囲のみ除外するので、ワイパー部分
143Aを含んでいるワイパーフレームの画像143を
有効に利用することができ、その結果、システムの安全
性・信頼性を一層向上させることができる。
【0098】実施の形態10.上記実施の形態1から実
施の形態9では、差分画像のノイズを考慮していなかっ
たが、この実施の形態10では、差分画像のノイズをも
考慮して画像処理を行うようにしたものである。
施の形態9では、差分画像のノイズを考慮していなかっ
たが、この実施の形態10では、差分画像のノイズをも
考慮して画像処理を行うようにしたものである。
【0099】図12は、この発明の実施の形態10によ
る差分画像のノイズ除去処理を説明するための画像例を
示す図である。図において、画像150は、ワイパー部
分150Aが写っている差分画像である。
る差分画像のノイズ除去処理を説明するための画像例を
示す図である。図において、画像150は、ワイパー部
分150Aが写っている差分画像である。
【0100】図13は、図12の差分画像150のa−
a’ライン画素における濃度レベルを示す図である。図
13において、ラインイメージ(A)(B)(C)は、
差分画像150のa−a’ライン画素(横軸)における
濃度のレベル(縦軸)を示すものである。図13のライ
ンイメージ(A)(B)に示すように、差分画像150
にノイズが生じるのは、車載カメラが撮像している間に
も自動車は移動しているので、現画像と前画像とでは、
濃度のレベルの高い位置や低い位置がずれてしまうた
め、このような現画像と前画像との差分画像150に極
端に濃度のレベルが高い画素が生じてしまい、これがノ
イズとなってしまうからである。
a’ライン画素における濃度レベルを示す図である。図
13において、ラインイメージ(A)(B)(C)は、
差分画像150のa−a’ライン画素(横軸)における
濃度のレベル(縦軸)を示すものである。図13のライ
ンイメージ(A)(B)に示すように、差分画像150
にノイズが生じるのは、車載カメラが撮像している間に
も自動車は移動しているので、現画像と前画像とでは、
濃度のレベルの高い位置や低い位置がずれてしまうた
め、このような現画像と前画像との差分画像150に極
端に濃度のレベルが高い画素が生じてしまい、これがノ
イズとなってしまうからである。
【0101】次に、画像処理動作について説明する。図
14は、この発明の実施の形態10による画像処理方法
を説明するためのフローチャートである。画像処理装置
は、上記実施の形態1と同様、現画像を取り込む(ステ
ップST1)。
14は、この発明の実施の形態10による画像処理方法
を説明するためのフローチャートである。画像処理装置
は、上記実施の形態1と同様、現画像を取り込む(ステ
ップST1)。
【0102】次に、画像処理装置は、飽和付き差分処理
を行う(ステップST51)。この飽和付き差分処理
は、上述した差分処理以外に、現画像と前画像との濃度
のレベルの差異の上限(飽和閾値)を設定し、飽和閾値
以上の濃度のレベルをカットして飽和閾値レベルとする
処理も含んだものである。このように、飽和付き差分処
理を行うのは、ノイズの濃度のレベルが小さい場合に
は、ワイパーフレーム判定処理において無視することが
できるが、このノイズの濃度のレベルが大きくなると、
ノイズの濃度のレベルによって平均濃度aが高くなり、
ワイパーフレーム判定処理においてワイパーフレームで
ないのにワイパーフレームであると誤判定してしまう可
能性が生じるからである。
を行う(ステップST51)。この飽和付き差分処理
は、上述した差分処理以外に、現画像と前画像との濃度
のレベルの差異の上限(飽和閾値)を設定し、飽和閾値
以上の濃度のレベルをカットして飽和閾値レベルとする
処理も含んだものである。このように、飽和付き差分処
理を行うのは、ノイズの濃度のレベルが小さい場合に
は、ワイパーフレーム判定処理において無視することが
できるが、このノイズの濃度のレベルが大きくなると、
ノイズの濃度のレベルによって平均濃度aが高くなり、
ワイパーフレーム判定処理においてワイパーフレームで
ないのにワイパーフレームであると誤判定してしまう可
能性が生じるからである。
【0103】このような飽和付き差分処理の結果、ライ
ンイメージ(A)の波形は、飽和閾値以上のレベルがカ
ットされ、ラインイメージ(B)のような波形となる。
ンイメージ(A)の波形は、飽和閾値以上のレベルがカ
ットされ、ラインイメージ(B)のような波形となる。
【0104】次に、画像処理装置は、最小フィルタ処理
を行う(ステップST52)。この最小フィルタ処理
は、処理対象ラインの画素に対して、その周囲の画素数
の中の濃度レベルの最小値を、その画素の濃度レベルと
する処理であり、これによってノイズが除去される。こ
のうような最小フィルタ処理の結果、ラインイメージ
(B)の波形は、ノイズが除去され、ラインイメージ
(C)のような波形となる。
を行う(ステップST52)。この最小フィルタ処理
は、処理対象ラインの画素に対して、その周囲の画素数
の中の濃度レベルの最小値を、その画素の濃度レベルと
する処理であり、これによってノイズが除去される。こ
のうような最小フィルタ処理の結果、ラインイメージ
(B)の波形は、ノイズが除去され、ラインイメージ
(C)のような波形となる。
【0105】以後の処理は、上記実施の形態1の図2で
説明したのと同様であるため、重複する説明を省略す
る。
説明したのと同様であるため、重複する説明を省略す
る。
【0106】以上のように、この実施の形態10によれ
ば、飽和閾値以上の濃度レベルをカットするとともに、
ノイズを除去してからワイパーフレーム判定を行うよう
にしたので、ワイパーフレーム判定処理における誤判定
を少なくでき、その結果、画像処理の効率性を上げるこ
とができるとともに、システムの安全性・信頼性を向上
させることができる。
ば、飽和閾値以上の濃度レベルをカットするとともに、
ノイズを除去してからワイパーフレーム判定を行うよう
にしたので、ワイパーフレーム判定処理における誤判定
を少なくでき、その結果、画像処理の効率性を上げるこ
とができるとともに、システムの安全性・信頼性を向上
させることができる。
【0107】
【発明の効果】以上のように、請求項1記載の発明によ
れば、画像から自動車のワイパーの動作・位置を検出
し、このワイパーを画像から除外するようにしたので、
ワイパーの影響によるシステムの誤認識を防ぎ、システ
ムの安全性及び信頼性を向上させることができる効果が
ある。
れば、画像から自動車のワイパーの動作・位置を検出
し、このワイパーを画像から除外するようにしたので、
ワイパーの影響によるシステムの誤認識を防ぎ、システ
ムの安全性及び信頼性を向上させることができる効果が
ある。
【0108】請求項2記載の発明によれば、撮像手段が
撮像した自動車の前方の画像を取り込む画像取込処理
と、この画像取込処理で取り込んだ現画像と前画像とを
各画素の濃度について差分する差分処理と、この差分処
理の結果得られる差分画像の平均濃度や分散に基づい
て、現画像がワイパーフレームであるか否か判定するワ
イパーフレーム判定処理と、このワイパーフレーム判定
処理の結果、現画像がワイパーフレームの場合、現画像
のワイパー部分を除去し、現画像が非ワイパーフレーム
の場合、現画像に基づいて自動車の自動走行・走行補助
などの画像処理を行う画像実処理と、差分処理を行うた
めに、現画像の1フレーム前の前画像を保存する画像保
存処理とを備えたので、正確にワイパーの動作・位置を
検出することができ、その結果、システムの安全性・信
頼性を向上させることができるとともに、画像毎に、ワ
イパーフレームか否か判定するので、画像処理に悪影響
を及ぼすワイパーフレームのみ除外することができ、効
率よく画像処理を行うことができる効果がある。
撮像した自動車の前方の画像を取り込む画像取込処理
と、この画像取込処理で取り込んだ現画像と前画像とを
各画素の濃度について差分する差分処理と、この差分処
理の結果得られる差分画像の平均濃度や分散に基づい
て、現画像がワイパーフレームであるか否か判定するワ
イパーフレーム判定処理と、このワイパーフレーム判定
処理の結果、現画像がワイパーフレームの場合、現画像
のワイパー部分を除去し、現画像が非ワイパーフレーム
の場合、現画像に基づいて自動車の自動走行・走行補助
などの画像処理を行う画像実処理と、差分処理を行うた
めに、現画像の1フレーム前の前画像を保存する画像保
存処理とを備えたので、正確にワイパーの動作・位置を
検出することができ、その結果、システムの安全性・信
頼性を向上させることができるとともに、画像毎に、ワ
イパーフレームか否か判定するので、画像処理に悪影響
を及ぼすワイパーフレームのみ除外することができ、効
率よく画像処理を行うことができる効果がある。
【0109】請求項3記載の発明によれば、画像保存処
理において、現画像が非ワイパーフレームの場合にのみ
この現画像を保存するようにしたので、ワイパーフレー
ム判定処理の誤判定を少なくすることができる効果があ
る。
理において、現画像が非ワイパーフレームの場合にのみ
この現画像を保存するようにしたので、ワイパーフレー
ム判定処理の誤判定を少なくすることができる効果があ
る。
【0110】請求項4記載の発明によれば、ワイパーフ
レーム判定処理にて現画像がワイパーフレームと判定さ
れた場合に、その後の数フレームは無条件にワイパーフ
レームとして処理するようにしたので、絶対にワイパー
フレームである画像について、直ちにワイパーフレーム
用の処理を実行することができ、画像処理の効率化を図
ることができる効果がある。
レーム判定処理にて現画像がワイパーフレームと判定さ
れた場合に、その後の数フレームは無条件にワイパーフ
レームとして処理するようにしたので、絶対にワイパー
フレームである画像について、直ちにワイパーフレーム
用の処理を実行することができ、画像処理の効率化を図
ることができる効果がある。
【0111】請求項5記載の発明によれば、ワイパーフ
レーム判定処理において、外界照度の変動に対応させ
て、ワイパーフレームの判定基準を変動させるようにし
たので、外界照度によるワイパーフレーム判定処理への
影響をなくすことができ、ワイパー検出の信頼性を向上
させることができる効果がある。
レーム判定処理において、外界照度の変動に対応させ
て、ワイパーフレームの判定基準を変動させるようにし
たので、外界照度によるワイパーフレーム判定処理への
影響をなくすことができ、ワイパー検出の信頼性を向上
させることができる効果がある。
【0112】請求項6記載の発明によれば、現画像と前
画像との濃度のレベルを一定にするために、外界照度に
応じて撮像手段のシャッター速度を制御するようにした
ので、請求項5と同様、外界照度の影響をなくすことが
でき、ワイパー検出の信頼性を向上させることができる
効果がある。
画像との濃度のレベルを一定にするために、外界照度に
応じて撮像手段のシャッター速度を制御するようにした
ので、請求項5と同様、外界照度の影響をなくすことが
でき、ワイパー検出の信頼性を向上させることができる
効果がある。
【0113】請求項7記載の発明によれば、撮像手段の
シャッター速度を上げると同時に、ワイパーフレーム判
定処理における差分画像の平均濃度や分散の基準値のレ
ベルを下げるようにしたので、ワイパー検出の信頼性を
維持するとともに、ワイパーが写る時間が短くなり、画
像処理に利用できる画像が多くなって効率よく画像処理
を行うことができる効果がある。
シャッター速度を上げると同時に、ワイパーフレーム判
定処理における差分画像の平均濃度や分散の基準値のレ
ベルを下げるようにしたので、ワイパー検出の信頼性を
維持するとともに、ワイパーが写る時間が短くなり、画
像処理に利用できる画像が多くなって効率よく画像処理
を行うことができる効果がある。
【0114】請求項8記載の発明によれば、ワイパーフ
レーム判定処理において、差分画像内の所定位置に設定
した矩形範囲の平均濃度及び分散によって現画像がワイ
パーフレームであるか否か判定するようにしたので、画
像全体よりも狭い範囲でワイパーフレーム判定を行うこ
とができ、その結果、一層ワイパーフレーム判定の信頼
性を向上させることができる効果がある。
レーム判定処理において、差分画像内の所定位置に設定
した矩形範囲の平均濃度及び分散によって現画像がワイ
パーフレームであるか否か判定するようにしたので、画
像全体よりも狭い範囲でワイパーフレーム判定を行うこ
とができ、その結果、一層ワイパーフレーム判定の信頼
性を向上させることができる効果がある。
【0115】請求項9記載の発明によれば、差分画像の
矩形範囲単位で差分処理を行うようにしたので、全ての
矩形範囲についてワイパー矩形であるか否か判定するこ
とができ、その結果、より一層、ワイパーフレーム判定
の信頼性を向上させることができる効果がある。
矩形範囲単位で差分処理を行うようにしたので、全ての
矩形範囲についてワイパー矩形であるか否か判定するこ
とができ、その結果、より一層、ワイパーフレーム判定
の信頼性を向上させることができる効果がある。
【0116】請求項10記載の発明によれば、ワイパー
部分が最も多い矩形範囲を判定し、この矩形範囲のみ除
外し、その他の領域は画像処理を行うようにしたので、
ワイパー部分を含んでいるワイパーフレームの画像を有
効に利用することができ、その結果、画像処理効率を向
上させることができるとともに、システムの安全性・信
頼性を一層向上させることができる効果がある。
部分が最も多い矩形範囲を判定し、この矩形範囲のみ除
外し、その他の領域は画像処理を行うようにしたので、
ワイパー部分を含んでいるワイパーフレームの画像を有
効に利用することができ、その結果、画像処理効率を向
上させることができるとともに、システムの安全性・信
頼性を一層向上させることができる効果がある。
【0117】請求項11記載の発明によれば、差分処理
において、差分画像の飽和閾値以上の濃度レベルをカッ
トするとともに、ワイパーフレーム判定処理の前にフィ
ルタ処理にてノイズを除去するようにしたので、ワイパ
ーフレーム判定処理における誤判定を少なくでき、その
結果、より一層、画像処理の効率性を上げることができ
るとともに、システムの安全性・信頼性を向上させるこ
とができる効果がある。
において、差分画像の飽和閾値以上の濃度レベルをカッ
トするとともに、ワイパーフレーム判定処理の前にフィ
ルタ処理にてノイズを除去するようにしたので、ワイパ
ーフレーム判定処理における誤判定を少なくでき、その
結果、より一層、画像処理の効率性を上げることができ
るとともに、システムの安全性・信頼性を向上させるこ
とができる効果がある。
【図1】 この発明の実施の形態1による画像処理方法
を説明するための画像例を示す図である。
を説明するための画像例を示す図である。
【図2】 この発明の実施の形態1による画像処理方法
を説明するためのフローチャートである。
を説明するためのフローチャートである。
【図3】 この発明の実施の形態2による画像処理方法
を説明するための画像例を示す図である。
を説明するための画像例を示す図である。
【図4】 この発明の実施の形態2による画像処理方法
を説明するためのフローチャートである。
を説明するためのフローチャートである。
【図5】 この発明の実施の形態3による画像処理方法
を説明するためのフローチャートである。
を説明するためのフローチャートである。
【図6】 この発明の実施の形態4による画像処理方法
を説明するための画像例を示す図である。
を説明するための画像例を示す図である。
【図7】 この発明の実施の形態7による画像処理方法
を説明するための画像例を示す図である。
を説明するための画像例を示す図である。
【図8】 この発明の実施の形態7による画像処理方法
を説明するためのフローチャートである。
を説明するためのフローチャートである。
【図9】 この発明の実施の形態8による画像処理方法
を説明するためのフローチャートである。
を説明するためのフローチャートである。
【図10】 この発明の実施の形態9による画像処理方
法を説明するための画像例を示す図である。
法を説明するための画像例を示す図である。
【図11】 図10の1つの画像の矩形範囲の位置を示
す図である。
す図である。
【図12】 この発明の実施の形態10による差分画像
のノイズ除去処理を説明するための画像例を示す図であ
る。
のノイズ除去処理を説明するための画像例を示す図であ
る。
【図13】 図12の差分画像のa−a’ライン画素に
おける濃度レベルを示す図である。
おける濃度レベルを示す図である。
【図14】 この発明の実施の形態10による画像処理
方法を説明するためのフローチャートである。
方法を説明するためのフローチャートである。
101,102,111〜116,121,122,1
31,132 画像 103,123,124,133,140,141〜1
45,150 差分画像 101A,103A,121A,123A,124A,
131A,133A,141A〜145A,150A
ワイパー部分 133K〜133P,140K〜140N,142K,
143K〜N,144M,145N 矩形範囲
31,132 画像 103,123,124,133,140,141〜1
45,150 差分画像 101A,103A,121A,123A,124A,
131A,133A,141A〜145A,150A
ワイパー部分 133K〜133P,140K〜140N,142K,
143K〜N,144M,145N 矩形範囲
───────────────────────────────────────────────────── フロントページの続き (72)発明者 勝野 有二 神奈川県横浜市神奈川区新浦島町1丁目1 番地25 日本電気ロボットエンジニアリン グ株式会社内 Fターム(参考) 5B057 CA08 CA12 CA16 CB08 CB12 CB16 CC03 CE20 CH08 DA02 DA17 DB02 DC22 5H180 AA01 CC04 EE13 LL01 LL04
Claims (11)
- 【請求項1】 撮像手段によって自動車の前方を撮像
し、その撮像した画像を処理することによって上記自動
車の自動走行・走行補助などを行う画像処理方法におい
て、 上記画像から上記自動車のワイパーの動作・位置を検出
し、該ワイパーを上記画像から除外することを特徴とす
る画像処理方法。 - 【請求項2】 撮像手段が撮像した自動車の前方の画像
を取り込む画像取込処理と、 該画像取込処理で取り込んだ現画像と前画像とを各画素
の濃度について差分する差分処理と、 該差分処理の結果得られる差分画像の平均濃度や分散に
基づいて、上記現画像がワイパーフレームであるか否か
判定するワイパーフレーム判定処理と、 該ワイパーフレーム判定処理の結果、上記現画像がワイ
パーフレームの場合、上記現画像のワイパー部分を除去
し、上記現画像が非ワイパーフレームの場合、上記現画
像に基づいて上記自動車の自動走行・走行補助などの画
像処理を行う画像実処理と、 上記差分処理を行うために、上記現画像の1フレーム前
の前画像を保存する画像保存処理とを備えたことを特徴
とする画像処理方法。 - 【請求項3】 画像保存処理において、現画像が非ワイ
パーフレームの場合にのみ該現画像を保存することを特
徴とする請求項2記載の画像処理方法。 - 【請求項4】 ワイパーフレーム判定処理にて現画像が
ワイパーフレームと判定された場合に、その後の数フレ
ームは無条件にワイパーフレームとして処理することを
特徴とする請求項2または請求項3記載の画像処理方
法。 - 【請求項5】 ワイパーフレーム判定処理において、外
界照度の変動に対応させて、ワイパーフレームの判定基
準を変動させることを特徴とする請求項2から請求項4
のうちいずれか1項記載の画像処理方法。 - 【請求項6】 現画像と前画像との濃度のレベルを一定
にするために、外界照度に応じて撮像手段のシャッター
速度を制御することを特徴とする請求項2から請求項5
のうちいずれか1項記載の画像処理方法。 - 【請求項7】 撮像手段のシャッター速度を上げると同
時に、ワイパーフレーム判定処理における差分画像の平
均濃度や分散の基準値のレベルを下げることを特徴とす
る請求項6記載の画像処理方法。 - 【請求項8】 ワイパーフレーム判定処理において、差
分画像内の所定位置に設定した矩形範囲の平均濃度及び
分散によって現画像がワイパーフレームであるか否か判
定することを特徴とする請求項2から請求項7のうちい
ずれか1項記載の画像処理方法。 - 【請求項9】 差分画像の矩形範囲単位で差分処理を行
うことを特徴とする請求項8記載の画像処理方法。 - 【請求項10】 ワイパー部分が最も多い矩形範囲を判
定し、この矩形範囲のみ除外し、その他の領域は画像処
理を行うことを特徴とする請求項8または請求項9記載
の画像処理方法。 - 【請求項11】 差分処理において、差分画像の飽和閾
値以上の濃度レベルをカットするとともに、ワイパーフ
レーム判定処理の前にフィルタ処理にてノイズを除去す
ることを特徴とする請求項2から請求項10記載の画像
処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP29319698A JP3199174B2 (ja) | 1998-10-15 | 1998-10-15 | 画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP29319698A JP3199174B2 (ja) | 1998-10-15 | 1998-10-15 | 画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000123151A true JP2000123151A (ja) | 2000-04-28 |
JP3199174B2 JP3199174B2 (ja) | 2001-08-13 |
Family
ID=17791672
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP29319698A Expired - Fee Related JP3199174B2 (ja) | 1998-10-15 | 1998-10-15 | 画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3199174B2 (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102008053472A1 (de) | 2007-10-29 | 2009-06-25 | Fuji Jukogyo K.K. | Objekt-Erfassungssystem |
JP2015088047A (ja) * | 2013-10-31 | 2015-05-07 | 富士重工業株式会社 | 運転支援装置 |
JP2015104050A (ja) * | 2013-11-27 | 2015-06-04 | キヤノン株式会社 | 自動追尾装置 |
JP2016015638A (ja) * | 2014-07-02 | 2016-01-28 | 株式会社デンソー | 故障検出装置および故障検出プログラム |
JP2016114398A (ja) * | 2014-12-12 | 2016-06-23 | オムロンオートモーティブエレクトロニクス株式会社 | 物体検出装置及び物体検出方法 |
WO2016152007A1 (ja) * | 2015-03-25 | 2016-09-29 | パナソニックIpマネジメント株式会社 | 画像処理装置およびこれを備えた監視システムならびに画像処理方法 |
JP2018096798A (ja) * | 2016-12-12 | 2018-06-21 | 株式会社Soken | 物標検出装置 |
CN109074199A (zh) * | 2016-08-30 | 2018-12-21 | 深圳市大疆创新科技有限公司 | 用于在图像内的投影位置处检测障碍物的方法和*** |
JP2020013332A (ja) * | 2018-07-18 | 2020-01-23 | トヨタ自動車株式会社 | 画像認識装置 |
US11498524B2 (en) * | 2019-08-28 | 2022-11-15 | Canon Kabushiki Kaisha | Imaging device, method of controlling imaging device, and storage medium for reducing adverse effects from driving wiper |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6067912B1 (ja) * | 2016-05-20 | 2017-01-25 | 株式会社弥次右エ門 | 靴 |
-
1998
- 1998-10-15 JP JP29319698A patent/JP3199174B2/ja not_active Expired - Fee Related
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102008053472B4 (de) | 2007-10-29 | 2018-10-04 | Subaru Corporation | Objekt-Erfassungssystem |
US8233031B2 (en) | 2007-10-29 | 2012-07-31 | Fuji Jukogyo Kabushiki Kaisha | Object detecting system |
DE102008053472A1 (de) | 2007-10-29 | 2009-06-25 | Fuji Jukogyo K.K. | Objekt-Erfassungssystem |
JP2015088047A (ja) * | 2013-10-31 | 2015-05-07 | 富士重工業株式会社 | 運転支援装置 |
JP2015104050A (ja) * | 2013-11-27 | 2015-06-04 | キヤノン株式会社 | 自動追尾装置 |
JP2016015638A (ja) * | 2014-07-02 | 2016-01-28 | 株式会社デンソー | 故障検出装置および故障検出プログラム |
DE102015212349B4 (de) | 2014-07-02 | 2022-03-03 | Denso Corporation | Fehlererfassungsvorrichtung und fehlererfassungsprogramm |
US9769469B2 (en) | 2014-07-02 | 2017-09-19 | Denso Corporation | Failure detection apparatus and failure detection program |
JP2016114398A (ja) * | 2014-12-12 | 2016-06-23 | オムロンオートモーティブエレクトロニクス株式会社 | 物体検出装置及び物体検出方法 |
JPWO2016152007A1 (ja) * | 2015-03-25 | 2018-01-11 | パナソニックIpマネジメント株式会社 | 画像処理装置およびこれを備えた監視システムならびに画像処理方法 |
WO2016152007A1 (ja) * | 2015-03-25 | 2016-09-29 | パナソニックIpマネジメント株式会社 | 画像処理装置およびこれを備えた監視システムならびに画像処理方法 |
CN109074199A (zh) * | 2016-08-30 | 2018-12-21 | 深圳市大疆创新科技有限公司 | 用于在图像内的投影位置处检测障碍物的方法和*** |
JP2019531611A (ja) * | 2016-08-30 | 2019-10-31 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 画像処理方法及び移動体を制御するシステム |
US10853969B2 (en) | 2016-08-30 | 2020-12-01 | SZ DJI Technology Co., Ltd. | Method and system for detecting obstructive object at projected locations within images |
JP2018096798A (ja) * | 2016-12-12 | 2018-06-21 | 株式会社Soken | 物標検出装置 |
US10503984B2 (en) | 2016-12-12 | 2019-12-10 | Denso Corporation | Object detection device |
JP2020013332A (ja) * | 2018-07-18 | 2020-01-23 | トヨタ自動車株式会社 | 画像認識装置 |
CN110738089A (zh) * | 2018-07-18 | 2020-01-31 | 丰田自动车株式会社 | 图像识别装置 |
US11498524B2 (en) * | 2019-08-28 | 2022-11-15 | Canon Kabushiki Kaisha | Imaging device, method of controlling imaging device, and storage medium for reducing adverse effects from driving wiper |
Also Published As
Publication number | Publication date |
---|---|
JP3199174B2 (ja) | 2001-08-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8249303B2 (en) | Restoration apparatus for weather-degraded image and driver assistance system | |
US7646890B2 (en) | Image processor for automotive vehicle | |
US7646889B2 (en) | Rain sensor | |
JP4248558B2 (ja) | 道路区画線検出装置 | |
JP5022609B2 (ja) | 撮像環境認識装置 | |
EP2351351B1 (en) | A method and a system for detecting the presence of an impediment on a lens of an image capture device to light passing through the lens of an image capture device | |
JP4882571B2 (ja) | 車両用監視装置 | |
JP6364797B2 (ja) | 画像解析装置、および画像解析方法 | |
JP4608631B2 (ja) | 車両用画像処理装置、運転支援装置 | |
JP3199174B2 (ja) | 画像処理方法 | |
JP2018071994A (ja) | 付着物検出装置および付着物検出方法 | |
EP2501124B1 (en) | Image processing device and method | |
JP2000207563A (ja) | 画像認識装置 | |
JP2016537934A (ja) | カメラの被覆状態の認識方法、カメラシステム、及び自動車 | |
JP2004343676A (ja) | 自動車のカメラシステム及び2重露出映像取得方法 | |
CN111860120A (zh) | 车载相机自动遮挡检测方法和装置 | |
JP2007235952A (ja) | 車両追跡方法及び装置 | |
JP4826355B2 (ja) | 車両周囲表示装置 | |
KR101805883B1 (ko) | 처리속도를 향상시킨 실시간 차선이탈 경보방법 및 경보시스템 | |
US20040189448A1 (en) | Video display for a vehicle environment surveillance unit | |
CN108082042B (zh) | 钻车缝的摩托车的检测 | |
WO2021084818A1 (ja) | 物体検出装置、物体検出方法、及び物体検出プログラム | |
JP7196781B2 (ja) | 情報処理装置及び運転支援システム | |
JP6922700B2 (ja) | 雨滴検出装置及びワイパ制御装置 | |
EP3282420B1 (en) | Method and apparatus for soiling detection, image processing system and advanced driver assistance system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
LAPS | Cancellation because of no payment of annual fees |