JP2005301517A - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JP2005301517A JP2005301517A JP2004114537A JP2004114537A JP2005301517A JP 2005301517 A JP2005301517 A JP 2005301517A JP 2004114537 A JP2004114537 A JP 2004114537A JP 2004114537 A JP2004114537 A JP 2004114537A JP 2005301517 A JP2005301517 A JP 2005301517A
- Authority
- JP
- Japan
- Prior art keywords
- image
- mask
- unit
- creating
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 238000000137 annealing Methods 0.000 abstract description 4
- 238000000034 method Methods 0.000 description 15
- 230000010354 integration Effects 0.000 description 10
- 238000003706 image smoothing Methods 0.000 description 8
- 238000009499 grossing Methods 0.000 description 6
- 239000011521 glass Substances 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】 カメラに撮像される画像中に雨滴などの不要物が映し出されている場合でも、画像情報を少なくすることなく、不要物を除去した画像を得ることができる画像処理装置および画像処理方法を提供する。
【解決手段】 画像処理装置1では、差分画像取得部10において、現在の画像と所定時間前の画像との差分画像を取得し、マスク作成部12で差分画像からマスク画像を作成する。また、反転マスク作成部13では、マスク画像を反転させた反転マスク画像を作成する。中間第一画像作成部15では、現在の画像にマスク処理を施し、第一中間画像を作成する。また、なまし画像作成部14では、現在の画像のなまし画像を作成し、第二中間画像作成部16でなまし画像に反転マスクでマスク処理を施し、第二中間画像を求める。そして、画像統合部17で第一中間画像と第二中間画像を統合する。
【選択図】 図1
【解決手段】 画像処理装置1では、差分画像取得部10において、現在の画像と所定時間前の画像との差分画像を取得し、マスク作成部12で差分画像からマスク画像を作成する。また、反転マスク作成部13では、マスク画像を反転させた反転マスク画像を作成する。中間第一画像作成部15では、現在の画像にマスク処理を施し、第一中間画像を作成する。また、なまし画像作成部14では、現在の画像のなまし画像を作成し、第二中間画像作成部16でなまし画像に反転マスクでマスク処理を施し、第二中間画像を求める。そして、画像統合部17で第一中間画像と第二中間画像を統合する。
【選択図】 図1
Description
本発明は、画像処理装置および画像処理方法に係るものであり、撮像手段に対する相対的な動きが少ないもの、たとえば車両に搭載された撮像手段によって撮影された車両に付着する雨滴などを画像から除去することができる画像処理装置および画像処理方法に関する。
車両における車室内にカメラを配置し、車両のガラス越しに車外を撮像する場合、ガラスに雨滴が付着していたり、車外に取り付けたカメラのレンズに雨滴が付着していたりすることがある。これらの場合には、カメラにガラスまたはレンズに付着した雨滴が画像中に映し出され、カメラで撮像された画像を画像処理する際のノイズとなる。このようなノイズは、画像処理の妨げとなることがあるので、ガラスまたはレンズに付着した雨滴は画像から除去することが望まれる。
このような雨滴などを画像から除去する方法を用いたものとして、特開2002−94978号公報に開示されたレーン検出装置がある。カメラのレンズに付着した雨滴や汚れなどは、車両外の風景に比して小さく画像のフレーム中ではほぼ静止状態にある。このことを利用して、レーン検出装置では、過去のラベリング結果と現在のラベリング結果とを比較し、フレームのほぼ同一位置で一致しているデータを雨滴等とみなし、ノイズとして除去するというものである。
特開2002−94978号公報
しかし、上記特許文献1に開示されたレーン検出装置における処理では、雨滴等が付着する部分をノイズとして除去している。このため、雨滴が映し出されていた部分については、画像中の情報が除去されて存在しないことになるので、その分画像情報が少なくなるという問題があった。
そこで、本発明の課題は、カメラに撮像される画像中に雨滴などの不要物が映し出されている場合でも、画像情報を少なくすることなく、不要物を除去した画像を得ることができる画像処理装置および画像処理方法を提供することにある。
上記課題を解決した本発明に係る画像処理装置は、現在の画像と所定時間前の画像との差分画像を作成する差分画像取得手段と、差分画像の画素値に基づくマスク画像を作成するマスク画像作成手段と、マスク画像と現在の画像とから中間第一画像を作成する中間第一画像作成手段と、現在の画像のなまし画像と、なまし画像を反転した反転画像とを求め、なまし画像と反転画像とをから中間第二画像を作成する中間第二画像作成手段と、中間第一画像と中間第二画像とを統合した統合画像を作成する統合画像作成手段と、を備えるものである。
また、上記課題を解決した本発明に係る画像処理方法は、現在の画像と所定時間前の画像との差分画像を作成する差分画像取得工程と、差分画像の画素値に基づくマスク画像を作成するマスク画像作成工程と、マスク画像と現在の画像とから中間第一画像を作成する中間第一画像作成工程と、現在の画像のなまし画像と、なまし画像を反転した反転画像とを求め、なまし画像と反転画像とをから中間第二画像を作成する中間第二画像作成工程と、中間第一画像と中間第二画像とを統合した統合画像を作成する統合画像作成工程と、を含むことを特徴とする。
本発明に係る画像処理装置および画像処理方法においては、差分画像の画素値に基づくマスク画像を作成し、マスク画像と現在の画像とから得られる第一中間画像によって、雨滴などのカメラに対して相対的に動かない部分を画像から除去する。その一方、現在の画像のなまし画像を求め、なまし画像とマスク画像を反転させた反転マスク画像とからカメラに対して相対的に動かない部分の第二中間画像を得る。第二中間画像におけるカメラに対して相対的に動かない部分については、なまし画像により、その周囲に近似する情報が得られるようになっている。
この第一中間画像と第二中間画像とを統合することにより、雨滴などのカメラに対して相対的に移動しない不要物を除去することができる。また、不要物を除去した部分については、その周囲に近似する情報を得ることができるので、画像情報を少なくしないようにすることができる。
本発明に係る画像処理装置および画像処理方法によれば、カメラに撮像される画像中に雨滴などの不要物が映し出されている場合でも、画像情報を少なくすることなく、不要物を除去した画像を得ることができる。
以下、図面を参照して、本発明の好適な実施形態について説明する。図1は本発明の実施形態に係る画像処理装置のブロック構成図である。
図1に示すように、本実施形態に係る画像処理装置1は、雨滴処理部2および認識処理部3を備えており、雨滴処理部2は、認識処理部3に接続されている。また、雨滴処理部2には、カメラ4が接続されている。
雨滴処理部2は、差分画像取得部10、直前画像蓄積部11、マスク作成部12、反転マスク作成部13、およびなまし画像作成部14を備えている。また、雨滴処理部2は、第一中間画像作成部15、第二中間画像作成部16、画像統合部17、および画像スムーズ化部18を備えている。
カメラ4は、たとえば車両における車室内に配置されており、車両のガラス越しに車外を撮像しており、撮像したデジタル画像を雨滴処理部2に出力している。雨滴処理部2では、カメラ4から出力された画像について雨滴除去処理および雨滴処理後の画素値の推定を行い、その結果を認識処理部3に出力している。
カメラ4からは、雨滴処理部2における差分画像取得部10、直前画像蓄積部11、なまし画像作成部14、および第一中間画像作成部15に出力される。また、直前画像蓄積部11は、カメラ4から出力された画像を直前画像として一時蓄積している。カメラ4では、所定の時間間隔をおいて、車外の景色を撮影している。
時刻t−1の画像が直前画像蓄積部11に蓄積されている状態において、カメラ4で撮像した時刻tの画像は、差分画像取得部10および直前画像蓄積部11に出力される。差分画像取得部10には、所定時間前である時刻t−1の画像が直前画像蓄積部11から出力される。直前画像蓄積部11には、所定時間前に、時刻t−1の画像が差分画取得部10から出力されており、直前画像蓄積部11は、この時刻t−1の画像を差分画像取得部10に出力する。直前画像蓄積部11に出力された時刻tの画像は、次の時刻t+1のときに差分画像取得部10に出力するために、一時的に直前画像蓄積部11に蓄積される。
差分画像取得部10では、カメラ4から出力された時刻tの画像と、直前画像蓄積部11から出力された時刻t−1との画像の差分を求めて、差分画像を取得し、マスク作成部12に出力する。マスク作成部12では、差分画像取得部10から出力された差分画像にマスク処理を施して、マスク画像を作成して、反転マスク作成部13および第一中間画像作成部15に出力する。
反転マスク作成部13では、マスク作成部12で作成されたマスク画像を反転処理し、反転マスク画像を作成し、第二中間画像作成部16に出力する。また、なまし画像作成部14では、カメラ4から出力された画像からなまし画像を作成して、第二中間画像作成部16に出力する。
第一中間画像作成部15では、カメラ4から出力された画像およびマスク作成部12から出力されたマスク画像から、第一中間画像を作成し、画像統合部17に出力する。また、第二中間画像作成部16では、反転マスク作成部13から出力された反転マスク画像およびなまし画像作成部14から出力されたなまし画像から、第二中間画像を作成し、画像統合部17に出力する。
画像統合部17では、第一中間画像作成部15から出力された第一中間画像と、第二中間画像作成部16から出力された第二中間画像とを統合し、統合画像を作成して画像スムーズ化部18に出力する。画像スムーズ化部では、画像統合部17から出力された統合画像にスムージング処理を施して、認識処理部3に出力する。
続いて、本実施形態に係る画像処理方法について説明する。図2は、本実施形態に係る画像処理方法の手順を示すフローチャートである。
まず、カメラ4で撮像された画像が雨滴処理部2に入力される(S1)。カメラ4で撮影された画像は、雨滴処理部2における差分画像取得部10、直前画像蓄積部11、なまし画像作成部14、および第一中間画像作成部15に入力される。カメラ4では、所定時間の間隔をおいて車外の画像を撮影しており、それらの画像を順次雨滴処理部2における各部に出力している。以後の工程で、カメラ4に撮影された画像中における雨滴や汚れなど、カメラ4に対して相対的に短時間で大きな移動をしないもの(不要物)について、画像から除去する処理を行う。
続いて、雨滴処理部2における差分画像取得部10では、差分画像を取得する(S2)。いま、差分画像取得部10に対してカメラ4から時刻tの画像が出力された場合、その1段階前の時刻t−1の画像が直前画像蓄積部11に出力されている。直前画像蓄積部11では、時刻tの画像が雨滴処理部2の各部に出力されたときに、時刻t−1の画像を差分画像取得部10に出力する。
差分画像取得部10では、カメラ4から出力された時刻tの画像と、直前画像蓄積部11から出力された時刻t−1の画像とを比較し、各画素における差分を求めることにより差分画像を取得する。
差分画像を取得したら、差分画像取得部10は、差分画像をマスク作成部12に出力する。マスク作成部12では、差分画像の各画素における画素値の絶対値を求めて、求めた値と、予め定めた所定のしきい値とを比較してマスク画像を作成する。各画素において、差分画像の値の絶対値が、所定のしきい値未満の場合には、マスクを0とする。
また、差分画像の値の絶対値が、所定のしきい値以上の場合にはマスクを1とする。こうして、各画素についてマスクが求められたマスク画像を作成する。ここで、マスクの値が0である画素は、時刻tの画像と時刻t−1の画像との間で、画素値が同一とみなせる画素となっている。マスクの値が1である画素は、時刻tの画像と時刻t−1の画像との間で、画素値が同一とみなせない画素である。
こうしてマスク画像を作成したら、マスク作成部12は、マスク画像を第一中間画像作成部15および反転マスク作成部13に出力する。第一中間画像作成部15では、カメラ4から出力された時刻tの画像と、マスク作成部12から出力されたマスク画像から、第一中間画像を作成する(S4)。第一中間画像は、カメラ4から出力された時刻tの画像と、マスク作成部12から出力されたマスク画像とを掛け合わせて求められ、時刻tの画像とマスク画像との積が第一中間画像となる。
いま、短時間の間では、カメラ4で撮像される雨滴は、静止物であると仮定することができる。マスクの値が1であり、時刻t−1の画像と時刻tの画像との間で画素値が変化した画素には、雨滴が存在しないとして、カメラ4から出力されたtの画素値をそのまま用いるようにしている。
こうして、作成された第一中間画像は、第一中間画像作成部15から画像統合部17に出力される。
また、カメラ4から画像を出力されたなまし画像作成部14では、カメラ4で撮影された時刻tの画像のなまし画像を作成する(S5)。なまし画像は、一般的な平滑化フィルタ(スムージングフィルタ)を大きく適用して作成することができる。具体的には、メジアンフィルタをフィルタサイズ15×15のように適用することなどができる。このように、平滑化フィルタを大きく適用することにより、なまし画像を作成する。なまし画像作成部14は、作成したなまし画像を第二中間画像作成部16に出力する。
さらに、マスク作成部12からマスク画像を出力された反転マスク作成部13では、反転マスク画像を作成する(S6)。反転マスク画像は、マスク画像を反転させたものであり、反転マスク画像は、マスク画像を反転させたものであり、マスク画像における各画素のマスクを1から引いた値を反転マスク画像の各画素のマスクとしたものである。したがって、反転マスク画像は、マスク画像のマスクのうち、0を1に変換し、1を0に変換したものとなる。反転マスク作成部13は、作成した反転マスク画像を第二中間画像作成部16に出力する。
第二中間画像作成部16では、なまし画像作成部14から出力されたなまし画像と、反転マスク作成部13から出力された反転マスク画像とから、第二中間画像を作成する(S7)。第二中間画像は、なまし画像作成部14から出力されたなまし画像と、反転マスク作成部13から出力された反転マスク画像とを掛け合わせて求められ、なまし画像と反転マスク画像との積が第二中間画像となる。
第一中間画像では、画像中における雨滴を除いた部分の画像を中間画像として作成しており、第二中間画像では、画像中における雨滴の部分を中間画像として作成する。ここで、雨滴の部分は、その雨滴の部分における周囲の画素の画素値に近似していると考えられるので、周囲の画素の画素値から推定することができる。そのため、カメラ4で撮像された画像のなまし画像を作成し、このなまし画像から雨滴に相当する部分を反転マスク処理によって求めている。したがって、画像中における雨滴を除去するとともに、雨滴部分が画素値を推定することができ、雨滴を除去した後の画像情報(画素値)をなくさないようにすることができる。
こうして、作成された第二中間画像は、第二中間画像作成部16から画像統合部17に出力される。
画像統合部17では、第一中間画像作成部15から出力された第一中間画像と、第二中間画像作成部16から出力された第二中間画像とを加算し、統合画像を作成する(S8)。第一中間画像と第二中間画像との加算は、両中間画像における各画素の画素値を加算することによって行われる。
こうして、統合画像を作成したら、画像統合部17は、画像スムーズ化部18に統合画像を出力する。画像スムーズ化部18では、第一中間画像と第二中間画像とのマスクが1であった画素の境目の領域を平滑化するため、スムージング処理を行う(S9)。スムージング処理は、たとえばガウシアンフィルタを用いることによって行うことができる。画像スムーズ化部18において、画像のスムーズ化処理を行った後、得られた画像を画像スムーズ化部18は、認識処理部3に出力する。このようにして制御を終了する。
このように、本実施形態に係る画像処理方法では、第一中間画像作成部15によって作成される第一中間画像により、カメラ4に対して相対的に動かない雨滴などの不要物を画像から除去することができる。また、雨滴などを除去した部分について第二中間画像作成部16で第二中間画像を作成している。この第二中間画像を作成する際、もとの画像のなまし画像を利用していることから、雨滴などがあった部分については、その周囲の画素値に近似する画素値とする画像情報とすることができる。したがって、雨滴などの不要物を除去した後における除去した部分についても、画素値を得ることができるので、画像情報を少なくしないようにすることができる。
1…画像処理装置、2…雨滴処理部、3…認識処理部、4…カメラ、10…差分画像取得部、11…直前画像蓄積部、12…マスク作成部、13…反転マスク作成部、14…なまし画像作成部、15…第一中間画像作成部、16…第二中間画像作成部、17…画像統合部、18…画像スムーズ化部。
Claims (2)
- 現在の画像と所定時間前の画像との差分画像を作成する差分画像取得手段と、
前記差分画像の画素値に基づくマスク画像を作成するマスク画像作成手段と、
前記マスク画像と現在の画像とから中間第一画像を作成する中間第一画像作成手段と、
現在の画像のなまし画像と、前記なまし画像を反転した反転画像とを求め、前記なまし画像と前記反転画像とをから中間第二画像を作成する中間第二画像作成手段と、
前記中間第一画像と前記中間第二画像とを統合した統合画像を作成する統合画像作成手段と、
を備えることを特徴とする画像処理装置。 - 現在の画像と所定時間前の画像との差分画像を作成する差分画像取得工程と、
前記差分画像の画素値に基づくマスク画像を作成するマスク画像作成工程と、
前記マスク画像と現在の画像とから中間第一画像を作成する中間第一画像作成工程と、
現在の画像のなまし画像と、前記なまし画像を反転した反転画像とを求め、前記なまし画像と前記反転画像とをから中間第二画像を作成する中間第二画像作成工程と、
前記中間第一画像と前記中間第二画像とを統合した統合画像を作成する統合画像作成工程と、
を含むことを特徴とする画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004114537A JP2005301517A (ja) | 2004-04-08 | 2004-04-08 | 画像処理装置および画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004114537A JP2005301517A (ja) | 2004-04-08 | 2004-04-08 | 画像処理装置および画像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005301517A true JP2005301517A (ja) | 2005-10-27 |
Family
ID=35332994
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004114537A Pending JP2005301517A (ja) | 2004-04-08 | 2004-04-08 | 画像処理装置および画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005301517A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009057410A1 (ja) * | 2007-10-30 | 2009-05-07 | Nec Corporation | 路面標示画像処理装置,路面標示画像処理方法及びプログラム |
JP2010146284A (ja) * | 2008-12-18 | 2010-07-01 | Mazda Motor Corp | 車両用対象物検出装置及び車両用運転支援システム |
EP3217352A4 (en) * | 2014-11-04 | 2017-11-15 | Denso Corporation | Vehicle periphery image display device and vehicle periphery image display method |
CN113330480A (zh) * | 2019-02-11 | 2021-08-31 | 康蒂-特米克微电子有限公司 | 模块化图像修复方法 |
US11751711B2 (en) | 2013-05-23 | 2023-09-12 | Meyer Intellectual Properties Limited | Low-pressure cooking method and cookware vessel adapted for the same |
-
2004
- 2004-04-08 JP JP2004114537A patent/JP2005301517A/ja active Pending
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009057410A1 (ja) * | 2007-10-30 | 2009-05-07 | Nec Corporation | 路面標示画像処理装置,路面標示画像処理方法及びプログラム |
JP5206687B2 (ja) * | 2007-10-30 | 2013-06-12 | 日本電気株式会社 | 路面標示画像処理装置,路面標示画像処理方法及びプログラム |
US8503728B2 (en) | 2007-10-30 | 2013-08-06 | Nec Corporation | Road marking image processing device, road marking image processing method, and program |
JP2010146284A (ja) * | 2008-12-18 | 2010-07-01 | Mazda Motor Corp | 車両用対象物検出装置及び車両用運転支援システム |
US11751711B2 (en) | 2013-05-23 | 2023-09-12 | Meyer Intellectual Properties Limited | Low-pressure cooking method and cookware vessel adapted for the same |
EP3217352A4 (en) * | 2014-11-04 | 2017-11-15 | Denso Corporation | Vehicle periphery image display device and vehicle periphery image display method |
CN113330480A (zh) * | 2019-02-11 | 2021-08-31 | 康蒂-特米克微电子有限公司 | 模块化图像修复方法 |
JP2022517849A (ja) * | 2019-02-11 | 2022-03-10 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツング | モジュール式画像補間方法 |
US11961215B2 (en) | 2019-02-11 | 2024-04-16 | Conti Temic Microelectronic Gmbh | Modular inpainting method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3327668B1 (en) | Image-processing device and method for foreground mask correction for object segmentation | |
US9336574B2 (en) | Image super-resolution for dynamic rearview mirror | |
US20190005360A1 (en) | Method and apparatus for joint image processing and perception | |
JP4527152B2 (ja) | カメラのモーションブラー関数を決定する手段を有するデジタルイメージ取得システム | |
US10007972B2 (en) | Image processing apparatus and method for performing preprocessing to obtain image with improved sharpness | |
JP4848965B2 (ja) | 撮像装置 | |
US8588541B2 (en) | Method and device for image deblurring using joint bilateral filtering | |
EP2439927B1 (en) | Image processing device, image processing method, program, recording medium, and integrated circuit | |
JP2008541316A (ja) | パターン検出のための画像処理 | |
US20200082197A1 (en) | Information processing method, information processing device, and recording medium | |
JP4245045B2 (ja) | 撮像装置、撮像信号処理方法及びプログラム | |
US20140078321A1 (en) | Motion blur estimation and restoration using light trails | |
CN113330480A (zh) | 模块化图像修复方法 | |
JP2005301517A (ja) | 画像処理装置および画像処理方法 | |
US8634676B2 (en) | Object estimation device, method and program | |
JP2019185556A (ja) | 画像解析装置、方法およびプログラム | |
JP2021061546A (ja) | 撮像装置、撮像装置の制御方法、及びプログラム | |
US11308709B2 (en) | Deposit detection device and deposit detection method | |
KR101124878B1 (ko) | 추정된 흐림반경에 기초한 영상보정방법 및 영상보정장치 | |
JP2009009206A (ja) | 画像中の輪郭抽出方法及びその画像処理装置 | |
JP4516448B2 (ja) | 領域抽出装置及び領域抽出方法 | |
KR101879580B1 (ko) | 특징점의 방향 벡터를 계산하는 방법 및 장치 | |
CN112132879A (zh) | 一种图像处理的方法、装置和存储介质 | |
KR102240054B1 (ko) | 영상 처리 장치 | |
WO2016199214A1 (ja) | 映像処理装置、映像処理方法及び車載カメラ |