JP7160085B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP7160085B2 JP7160085B2 JP2020507346A JP2020507346A JP7160085B2 JP 7160085 B2 JP7160085 B2 JP 7160085B2 JP 2020507346 A JP2020507346 A JP 2020507346A JP 2020507346 A JP2020507346 A JP 2020507346A JP 7160085 B2 JP7160085 B2 JP 7160085B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- disturbance
- filter
- filter coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 149
- 238000003672 processing method Methods 0.000 title claims description 9
- 238000001514 detection method Methods 0.000 claims description 120
- 238000003708 edge detection Methods 0.000 claims description 37
- 238000001914 filtration Methods 0.000 claims description 27
- 241000255925 Diptera Species 0.000 claims description 7
- 239000000428 dust Substances 0.000 claims description 4
- 239000004576 sand Substances 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 49
- 238000004364 calculation method Methods 0.000 description 31
- 238000000034 method Methods 0.000 description 28
- 238000003384 imaging method Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 240000004050 Pentaglottis sempervirens Species 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000010267 cellular communication Effects 0.000 description 2
- 238000002485 combustion reaction Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000003517 fume Substances 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/409—Edge or detail enhancement; Noise or error suppression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Description
本開示は、画像処理装置、画像処理方法及びプログラムに関する。
屋外での撮像により得られる画像は、悪天候等の要因により視認性の劣化が生じ得る。このため、雨粒を除去して画像の高画質化(高視認化)を図る技術(例えば、特許文献1)や、デプス情報から路面の起伏を判別し、判別結果に応じて、視界が悪い状況下でも路面領域を画像で表示できるようにした技術(例えば、特許文献2)が提案されている。
このような分野では、雨粒等の外乱物を除去して高画質化を図る場合でも画像の特性を極力、保持することが望まれている。
本開示は、画像の特性を極力保持しつつ、雨粒等の外乱物を除去した画像を得ることができる画像処理装置、画像処理方法及びプログラムを提供することを目的の一つとする。
本開示は、例えば、
少なくとも、第1画像に基づくディテールの検出結果と、第2画像に対して行われる外乱物の検出結果とに基づいて設定されるフィルタ係数を使用したフィルタ処理を行う画像処理部を有する画像処理装置である。
少なくとも、第1画像に基づくディテールの検出結果と、第2画像に対して行われる外乱物の検出結果とに基づいて設定されるフィルタ係数を使用したフィルタ処理を行う画像処理部を有する画像処理装置である。
本開示は、例えば、
画像処理部が、少なくとも、第1画像に基づくディテールの検出結果と、第2画像に対して行われる外乱物の検出結果とに基づいて設定されるフィルタ係数を使用したフィルタ処理を行う画像処理方法である。
画像処理部が、少なくとも、第1画像に基づくディテールの検出結果と、第2画像に対して行われる外乱物の検出結果とに基づいて設定されるフィルタ係数を使用したフィルタ処理を行う画像処理方法である。
本開示は、例えば、
画像処理部が、少なくとも、第1画像に基づくディテールの検出結果と、第2画像に対して行われる外乱物の検出結果とに基づいて設定されるフィルタ係数を使用したフィルタ処理を行う画像処理方法をコンピュータに実行させるプログラムである。
画像処理部が、少なくとも、第1画像に基づくディテールの検出結果と、第2画像に対して行われる外乱物の検出結果とに基づいて設定されるフィルタ係数を使用したフィルタ処理を行う画像処理方法をコンピュータに実行させるプログラムである。
本開示の少なくとも一つの実施の形態によれば、画像の特性を極力保持しつつ、雨粒等の外乱物を除去した画像を得ることができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれの効果であっても良い。また、例示された効果により本開示の内容が限定して解釈されるものではない。
以下、本開示の実施の形態等について図面を参照しながら説明する。なお、説明は以下の順序で行う。
<一般的な技術について>
<1.第1の実施の形態>
<2.第2の実施の形態>
<3.応用例>
<4.変形例>
<一般的な技術について>
<1.第1の実施の形態>
<2.第2の実施の形態>
<3.応用例>
<4.変形例>
<一般的な技術について>
始めに、本開示の理解を容易とするために、一般的な技術について説明する。上述したように、雨粒を除去して画像の高画質化を図る技術や、デプス情報から路面の起伏を判別し、判別結果に応じて、視界が悪い状況下でも路面領域を画像で表示できるようにした技術が提案されている。
始めに、本開示の理解を容易とするために、一般的な技術について説明する。上述したように、雨粒を除去して画像の高画質化を図る技術や、デプス情報から路面の起伏を判別し、判別結果に応じて、視界が悪い状況下でも路面領域を画像で表示できるようにした技術が提案されている。
しかしながら、前者の技術では雨粒を除去する処理においてメディアンフィルタを使用したメディアン処理を行っているため、得られる画像のエッジやディテールがぼやけてしまうという問題がある。また、後者の技術では、デプス画像で得られるエッジは保持されるものの、デプス画像では得られないディテールはぼやけてしまうという問題がある。また、フィルタリングによりランダムなノイズは低減できるものの、雨粒、雪等の外乱物は除去できないという問題がある。これらの問題を踏まえつつ、本開示の実施の形態について詳細に説明する。
<1.第1の実施の形態>
[画像処理装置の構成例]
(画像処理装置の各部について)
図1は、第1の実施の形態に係る画像処理装置(画像処理装置1)の構成例を示すブロック図である。画像処理装置1は、例えば、画像入力部101と、位置合わせ部102と、エッジ検出部103と、第1フィルタ係数算出部104と、ディテール検出部105と、第2フィルタ係数算出部106と、外乱物検出部107と、第3フィルタ係数算出部108と、画像処理部の一例であるフィルタ処理部109と、出力部110とを有している。
[画像処理装置の構成例]
(画像処理装置の各部について)
図1は、第1の実施の形態に係る画像処理装置(画像処理装置1)の構成例を示すブロック図である。画像処理装置1は、例えば、画像入力部101と、位置合わせ部102と、エッジ検出部103と、第1フィルタ係数算出部104と、ディテール検出部105と、第2フィルタ係数算出部106と、外乱物検出部107と、第3フィルタ係数算出部108と、画像処理部の一例であるフィルタ処理部109と、出力部110とを有している。
画像入力部101は、画像が入力される構成である。画像入力部101は、画像処理装置1のインタフェースであっても良いし、通信等により画像が入力される場合は、通信部であっても良い。第1の実施の形態では、画像入力部101に対して、例えば同一の視点で同期して得られるデプス画像D及び入力画像Iが入力される。なお、デプス画像D及び入力画像Iとの間で、視点や同期の多少のずれがあっても構わない。
デプス画像Dは、ミリ波レーダ、レーザーレーダ、超音波センサ、ステレオカメラ等のデプスセンサから得られる画像であり、各画素に深度値が付与された画像である。入力画像Iは、例えば、撮像装置により撮像された可視画像(可視光画像)である。なお、撮像装置は、画像処理装置1と一体のものでも良いし、別体のものであっても良い。
位置合わせ部102は、画像入力部101に入力されたデプス画像Dと入力画像Iとの位置合わせを行う。位置合わせ部102による処理が行われたデプス画像Dは、エッジ検出部103に出力される。また、位置合わせ部102による処理が行われた入力画像Iは分岐され、ディテール検出部105、外乱物検出部107及びフィルタ処理部109のそれぞれに対して出力される。
エッジ検出部103は、デプス画像Dに基づいて公知の方法によりエッジを検出する。本実施の形態に係るエッジ検出部103は、各画素に前景(背景でも良い)の成分がどれだけ含まれているかを、画素値(例えば、輝度)に基づいて検出する。エッジ検出部103は、エッジの検出結果を第1フィルタ係数算出部104に出力する。
第1フィルタ係数算出部104は、エッジ検出部103により検出されたエッジを残すように、第1フィルタ係数ajを算出する。なお、第1フィルタ係数ajの具体例については後述する。第1フィルタ係数算出部104は、算出した第1フィルタ係数ajをフィルタ処理部109に出力する。
ディテール検出部105は、位置合わせ部102から供給される入力画像Iに基づいて、入力画像Iに含まれるディテールを公知の方法により検出する。本実施の形態に係るディテール検出部105は、各画素に例えば手前側に位置する物体のディテール成分がどれだけ含まれているかを、画素値(例えば、輝度)に基づいて検出する。ディテール検出部105は、ディテールの検出結果を第2フィルタ係数算出部106に出力する。
第2フィルタ係数算出部106は、ディテール検出部105により検出されたディテールを残すように、第2フィルタ係数bjを算出する。なお、第2フィルタ係数bjの具体例については後述する。第2フィルタ係数算出部106は、算出した第2フィルタ係数bjをフィルタ処理部109に出力する。
外乱物検出部107は、位置合わせ部102から供給される入力画像Iに含まれる外乱物を検出する。実施の形態に係る外乱物は、大気中を飛来する粒状(点状)の微少物である。外乱物は、具体的には、雨粒、雪、霧、みぞれ、あられ、黄砂、塵埃、ハエ、蚊の少なくとも一つを含む。
外乱物検出部107は、対象となる外乱物に適した公知の方法で、入力画像Iに含まれる外乱物を検出する。例えば、外乱物検出部107は、時間方向の情報を用いた孤立点検出により雨粒や雪を検出しても良い。また、外乱物検出部107は、ダークチャンネルという局所領域におけるR,G,Bの最小値を用いて霧や塵埃等の煙霧の密度を推定し、推定した煙霧の密度から透過率を算出することにより霧等を検出しても良い。また、これらの煙霧の透過率を精度良く検出する手法として、本出願人は、特願2017-186019を提案している。係る出願で開示された事項を適用して、外乱物検出部107が霧等を検出するようにしても良い。
なお、外乱物検出部107は、各画素に外乱物の成分がどれだけ含まれているかを、画素値(例えば、輝度)に基づいて検出できるようにしても良い。
第3フィルタ係数算出部108は、外乱物検出部107により検出された外乱物を打ち消すように、第3フィルタ係数cjを算出する。なお、第3フィルタ係数cjの具体例については後述する。第3フィルタ係数算出部108は、算出した第3フィルタ係数cjをフィルタ処理部109に出力する。
フィルタ処理部109は、例えば、位置合わせ部102による位置合わせがなされた入力画像Iに対して、フィルタ係数を使用したフィルタ処理(フィルタリング)を行う。係るフィルタ処理で使用されるフィルタ係数は、少なくとも、ディテールの検出結果及び外乱物の検出結果に基づいて設定される係数であり、実施の形態では、更に、エッジの検出結果に基づいて設定される係数である。より具体的には、フィルタ係数は、第1フィルタ係数aj、第2フィルタ係数bj及び第3フィルタ係数cjに基づく情報、例えば、第1フィルタ係数aj、第2フィルタ係数bj及び第3フィルタ係数cjを掛け合わせたものを正規化することにより設定される係数である。フィルタ処理部109は、フィルタ処理を行うことにより得られた画像である出力画像I'を出力部110に出力する。
出力部110は、例えば、出力画像I'を表示するディスプレイである。なお、出力画像I'が、画像処理装置1と異なる外部装置が有するディスプレイに表示されても良い。この場合、出力部110は、外部装置に出力画像I'を伝送するための通信部(有線又は無線による通信かは問わない)であっても良い。また、出力画像I'は、空間に存在する物体に投射されても良く、この場合、出力部110は、所謂、プロジェクションマッピングを実現するための構成であっても良い。
(デプスセンサについて)
上述したように、デプス画像Dは、デプスセンサから得られる画像である。デプスセンサは、検出性能に応じて、外乱物を透過するセンサと、外乱物を透過しないセンサとに区分することができる。区分の一例を下記の表1に示す。
上述したように、デプス画像Dは、デプスセンサから得られる画像である。デプスセンサは、検出性能に応じて、外乱物を透過するセンサと、外乱物を透過しないセンサとに区分することができる。区分の一例を下記の表1に示す。
表1では、デプスセンサの種類の一例として、周波数が77GHz(ギガヘルツ)のミリ波レーダ、周波数が24GHzのミリ波レーダ、レーザーレーダ、超音波センサ及びカメラが示されている。例示されたデプスセンサのうち、ミリ波レーダが外乱物を透過するセンサである。また、例示されたデプスセンサのうち、レーザーレーダ、超音波センサ及びカメラは、外乱物を透過しないセンサである。
第1の実施の形態に係るデプス画像Dは、外乱物を透過するデプスセンサに基づいて得られる画像である。即ち、第1の実施の形態に係るデプス画像Dには外乱物は表れない。そこで、第1の実施の形態では入力画像Iから外乱物を検出するようにしている。
[フィルタ係数の例]
次に、画像処理装置1のフィルタ処理部109で用いられるフィルタ係数の具体例について説明する。図2Aは、入力画像Iの一例を示している。入力画像Iには、手前側に位置する物体AA、背景BB及び外乱物CCが含まれる。本例における外乱物CCは、例えば、雨粒である。また、入力画像Iには、物体AAのエッジEGと、物体AAのディテールDTが含まれる。図2Aでは、物体AAのディテールDTがハッチング(複数の斜線)で示されている。なお、図示が煩雑となることを防止するために、外乱物やディテールの一部のみに参照符号を付している。他の図についても同様である。
次に、画像処理装置1のフィルタ処理部109で用いられるフィルタ係数の具体例について説明する。図2Aは、入力画像Iの一例を示している。入力画像Iには、手前側に位置する物体AA、背景BB及び外乱物CCが含まれる。本例における外乱物CCは、例えば、雨粒である。また、入力画像Iには、物体AAのエッジEGと、物体AAのディテールDTが含まれる。図2Aでは、物体AAのディテールDTがハッチング(複数の斜線)で示されている。なお、図示が煩雑となることを防止するために、外乱物やディテールの一部のみに参照符号を付している。他の図についても同様である。
図2Bは、図2Aに示した入力画像Iに対応するデプス画像Dの一例を示している。デプス画像Dは、手前側に位置する物体AAと、背景BBと、物体AAと背景BBとの境界であるエッジEGを含む。物体AA及び背景BBにはハッチングを付している。なお、デプス画像Dは、デプスセンサに基づく画像であるので、距離が異なる物体間の境界、即ち、エッジEGを含むものの物体AAのディテールは含まれない。また、上述したように、本実施の形態に係るデプスセンサは、外乱物CCを透過するセンサであることから、デプス画像Dには外乱物CCは表れない。
図2Cに示すように、第1の実施の形態では、デプス画像Dに含まれるエッジEGの検出結果に基づいて、第1フィルタ係数ajが算出(生成)される。また、入力画像Iに含まれるディテールDTの検出結果に基づいて、第2フィルタ係数bjが算出される。また、入力画像Iに含まれる外乱物CCの検出結果に基づいて、第3フィルタ係数cjが算出される。フィルタ処理部109は、第1フィルタ係数aj、第2フィルタ係数bj及び第3フィルタ係数cjに基づいて、フィルタ処理に用いるフィルタ係数を設定する。
フィルタ係数について、更に詳細に説明する。図3Aは図2Aに示した入力画像Iを示す図であり、図3Bは図2Bに示したデプス画像Dを示す図である。フィルタ係数は、例えば、ブロック単位で設定される。本実施の形態では、5画素×5画素のブロックを例にして説明するが、ブロックの大きさは適宜、変更することができる。図3A及び図3Bでは、画像中の同一位置に対応するブロックBLが点線の矩形により模式的に示されている。係るブロックBLは、物体AA、背景BB、外乱物CC、エッジEG及びディテールDTを含むブロックである。
図3Cは、入力画像Iにおける所定のブロックBLを拡大して示した図である。図3Cに示すブロックBLにおいてハッチングが付された画素は、外乱物CC(本例では雨粒を)含む画素である。
第1フィルタ係数算出部104は、デプス画像Dのエッジ(構造線)の検出結果に基づいて第1フィルタ係数ajを算出する。第1フィルタ係数ajは、例えば、物体AAの成分が多く含まれているほど重みが大きく(重く)なるように係数が設定される。画素に含まれる背景BBの成分が多く含まれているほど重みが小さく(軽く)なるように、係数が設定されても良い。
図4Aは、第1フィルタ係数ajの一例を示している。図4Aに示すように、物体AAのみが含まれる画素には、係数として「1」が設定される。一方、背景BBのみに対応する画素には、係数として「0」が設定される。エッジEGが跨ぐ画素には、例えば、画素に含まれる物体AAの成分の度合いに応じて係数が設定される。例えば、エッジEGが跨ぐブロックBLの中央の画素(以下、中心画素と適宜称する)は、比較的、物体AAの成分を多く含まれる。このような画素に対しては、重みが大きくなるように、係数として例えば「0.8」が設定される。なお、エッジEGを跨ぐ画素に対して係数として「0」が設定されることがないので、画像特性の一つであるエッジEGを保持することができる。
第2フィルタ係数算出部106は、入力画像Iに含まれるディテールの検出結果に基づいて第2フィルタ係数bjを算出する。第2フィルタ係数bjは、例えば、物体AAのディテールが多く含まれているほど重みが大きく(重く)設定される係数である。
図4Bは、第2フィルタ係数bjの一例を示している。例えば、ディテールを多く含むブロックBLの中心画素には、係数として例えば「1」が設定される。また、例えば、中心画素の左側に隣接する画素にはディテールは含まれないので、係数として例えば「0」が設定される。また、例えば、中心画素の右側に隣接する画素にはディテールが少し含まれるので、係数として例えば「0.3」が設定され、当該画素の下側の画素には、ディテールが僅かに含まれるので、係数として例えば「0.1」が設定される。以上のように、ディテールが含まれる画素には、重みが付加される(係数として「0」が設定されない)ので、画像特性の一つであるディテールを保持することができる。
第3フィルタ係数算出部108は、外乱物検出部107による外乱物の検出結果に基づいて第3フィルタ係数cjを算出する。第3フィルタ係数cjは、例えば、外乱物CCを除去するように設定される係数である。
図4Cは、第3フィルタ係数cjの一例を示している。例えば、外乱物CCを含む画素には、係数として例えば「0」が設定され、外乱物CCを含まない画素には、係数として例えば「1」が設定される。このように、外乱物検出部107による外乱物CCの検出結果を用いることにより、ある画素が外乱物CCに対応する画素であってもインペイント処理により効果的に外乱物を除去することが可能となる。
なお、エッジやディテールと同様に、画素に含まれる外乱物の度合いを外乱物検出部107が検出するようにし、当該度合いに応じて係数の重みが細かく設定されるようにしても良い。即ち、外乱物を含む画素に対して設定される係数は、外乱物を除去する上で好ましくは「0」であるものの「0」に近い値であっても良い。
第1フィルタ係数aj、第2フィルタ係数bj及び第3フィルタ係数cjを受け取ったフィルタ処理部109は、それらのフィルタ係数を掛け合わせたフィルタ係数を生成する。係るフィルタ係数の一例が図4Dに示されている。フィルタ処理部109は、画像全体の輝度レベルの変動を防止するために、図4Dに示したフィルタ係数の総和が1となるように正規化したフィルタ係数を生成する。以上の処理が他のブロックBLにも同様に行われ、画素毎の係数が得られる。フィルタ処理部109は、生成したフィルタ係数を有するフィルタを使用して、位置合わせ後の入力画像Iに対するフィルタ処理を行い、出力画像I'を生成する。
[処理の流れ]
図5のフローチャートを参照して、第1の実施の形態に係る画像処理装置1で行われる処理の流れについて説明する。
図5のフローチャートを参照して、第1の実施の形態に係る画像処理装置1で行われる処理の流れについて説明する。
ステップST101では、画像入力処理が行われ、画像入力部101にデプス画像D及び入力画像Iが入力される。そして、処理がステップST102に進む。
ステップST102では、画像位置合わせ処理が行われる。係る処理では、位置合わせ部102がデプス画像Dと入力画像Iとの位置合わせを行う。位置合わせがなされたデプス画像Dがエッジ検出部103に供給される。また、位置合わせがなされた入力画像Iがディテール検出部105、外乱物検出部107及びフィルタ処理部109のそれぞれに対して供給される。なお、第1の実施の形態では、位置合わせ後の入力画像Iが第1及び第2の画像に対応する。
ステップST103~ステップST106では、位置合わせがなされた入力画像Iに含まれるディテールをディテール検出部105が検出するディテール検出処理が行われる(ステップST104)。そして、ディテールの検出結果に基づいて、第2フィルタ係数算出部106が第2フィルタ係数を算出する第2フィルタ係数算出処理が行われる(ステップST105)。第2フィルタ係数算出処理は、フィルタのタップ数に対応して繰り返される(ステップST103,ST106)。ステップST103~ステップST106までの処理により第2フィルタ係数bjが算出され、算出された第2フィルタ係数bjがフィルタ処理部109に供給される。
ステップST107~ステップST110では、位置合わせがなされた入力画像Iに含まれる外乱物を外乱物検出部107が検出する外乱物検出処理が行われる(ステップST108)。そして、外乱物の検出結果に基づいて、第3フィルタ係数算出部108が第3フィルタ係数を算出する第3フィルタ係数算出処理が行われる(ステップST109)。第3フィルタ係数算出処理は、フィルタのタップ数に対応して繰り返される(ステップST107,ST110)。ステップST107~ステップST110までの処理により第3フィルタ係数cjが算出され、算出された第3フィルタ係数cjがフィルタ処理部109に供給される。
ステップST111~ステップST114では、位置合わせがなされたデプス画像Dに基づいてエッジ検出部103がエッジを検出するエッジ検出処理が行われる(ステップST112)。そして、エッジの検出結果に基づいて、第1フィルタ係数算出部104が第1フィルタ係数を算出する第1フィルタ係数算出処理が行われる(ステップST113)。第1フィルタ係数算出処理は、フィルタのタップ数に対応して繰り返される(ステップST111,ST114)。ステップST111~ステップST114までの処理により第1フィルタ係数ajが算出され、算出された第1フィルタ係数ajがフィルタ処理部109に供給される。
ステップST115では、フィルタ処理部109が、第1フィルタ係数aj、第2フィルタ係数bj及び第3フィルタ係数cjを掛け合わせたフィルタ係数を生成する。フィルタ処理部109は、画像全体の輝度レベルの変動を防止するために、フィルタ係数の総和が1となるように正規化したフィルタ係数を生成する。そして、フィルタ処理部109は、正規化後のフィルタ係数を有するフィルタを使用して、位置合わせ後の入力画像Iに対するフィルタ処理を行い、出力画像I'を生成する。フィルタ処理部109により行われるフィルタ処理は、下記の数式1により表すことができる。
数式1におけるiは現在画素、jは現在画素の周辺画素、Dはデプス画像、Iは入力画像、Sは外乱物検出結果、1/Zは正規化処理、I'は出力画像をそれぞれ示している。
なお、フィルタ処理部109は、ブロックBL単位で係数が得られる毎にフィルタ処理を行うようにしても良いし、全ての画素に対応する係数が算出された後にフィルタ処理を行うようにしても良い。
なお、図示はしていないが、フィルタ処理部109によるフィルタ処理により生成された出力画像I'が出力部110に供給される。そして、出力部110により出力画像I'が表示されたり、出力画像I'が外部装置に対して出力され、アプリケーションに応じた出力画像I'の使用がなされる。
[効果の一例]
図6は、第1の実施の形態により得られる効果の一例を説明するための図である。図6Aは入力画像Iの一例を示し、図6Bは出力画像I'の一例を示す。第1の実施の形態では、デプス画像Dの画像特徴(平坦、エッジ等)及び入力画像Iの画像特徴(平坦、エッジ、ディテール等)に応じてフィルタの重みを設定し、且つ、外乱物の検出結果に応じたフィルタ係数を設定している。より、具体的には、エッジ及びディテールを保持するようにフィルタ係数を設定すると共に、検出された外乱物を除去するようにフィルタ係数を設定する。従って、フィルタ処理により得られる出力画像I'は、図6Bに模式的に示すように、エッジEG及びディテールDTを保持しながら外乱物CCが除去された画像となる。従って、画像に外乱物が含まれる場合でも画像の高画質化、高視認化を図ることができる。
図6は、第1の実施の形態により得られる効果の一例を説明するための図である。図6Aは入力画像Iの一例を示し、図6Bは出力画像I'の一例を示す。第1の実施の形態では、デプス画像Dの画像特徴(平坦、エッジ等)及び入力画像Iの画像特徴(平坦、エッジ、ディテール等)に応じてフィルタの重みを設定し、且つ、外乱物の検出結果に応じたフィルタ係数を設定している。より、具体的には、エッジ及びディテールを保持するようにフィルタ係数を設定すると共に、検出された外乱物を除去するようにフィルタ係数を設定する。従って、フィルタ処理により得られる出力画像I'は、図6Bに模式的に示すように、エッジEG及びディテールDTを保持しながら外乱物CCが除去された画像となる。従って、画像に外乱物が含まれる場合でも画像の高画質化、高視認化を図ることができる。
<2.第2の実施の形態>
次に、第2の実施の形態について説明する。なお、第1の実施の形態で説明した構成と同一、同質の構成については同一の参照符号を付し、重複した説明を適宜、省略する。また、特に断らない限り、第1の実施の形態で説明した事項は、第2の実施の形態に適用することができる。
次に、第2の実施の形態について説明する。なお、第1の実施の形態で説明した構成と同一、同質の構成については同一の参照符号を付し、重複した説明を適宜、省略する。また、特に断らない限り、第1の実施の形態で説明した事項は、第2の実施の形態に適用することができる。
第2の実施の形態が第1の実施の形態と異なる点の一つは、第2の実施の形態に係るデプス画像Dが外乱物を透過しないデプスセンサに基づいて得られる画像である点である。従って、デプス画像Dには外乱物が含まれるので、第2の実施の形態では、デプス画像Dに基づいて外乱物を検出するようにしている。
[画像処理装置の構成例]
図7は、第2の実施の形態に係る画像処理装置(画像処理装置2)の構成例を示すブロック図である。以下では、画像処理装置2と第1の実施の形態に係る画像処理装置1とが相違する点を中心に説明する。
図7は、第2の実施の形態に係る画像処理装置(画像処理装置2)の構成例を示すブロック図である。以下では、画像処理装置2と第1の実施の形態に係る画像処理装置1とが相違する点を中心に説明する。
画像処理装置2が有する画像入力部101にデプス画像D及び入力画像Iが入力される。そして、位置合わせ部102により、デプス画像D及び入力画像Iの位置合わせが行われる。第2の実施の形態では、位置合わせ後のデプス画像Dが外乱物検出部107に供給される。なお、第2の実施の形態では、位置合わせ後の入力画像Iが第1の画像に対応し、位置合わせ後のデプス画像Dが第2の画像に対応する。
ここで、上述したように、第2の実施の形態に係るデプス画像Dは、外乱物を透過しないデプスセンサに基づいて得られる画像である。このため、図8Aに示す入力画像Iに含まれる外乱物CCは、図8Bに示すように、デプス画像Dにも含まれる(表れる)。外乱物検出部107は、位置合わせ後のデプス画像Dに基づいて、当該デプス画像Dに含まれる外乱物を検出し、検出結果を第3フィルタ係数算出部108に出力する。図8Cに示すように、第3フィルタ係数算出部108は、外乱物の検出結果に基づいて、第3フィルタ係数cjを算出する。その他の構成の動作は、第1の実施の形態と同様であるので、重複した説明を省略する。
[処理の流れ]
図9のフローチャートを参照して、第2の実施の形態に係る画像処理装置2で行われる処理の流れについて説明する。
図9のフローチャートを参照して、第2の実施の形態に係る画像処理装置2で行われる処理の流れについて説明する。
ステップST201では、画像入力処理が行われ、画像入力部101にデプス画像D及び入力画像Iが入力される。そして、処理がステップST202に進む。
ステップST202では、画像位置合わせ処理が行われる。係る処理では、位置合わせ部102がデプス画像Dと入力画像Iとの位置合わせを行う。位置合わせがなされたデプス画像Dがエッジ検出部103及び外乱物検出部107のそれぞれに対して供給される。また、位置合わせがなされた入力画像Iがディテール検出部105及びフィルタ処理部109のそれぞれに対して供給される。
ステップST203~ステップST206では、位置合わせがなされた入力画像Iに含まれるディテールをディテール検出部105が検出するディテール検出処理が行われる(ステップST204)。そして、ディテールの検出結果に基づいて、第2フィルタ係数算出部106が第2フィルタ係数を算出する第2フィルタ係数算出処理が行われる(ステップST205)。第2フィルタ係数算出処理は、フィルタのタップ数に対応して繰り返される(ステップST203,ST206)。ステップST203~ステップST206までの処理により第2フィルタ係数bjが算出され、算出された第2フィルタ係数bjがフィルタ処理部109に供給される。
ステップST207~ステップST210では、位置合わせがなされたデプス画像Dに基づいてエッジ検出部103がエッジを検出するエッジ検出処理が行われる(ステップST208)。そして、エッジの検出結果に基づいて、第1フィルタ係数算出部104が第1フィルタ係数を算出する第1フィルタ係数算出処理が行われる(ステップST209)。第1フィルタ係数算出処理は、フィルタのタップ数に対応して繰り返される(ステップST207,ST210)。ステップST207~ステップST210までの処理により第1フィルタ係数ajが算出され、算出された第1フィルタ係数ajがフィルタ処理部109に供給される。
ステップST211~ステップST214では、位置合わせがなされたデプス画像Dに含まれる外乱物を外乱物検出部107が検出する外乱物検出処理が行われる(ステップST212)。そして、外乱物の検出結果に基づいて、第3フィルタ係数算出部108が第3フィルタ係数を算出する第3フィルタ係数算出処理が行われる(ステップST213)。第3フィルタ係数算出処理は、フィルタのタップ数に対応して繰り返される(ステップST211,ST214)。ステップST211~ステップST214までの処理により第3フィルタ係数cjが算出され、算出された第3フィルタ係数cjがフィルタ処理部109に供給される。
ステップST215では、フィルタ処理部109が、第1フィルタ係数aj、第2フィルタ係数bj及び第3フィルタ係数cjを掛け合わせたフィルタ係数を生成する。フィルタ処理部109は、画像全体の輝度レベルの変動を防止するために、フィルタ係数の総和が1となるように正規化したフィルタ係数を生成する。そして、フィルタ処理部109は、正規化後のフィルタ係数を有するフィルタを使用して、位置合わせ後の入力画像Iに対するフィルタ処理を行い、出力画像I'を生成する。
なお、図示はしていないが、フィルタ処理部109によるフィルタ処理により生成された出力画像I'が出力部110に供給される。そして、出力部110により出力画像I'が表示されたり、出力画像I'が外部装置に対して出力され、アプリケーションに応じた出力画像I'の使用がなされる。
以上説明した第2の実施の形態においても、第1の実施の形態と同様の効果が得られる。
<3.応用例>
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械(トラクター)などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械(トラクター)などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
図10は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム7000の概略的な構成例を示すブロック図である。車両制御システム7000は、通信ネットワーク7010を介して接続された複数の電子制御ユニットを備える。図10に示した例では、車両制御システム7000は、駆動系制御ユニット7100、ボディ系制御ユニット7200、バッテリ制御ユニット7300、車外情報検出ユニット7400、車内情報検出ユニット7500、及び統合制御ユニット7600を備える。これらの複数の制御ユニットを接続する通信ネットワーク7010は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)又はFlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークであってよい。
各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク7010を介して他の制御ユニットとの間で通信を行うためのネットワークI/Fを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信I/Fを備える。図10では、統合制御ユニット7600の機能構成として、マイクロコンピュータ7610、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660、音声画像出力部7670、車載ネットワークI/F7680及び記憶部7690が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信I/F及び記憶部等を備える。
駆動系制御ユニット7100は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット7100は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット7100は、ABS(Antilock Brake System)又はESC(Electronic Stability Control)等の制御装置としての機能を有してもよい。
駆動系制御ユニット7100には、車両状態検出部7110が接続される。車両状態検出部7110には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット7100は、車両状態検出部7110から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
ボディ系制御ユニット7200は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット7200は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット7200には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット7200は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
バッテリ制御ユニット7300は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池7310を制御する。例えば、バッテリ制御ユニット7300には、二次電池7310を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット7300は、これらの信号を用いて演算処理を行い、二次電池7310の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
車外情報検出ユニット7400は、車両制御システム7000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット7400には、撮像部7410及び車外情報検出部7420のうちの少なくとも一方が接続される。撮像部7410には、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部7420には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム7000を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びLIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)装置のうちの少なくとも一つであってよい。これらの撮像部7410及び車外情報検出部7420は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
ここで、図11は、撮像部7410及び車外情報検出部7420の設置位置の例を示す。撮像部7910,7912,7914,7916,7918は、例えば、車両7900のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部7910及び車室内のフロントガラスの上部に備えられる撮像部7918は、主として車両7900の前方の画像を取得する。サイドミラーに備えられる撮像部7912,7914は、主として車両7900の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部7916は、主として車両7900の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部7918は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図11には、それぞれの撮像部7910,7912,7914,7916の撮影範囲の一例が示されている。撮像範囲aは、フロントノーズに設けられた撮像部7910の撮像範囲を示し、撮像範囲b,cは、それぞれサイドミラーに設けられた撮像部7912,7914の撮像範囲を示し、撮像範囲dは、リアバンパ又はバックドアに設けられた撮像部7916の撮像範囲を示す。例えば、撮像部7910,7912,7914,7916で撮像された画像データが重ね合わせられることにより、車両7900を上方から見た俯瞰画像が得られる。
車両7900のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7922,7924,7926,7928,7930は、例えば超音波センサ又はレーダ装置であってよい。車両7900のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7926,7930は、例えばLIDAR装置であってよい。これらの車外情報検出部7920~7930は、主として先行車両、歩行者又は障害物等の検出に用いられる。
図10に戻って説明を続ける。車外情報検出ユニット7400は、撮像部7410に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット7400は、接続されている車外情報検出部7420から検出情報を受信する。車外情報検出部7420が超音波センサ、レーダ装置又はLIDAR装置である場合には、車外情報検出ユニット7400は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット7400は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
また、車外情報検出ユニット7400は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部7410により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット7400は、異なる撮像部7410により撮像された画像データを用いて、視点変換処理を行ってもよい。
車内情報検出ユニット7500は、車内の情報を検出する。車内情報検出ユニット7500には、例えば、運転者の状態を検出する運転者状態検出部7510が接続される。運転者状態検出部7510は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット7500は、運転者状態検出部7510から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット7500は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
統合制御ユニット7600は、各種プログラムにしたがって車両制御システム7000内の動作全般を制御する。統合制御ユニット7600には、入力部7800が接続されている。入力部7800は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット7600には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部7800は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム7000の操作に対応した携帯電話又はPDA(Personal Digital Assistant)等の外部接続機器であってもよい。入力部7800は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部7800は、例えば、上記の入力部7800を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット7600に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部7800を操作することにより、車両制御システム7000に対して各種のデータを入力したり処理動作を指示したりする。
記憶部7690は、マイクロコンピュータにより実行される各種プログラムを記憶するROM(Read Only Memory)、及び各種パラメータ、演算結果又はセンサ値等を記憶するRAM(Random Access Memory)を含んでいてもよい。また、記憶部7690は、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
汎用通信I/F7620は、外部環境7750に存在する様々な機器との間の通信を仲介する汎用的な通信I/Fである。汎用通信I/F7620は、GSM(登録商標)(Global System of Mobile communications)、WiMAX(登録商標)、LTE(登録商標)(Long Term Evolution)若しくはLTE-A(LTE-Advanced)などのセルラー通信プロトコル、又は無線LAN(Wi-Fi(登録商標)ともいう)、Bluetooth(登録商標)などのその他の無線通信プロトコルを実装してよい。汎用通信I/F7620は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)へ接続してもよい。また、汎用通信I/F7620は、例えばP2P(Peer To Peer)技術を用いて、車両の近傍に存在する端末(例えば、運転者、歩行者若しくは店舗の端末、又はMTC(Machine Type Communication)端末)と接続してもよい。
専用通信I/F7630は、車両における使用を目的として策定された通信プロトコルをサポートする通信I/Fである。専用通信I/F7630は、例えば、下位レイヤのIEEE802.11pと上位レイヤのIEEE1609との組合せであるWAVE(Wireless Access in Vehicle Environment)、DSRC(Dedicated Short Range Communications)、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信I/F7630は、典型的には、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、車両と家との間(Vehicle to Home)の通信及び歩車間(Vehicle to Pedestrian)通信のうちの1つ以上を含む概念であるV2X通信を遂行する。
測位部7640は、例えば、GNSS(Global Navigation Satellite System)衛星からのGNSS信号(例えば、GPS(Global Positioning System)衛星からのGPS信号)を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部7640は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、PHS若しくはスマートフォンといった端末から位置情報を取得してもよい。
ビーコン受信部7650は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部7650の機能は、上述した専用通信I/F7630に含まれてもよい。
車内機器I/F7660は、マイクロコンピュータ7610と車内に存在する様々な車内機器7760との間の接続を仲介する通信インタフェースである。車内機器I/F7660は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)又はWUSB(Wireless USB)といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器I/F7660は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface、又はMHL(Mobile High-definition Link)等の有線接続を確立してもよい。車内機器7760は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも1つを含んでいてもよい。また、車内機器7760は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器I/F7660は、これらの車内機器7760との間で、制御信号又はデータ信号を交換する。
車載ネットワークI/F7680は、マイクロコンピュータ7610と通信ネットワーク7010との間の通信を仲介するインタフェースである。車載ネットワークI/F7680は、通信ネットワーク7010によりサポートされる所定のプロトコルに則して、信号等を送受信する。
統合制御ユニット7600のマイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム7000を制御する。例えば、マイクロコンピュータ7610は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット7100に対して制御指令を出力してもよい。例えば、マイクロコンピュータ7610は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ7610は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
マイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の3次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ7610は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
音声画像出力部7670は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図10の例では、出力装置として、オーディオスピーカ7710、表示部7720及びインストルメントパネル7730が例示されている。表示部7720は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部7720は、AR(Augmented Reality)表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ7610が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
なお、図10に示した例において、通信ネットワーク7010を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム7000が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク7010を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク7010を介して相互に検出情報を送受信してもよい。
なお、図1及び図7を用いて説明した本実施形態に係る画像処理装置1、2の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
以上説明した車両制御システム7000において、図1及び図7を用いて説明した本実施形態に係る画像処理装置1、2は、図10に示した応用例の車外情報検出ユニット7400に適用することができる。また上述した実施の形態に係る出力部110は、音声画像出力部7670に適用することができる。
また、図1及び図7を用いて説明した本実施形態に係る画像処理装置1、2の少なくとも一部の構成要素は、図10に示した統合制御ユニット7600のためのモジュール(例えば、一つのダイで構成される集積回路モジュール)において実現されてもよい。あるいは、図1及び図7を用いて説明した本実施形態に係る画像処理装置1、2が、図10に示した車両制御システム7000の複数の制御ユニットによって実現されてもよい。
<4.変形例>
以上、本開示の複数の実施の形態について具体的に説明したが、本開示の内容は上述した実施の形態に限定されるものではなく、本開示の技術的思想に基づく各種の変形が可能である。以下、変形例について説明する。
以上、本開示の複数の実施の形態について具体的に説明したが、本開示の内容は上述した実施の形態に限定されるものではなく、本開示の技術的思想に基づく各種の変形が可能である。以下、変形例について説明する。
第1の実施の形態では、エッジ検出部103がデプス画像Dに基づいてエッジを検出するようにしたが、これに限定されるものではない。入力画像Iにもエッジが含まれることから、エッジ検出部103が入力画像Iに基づいてエッジを検出するようにしても良い。例えば、デプスセンサの不具合等によりデプス画像Dを得ることができない場合でも、第1フィルタ係数算出部104が、エッジの検出結果に基づく第1フィルタ係数を算出することができる。なお、対象物(被写体)までの距離等に応じて、エッジを検出するための画像を動的に変化させても良い。
また、エッジ検出部103がデプス画像D及び入力画像Iに基づいてエッジを検出するようにしても良い。2枚の画像を使用することによりエッジの検出精度を向上させることができる。
また、第2の実施の形態では、外乱物検出部107がデプス画像Dに基づいて外乱物を検出するようにしたが、これに限定されるものではない。入力画像Iにも外乱物が含まれることから、更に、外乱物検出部107が入力画像Iに基づいて外乱物を検出するようにしても良い。2枚の画像を使用することによりエッジの検出精度を向上させることができる。この場合に、外乱物検出部107が、デプス画像D及び入力画像Iに含まれる外乱物を画像毎に異なる方法で検出するようにしても良い。これにより、外乱物の種類等による検出漏れを防止することができる。
上述した入力画像Iとして可視画像を例にして説明したが、これに限定されるものではなく、入力画像Iは赤外線画像等の可視光外画像(非可視光画像)であっても良い。また、可視画像と可視光外画像とを合成した画像であっても良い。係る画像は対象物の視認性が向上し得る場合があるので、エッジ、ディテール及び外乱物の検出を容易とすることができる。
上述した実施の形態では、画像の特性としてエッジ、ディテールを挙げたが、他の特性(例えば、グラデーション(階調))に関しても本技術を適用することができる。
上述した実施の形態に係るフィルタ処理部の機能のうち、フィルタ処理に用いるフィルタ係数を設定する機能と、当該フィルタ係数に基づくフィルタ処理を行う機能とが、異なる構成(例えば、IC(Integrated Circuit)等)により実行されるようにしても良い。
本開示は、装置、方法、プログラム、システム等により実現することもできる。例えば、上述した実施の形態で説明した機能を行うプログラムをダウンロード可能とし、実施の形態で説明した機能を有しない装置が当該プログラムをダウンロードしてインストールすることにより、当該装置において実施の形態で説明した制御を行うことが可能となる。本開示は、このようなプログラムを配布するサーバにより実現することも可能である。また、各実施の形態、変形例で説明した事項は、適宜組み合わせることが可能である。
本開示は、以下の構成も採ることができる。
(1)
少なくとも、第1画像に基づくディテールの検出結果と、第2画像に対して行われる外乱物の検出結果とに基づいて設定されるフィルタ係数を使用したフィルタ処理を行う画像処理部を有する画像処理装置。
(2)
前記第1画像及び前記第2画像は、所定のデプス画像と位置合わせされた同一の入力画像である
(1)に記載の画像処理装置。
(3)
前記第1画像は、前記第2画像に対応するデプス画像とは異なる入力画像である
(1)に記載の画像処理装置。
(4)
前記フィルタ係数は、更に、前記入力画像と位置合わせされた前記デプス画像に基づくエッジの検出結果、前記入力画像に基づくエッジの検出結果、又は、前記デプス画像及び前記入力画像に基づくエッジの検出結果の何れかに基づいて設定される係数である
(2)に記載の画像処理装置。
(5)
前記デプス画像は、前記外乱物を透過するセンサに基づいて得られる画像である
(2)に記載の画像処理装置。
(6)
前記デプス画像は、前記外乱物を透過しないセンサに基づいて得られる画像である
(3)に記載の画像処理装置。
(7)
前記フィルタ係数は、更に、前記入力画像と位置合わせされた前記デプス画像に基づくエッジの検出結果、前記入力画像に基づくエッジの検出結果、又は、前記デプス画像及び前記入力画像に基づくエッジの検出結果の何れかに基づいて設定される係数である
(6)に記載の画像処理装置。
(8)
前記外乱物は、前記デプス画像、又は、前記入力画像及びデプス画像に基づいて検出される
(6)に記載の画像処理装置。
(9)
前記フィルタ係数は、前記エッジの検出結果に基づいて設定される第1フィルタ係数と、前記ディテールの検出結果に基づいて設定される第2フィルタ係数と、前記外乱物の検出結果に基づいて設定される第3フィルタ係数とに基づく情報を正規化した係数である
(4)に記載の画像処理装置。
(10)
前記第1フィルタ係数は前記エッジを残すように設定される係数であり、前記第2フィルタ係数は前記ディテールを残すように設定される係数であり、前記第3フィルタ係数は前記外乱物を除去するように設定される係数である
(9)に記載の画像処理装置。
(11)
前記外乱物を含む画素に対して前記第3フィルタ係数として0が設定される
(10)に記載の画像処理装置。
(12)
前記入力画像は、可視光画像、可視光外画像、又は、可視光画像と可視光外画像を合成した画像である
(2)から(11)までの何れかに記載の画像処理装置。
(13)
前記外乱物は、大気中を飛来する粒状の微少物である
(1)から(12)までの何れかに記載の画像処理装置。
(14)
前記外乱物は、雨粒、雪、霧、みぞれ、あられ、黄砂、塵埃、ハエ、蚊の少なくとも一つを含む
(13)に記載の画像処理装置。
(15)
前記画像処理部は、前記位置合わせ後の入力画像に対して前記フィルタ処理を行う
(2)から(14)までの何れかに記載の画像処理装置。
(16)
前記画像処理部によりフィルタ処理が行われた画像を出力する出力部を有する
(1)から(15)までの何れかに記載の画像処理装置。
(17)
画像処理部が、少なくとも、第1画像に基づくディテールの検出結果と、第2画像に対して行われる外乱物の検出結果とに基づいて設定されるフィルタ係数を使用したフィルタ処理を行う画像処理方法。
(18)
画像処理部が、少なくとも、第1画像に基づくディテールの検出結果と、第2画像に対して行われる外乱物の検出結果とに基づいて設定されるフィルタ係数を使用したフィルタ処理を行う画像処理方法をコンピュータに実行させるプログラム。
(1)
少なくとも、第1画像に基づくディテールの検出結果と、第2画像に対して行われる外乱物の検出結果とに基づいて設定されるフィルタ係数を使用したフィルタ処理を行う画像処理部を有する画像処理装置。
(2)
前記第1画像及び前記第2画像は、所定のデプス画像と位置合わせされた同一の入力画像である
(1)に記載の画像処理装置。
(3)
前記第1画像は、前記第2画像に対応するデプス画像とは異なる入力画像である
(1)に記載の画像処理装置。
(4)
前記フィルタ係数は、更に、前記入力画像と位置合わせされた前記デプス画像に基づくエッジの検出結果、前記入力画像に基づくエッジの検出結果、又は、前記デプス画像及び前記入力画像に基づくエッジの検出結果の何れかに基づいて設定される係数である
(2)に記載の画像処理装置。
(5)
前記デプス画像は、前記外乱物を透過するセンサに基づいて得られる画像である
(2)に記載の画像処理装置。
(6)
前記デプス画像は、前記外乱物を透過しないセンサに基づいて得られる画像である
(3)に記載の画像処理装置。
(7)
前記フィルタ係数は、更に、前記入力画像と位置合わせされた前記デプス画像に基づくエッジの検出結果、前記入力画像に基づくエッジの検出結果、又は、前記デプス画像及び前記入力画像に基づくエッジの検出結果の何れかに基づいて設定される係数である
(6)に記載の画像処理装置。
(8)
前記外乱物は、前記デプス画像、又は、前記入力画像及びデプス画像に基づいて検出される
(6)に記載の画像処理装置。
(9)
前記フィルタ係数は、前記エッジの検出結果に基づいて設定される第1フィルタ係数と、前記ディテールの検出結果に基づいて設定される第2フィルタ係数と、前記外乱物の検出結果に基づいて設定される第3フィルタ係数とに基づく情報を正規化した係数である
(4)に記載の画像処理装置。
(10)
前記第1フィルタ係数は前記エッジを残すように設定される係数であり、前記第2フィルタ係数は前記ディテールを残すように設定される係数であり、前記第3フィルタ係数は前記外乱物を除去するように設定される係数である
(9)に記載の画像処理装置。
(11)
前記外乱物を含む画素に対して前記第3フィルタ係数として0が設定される
(10)に記載の画像処理装置。
(12)
前記入力画像は、可視光画像、可視光外画像、又は、可視光画像と可視光外画像を合成した画像である
(2)から(11)までの何れかに記載の画像処理装置。
(13)
前記外乱物は、大気中を飛来する粒状の微少物である
(1)から(12)までの何れかに記載の画像処理装置。
(14)
前記外乱物は、雨粒、雪、霧、みぞれ、あられ、黄砂、塵埃、ハエ、蚊の少なくとも一つを含む
(13)に記載の画像処理装置。
(15)
前記画像処理部は、前記位置合わせ後の入力画像に対して前記フィルタ処理を行う
(2)から(14)までの何れかに記載の画像処理装置。
(16)
前記画像処理部によりフィルタ処理が行われた画像を出力する出力部を有する
(1)から(15)までの何れかに記載の画像処理装置。
(17)
画像処理部が、少なくとも、第1画像に基づくディテールの検出結果と、第2画像に対して行われる外乱物の検出結果とに基づいて設定されるフィルタ係数を使用したフィルタ処理を行う画像処理方法。
(18)
画像処理部が、少なくとも、第1画像に基づくディテールの検出結果と、第2画像に対して行われる外乱物の検出結果とに基づいて設定されるフィルタ係数を使用したフィルタ処理を行う画像処理方法をコンピュータに実行させるプログラム。
1,2・・・画像処理装置、102・・・位置合わせ部、103・・・エッジ検出部、104・・・・第1フィルタ係数算出部、105・・・ディテール検出部、106・・・第2フィルタ係数算出部、107・・・外乱物検出部、108・・・第3フィルタ係数算出、109・・・フィルタ処理部、110・・・出力部
Claims (18)
- 少なくとも、第1画像に基づくディテールの検出結果と、第2画像に対して行われる外乱物の検出結果とに基づいて設定されるフィルタ係数を使用したフィルタ処理を行う画像処理部を有する画像処理装置。
- 前記第1画像及び前記第2画像は、所定のデプス画像と位置合わせされた同一の入力画像である
請求項1に記載の画像処理装置。 - 前記第1画像は、前記第2画像に対応するデプス画像とは異なる入力画像である
請求項1に記載の画像処理装置。 - 前記フィルタ係数は、更に、前記入力画像と位置合わせされた前記デプス画像に基づくエッジの検出結果、前記入力画像に基づくエッジの検出結果、又は、前記デプス画像及び前記入力画像に基づくエッジの検出結果の何れかに基づいて設定される係数である
請求項2に記載の画像処理装置。 - 前記デプス画像は、前記外乱物を透過するセンサに基づいて得られる画像である
請求項2に記載の画像処理装置。 - 前記デプス画像は、前記外乱物を透過しないセンサに基づいて得られる画像である
請求項3に記載の画像処理装置。 - 前記フィルタ係数は、更に、前記入力画像と位置合わせされた前記デプス画像に基づくエッジの検出結果、前記入力画像に基づくエッジの検出結果、又は、前記デプス画像及び前記入力画像に基づくエッジの検出結果の何れかに基づいて設定される係数である
請求項6に記載の画像処理装置。 - 前記外乱物は、前記デプス画像、又は、前記入力画像及びデプス画像に基づいて検出される
請求項6に記載の画像処理装置。 - 前記フィルタ係数は、前記エッジの検出結果に基づいて設定される第1フィルタ係数と、前記ディテールの検出結果に基づいて設定される第2フィルタ係数と、前記外乱物の検出結果に基づいて設定される第3フィルタ係数とに基づく情報を正規化した係数である
請求項4に記載の画像処理装置。 - 前記第1フィルタ係数は前記エッジを残すように設定される係数であり、前記第2フィルタ係数は前記ディテールを残すように設定される係数であり、前記第3フィルタ係数は前記外乱物を除去するように設定される係数である
請求項9に記載の画像処理装置。 - 前記外乱物を含む画素に対して前記第3フィルタ係数として0が設定される
請求項10に記載の画像処理装置。 - 前記入力画像は、可視光画像、可視光外画像、又は、可視光画像と可視光外画像を合成した画像である
請求項2に記載の画像処理装置。 - 前記外乱物は、大気中を飛来する粒状の微少物である
請求項1に記載の画像処理装置。 - 前記外乱物は、雨粒、雪、霧、みぞれ、あられ、黄砂、塵埃、ハエ、蚊の少なくとも一つを含む
請求項13に記載の画像処理装置。 - 前記画像処理部は、前記位置合わせ後の入力画像に対して前記フィルタ処理を行う
請求項2に記載の画像処理装置。 - 前記画像処理部によりフィルタ処理が行われた画像を出力する出力部を有する
請求項1に記載の画像処理装置。 - 画像処理部が、少なくとも、第1画像に基づくディテールの検出結果と、第2画像に対して行われる外乱物の検出結果とに基づいて設定されるフィルタ係数を使用したフィルタ処理を行う画像処理方法。
- 画像処理部が、少なくとも、第1画像に基づくディテールの検出結果と、第2画像に対して行われる外乱物の検出結果とに基づいて設定されるフィルタ係数を使用したフィルタ処理を行う画像処理方法をコンピュータに実行させるプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018050911 | 2018-03-19 | ||
JP2018050911 | 2018-03-19 | ||
PCT/JP2018/045093 WO2019181096A1 (ja) | 2018-03-19 | 2018-12-07 | 画像処理装置、画像処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019181096A1 JPWO2019181096A1 (ja) | 2021-03-11 |
JP7160085B2 true JP7160085B2 (ja) | 2022-10-25 |
Family
ID=67986091
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020507346A Active JP7160085B2 (ja) | 2018-03-19 | 2018-12-07 | 画像処理装置、画像処理方法及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11436706B2 (ja) |
JP (1) | JP7160085B2 (ja) |
CN (1) | CN111868778B (ja) |
WO (1) | WO2019181096A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113591727A (zh) * | 2021-08-03 | 2021-11-02 | 彭刚 | 一种配送机器人交通信号识别装置 |
US20240212097A1 (en) * | 2022-12-22 | 2024-06-27 | Faurecia Irystec Inc. | Image enhancement targeted at addressing degradations caused by environmental conditions |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004289786A (ja) | 2003-03-05 | 2004-10-14 | Toyota Motor Corp | 撮像装置 |
WO2017104291A1 (ja) | 2015-12-18 | 2017-06-22 | 三菱電機株式会社 | 画像処理装置及び画像処理方法 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8553088B2 (en) * | 2005-11-23 | 2013-10-08 | Mobileye Technologies Limited | Systems and methods for detecting obstructions in a camera field of view |
JP4920268B2 (ja) * | 2006-02-23 | 2012-04-18 | 株式会社日立ハイテクノロジーズ | 半導体プロセスモニタ方法およびそのシステム |
JP4776587B2 (ja) * | 2007-06-13 | 2011-09-21 | 国立大学法人北海道大学 | 画像処理装置,運転支援装置 |
AU2009201637B2 (en) * | 2009-04-24 | 2011-08-11 | Canon Kabushiki Kaisha | Processing multi-view digital images |
US20110032341A1 (en) * | 2009-08-04 | 2011-02-10 | Ignatov Artem Konstantinovich | Method and system to transform stereo content |
JP5442353B2 (ja) | 2009-08-10 | 2014-03-12 | 株式会社Ihi | 車両操縦用画像表示装置および方法 |
CN102737370B (zh) * | 2011-04-02 | 2015-07-01 | 株式会社理光 | 检测图像前景的方法及设备 |
EP2786580B1 (en) * | 2011-11-30 | 2015-12-16 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Spatio-temporal disparity-map smoothing by joint multilateral filtering |
JP2014143512A (ja) * | 2013-01-23 | 2014-08-07 | Sharp Corp | 画像処理装置及び画像処理方法 |
RU2013104894A (ru) * | 2013-02-05 | 2014-08-10 | ЭлЭсАй Корпорейшн | Процессор изображений с функциональностью сохраняющего контуры подавления шума |
JP2014241584A (ja) * | 2013-05-14 | 2014-12-25 | パナソニックIpマネジメント株式会社 | 画像処理方法、及び画像処理システム |
CN103439756B (zh) * | 2013-07-31 | 2016-02-10 | 中国人民解放军理工大学 | 一种基于粒子成像测速的自然降水粒子微物理特征测量方法 |
CN104599256B (zh) * | 2014-12-31 | 2017-12-08 | 中国科学院深圳先进技术研究院 | 基于单幅图像的去除图像雨线的方法和*** |
JP6418961B2 (ja) | 2015-01-28 | 2018-11-07 | シャープ株式会社 | 障害物検知装置、移動体、障害物検知方法、および障害物検知プログラム |
US9508126B2 (en) * | 2015-02-17 | 2016-11-29 | Adobe Systems Incorporated | Image haze removal using fast constrained transmission estimation |
TWI608447B (zh) * | 2015-09-25 | 2017-12-11 | 台達電子工業股份有限公司 | 立體影像深度圖產生裝置及方法 |
JP6578237B2 (ja) | 2016-03-31 | 2019-09-18 | 株式会社吉野工業所 | 吐出容器 |
CN107240075A (zh) * | 2017-05-27 | 2017-10-10 | 上海斐讯数据通信技术有限公司 | 一种雾霾图像增强处理方法及*** |
CN107240084B (zh) * | 2017-06-14 | 2021-04-02 | 湘潭大学 | 一种单幅图像去雨方法及装置 |
EP3462408A1 (en) * | 2017-09-29 | 2019-04-03 | Thomson Licensing | A method for filtering spurious pixels in a depth-map |
JP7033649B2 (ja) * | 2018-03-22 | 2022-03-10 | 日立Astemo株式会社 | 車載ステレオカメラ |
-
2018
- 2018-12-07 WO PCT/JP2018/045093 patent/WO2019181096A1/ja active Application Filing
- 2018-12-07 US US16/979,797 patent/US11436706B2/en active Active
- 2018-12-07 JP JP2020507346A patent/JP7160085B2/ja active Active
- 2018-12-07 CN CN201880091137.9A patent/CN111868778B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004289786A (ja) | 2003-03-05 | 2004-10-14 | Toyota Motor Corp | 撮像装置 |
WO2017104291A1 (ja) | 2015-12-18 | 2017-06-22 | 三菱電機株式会社 | 画像処理装置及び画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
US20210042886A1 (en) | 2021-02-11 |
JPWO2019181096A1 (ja) | 2021-03-11 |
WO2019181096A1 (ja) | 2019-09-26 |
CN111868778B (zh) | 2024-05-21 |
CN111868778A (zh) | 2020-10-30 |
US11436706B2 (en) | 2022-09-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2017057044A1 (ja) | 情報処理装置及び情報処理方法 | |
WO2017057055A1 (ja) | 情報処理装置、情報端末、及び、情報処理方法 | |
WO2017212928A1 (ja) | 画像処理装置、画像処理方法、および車両 | |
JP6764573B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP7024737B2 (ja) | 情報処理装置と情報処理方法とプログラムおよび撮像装置 | |
JPWO2018070266A1 (ja) | 画像処理装置および画像処理方法 | |
US11585898B2 (en) | Signal processing device, signal processing method, and program | |
CN111587572A (zh) | 图像处理装置、图像处理方法和程序 | |
JP7160085B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
EP3669358B1 (en) | Server, method, non-transitory computer-readable medium, and system | |
WO2020203240A1 (ja) | 情報処理装置および情報処理方法 | |
WO2020085101A1 (ja) | 画像処理装置と画像処理方法およびプログラム | |
WO2020195965A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
WO2021125076A1 (ja) | 情報処理装置、情報処理方法、プログラム、撮像装置及び撮像システム | |
WO2019215979A1 (ja) | 画像処理装置、車載装置、画像処理方法及びプログラム | |
WO2020195969A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
WO2022097470A1 (ja) | 信号処理装置、撮像装置及び信号処理方法 | |
JP7173056B2 (ja) | 認識装置と認識方法およびプログラム | |
WO2020255589A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
WO2022196316A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
WO2022059489A1 (ja) | 情報処理装置、情報処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211018 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220913 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220926 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7160085 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |