JPWO2019044571A1 - 画像処理装置、および画像処理方法、プログラム、並びに移動体 - Google Patents
画像処理装置、および画像処理方法、プログラム、並びに移動体 Download PDFInfo
- Publication number
- JPWO2019044571A1 JPWO2019044571A1 JP2019539380A JP2019539380A JPWO2019044571A1 JP WO2019044571 A1 JPWO2019044571 A1 JP WO2019044571A1 JP 2019539380 A JP2019539380 A JP 2019539380A JP 2019539380 A JP2019539380 A JP 2019539380A JP WO2019044571 A1 JPWO2019044571 A1 JP WO2019044571A1
- Authority
- JP
- Japan
- Prior art keywords
- unit
- image
- distance
- pixel
- intensity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 100
- 238000003672 processing method Methods 0.000 title claims abstract description 8
- 238000001514 detection method Methods 0.000 claims description 73
- 238000000034 method Methods 0.000 claims description 59
- 230000033001 locomotion Effects 0.000 claims description 44
- 230000008569 process Effects 0.000 claims description 32
- 238000004458 analytical method Methods 0.000 claims description 28
- 238000003384 imaging method Methods 0.000 claims description 20
- 230000008859 change Effects 0.000 claims description 11
- 230000002146 bilateral effect Effects 0.000 claims description 5
- 238000004891 communication Methods 0.000 description 32
- 230000010391 action planning Effects 0.000 description 15
- 230000001133 acceleration Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 8
- 230000005856 abnormality Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000036626 alertness Effects 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4808—Evaluating distance, position or velocity data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20072—Graph-based image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Optics & Photonics (AREA)
- Traffic Control Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
本開示は、距離画像のノイズを除去させることができるようにする画像処理装置、および画像処理方法、プログラム、並びに移動体に関する。同一のアングルで撮像された被写体までの距離に応じた画素値からなる距離画像と、被写体からの反射光の受光強度に応じた画素値からなる強度画像とを取得し、強度画像における所定の閾値より小さな画素値の画素に対応する、距離画像における画素の画素値を、距離無しの画素に変換することで距離画像のノイズを除去する。本開示は、車載システムに適用することができる。
Description
本開示は、画像処理装置、および画像処理方法、プログラム、並びに移動体に関し、特に、距離画像のエラーを低減できるようにした画像処理装置、および画像処理方法、プログラム、並びに移動体に関する。
投光した光が被写体で反射し、反射した反射光を受光するまでの往復時間に基づいて、画素単位で被写体までの距離を求め、被写体までの距離に応じた画素値とする距離画像のニーズが高まっている。
しかしながら、距離画像においては、反射率が極端に高い被写体などからの高輝度の反射光などにより、実際の被写体までの距離とは異なる距離に基づいた画素値が設定されるエラーが発生することがある。
そこで、この距離画像におけるエラーを低減させる技術として、例えば、撮像装置で撮像した検知エリアの撮像画像と、この検知エリアの背景画像との背景差分画像を生成し、背景差分画像において、オブジェクト検出を行い、ノイズか否かを判定することで、ノイズを除去する技術が提案されている(特許文献1参照)。
また、距離画像を生成する過程において、ノイズを除去する技術が提案されている(特許文献2参照)。
しかしながら、特許文献1の技術においては、背景差分画像を用いて、オブジェクト検出を行ってノイズを検出して除去しているため、背景が移動する場合や、自らが移動する場合には適切にノイズを検出できない恐れがあった。
また、特許文献2の技術においては、距離画像を生成する過程における技術であるため、一度生成された距離画像のノイズを除去することができない恐れがあった。
本開示は、このような状況に鑑みてなされたものであり、特に、距離画像に含まれるノイズを除去できるようにするものである。
本開示の一側面の画像処理装置は、撮像された被写体までの距離に応じた画素値からなる距離画像を取得する距離画像取得部と、投光された光の前記被写体からの反射光の受光強度に応じた画素値からなる強度画像を取得する強度画像取得部と、前記強度画像における所定の閾値より小さな画素値の画素に対応する、前記距離画像における画素の画素値を、所定の画素値に変換することで前記距離画像のノイズを除去するノイズ除去部とを含む画像処理装置である。
前記強度画像の画素値のヒストグラムを生成し、前記ヒストグラムにおける変化点となる画素値を前記所定の閾値に決定する閾値決定部をさらに含ませるようにすることができる。
前記強度画像にノイズを除去する所定のフィルタを用いた処理を施すフィルタ処理部をさらに含ませるようにすることができる。
前記フィルタは、バイラテラルフィルタとしてもよい。
前記ノイズ除去部には、前記強度画像における所定の閾値より小さな画素値の画素に対応する、前記距離画像における画素の画素値を、前記距離が検出されない未検出画素に変換することで前記距離画像のノイズを除去させるようにしてもよい。
光を投光する投光部と、前記投光部により投光された光が、前記被写体により反射された反射光を受光する受光部と、前記投光部が前記光を投光してから、前記受光部が前記反射光を受光するまでの時間に基づいて、画素単位で前記被写体までの距離を求め、前記被写体までの距離に応じた画素値からなる距離画像を生成する距離画像生成部と、前記受光部が画素単位で受光する前記反射光の強度に応じた画素値からなる強度画像を生成する強度画像生成部とをさらに含ませるようにしてもよく、前記距離画像取得部には、前記距離画像生成部により生成された距離画像を、撮像された被写体までの距離に応じた画素値からなる距離画像として取得させ、前記強度画像取得部には、前記強度画像生成部により生成された強度画像を、投光された光の前記被写体からの反射光の受光強度に応じた画素値からなる強度画像として取得させるようにすることができる。
前記投光部には、赤外光を投光させるようにすることができる。
前記距離画像は、三角測量方式を用いた赤外線測距センサにより生成されるようにしてもよい。
前記距離画像は、Structured Light方式を用いた測距センサにより生成されるようにしてもよい。
前記距離画像は、ステレオカメラセンサにより生成されるようにしてもよい。
前記距離画像は、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)により測定される3次元点群に基づいて生成されるようにしてもよい。
本開示の一側面の画像処理方法は、撮像された被写体までの距離に応じた画素値からなる距離画像を取得する距離画像取得処理と、投光された光の前記被写体からの反射光の受光強度に応じた画素値からなる強度画像を取得する強度画像取得処理と、前記強度画像における所定の閾値より小さな画素値の画素に対応する、前記距離画像における画素の画素値を、所定の画素値に変換するノイズ除去処理とを含む画像処理方法である。
本開示の一側面のプログラムは、撮像された被写体までの距離に応じた画素値からなる距離画像を取得する距離画像取得部と、投光された光の前記被写体からの反射光の受光強度に応じた画素値からなる強度画像を取得する強度画像取得部と、前記強度画像における所定の閾値より小さな画素値の画素に対応する、前記距離画像における画素の画素値を、所定の画素値に変換するノイズ除去部とを含む処理をコンピュータに実行させるプログラムである。
本開示の一側面の移動体は、撮像された被写体までの距離に応じた画素値からなる距離画像を取得する距離画像取得部と、投光された光の前記被写体からの反射光の受光強度に応じた画素値からなる強度画像を取得する強度画像取得部と、前記強度画像における所定の閾値より小さな画素値の画素に対応する、前記距離画像における画素の画素値を、所定の画素値に変換するノイズ除去部と、前記ノイズが除去された前記距離画像に基づいて、環境マップを生成する状況分析部と、前記状況分析部により生成された前記環境マップに基づいて、移動経路を計画する計画部と、前記計画部により計画された移動経路に基づいて動作を制御する動作制御部とを含む移動体である。
本開示の一側面においては、撮像された被写体までの距離に応じた画素値からなる距離画像が取得され、投光された光の前記被写体からの反射光の受光強度に応じた画素値からなる強度画像が取得され、前記強度画像における所定の閾値より小さな画素値の画素に対応する、前記距離画像における画素の画素値が、所定の画素値に変換されることで前記距離画像のノイズが除去される。
本開示の一側面によれば、距離画像に含まれるノイズを除去することが可能となる。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
1.本開示の概要
2.本開示の実施の形態
3.応用例
4.ソフトウェアにより実行させる例
1.本開示の概要
2.本開示の実施の形態
3.応用例
4.ソフトウェアにより実行させる例
<<1.本開示の概要>>
本開示の移動体は、自らの周囲の状況の情報として取得する距離画像に含まれるノイズを除去し、ノイズが除去された距離画像に基づいて、自律的に自動運転する移動体である。
本開示の移動体は、自らの周囲の状況の情報として取得する距離画像に含まれるノイズを除去し、ノイズが除去された距離画像に基づいて、自律的に自動運転する移動体である。
距離画像は、一般に、ToF(Time of Flight)カメラと呼ばれるカメラにより撮像される。ToFカメラは、赤外光を投光し、被写体により反射された反射光を受光し、投光したタイミングから受光するタイミングまでの時間、すなわち、投光した光が自らと被写体とを往復する往復時間に基づいて、被写体までの距離を測定し、測定結果に対応する画素値からなる画像を距離画像として生成する。
例えば、図1の左部で示されるような室内の白黒画像からなる画像P1が撮像される場合を考える。ここで、図1の画像P1においては、画像内の左部に撮像位置から近い位置の壁Wが映し出され、右下部においては、床Fが映し出され、床F上の左側に椅子Cが映し出され、その右側に机Dが映し出され、右上部に照明を含む天井の範囲Z0が映し出されている。
図1の中央上部の画像P2は、画像P1を撮像する際の同一の撮像位置から、同一のアングルで撮像した距離画像である。
画像P2においては、画像P1の比較的近い壁W、床F、椅子C、および机Dのそれぞれに対応する範囲が、画素単位で撮像位置からの距離に応じた色が付された画像とされている。ただし、画像P2において黒色は、距離が測定できなかった未検出の範囲を示している。
ここで、画像P1の天井の範囲Z0に対応する、画像P2の天井付近の範囲Z1については、壁Wよりも遠いにもかかわらず、右側の一部の範囲において壁Wと同一の距離であるかのような不適切な配色がなされており、ノイズとなっていることが表されている。
投光された赤外光を反射する被写体が、赤外光を投光する位置から極めて近い場合、または、反射率が高い場合、照射した赤外光が乱反射することがある。被写体が遠方にあるなどして赤外光の反射が返ってこない領域については、未検出の範囲となるはずであるが、乱反射光が支配的になってしまうことがあり、画像P2における範囲Z1で示されるように、未検出を表す黒色にならず、距離を表す色が付されて、ノイズとして現れてしまうことがある。
本開示においては、投光した赤外光が被写体により反射することで発生する反射光の受光強度からなる赤外画像を用いて、乱反射により生じるノイズを除去する。
画像P1に対応する赤外画像は、例えば、図1の右部の画像P3である。画像P3は、画像P1と同一の撮像位置から同一のアングルで撮像した赤外画像である。
画像P3においては、投光した赤外光が被写体により反射し、反射した光の強度に応じた画素値からなる画像であるが、画像P2の範囲Z1に対応する、範囲Z2においては、黒色画素、すなわち、反射光が検出されず、被写体が撮像位置からみて遠い位置であることが表されている。
そこで、本開示においては、距離画像からなる画像P2と、赤外画像からなる画像P3とを比較して、赤外画像である画像P3において、黒色画素で示されるような、被写体が撮像位置から見て明らかに遠い領域の画素については、距離画像である画像P2において、何らかの距離を表す画素値であったとしてもノイズであるものとみなし、未検出の画素に置き換える。
このような処理により、距離画像である画像P2の範囲Z1について右側の一部の範囲において距離が求められた黒色画素以外の画素となっているが、対応する赤外画像である画像P3の範囲Z2は、黒色画素から構成されており、被写体が遠い位置であることが表されているので、範囲Z1の画素は未検出画素であることを示す黒色画素に置換することで、図1の中央下部で示されるような、距離画像からなる画像P4が生成される。
結果として、距離画像である画像P2における範囲Z1で示されるような、一部において距離が求められたように色が付された画素については、ノイズとみなされ、画像P4で示されるように除去されるので、距離画像におけるノイズを除去することが可能となる。
<<2.本開示の実施の形態>>
本開示の移動体は、自らの周囲の状況として取得する距離画像に含まれるノイズを除去し、ノイズ除去された距離画像に基づいて、環境マップを生成し、環境マップに応じた移動経路を計画し、計画された移動経路を自律的に移動する移動体である。以降において、本開示の移動体については、車両である場合の例について説明を進めるが、移動体であれば、車両以外であってよいことはいうまでもない。
本開示の移動体は、自らの周囲の状況として取得する距離画像に含まれるノイズを除去し、ノイズ除去された距離画像に基づいて、環境マップを生成し、環境マップに応じた移動経路を計画し、計画された移動経路を自律的に移動する移動体である。以降において、本開示の移動体については、車両である場合の例について説明を進めるが、移動体であれば、車両以外であってよいことはいうまでもない。
図2は、本技術が適用され得る移動体制御システムの一例である車両11の車両制御システム100の概略的な機能の構成例を示すブロック図である。
なお、以下、車両制御システム100が設けられている車両11を他の車両と区別する場合、自車又は自車両と称する。
車両制御システム100は、入力部101、データ取得部102、通信部103、車内機器104、出力制御部105、出力部106、駆動系制御部107、駆動系システム108、ボディ系制御部109、ボディ系システム110、記憶部111、及び、自動運転制御部112を備える。入力部101、データ取得部102、通信部103、出力制御部105、駆動系制御部107、ボディ系制御部109、記憶部111、及び、自動運転制御部112は、通信ネットワーク121を介して、相互に接続されている。通信ネットワーク121は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)、又は、FlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム100の各部は、通信ネットワーク121を介さずに、直接接続される場合もある。
なお、以下、車両制御システム100の各部が、通信ネットワーク121を介して通信を行う場合、通信ネットワーク121の記載を省略するものとする。例えば、入力部101と自動運転制御部112が、通信ネットワーク121を介して通信を行う場合、単に入力部101と自動運転制御部112が通信を行うと記載する。
入力部101は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部101は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部101は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム100の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部101は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム100の各部に供給する。
データ取得部102は、車両制御システム100の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム100の各部に供給する。
例えば、データ取得部102は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、ジャイロセンサ、加速度センサ、慣性計測装置(IMU)、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
また、例えば、データ取得部102は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部102は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ソナー等からなる。
さらに、例えば、データ取得部102は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、GNSS(Global Navigation Satellite System)衛星からのGNSS信号を受信するGNSS受信機等を備える。
また、例えば、データ取得部102は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
通信部103は、車内機器104、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム100の各部から供給されるデータを送信したり、受信したデータを車両制御システム100の各部に供給したりする。なお、通信部103がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部103が、複数の種類の通信プロトコルをサポートすることも可能である。
例えば、通信部103は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)、又は、WUSB(Wireless USB)等により、車内機器104と無線通信を行う。また、例えば、通信部103は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface)、又は、MHL(Mobile High-definition Link)等により、車内機器104と有線通信を行う。
さらに、例えば、通信部103は、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)との通信を行う。また、例えば、通信部103は、P2P(Peer To Peer)技術を用いて、自車の近傍に存在する端末(例えば、歩行者若しくは店舗の端末、又は、MTC(Machine Type Communication)端末)との通信を行う。さらに、例えば、通信部103は、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、自車と家との間(Vehicle to Home)の通信、及び、歩車間(Vehicle to Pedestrian)通信等のV2X通信を行う。また、例えば、通信部103は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
車内機器104は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
出力制御部105は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部105は、視覚情報(例えば、画像データ)及び聴覚情報(例えば、音声データ)のうちの少なくとも1つを含む出力信号を生成し、出力部106に供給することにより、出力部106からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部105は、データ取得部102の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部106に供給する。また、例えば、出力制御部105は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部106に供給する。
出力部106は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部106は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部106が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、AR(Augmented Reality)表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
駆動系制御部107は、各種の制御信号を生成し、駆動系システム108に供給することにより、駆動系システム108の制御を行う。また、駆動系制御部107は、必要に応じて、駆動系システム108以外の各部に制御信号を供給し、駆動系システム108の制御状態の通知等を行う。
駆動系システム108は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム108は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ABS(Antilock Brake System)、ESC(Electronic Stability Control)、並びに、電動パワーステアリング装置等を備える。
ボディ系制御部109は、各種の制御信号を生成し、ボディ系システム110に供給することにより、ボディ系システム110の制御を行う。また、ボディ系制御部109は、必要に応じて、ボディ系システム110以外の各部に制御信号を供給し、ボディ系システム110の制御状態の通知等を行う。
ボディ系システム110は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム110は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ(例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等)等を備える。
記憶部111は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部111は、車両制御システム100の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部111は、ダイナミックマップ等の3次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
自動運転制御部112は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部112は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部112は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部112は、検出部131、自己位置推定部132、状況分析部133、計画部134、及び、動作制御部135を備える。
検出部131は、自動運転の制御に必要な各種の情報の検出を行う。検出部131は、車外情報検出部141、車内情報検出部142、及び、車両状態検出部143を備える。
車外情報検出部141は、車両制御システム100の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部141は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部141は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部141は、検出処理の結果を示すデータを自己位置推定部132、状況分析部133のマップ解析部151、交通ルール認識部152、及び、状況認識部153、並びに、動作制御部135の緊急事態回避部171等に供給する。
車内情報検出部142は、車両制御システム100の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部142は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部142は、検出処理の結果を示すデータを状況分析部133の状況認識部153、及び、動作制御部135の緊急事態回避部171等に供給する。
車両状態検出部143は、車両制御システム100の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部143は、検出処理の結果を示すデータを状況分析部133の状況認識部153、及び、動作制御部135の緊急事態回避部171等に供給する。
自己位置推定部132は、車外情報検出部141、及び、状況分析部133の状況認識部153等の車両制御システム100の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部132は、必要に応じて、自己位置の推定に用いるローカルマップ(以下、自己位置推定用マップと称する)を生成する。自己位置推定用マップは、例えば、SLAM(Simultaneous Localization and Mapping)等の技術を用いた高精度なマップとされる。自己位置推定部132は、推定処理の結果を示すデータを状況分析部133のマップ解析部151、交通ルール認識部152、及び、状況認識部153等に供給する。また、自己位置推定部132は、自己位置推定用マップを記憶部111に記憶させる。
状況分析部133は、自車及び周囲の状況の分析処理を行う。状況分析部133は、マップ解析部151、交通ルール認識部152、状況認識部153、及び、状況予測部154を備える。
マップ解析部151は、自己位置推定部132及び車外情報検出部141等の車両制御システム100の各部からのデータ又は信号を必要に応じて用いながら、記憶部111に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部151は、構築したマップを、交通ルール認識部152、状況認識部153、状況予測部154、並びに、計画部134のルート計画部161、行動計画部162、及び、動作計画部163等に供給する。
交通ルール認識部152は、自己位置推定部132、車外情報検出部141、及び、マップ解析部151等の車両制御システム100の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部152は、認識処理の結果を示すデータを状況予測部154等に供給する。
状況認識部153は、自己位置推定部132、車外情報検出部141、車内情報検出部142、車両状態検出部143、及び、マップ解析部151等の車両制御システム100の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部153は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部153は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ(以下、状況認識用マップと称する)を生成する。状況認識用マップは、例えば、占有格子地図(Occupancy Grid Map)とされる。
認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き(例えば、速度、加速度、移動方向等)、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き(例えば、速度、加速度、移動方向等)、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
状況認識部153は、認識処理の結果を示すデータ(必要に応じて、状況認識用マップを含む)を自己位置推定部132及び状況予測部154等に供給する。また、状況認識部153は、状況認識用マップを記憶部111に記憶させる。
状況予測部154は、マップ解析部151、交通ルール認識部152及び状況認識部153等の車両制御システム100の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部154は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。
予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
状況予測部154は、予測処理の結果を示すデータを、交通ルール認識部152及び状況認識部153からのデータとともに、計画部134のルート計画部161、行動計画部162、及び、動作計画部163等に供給する。
ルート計画部161は、マップ解析部151及び状況予測部154等の車両制御システム100の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部161は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部161は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部161は、計画したルートを示すデータを行動計画部162等に供給する。
行動計画部162は、マップ解析部151及び状況予測部154等の車両制御システム100の各部からのデータ又は信号に基づいて、ルート計画部161により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部162は、発進、停止、進行方向(例えば、前進、後退、左折、右折、方向転換等)、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部162は、計画した自車の行動を示すデータを動作計画部163等に供給する。
動作計画部163は、マップ解析部151及び状況予測部154等の車両制御システム100の各部からのデータ又は信号に基づいて、行動計画部162により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部163は、加速、減速、及び、走行軌道等の計画を行う。動作計画部163は、計画した自車の動作を示すデータを、動作制御部135の加減速制御部172及び方向制御部173等に供給する。
動作制御部135は、自車の動作の制御を行う。動作制御部135は、緊急事態回避部171、加減速制御部172、及び、方向制御部173を備える。
緊急事態回避部171は、車外情報検出部141、車内情報検出部142、及び、車両状態検出部143の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部171は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部171は、計画した自車の動作を示すデータを加減速制御部172及び方向制御部173等に供給する。
加減速制御部172は、動作計画部163又は緊急事態回避部171により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部172は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部107に供給する。
方向制御部173は、動作計画部163又は緊急事態回避部171により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部173は、動作計画部163又は緊急事態回避部171により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部107に供給する。
<距離画像を生成する構成例>
次に、図3を参照して、図1の車両制御システム100における、距離画像を生成する構成例について説明する。
次に、図3を参照して、図1の車両制御システム100における、距離画像を生成する構成例について説明する。
距離画像を生成する構成は、図1の車両制御システム100におけるデータ取得部102および車外情報検出部141より構成される。
データ取得部102は、距離画像と赤外光の強度を画素値とする赤外画像とを生成するToF(Time of Flight)センサ181を備える。また、車外情報検出部141は、距離画像および赤外画像の入力を受け付ける画像入力部201、並びに、赤外画像を用いて、距離画像におけるノイズを除去する画像処理部202を備えている。
より詳細には、ToFセンサ181は、赤外光投光部191、赤外光受光部192、距離画像生成部193、および赤外画像生成部194を備えている。
赤外光投光部191は、監視対象となる、例えば、車両11の走行方向前方に対して赤外光を投光する。尚、赤外光投光部191は、赤外光を投光するとき、赤外光を投光するタイミングを示す信号を距離画像生成部193に出力する。
赤外光受光部192は、赤外光投光部191により投光された赤外光が、被写体により反射される赤外光を受光し、受光したタイミングを画素単位で距離画像生成部193に出力し、受光強度の情報を画素単位で赤外画像生成部194に出力する。
距離画像生成部193は、赤外光投光部191より赤外光が投光されたタイミングと、赤外光受光部192より供給される画素単位の受光されたタイミングとに基づいて、赤外光の被写体との往復時間から距離を求め、求めた距離に対応する画素値からなる距離画像を生成して、車外情報検出部141に出力する。
赤外画像生成部194は、赤外光受光部192より供給される画素単位の赤外光の受光強度の情報に基づいて、受光強度に対応する画素値からなる赤外画像を生成して、車外情報検出部141に出力する。
すなわち、ToFセンサ181は、赤外光を投光し、投光した赤外光の被写体からの反射光を受光し、距離画像と赤外画像とを生成して車外情報検出部141に出力する。尚、図3のToFセンサ181は、赤外画像と距離画像とを生成するにあたって、同一の赤外光投光部191から投光された同一の赤外光を用いる構成例であるが、赤外画像と距離画像とのそれぞれに必要とされる赤外光を個別の2個の投光部から投光するようにしてもよい。ただし、この場合、2個の投光部は、ほぼ同一のアングルから、ほぼ同一のタイミングで同期して投光することが望ましい。
車外情報検出部141は、画像入力部201および画像処理部202を備えており、距離画像および赤外画像の入力を受け付けて、距離画像のノイズを除去して出力する。
より詳細には、画像入力部201は、赤外画像入力部211および距離画像入力部212を備えている。赤外画像入力部211は、データ取得部102のToFセンサ181より入力される赤外画像を受け付けて、画像処理部202のフィルタ処理部221に出力する。距離画像入力部212は、データ取得部102のToFセンサ181より入力される距離画像を受け付けて、画像処理部202の距離画像ノイズ除去部223に出力する。
画像処理部202は、フィルタ処理部221、閾値決定部222、および距離画像ノイズ除去部223を備えている。
フィルタ処理部221は、赤外画像のノイズを除去するフィルタ処理を施し、閾値決定部222および距離画像ノイズ除去部223に出力する。フィルタ処理は、輪郭を維持しつつノイズを除去する、例えば、バイラテラルフィルタのようなフィルタを用いた処理が望ましい。また、赤外画像に、予めノイズが少なく、無視できる程度であることが予めわかっている場合、フィルタ処理部221は、省略するようにしてもよい。
閾値決定部222は、赤外画像のうち、投光した赤外光が被写体で反射してこなかった画素とみなすことができる強度の閾値を決定する。より具体的には、閾値決定部222は、赤外画像における強度に対応する画素値について、例えば、図4で示されるようにヒストグラムを求め、ヒストグラムの勾配の変化点より反射光が受光されていないとみなされる強度の閾値を決定する。尚、図4は、横軸が受光強度であり、縦軸が、受光強度毎の頻度、すなわち、対応する強度の画素数である。
例えば、図4のヒストグラムの場合、強度Pで、分布を示す頻度が急激に変化している。つまり、矢印で範囲が示される強度Pよりも受光強度の高い画素については、反射光が受光された適正な強度の画素分布であるとみなせる。これに対して、図4のヒストグラムの勾配における強度Pより小さい強度の画素の分布については、分布が急激に変化するため、反射光が受光された場合の強度ではないものとみなせる。
そこで、閾値決定部222は、受光強度のヒストグラムにおける強度Pで示されるような変化点の位置に基づいて、反射光として受光されている赤外光の強度の最低値となる閾値を決定し、距離画像ノイズ除去部223に出力する。したがって、図4の例においては、閾値は、変化点となる強度Pに対応する閾値Vthとなる。
距離画像ノイズ除去部223は、赤外画像の各画素の受光強度に対応して設定された画素値が閾値より小さいか否かに基づいて、距離画像の各画素の画素値を未検出の画素に設定することによりノイズを除去し、出力する。
例えば、図5の左上部で示されるような赤外画像P11と、左下部で示されるような距離画像P12とがToFセンサ181により撮像される場合において、それぞれに対応する領域Z11からなる図5の中央上部の画像P13と、領域Z12からなる図5の中央下部の画像P14とを考える。
赤外画像である画像P13において、図中の上部は、黒色画素からなり赤外光の反射光が受光されなかったことが示されている。これに対して、距離画像である画像P14における図中の上部には、領域Z21に何らかの距離を示す画素が含まれている。領域Z21に対応する、赤外画像である画像P13においては、赤外光の受光がないので、画像P14における領域Z21には、ノイズが発生していると考えることができる。
そこで、距離画像ノイズ除去部223は、赤外画像である画像P13における各画素について、閾値決定部222より供給されてくる閾値よりも小さな画素値であるときには、距離画像である画像P14における対応する位置の画素の画素値を、未検出画素(距離無し画素)に設定することで、ノイズを除去する。
この結果、入力時には、距離画像である画像P14の領域Z21において、ノイズが発生した状態であるが、領域Z21に対応する、赤外画像である画像P13の画素が閾値より小さい画素値であるので、対応する距離画像である画像P14の領域Z21の画素の画素値については、画素値が0となる未検出画素(黒色画素)に置換される。この置換により、画像P15で示されるようにノイズを除去することが可能となる。
<距離画像ノイズ除去処理>
次に、図6のフローチャートを参照して、図3の距離画像を生成する構成による、距離画像ノイズ除去処理について説明する。
次に、図6のフローチャートを参照して、図3の距離画像を生成する構成による、距離画像ノイズ除去処理について説明する。
ステップS11において、データ取得部102におけるToFセンサ181の赤外光投光部191は、監視領域である、例えば、車両11の走行方向前方に対して赤外光を投光する。この際、赤外光投光部191は、赤外光を投光したタイミングの情報を距離画像生成部193に出力する。
ステップS12において、赤外光受光部192は、赤外光投光部191により投光された赤外光のうち、被写体により反射された赤外光を受光し、画素単位の受光タイミングの情報を距離画像生成部193に出力すると共に、画素単位の赤外光の受光強度を赤外画像生成部194に出力する。
ステップS13において、距離画像生成部193は、赤外光受光部192より供給される各画素の受光タイミングの情報と、赤外光投光部191より赤外光が投光されたタイミングの情報とから、画素単位で赤外光の被写体との往復時間を求め、往復時間に基づいて被写体までの距離を求め、求めた距離に対応する画素値からなる距離画像を生成して車外情報検出部141に出力する。尚、往復時間の測定には、一般には、送受信時の位相差が測定されて用いられる。
ステップS14において、赤外画像生成部194は、赤外光受光部192より供給される画素単位の赤外光の受光強度を画素値とする赤外画像を生成して車外情報検出部141に出力する。
ステップS15において、車外情報検出部141における画像入力部201の赤外画像入力部211および距離画像入力部212は、それぞれ赤外画像の入力を受け付けて、画像処理部202のフィルタ処理部221に出力すると共に、距離画像の入力を受け付けて、画像処理部202の距離画像ノイズ除去部223に出力する。
ステップS16において、フィルタ処理部221は、赤外画像に対して、バイラテラルフィルタ処理などにより輪郭を維持しつつノイズを除去し、閾値決定部222および距離画像ノイズ除去部223に出力する。
ステップS17において、閾値決定部222は、図8を参照して説明したように、ノイズが除去された赤外画像の各画素の画素値によりヒストグラムを求め、変化点から閾値を決定し、距離画像ノイズ除去部223に出力する。
ステップS18において、距離画像ノイズ除去部223は、赤外画像の各画素について、画素値が、ステップS17の処理で求められた閾値よりも小さく、すなわち、赤外光の反射がなく、未検出画素とみなせるか否かを判定する。そして、距離画像ノイズ除去部223は、赤外光の反射がない未検出画素とみなせる場合、距離画像の対応する位置の画素の画素値を0、すなわち、未検出画素(黒色画素)に置換して設定することでノイズを除去し、それ以外の場合、距離画像の距離に対応する画素値をそのまま採用する。
ステップS19において、距離画像ノイズ除去部223は、ノイズを除去した距離画像を出力する。
以上の一連の処理により、例えば、図7の左部で示されるようなモノクロ画像P51が撮像される撮像位置と同一の撮像位置から同一のアングルでToFセンサ181を用いると、図7の中央上段の赤外画像P52と図7の中央下段の距離画像P53とが撮像される。
尚、図7の左部のモノクロ画像P51においては、駐車場の画像であり、画像の中央部にトラックが止められており、その背景に空が映し出されている。したがって、図7の中央上段の赤外画像P52で示されるように、背景の空の領域からは赤外光の反射がないので、画素値が0、すなわち、黒色画素が設定されている。
しかしながら、図7の中央下段の距離画像P53においては、背景となる空の領域においては、何らかの距離が測定されている領域が、赤外光の乱反射の影響と思われるノイズとして斑点状に発生している。
このような場合、上述した一連の処理により、赤外画像P52における空の領域において、所定の閾値よりも小さな画素値となる画素については、距離画像P53のおける対応する領域の画素の画素値が未検出画素、すなわち、距離の無い、画素値が0の黒色画素とされる。これにより、図7の右部で示される距離画像P54で示されるように空の領域においては、黒色画素が設定されて、ノイズを除去することが可能となる。
尚、以上においては、赤外画像と距離画像とを生成し、赤外画像内において、所定の閾値よりも小さい画素値となる画素に対応する位置の、距離画像における画素の画素値を黒色画素である未検出画素にすることでノイズを除去する例について説明してきたが、黒色に近い画素であればよい。例えば、黒色に近い小さな画素値を所定の画素値として置換するようにしてもよい。
また、以上においては、データ取得部102において、ToFセンサ181を設けて、赤外光を用いた距離画像と赤外画像とを測定する例について説明してきたが、被写体までの往復時間の測定と、受光強度とが求められればよい。たとえば、赤外光以外の光を投光して、受光するようにしてもよい。
さらに、ToFセンサに代えて、赤外線測距センサ(三角測量方式)を用いるようにしてもよい。赤外線測距センサは、赤外光を、レンズを通して照射し、対象物によって反射されてきた光を、レンズを通して撮像素子上に受光する。この時、対象物の距離に応じて受光素子上の受光位置が変化する。赤外線測距センサは、この位置の変化を観測し、三角測量の原理により被写体までの距離を測定し距離画像を生成する。また、赤外線測距センサは、この時の反射強度を用いることで赤外画像を生成する。
また、同様に、ToFセンサに代えて、Structured Light方式を用いた測距センサを用いるようにしてもよい。Structured Light方式を用いた測距センサは、事前に形状の把握できているボロノイパターンやグリッドパターンなどを物体に投影し、その物体に投影されたパターンの歪みに基づいて、物体までの3次元距離を計測することで距離画像を生成する。Structured Light方式を用いた測距センサは、ToFセンサ181などの方式と同様、赤外光を受信した赤外画像を生成する。
さらに、同様に、ToFセンサ181に代えて、ステレオカメラセンサを用いるようにしてもよい。ステレオカメラセンサは、2つのカメラから構成されており、2つのカメラ画像の中から、画像処理などによって同一の被写体領域を検出し、被写体までの視差を算出する。ステレオカメラセンサは、この視差から、三角測量によって距離画像を生成する。ステレオカメラセンサは、赤外光を照射し、その反射光をステレオ処理するアクティブな方式と、可視光を受光した画像からステレオ処理するパッシブな方式の両方がある。アクティブ方式のステレオカメラセンサは、赤外光を受信した赤外画像を生成することが可能である。また、パッシブ方式のステレオカメラセンサは、受光の輝度値を赤外反射強度として用いることができ、赤外画像を生成することができる。
また、同様に、ToFセンサに代えて、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)を用いるようにしてもよい。LiDARは、赤外光を照射し、その反射光からセンサ周囲の障害物までの3次元点群を得ることができるセンサであり、測距方式としてはToF方式が一般的である。LiDARは、3次元点群を構成する3次元点のそれぞれに対して、赤外光の反射強度が得られるため、赤外画像を生成することができ、3次元点群を距離画像として用いることで、本開示に適用することができる。
<<3.応用例>>
以上においては、移動体の例として車両11を用いる例について説明してきたが、移動体は、車両以外であってもよく、例えば、移動可能なロボットであってもよい。
以上においては、移動体の例として車両11を用いる例について説明してきたが、移動体は、車両以外であってもよく、例えば、移動可能なロボットであってもよい。
図8は、本開示の技術を自律移動型のロボットに応用した時のモジュール構成例を示している。この例では、ToFセンサを使って障害物を検出し、目的地まで自律移動するシステムを想定している。
より詳細には、図8のロボット301は、センサ部321、センサ制御部322、認識部323、行動計画部324、モータ制御部325、およびモータ326より構成される。
センサ部321は、ToF撮像装置341からなり、ToF撮像装置341は、赤外光照射部351、赤外光受信部352、距離画像生成部353、および赤外画像生成部354を備えている。尚、ToF撮像装置341は、ToFセンサ181と対応する構成であり、赤外光照射部351、赤外光受信部352、距離画像生成部353、および赤外画像生成部354は、それぞれ赤外光投光部191、赤外光受光部192、距離画像生成部193、および赤外画像生成部194に対応するものであり、同様の機能のものであるので、その説明は省略する。
センサ制御部322は、画像処理装置361からなり、画像処理装置361は、画像入力部371および画像処理部372を備えている。尚、画像処理装置361は、図3の車外情報検出部141に対応するものであり、画像入力部371および画像処理部372は、画像入力部201および画像処理部202と対応するものであり、同様の機能を備えるものであるので、その説明は省略する。
認識部323は、センサ制御部322より出力されるノイズ除去された距離画像に基づいて、障害物を検出し、検出した障害物に基づいて、移動用地図を生成し、行動計画部324に出力する。
より詳細には、認識部323は、障害物検出部381および移動用地図生成部382を備えている。障害物検出部381は、距離画像に基づいて、障害物を検出し、移動用地図生成部382に出力する。移動用地図生成部382は、障害物検出部381により検出された障害物の情報に基づいて、移動用地図を生成し、行動計画部324に出力する。
行動計画部324は、移動用地図に基づいて、移動経路を計画して生成し、生成した移動経路に対して追従するようにモータ制御部325に指令を送る。
より詳細には、行動計画部324は、移動経路生成部391および経路追従部392を備えている。移動経路生成部391は、移動用地図に基づいて、移動経路を計画して生成し、移動経路の情報を経路追従部392に出力する。経路追従部392は、移動経路の情報に基づいて、ロボットを追従して移動させるために必要な各種のモータ326を制御するコマンドを生成し、モータ制御部325に出力する。
モータ制御部325は、モータ駆動制御部401を備えており、モータ駆動制御部401は、モータを制御するコマンドに基づいて、モータ326の駆動を制御する。
モータ326は、自らを駆動させるための各種のHW(Hardware)411から構成されており、モータ制御部325により駆動が制御される。
以上のような構成により、センサ部321は、ToF撮像装置341を制御して、周囲の距離画像と赤外画像とを撮像させ、センサ制御部322に出力する。
センサ制御部322は、画像処理装置361を制御して、赤外画像を利用して、距離画像よりノイズを除去し、ノイズを除去した距離画像を認識部323に出力する。
認識部323は、障害物検出部381を制御して、距離画像に基づいて、障害物を検出させる。そして、認識部323は、移動用地図生成部382を制御して、ロボット301の自らが移動可能な領域を表現する移動用地図を生成させ、行動計画部324に出力させる。
行動計画部324は、移動経路生成部391を制御して、移動用地図を用いて、定められた目的地までの移動経路を生成させる。そして、行動計画部324は、経路追従部392を制御して、ロボット301の機体の運動性能などを考慮した上で、移動経路を細かく解析し、実際にロボット301の機体が追従可能な、すなわち、移動可能な経路を構成し、移動可能な経路を移動できるコマンドをモータ制御部325に出力する。
モータ制御部325は、モータ駆動制御部401を制御して、ロボット301の機体が追従可能な経路を、移動できるように、モータ326のHW411の駆動を制御する。
以上のような構成により、図3のデータ取得部102および車外情報検出部141に対応するセンサ部321およびセンサ制御部322による、図6のフローチャートを参照して説明した距離画像ノイズ除去処理が実行されることにより、ノイズが除去された距離画像が生成されることになる。
結果として、認識部323における障害物検出において実際には存在しない位置に障害物が検出されるといった誤検出を低減させることが可能となり、実際には移動可能な領域であるのに走行できない、ノイズによる誤検出で急停止してしまうといった移動に伴うトラブルを抑制させることが可能となる。
<<4.ソフトウェアにより実行させる例>>
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、記録媒体からインストールされる。
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、記録媒体からインストールされる。
図9は、汎用のコンピュータの構成例を示している。このコンピュータは、CPU(Central Processing Unit)1001を内蔵している。CPU1001にはバス1004を介して、入出力インタフェース1005が接続されている。バス1004には、ROM(Read Only Memory)1002およびRAM(Random Access Memory)1003が接続されている。
入出力インタフェース1005には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部1006、処理操作画面や処理結果の画像を表示デバイスに出力する出力部1007、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部1008、LAN(Local Area Network)アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部1009が接続されている。また、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む)、光磁気ディスク(MD(Mini Disc)を含む)、もしくは半導体メモリなどのリムーバブルメディア1011に対してデータを読み書きするドライブ1010が接続されている。
CPU1001は、ROM1002に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア1011ら読み出されて記憶部1008にインストールされ、記憶部1008からRAM1003にロードされたプログラムに従って各種の処理を実行する。RAM1003にはまた、CPU1001が各種の処理を実行する上において必要なデータなども適宜記憶される。
以上のように構成されるコンピュータでは、CPU1001が、例えば、記憶部1008に記憶されているプログラムを、入出力インタフェース1005及びバス1004を介して、RAM1003にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ(CPU1001)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア1011に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア1011をドライブ1010に装着することにより、入出力インタフェース1005を介して、記憶部1008にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部1009で受信し、記憶部1008にインストールすることができる。その他、プログラムは、ROM1002や記憶部1008に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
尚、図9におけるCPU1001が、図2における自動運転制御部112の機能を実現させる。また、図9における記憶部1008が、図2における記憶部111を実現する。
また、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本開示は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
尚、本開示は、以下のような構成も取ることができる。
<1> 撮像された被写体までの距離に応じた画素値からなる距離画像を取得する距離画像取得部と、
投光された光の前記被写体からの反射光の受光強度に応じた画素値からなる強度画像を取得する強度画像取得部と、
前記強度画像における所定の閾値より小さな画素値の画素に対応する、前記距離画像における画素の画素値を、所定の画素値に変換することで前記距離画像のノイズを除去するノイズ除去部と
を含む画像処理装置。
<2> 前記強度画像の画素値のヒストグラムを生成し、前記ヒストグラムにおける変化点となる画素値を前記所定の閾値に決定する閾値決定部をさらに含む
<1>に記載の画像処理装置。
<3> 前記強度画像にノイズを除去する所定のフィルタを用いた処理を施すフィルタ処理部をさらに含む
<2>に記載の画像処理装置。
<4> 前記フィルタは、バイラテラルフィルタである
<3>に記載の画像処理装置。
<5> 前記ノイズ除去部は、前記強度画像における所定の閾値より小さな画素値の画素に対応する、前記距離画像における画素の画素値を、前記距離が検出されない未検出画素に変換することで前記距離画像のノイズを除去する
<1>乃至<4>のいずれかに記載の画像処理装置。
<6> 光を投光する投光部と、
前記投光部により投光された光が、前記被写体により反射された反射光を受光する受光部と、
前記投光部が前記光を投光してから、前記受光部が前記反射光を受光するまでの時間に基づいて、画素単位で前記被写体までの距離を求め、前記被写体までの距離に応じた画素値からなる距離画像を生成する距離画像生成部と、
前記受光部が画素単位で受光する前記反射光の強度に応じた画素値からなる強度画像を生成する強度画像生成部とをさらに含み、
前記距離画像取得部は、前記距離画像生成部により生成された距離画像を、撮像された被写体までの距離に応じた画素値からなる距離画像として取得し、
前記強度画像取得部は、前記強度画像生成部により生成された強度画像を、投光された光の前記被写体からの反射光の受光強度に応じた画素値からなる強度画像として取得する
<1>乃至<5>のいずれかに記載の画像処理装置。
<7> 前記投光部には、赤外光を投光する
<6>に記載の画像処理装置。
<8> 前記距離画像は、三角測量方式を用いた赤外線測距センサにより生成される
<1>乃至<5>のいずれかに記載の画像処理装置。
<9> 前記距離画像は、Structured Light方式を用いた測距センサにより生成される
<1>乃至<5>のいずれかに記載の画像処理装置。
<10> 前記距離画像は、ステレオカメラセンサにより生成される
<1>乃至<5>のいずれかに記載の画像処理装置。
<11> 前記距離画像は、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)により測定される3次元点群に基づいて生成される
<1>乃至<5>のいずれかに記載の画像処理装置。
<12> 撮像された被写体までの距離に応じた画素値からなる距離画像を取得する距離画像取得処理と、
投光された光の前記被写体からの反射光の受光強度に応じた画素値からなる強度画像を取得する強度画像取得処理と、
前記強度画像における所定の閾値より小さな画素値の画素に対応する、前記距離画像における画素の画素値を、所定の画素値に変換するノイズ除去処理と
を含む画像処理方法。
<13> 撮像された被写体までの距離に応じた画素値からなる距離画像を取得する距離画像取得部と、
投光された光の前記被写体からの反射光の受光強度に応じた画素値からなる強度画像を取得する強度画像取得部と、
前記強度画像における所定の閾値より小さな画素値の画素に対応する、前記距離画像における画素の画素値を、所定の画素値に変換するノイズ除去部と
を含む処理をコンピュータに実行させるプログラム。
<14> 撮像された被写体までの距離に応じた画素値からなる距離画像を取得する距離画像取得部と、
投光された光の前記被写体からの反射光の受光強度に応じた画素値からなる強度画像を取得する強度画像取得部と、
前記強度画像における所定の閾値より小さな画素値の画素に対応する、前記距離画像における画素の画素値を、所定の画素値に変換するノイズ除去部と、
前記ノイズが除去された前記距離画像に基づいて、環境マップを生成する状況分析部と、
前記状況分析部により生成された前記環境マップに基づいて、移動経路を計画する計画部と、
前記計画部により計画された移動経路に基づいて動作を制御する動作制御部と
を含む移動体。
投光された光の前記被写体からの反射光の受光強度に応じた画素値からなる強度画像を取得する強度画像取得部と、
前記強度画像における所定の閾値より小さな画素値の画素に対応する、前記距離画像における画素の画素値を、所定の画素値に変換することで前記距離画像のノイズを除去するノイズ除去部と
を含む画像処理装置。
<2> 前記強度画像の画素値のヒストグラムを生成し、前記ヒストグラムにおける変化点となる画素値を前記所定の閾値に決定する閾値決定部をさらに含む
<1>に記載の画像処理装置。
<3> 前記強度画像にノイズを除去する所定のフィルタを用いた処理を施すフィルタ処理部をさらに含む
<2>に記載の画像処理装置。
<4> 前記フィルタは、バイラテラルフィルタである
<3>に記載の画像処理装置。
<5> 前記ノイズ除去部は、前記強度画像における所定の閾値より小さな画素値の画素に対応する、前記距離画像における画素の画素値を、前記距離が検出されない未検出画素に変換することで前記距離画像のノイズを除去する
<1>乃至<4>のいずれかに記載の画像処理装置。
<6> 光を投光する投光部と、
前記投光部により投光された光が、前記被写体により反射された反射光を受光する受光部と、
前記投光部が前記光を投光してから、前記受光部が前記反射光を受光するまでの時間に基づいて、画素単位で前記被写体までの距離を求め、前記被写体までの距離に応じた画素値からなる距離画像を生成する距離画像生成部と、
前記受光部が画素単位で受光する前記反射光の強度に応じた画素値からなる強度画像を生成する強度画像生成部とをさらに含み、
前記距離画像取得部は、前記距離画像生成部により生成された距離画像を、撮像された被写体までの距離に応じた画素値からなる距離画像として取得し、
前記強度画像取得部は、前記強度画像生成部により生成された強度画像を、投光された光の前記被写体からの反射光の受光強度に応じた画素値からなる強度画像として取得する
<1>乃至<5>のいずれかに記載の画像処理装置。
<7> 前記投光部には、赤外光を投光する
<6>に記載の画像処理装置。
<8> 前記距離画像は、三角測量方式を用いた赤外線測距センサにより生成される
<1>乃至<5>のいずれかに記載の画像処理装置。
<9> 前記距離画像は、Structured Light方式を用いた測距センサにより生成される
<1>乃至<5>のいずれかに記載の画像処理装置。
<10> 前記距離画像は、ステレオカメラセンサにより生成される
<1>乃至<5>のいずれかに記載の画像処理装置。
<11> 前記距離画像は、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)により測定される3次元点群に基づいて生成される
<1>乃至<5>のいずれかに記載の画像処理装置。
<12> 撮像された被写体までの距離に応じた画素値からなる距離画像を取得する距離画像取得処理と、
投光された光の前記被写体からの反射光の受光強度に応じた画素値からなる強度画像を取得する強度画像取得処理と、
前記強度画像における所定の閾値より小さな画素値の画素に対応する、前記距離画像における画素の画素値を、所定の画素値に変換するノイズ除去処理と
を含む画像処理方法。
<13> 撮像された被写体までの距離に応じた画素値からなる距離画像を取得する距離画像取得部と、
投光された光の前記被写体からの反射光の受光強度に応じた画素値からなる強度画像を取得する強度画像取得部と、
前記強度画像における所定の閾値より小さな画素値の画素に対応する、前記距離画像における画素の画素値を、所定の画素値に変換するノイズ除去部と
を含む処理をコンピュータに実行させるプログラム。
<14> 撮像された被写体までの距離に応じた画素値からなる距離画像を取得する距離画像取得部と、
投光された光の前記被写体からの反射光の受光強度に応じた画素値からなる強度画像を取得する強度画像取得部と、
前記強度画像における所定の閾値より小さな画素値の画素に対応する、前記距離画像における画素の画素値を、所定の画素値に変換するノイズ除去部と、
前記ノイズが除去された前記距離画像に基づいて、環境マップを生成する状況分析部と、
前記状況分析部により生成された前記環境マップに基づいて、移動経路を計画する計画部と、
前記計画部により計画された移動経路に基づいて動作を制御する動作制御部と
を含む移動体。
11 車両, 141 車外情報検出部, 181 ToFセンサ, 191 赤外光投光部, 192 赤外光受光部, 193 距離画像生成部, 194 赤外画像生成部, 201 画像入力部, 202 画像処理部, 211 赤外画像入力部, 212 距離画像入力部, 221 フィルタ処理部, 222 閾値決定部, 223 距離画像ノイズ除去部, 301 ロボット, 321 センサ部, 322 センサ制御部, 323 認識部, 324 行動計画部, 325 モータ制御部, 326 モータ, 341 ToF撮像部, 351 赤外光照射部, 352 赤外光受信部, 353 距離画像生成部, 354 赤外画像生成部, 361 画像処理装置, 371 画像入力部, 372 画像処理部, 381 障害物検出部, 382 移動用地図生成部, 391 移動経路生成部, 392 経路追従部, 401 モータ駆動制御部, 411 HW(Hardware)
Claims (14)
- 撮像された被写体までの距離に応じた画素値からなる距離画像を取得する距離画像取得部と、
投光された光の前記被写体からの反射光の受光強度に応じた画素値からなる強度画像を取得する強度画像取得部と、
前記強度画像における所定の閾値より小さな画素値の画素に対応する、前記距離画像における画素の画素値を、所定の画素値に変換するノイズ除去部と
を含む画像処理装置。 - 前記強度画像の画素値のヒストグラムを生成し、前記ヒストグラムにおける変化点となる画素値を前記所定の閾値に決定する閾値決定部をさらに含む
請求項1に記載の画像処理装置。 - 前記強度画像にノイズを除去する所定のフィルタを用いた処理を施すフィルタ処理部をさらに含む
請求項2に記載の画像処理装置。 - 前記フィルタは、バイラテラルフィルタである
請求項3に記載の画像処理装置。 - 前記ノイズ除去部は、前記強度画像における所定の閾値より小さな画素値の画素に対応する、前記距離画像における画素の画素値を、前記距離が検出されない未検出画素に変換することで前記距離画像のノイズを除去する
請求項1に記載の画像処理装置。 - 光を投光する投光部と、
前記投光部により投光された光が、前記被写体により反射された反射光を受光する受光部と、
前記投光部が前記光を投光してから、前記受光部が前記反射光を受光するまでの時間に基づいて、画素単位で前記被写体までの距離を求め、前記被写体までの距離に応じた画素値からなる距離画像を生成する距離画像生成部と、
前記受光部が画素単位で受光する前記反射光の強度に応じた画素値からなる強度画像を生成する強度画像生成部とをさらに含み、
前記距離画像取得部は、前記距離画像生成部により生成された距離画像を、撮像された被写体までの距離に応じた画素値からなる距離画像として取得し、
前記強度画像取得部は、前記強度画像生成部により生成された強度画像を、投光された光の前記被写体からの反射光の受光強度に応じた画素値からなる強度画像として取得する
請求項1に記載の画像処理装置。 - 前記投光部は、赤外光を投光する
請求項6に記載の画像処理装置。 - 前記距離画像は、三角測量方式を用いた赤外線測距センサにより生成される
請求項1に記載の画像処理装置。 - 前記距離画像は、Structured Light方式を用いた測距センサにより生成される
請求項1に記載の画像処理装置。 - 前記距離画像は、ステレオカメラセンサにより生成される
請求項1に記載の画像処理装置。 - 前記距離画像は、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)により測定される3次元点群に基づいて生成される
請求項1に記載の画像処理装置。 - 撮像された被写体までの距離に応じた画素値からなる距離画像を取得する距離画像取得処理と、
投光された光の前記被写体からの反射光の受光強度に応じた画素値からなる強度画像を取得する強度画像取得処理と、
前記強度画像における所定の閾値より小さな画素値の画素に対応する、前記距離画像における画素の画素値を、所定の画素値に変換するノイズ除去処理と
を含む画像処理方法。 - 撮像された被写体までの距離に応じた画素値からなる距離画像を取得する距離画像取得部と、
投光された光の前記被写体からの反射光の受光強度に応じた画素値からなる強度画像を取得する強度画像取得部と、
前記強度画像における所定の閾値より小さな画素値の画素に対応する、前記距離画像における画素の画素値を、所定の画素値に変換するノイズ除去部と
を含む処理をコンピュータに実行させるプログラム。 - 撮像された被写体までの距離に応じた画素値からなる距離画像を取得する距離画像取得部と、
投光された光の前記被写体からの反射光の受光強度に応じた画素値からなる強度画像を取得する強度画像取得部と、
前記強度画像における所定の閾値より小さな画素値の画素に対応する、前記距離画像における画素の画素値を、所定の画素値に変換するノイズ除去部と、
前記ノイズが除去された前記距離画像に基づいて、環境マップを生成する状況分析部と、
前記状況分析部により生成された前記環境マップに基づいて、移動経路を計画する計画部と、
前記計画部により計画された移動経路に基づいて動作を制御する動作制御部と
を含む移動体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017168592 | 2017-09-01 | ||
JP2017168592 | 2017-09-01 | ||
PCT/JP2018/030726 WO2019044571A1 (ja) | 2017-09-01 | 2018-08-21 | 画像処理装置、および画像処理方法、プログラム、並びに移動体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2019044571A1 true JPWO2019044571A1 (ja) | 2020-10-01 |
Family
ID=65525579
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019539380A Pending JPWO2019044571A1 (ja) | 2017-09-01 | 2018-08-21 | 画像処理装置、および画像処理方法、プログラム、並びに移動体 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11341615B2 (ja) |
JP (1) | JPWO2019044571A1 (ja) |
DE (1) | DE112018004891T5 (ja) |
WO (1) | WO2019044571A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021051042A (ja) * | 2019-09-26 | 2021-04-01 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置、電子機器、画像処理方法及びプログラム |
DE102020110809B3 (de) * | 2020-04-21 | 2021-10-21 | Daimler Ag | Verfahren und Vorrichtung zum Erkennen von Blooming in einer Lidarmessung |
KR20220019930A (ko) * | 2020-08-11 | 2022-02-18 | 삼성전자주식회사 | 로봇 및 그 제어 방법 |
DE102020128732A1 (de) | 2020-11-02 | 2022-05-05 | Daimler Ag | Verfahren und Vorrichtung zum Erkennen von Blooming-Kandidaten in einer Lidarmessung |
US20220221585A1 (en) * | 2021-01-14 | 2022-07-14 | Argo AI, LLC | Systems and methods for monitoring lidar sensor health |
KR102542126B1 (ko) * | 2021-04-01 | 2023-06-13 | 주식회사 솔리드뷰 | 라이다 센서 및 그의 노이즈 제거 방법 |
CN114475650B (zh) * | 2021-12-01 | 2022-11-01 | 中铁十九局集团矿业投资有限公司 | 一种车辆行驶行为确定方法、装置、设备及介质 |
CN114677315B (zh) * | 2022-04-11 | 2022-11-29 | 探维科技(北京)有限公司 | 基于图像与激光点云的图像融合方法、装置、设备和介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006011880A (ja) * | 2004-06-25 | 2006-01-12 | Sony Corp | 環境地図作成方法、環境地図作成装置、及び移動型ロボット装置 |
JP2010165183A (ja) * | 2009-01-15 | 2010-07-29 | Panasonic Electric Works Co Ltd | 人体検出装置 |
JP2013187645A (ja) * | 2012-03-06 | 2013-09-19 | Canon Inc | ノイズ低減装置およびノイズ低減方法 |
WO2014157435A1 (ja) * | 2013-03-27 | 2014-10-02 | 株式会社デンソー | 車両に搭載された、物標を検出する装置及びその方法 |
JP2015147481A (ja) * | 2014-02-06 | 2015-08-20 | オムロン株式会社 | 移動体管理装置 |
US20160364844A1 (en) * | 2015-06-10 | 2016-12-15 | Samsung Electronics Co., Ltd. | Apparatus and method for noise reduction in depth images during object segmentation |
WO2016208215A1 (ja) * | 2015-06-24 | 2016-12-29 | 株式会社村田製作所 | 距離センサ及びユーザインタフェース装置 |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7209221B2 (en) * | 1994-05-23 | 2007-04-24 | Automotive Technologies International, Inc. | Method for obtaining and displaying information about objects in a vehicular blind spot |
US5966678A (en) * | 1998-05-18 | 1999-10-12 | The United States Of America As Represented By The Secretary Of The Navy | Method for filtering laser range data |
WO2005057493A1 (en) * | 2003-12-10 | 2005-06-23 | Agency For Science, Technology And Research | Methods and apparatus for binarising images |
JP2008243184A (ja) * | 2007-02-26 | 2008-10-09 | Fujifilm Corp | 濃淡画像の輪郭補正処理方法及びその装置 |
JP2011511281A (ja) * | 2008-02-04 | 2011-04-07 | テレ アトラス ノース アメリカ インコーポレイテッド | センサにより検出されたオブジェクトとマップマッチングする方法 |
US20140379254A1 (en) * | 2009-08-25 | 2014-12-25 | Tomtom Global Content B.V. | Positioning system and method for use in a vehicle navigation system |
US20130342694A1 (en) * | 2012-06-25 | 2013-12-26 | Tandent Vision Science, Inc. | Method and system for use of intrinsic images in an automotive driver-vehicle-assistance device |
JP5904069B2 (ja) * | 2012-09-13 | 2016-04-13 | オムロン株式会社 | 画像処理装置、オブジェクト検出方法、およびオブジェクト検出プログラム |
LU92074B1 (en) * | 2012-09-18 | 2014-03-19 | Iee Sarl | Depth image enhancement method |
US10003757B2 (en) * | 2012-12-28 | 2018-06-19 | Nokia Technologies Oy | Method and apparatus for de-noising data from a distance sensing camera |
RU2013104895A (ru) * | 2013-02-05 | 2014-08-10 | ЭлЭсАй Корпорейшн | Процессор изображений с функциональностью выбора контуров |
RU2013106513A (ru) * | 2013-02-14 | 2014-08-20 | ЭлЭсАй Корпорейшн | Способ и устройство для улучшения изображения и подтверждения границ с использованием по меньшей мере одного дополнительного изображения |
KR102079686B1 (ko) * | 2013-02-27 | 2020-04-07 | 삼성전자주식회사 | 인텐시티 영상과 깊이 영상을 이용한 컬러 영상 개선 장치 및 방법 |
EP2992357A4 (en) * | 2013-04-29 | 2017-01-18 | Nokia Technologies OY | A method and apparatus for fusing distance data from a distance sensing camera with an image |
US9767545B2 (en) * | 2013-07-16 | 2017-09-19 | Texas Instruments Incorporated | Depth sensor data with real-time processing of scene sensor data |
US9580014B2 (en) * | 2013-08-08 | 2017-02-28 | Convoy Technologies Llc | System, apparatus, and method of detecting and displaying obstacles and data associated with the obstacles |
KR20150037366A (ko) * | 2013-09-30 | 2015-04-08 | 삼성전자주식회사 | 깊이 영상의 노이즈를 저감하는 방법, 이를 이용한 영상 처리 장치 및 영상 생성 장치 |
US10062180B2 (en) * | 2014-04-22 | 2018-08-28 | Microsoft Technology Licensing, Llc | Depth sensor calibration and per-pixel correction |
EP3185180B1 (en) * | 2014-10-23 | 2019-01-02 | Axis AB | Modification of at least one parameter used by a video processing algorithm for monitoring of a scene |
GB2532003A (en) * | 2014-10-31 | 2016-05-11 | Nokia Technologies Oy | Method for alignment of low-quality noisy depth map to the high-resolution colour image |
US9805294B2 (en) * | 2015-02-12 | 2017-10-31 | Mitsubishi Electric Research Laboratories, Inc. | Method for denoising time-of-flight range images |
CN105825494B (zh) * | 2015-08-31 | 2019-01-29 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
JP6607163B2 (ja) * | 2016-10-07 | 2019-11-20 | 株式会社デンソー | 画像処理装置 |
CN106791770B (zh) * | 2016-12-20 | 2018-08-10 | 南阳师范学院 | 一种适用于dibr预处理过程的深度图融合方法 |
US10242454B2 (en) * | 2017-01-25 | 2019-03-26 | Google Llc | System for depth data filtering based on amplitude energy values |
US10445861B2 (en) * | 2017-02-14 | 2019-10-15 | Qualcomm Incorporated | Refinement of structured light depth maps using RGB color data |
WO2019075473A1 (en) * | 2017-10-15 | 2019-04-18 | Analog Devices, Inc. | METHODS AND SYSTEMS FOR PROCESSING FLIGHT TIME DEPTH IMAGE |
-
2018
- 2018-08-21 DE DE112018004891.8T patent/DE112018004891T5/de active Pending
- 2018-08-21 WO PCT/JP2018/030726 patent/WO2019044571A1/ja active Application Filing
- 2018-08-21 US US16/640,855 patent/US11341615B2/en active Active
- 2018-08-21 JP JP2019539380A patent/JPWO2019044571A1/ja active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006011880A (ja) * | 2004-06-25 | 2006-01-12 | Sony Corp | 環境地図作成方法、環境地図作成装置、及び移動型ロボット装置 |
JP2010165183A (ja) * | 2009-01-15 | 2010-07-29 | Panasonic Electric Works Co Ltd | 人体検出装置 |
JP2013187645A (ja) * | 2012-03-06 | 2013-09-19 | Canon Inc | ノイズ低減装置およびノイズ低減方法 |
WO2014157435A1 (ja) * | 2013-03-27 | 2014-10-02 | 株式会社デンソー | 車両に搭載された、物標を検出する装置及びその方法 |
JP2015147481A (ja) * | 2014-02-06 | 2015-08-20 | オムロン株式会社 | 移動体管理装置 |
US20160364844A1 (en) * | 2015-06-10 | 2016-12-15 | Samsung Electronics Co., Ltd. | Apparatus and method for noise reduction in depth images during object segmentation |
WO2016208215A1 (ja) * | 2015-06-24 | 2016-12-29 | 株式会社村田製作所 | 距離センサ及びユーザインタフェース装置 |
Also Published As
Publication number | Publication date |
---|---|
US11341615B2 (en) | 2022-05-24 |
WO2019044571A1 (ja) | 2019-03-07 |
DE112018004891T5 (de) | 2020-06-10 |
US20210183016A1 (en) | 2021-06-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7103359B2 (ja) | 制御装置、および制御方法、プログラム、並びに移動体 | |
JPWO2019044571A1 (ja) | 画像処理装置、および画像処理方法、プログラム、並びに移動体 | |
JP7259749B2 (ja) | 情報処理装置、および情報処理方法、プログラム、並びに移動体 | |
WO2020203657A1 (ja) | 情報処理装置、情報処理方法、及び情報処理プログラム | |
WO2019073920A1 (ja) | 情報処理装置、移動装置、および方法、並びにプログラム | |
WO2019077999A1 (ja) | 撮像装置、画像処理装置、及び、画像処理方法 | |
JPWO2019181284A1 (ja) | 情報処理装置、移動装置、および方法、並びにプログラム | |
WO2020250725A1 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
CN112534487B (zh) | 信息处理设备、移动体、信息处理方法和程序 | |
JP7257737B2 (ja) | 情報処理装置、自己位置推定方法、及び、プログラム | |
JPWO2019082669A1 (ja) | 情報処理装置、情報処理方法、プログラム、及び、移動体 | |
US11363212B2 (en) | Exposure control device, exposure control method, program, imaging device, and mobile body | |
JPWO2019188391A1 (ja) | 制御装置、制御方法、並びにプログラム | |
WO2020116206A1 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
US20220018932A1 (en) | Calibration apparatus, calibration method, program, and calibration system and calibration target | |
JPWO2020116194A1 (ja) | 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体 | |
US20200230820A1 (en) | Information processing apparatus, self-localization method, program, and mobile body | |
JP7192771B2 (ja) | 情報処理装置、情報処理方法、プログラム、及び、車両 | |
JP2019100942A (ja) | 移動体、測位システム、測位プログラム及び測位方法 | |
JP2022017612A (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
WO2020129656A1 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
US20210325176A1 (en) | Information processing device, terminal device, information processing method and information processing program | |
JP6984256B2 (ja) | 信号処理装置、および信号処理方法、プログラム、並びに移動体 | |
JPWO2019049710A1 (ja) | 信号処理装置、および信号処理方法、プログラム、並びに移動体 | |
JPWO2020116204A1 (ja) | 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210709 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220524 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220719 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20221018 |