JPWO2019044571A1 - 画像処理装置、および画像処理方法、プログラム、並びに移動体 - Google Patents

画像処理装置、および画像処理方法、プログラム、並びに移動体 Download PDF

Info

Publication number
JPWO2019044571A1
JPWO2019044571A1 JP2019539380A JP2019539380A JPWO2019044571A1 JP WO2019044571 A1 JPWO2019044571 A1 JP WO2019044571A1 JP 2019539380 A JP2019539380 A JP 2019539380A JP 2019539380 A JP2019539380 A JP 2019539380A JP WO2019044571 A1 JPWO2019044571 A1 JP WO2019044571A1
Authority
JP
Japan
Prior art keywords
unit
image
distance
pixel
intensity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019539380A
Other languages
English (en)
Inventor
雅貴 豊浦
雅貴 豊浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2019044571A1 publication Critical patent/JPWO2019044571A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本開示は、距離画像のノイズを除去させることができるようにする画像処理装置、および画像処理方法、プログラム、並びに移動体に関する。同一のアングルで撮像された被写体までの距離に応じた画素値からなる距離画像と、被写体からの反射光の受光強度に応じた画素値からなる強度画像とを取得し、強度画像における所定の閾値より小さな画素値の画素に対応する、距離画像における画素の画素値を、距離無しの画素に変換することで距離画像のノイズを除去する。本開示は、車載システムに適用することができる。

Description

本開示は、画像処理装置、および画像処理方法、プログラム、並びに移動体に関し、特に、距離画像のエラーを低減できるようにした画像処理装置、および画像処理方法、プログラム、並びに移動体に関する。
投光した光が被写体で反射し、反射した反射光を受光するまでの往復時間に基づいて、画素単位で被写体までの距離を求め、被写体までの距離に応じた画素値とする距離画像のニーズが高まっている。
しかしながら、距離画像においては、反射率が極端に高い被写体などからの高輝度の反射光などにより、実際の被写体までの距離とは異なる距離に基づいた画素値が設定されるエラーが発生することがある。
そこで、この距離画像におけるエラーを低減させる技術として、例えば、撮像装置で撮像した検知エリアの撮像画像と、この検知エリアの背景画像との背景差分画像を生成し、背景差分画像において、オブジェクト検出を行い、ノイズか否かを判定することで、ノイズを除去する技術が提案されている（特許文献１参照）。
また、距離画像を生成する過程において、ノイズを除去する技術が提案されている（特許文献２参照）。
特開２０１４−０５６４９４号公報 特表２０１６−５０９２０８号公報
しかしながら、特許文献１の技術においては、背景差分画像を用いて、オブジェクト検出を行ってノイズを検出して除去しているため、背景が移動する場合や、自らが移動する場合には適切にノイズを検出できない恐れがあった。
また、特許文献２の技術においては、距離画像を生成する過程における技術であるため、一度生成された距離画像のノイズを除去することができない恐れがあった。
本開示は、このような状況に鑑みてなされたものであり、特に、距離画像に含まれるノイズを除去できるようにするものである。
本開示の一側面の画像処理装置は、撮像された被写体までの距離に応じた画素値からなる距離画像を取得する距離画像取得部と、投光された光の前記被写体からの反射光の受光強度に応じた画素値からなる強度画像を取得する強度画像取得部と、前記強度画像における所定の閾値より小さな画素値の画素に対応する、前記距離画像における画素の画素値を、所定の画素値に変換することで前記距離画像のノイズを除去するノイズ除去部とを含む画像処理装置である。
前記強度画像の画素値のヒストグラムを生成し、前記ヒストグラムにおける変化点となる画素値を前記所定の閾値に決定する閾値決定部をさらに含ませるようにすることができる。
前記強度画像にノイズを除去する所定のフィルタを用いた処理を施すフィルタ処理部をさらに含ませるようにすることができる。
前記フィルタは、バイラテラルフィルタとしてもよい。
前記ノイズ除去部には、前記強度画像における所定の閾値より小さな画素値の画素に対応する、前記距離画像における画素の画素値を、前記距離が検出されない未検出画素に変換することで前記距離画像のノイズを除去させるようにしてもよい。
光を投光する投光部と、前記投光部により投光された光が、前記被写体により反射された反射光を受光する受光部と、前記投光部が前記光を投光してから、前記受光部が前記反射光を受光するまでの時間に基づいて、画素単位で前記被写体までの距離を求め、前記被写体までの距離に応じた画素値からなる距離画像を生成する距離画像生成部と、前記受光部が画素単位で受光する前記反射光の強度に応じた画素値からなる強度画像を生成する強度画像生成部とをさらに含ませるようにしてもよく、前記距離画像取得部には、前記距離画像生成部により生成された距離画像を、撮像された被写体までの距離に応じた画素値からなる距離画像として取得させ、前記強度画像取得部には、前記強度画像生成部により生成された強度画像を、投光された光の前記被写体からの反射光の受光強度に応じた画素値からなる強度画像として取得させるようにすることができる。
前記投光部には、赤外光を投光させるようにすることができる。
前記距離画像は、三角測量方式を用いた赤外線測距センサにより生成されるようにしてもよい。
前記距離画像は、Structured Light方式を用いた測距センサにより生成されるようにしてもよい。
前記距離画像は、ステレオカメラセンサにより生成されるようにしてもよい。
前記距離画像は、LiDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）により測定される３次元点群に基づいて生成されるようにしてもよい。
本開示の一側面の画像処理方法は、撮像された被写体までの距離に応じた画素値からなる距離画像を取得する距離画像取得処理と、投光された光の前記被写体からの反射光の受光強度に応じた画素値からなる強度画像を取得する強度画像取得処理と、前記強度画像における所定の閾値より小さな画素値の画素に対応する、前記距離画像における画素の画素値を、所定の画素値に変換するノイズ除去処理とを含む画像処理方法である。
本開示の一側面のプログラムは、撮像された被写体までの距離に応じた画素値からなる距離画像を取得する距離画像取得部と、投光された光の前記被写体からの反射光の受光強度に応じた画素値からなる強度画像を取得する強度画像取得部と、前記強度画像における所定の閾値より小さな画素値の画素に対応する、前記距離画像における画素の画素値を、所定の画素値に変換するノイズ除去部とを含む処理をコンピュータに実行させるプログラムである。
本開示の一側面の移動体は、撮像された被写体までの距離に応じた画素値からなる距離画像を取得する距離画像取得部と、投光された光の前記被写体からの反射光の受光強度に応じた画素値からなる強度画像を取得する強度画像取得部と、前記強度画像における所定の閾値より小さな画素値の画素に対応する、前記距離画像における画素の画素値を、所定の画素値に変換するノイズ除去部と、前記ノイズが除去された前記距離画像に基づいて、環境マップを生成する状況分析部と、前記状況分析部により生成された前記環境マップに基づいて、移動経路を計画する計画部と、前記計画部により計画された移動経路に基づいて動作を制御する動作制御部とを含む移動体である。
本開示の一側面においては、撮像された被写体までの距離に応じた画素値からなる距離画像が取得され、投光された光の前記被写体からの反射光の受光強度に応じた画素値からなる強度画像が取得され、前記強度画像における所定の閾値より小さな画素値の画素に対応する、前記距離画像における画素の画素値が、所定の画素値に変換されることで前記距離画像のノイズが除去される。
本開示の一側面によれば、距離画像に含まれるノイズを除去することが可能となる。
本開示の概要を説明する図である。 本開示の車両制御システムの構成例を説明するブロック図である。 図２の車両制御システムにおける距離画像を生成する構成例を説明する図である。 エラーを除去する上で、赤外画像における物体からの反射光が受光できたことを示す強度の閾値の決定方法を説明する図である。 ノイズの除去方法を説明する図である。 距離画像ノイズ除去処理を説明するフローチャートである。 距離画像ノイズ除去処理を説明する図である。 本開示の技術をロボットに適用した場合の構成例を説明するブロック図である。 汎用のコンピュータの構成例を説明する図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．本開示の概要
２．本開示の実施の形態
３．応用例
４．ソフトウェアにより実行させる例
＜＜１．本開示の概要＞＞
本開示の移動体は、自らの周囲の状況の情報として取得する距離画像に含まれるノイズを除去し、ノイズが除去された距離画像に基づいて、自律的に自動運転する移動体である。
距離画像は、一般に、ToF（Time of Flight）カメラと呼ばれるカメラにより撮像される。ToFカメラは、赤外光を投光し、被写体により反射された反射光を受光し、投光したタイミングから受光するタイミングまでの時間、すなわち、投光した光が自らと被写体とを往復する往復時間に基づいて、被写体までの距離を測定し、測定結果に対応する画素値からなる画像を距離画像として生成する。
例えば、図１の左部で示されるような室内の白黒画像からなる画像Ｐ１が撮像される場合を考える。ここで、図１の画像Ｐ１においては、画像内の左部に撮像位置から近い位置の壁Ｗが映し出され、右下部においては、床Ｆが映し出され、床Ｆ上の左側に椅子Ｃが映し出され、その右側に机Ｄが映し出され、右上部に照明を含む天井の範囲Ｚ０が映し出されている。
図１の中央上部の画像Ｐ２は、画像Ｐ１を撮像する際の同一の撮像位置から、同一のアングルで撮像した距離画像である。
画像Ｐ２においては、画像Ｐ１の比較的近い壁Ｗ、床Ｆ、椅子Ｃ、および机Ｄのそれぞれに対応する範囲が、画素単位で撮像位置からの距離に応じた色が付された画像とされている。ただし、画像Ｐ２において黒色は、距離が測定できなかった未検出の範囲を示している。
ここで、画像Ｐ１の天井の範囲Ｚ０に対応する、画像Ｐ２の天井付近の範囲Ｚ１については、壁Ｗよりも遠いにもかかわらず、右側の一部の範囲において壁Ｗと同一の距離であるかのような不適切な配色がなされており、ノイズとなっていることが表されている。
投光された赤外光を反射する被写体が、赤外光を投光する位置から極めて近い場合、または、反射率が高い場合、照射した赤外光が乱反射することがある。被写体が遠方にあるなどして赤外光の反射が返ってこない領域については、未検出の範囲となるはずであるが、乱反射光が支配的になってしまうことがあり、画像Ｐ２における範囲Ｚ１で示されるように、未検出を表す黒色にならず、距離を表す色が付されて、ノイズとして現れてしまうことがある。
本開示においては、投光した赤外光が被写体により反射することで発生する反射光の受光強度からなる赤外画像を用いて、乱反射により生じるノイズを除去する。
画像Ｐ１に対応する赤外画像は、例えば、図１の右部の画像Ｐ３である。画像Ｐ３は、画像Ｐ１と同一の撮像位置から同一のアングルで撮像した赤外画像である。
画像Ｐ３においては、投光した赤外光が被写体により反射し、反射した光の強度に応じた画素値からなる画像であるが、画像Ｐ２の範囲Ｚ１に対応する、範囲Ｚ２においては、黒色画素、すなわち、反射光が検出されず、被写体が撮像位置からみて遠い位置であることが表されている。
そこで、本開示においては、距離画像からなる画像Ｐ２と、赤外画像からなる画像Ｐ３とを比較して、赤外画像である画像Ｐ３において、黒色画素で示されるような、被写体が撮像位置から見て明らかに遠い領域の画素については、距離画像である画像Ｐ２において、何らかの距離を表す画素値であったとしてもノイズであるものとみなし、未検出の画素に置き換える。
このような処理により、距離画像である画像Ｐ２の範囲Ｚ１について右側の一部の範囲において距離が求められた黒色画素以外の画素となっているが、対応する赤外画像である画像Ｐ３の範囲Ｚ２は、黒色画素から構成されており、被写体が遠い位置であることが表されているので、範囲Ｚ１の画素は未検出画素であることを示す黒色画素に置換することで、図１の中央下部で示されるような、距離画像からなる画像Ｐ４が生成される。
結果として、距離画像である画像Ｐ２における範囲Ｚ１で示されるような、一部において距離が求められたように色が付された画素については、ノイズとみなされ、画像Ｐ４で示されるように除去されるので、距離画像におけるノイズを除去することが可能となる。
＜＜２．本開示の実施の形態＞＞
本開示の移動体は、自らの周囲の状況として取得する距離画像に含まれるノイズを除去し、ノイズ除去された距離画像に基づいて、環境マップを生成し、環境マップに応じた移動経路を計画し、計画された移動経路を自律的に移動する移動体である。以降において、本開示の移動体については、車両である場合の例について説明を進めるが、移動体であれば、車両以外であってよいことはいうまでもない。
図２は、本技術が適用され得る移動体制御システムの一例である車両１１の車両制御システム１００の概略的な機能の構成例を示すブロック図である。
なお、以下、車両制御システム１００が設けられている車両１１を他の車両と区別する場合、自車又は自車両と称する。
車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、及び、自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。
なお、以下、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。
入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。
データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。
例えば、データ取得部１０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
また、例えば、データ取得部１０２は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。
さらに、例えば、データ取得部１０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。
また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である。
例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）、又は、ＷＵＳＢ（Wireless USB）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又は、ＭＨＬ（Mobile High-definition Link）等により、車内機器１０４と有線通信を行う。
さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Peer To Peer）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Machine Type Communication）端末）との通信を行う。さらに、例えば、通信部１０３は、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、自車と家との間（Vehicle to Home）の通信、及び、歩車間（Vehicle to Pedestrian）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
出力制御部１０５は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。
出力部１０６は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。
駆動系システム１０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock Brake System）、ＥＳＣ（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。
ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。
ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。
記憶部１１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。
検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３を備える。
車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
車内情報検出部１４２は、車両制御システム１００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。
状況分析部１３３は、自車及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、状況予測部１５４を備える。
マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。
状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部１５３は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Occupancy Grid Map）とされる。
認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。
状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２及び状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部１５４は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。
予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２及び状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。
行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した自車の行動を示すデータを動作計画部１６３等に供給する。
動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部１６３は、計画した自車の動作を示すデータを、動作制御部１３５の加減速制御部１７２及び方向制御部１７３等に供給する。
動作制御部１３５は、自車の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、及び、方向制御部１７３を備える。
緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部１７１は、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３等に供給する。
加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
＜距離画像を生成する構成例＞
次に、図３を参照して、図１の車両制御システム１００における、距離画像を生成する構成例について説明する。
距離画像を生成する構成は、図１の車両制御システム１００におけるデータ取得部１０２および車外情報検出部１４１より構成される。
データ取得部１０２は、距離画像と赤外光の強度を画素値とする赤外画像とを生成するToF（Time of Flight）センサ１８１を備える。また、車外情報検出部１４１は、距離画像および赤外画像の入力を受け付ける画像入力部２０１、並びに、赤外画像を用いて、距離画像におけるノイズを除去する画像処理部２０２を備えている。
より詳細には、ToFセンサ１８１は、赤外光投光部１９１、赤外光受光部１９２、距離画像生成部１９３、および赤外画像生成部１９４を備えている。
赤外光投光部１９１は、監視対象となる、例えば、車両１１の走行方向前方に対して赤外光を投光する。尚、赤外光投光部１９１は、赤外光を投光するとき、赤外光を投光するタイミングを示す信号を距離画像生成部１９３に出力する。
赤外光受光部１９２は、赤外光投光部１９１により投光された赤外光が、被写体により反射される赤外光を受光し、受光したタイミングを画素単位で距離画像生成部１９３に出力し、受光強度の情報を画素単位で赤外画像生成部１９４に出力する。
距離画像生成部１９３は、赤外光投光部１９１より赤外光が投光されたタイミングと、赤外光受光部１９２より供給される画素単位の受光されたタイミングとに基づいて、赤外光の被写体との往復時間から距離を求め、求めた距離に対応する画素値からなる距離画像を生成して、車外情報検出部１４１に出力する。
赤外画像生成部１９４は、赤外光受光部１９２より供給される画素単位の赤外光の受光強度の情報に基づいて、受光強度に対応する画素値からなる赤外画像を生成して、車外情報検出部１４１に出力する。
すなわち、ToFセンサ１８１は、赤外光を投光し、投光した赤外光の被写体からの反射光を受光し、距離画像と赤外画像とを生成して車外情報検出部１４１に出力する。尚、図３のToFセンサ１８１は、赤外画像と距離画像とを生成するにあたって、同一の赤外光投光部１９１から投光された同一の赤外光を用いる構成例であるが、赤外画像と距離画像とのそれぞれに必要とされる赤外光を個別の２個の投光部から投光するようにしてもよい。ただし、この場合、２個の投光部は、ほぼ同一のアングルから、ほぼ同一のタイミングで同期して投光することが望ましい。
車外情報検出部１４１は、画像入力部２０１および画像処理部２０２を備えており、距離画像および赤外画像の入力を受け付けて、距離画像のノイズを除去して出力する。
より詳細には、画像入力部２０１は、赤外画像入力部２１１および距離画像入力部２１２を備えている。赤外画像入力部２１１は、データ取得部１０２のToFセンサ１８１より入力される赤外画像を受け付けて、画像処理部２０２のフィルタ処理部２２１に出力する。距離画像入力部２１２は、データ取得部１０２のToFセンサ１８１より入力される距離画像を受け付けて、画像処理部２０２の距離画像ノイズ除去部２２３に出力する。
画像処理部２０２は、フィルタ処理部２２１、閾値決定部２２２、および距離画像ノイズ除去部２２３を備えている。
フィルタ処理部２２１は、赤外画像のノイズを除去するフィルタ処理を施し、閾値決定部２２２および距離画像ノイズ除去部２２３に出力する。フィルタ処理は、輪郭を維持しつつノイズを除去する、例えば、バイラテラルフィルタのようなフィルタを用いた処理が望ましい。また、赤外画像に、予めノイズが少なく、無視できる程度であることが予めわかっている場合、フィルタ処理部２２１は、省略するようにしてもよい。
閾値決定部２２２は、赤外画像のうち、投光した赤外光が被写体で反射してこなかった画素とみなすことができる強度の閾値を決定する。より具体的には、閾値決定部２２２は、赤外画像における強度に対応する画素値について、例えば、図４で示されるようにヒストグラムを求め、ヒストグラムの勾配の変化点より反射光が受光されていないとみなされる強度の閾値を決定する。尚、図４は、横軸が受光強度であり、縦軸が、受光強度毎の頻度、すなわち、対応する強度の画素数である。
例えば、図４のヒストグラムの場合、強度Ｐで、分布を示す頻度が急激に変化している。つまり、矢印で範囲が示される強度Ｐよりも受光強度の高い画素については、反射光が受光された適正な強度の画素分布であるとみなせる。これに対して、図４のヒストグラムの勾配における強度Ｐより小さい強度の画素の分布については、分布が急激に変化するため、反射光が受光された場合の強度ではないものとみなせる。
そこで、閾値決定部２２２は、受光強度のヒストグラムにおける強度Ｐで示されるような変化点の位置に基づいて、反射光として受光されている赤外光の強度の最低値となる閾値を決定し、距離画像ノイズ除去部２２３に出力する。したがって、図４の例においては、閾値は、変化点となる強度Ｐに対応する閾値Ｖｔｈとなる。
距離画像ノイズ除去部２２３は、赤外画像の各画素の受光強度に対応して設定された画素値が閾値より小さいか否かに基づいて、距離画像の各画素の画素値を未検出の画素に設定することによりノイズを除去し、出力する。
例えば、図５の左上部で示されるような赤外画像Ｐ１１と、左下部で示されるような距離画像Ｐ１２とがToFセンサ１８１により撮像される場合において、それぞれに対応する領域Ｚ１１からなる図５の中央上部の画像Ｐ１３と、領域Ｚ１２からなる図５の中央下部の画像Ｐ１４とを考える。
赤外画像である画像Ｐ１３において、図中の上部は、黒色画素からなり赤外光の反射光が受光されなかったことが示されている。これに対して、距離画像である画像Ｐ１４における図中の上部には、領域Ｚ２１に何らかの距離を示す画素が含まれている。領域Ｚ２１に対応する、赤外画像である画像Ｐ１３においては、赤外光の受光がないので、画像Ｐ１４における領域Ｚ２１には、ノイズが発生していると考えることができる。
そこで、距離画像ノイズ除去部２２３は、赤外画像である画像Ｐ１３における各画素について、閾値決定部２２２より供給されてくる閾値よりも小さな画素値であるときには、距離画像である画像Ｐ１４における対応する位置の画素の画素値を、未検出画素（距離無し画素）に設定することで、ノイズを除去する。
この結果、入力時には、距離画像である画像Ｐ１４の領域Ｚ２１において、ノイズが発生した状態であるが、領域Ｚ２１に対応する、赤外画像である画像Ｐ１３の画素が閾値より小さい画素値であるので、対応する距離画像である画像Ｐ１４の領域Ｚ２１の画素の画素値については、画素値が０となる未検出画素（黒色画素）に置換される。この置換により、画像Ｐ１５で示されるようにノイズを除去することが可能となる。
＜距離画像ノイズ除去処理＞
次に、図６のフローチャートを参照して、図３の距離画像を生成する構成による、距離画像ノイズ除去処理について説明する。
ステップＳ１１において、データ取得部１０２におけるToFセンサ１８１の赤外光投光部１９１は、監視領域である、例えば、車両１１の走行方向前方に対して赤外光を投光する。この際、赤外光投光部１９１は、赤外光を投光したタイミングの情報を距離画像生成部１９３に出力する。
ステップＳ１２において、赤外光受光部１９２は、赤外光投光部１９１により投光された赤外光のうち、被写体により反射された赤外光を受光し、画素単位の受光タイミングの情報を距離画像生成部１９３に出力すると共に、画素単位の赤外光の受光強度を赤外画像生成部１９４に出力する。
ステップＳ１３において、距離画像生成部１９３は、赤外光受光部１９２より供給される各画素の受光タイミングの情報と、赤外光投光部１９１より赤外光が投光されたタイミングの情報とから、画素単位で赤外光の被写体との往復時間を求め、往復時間に基づいて被写体までの距離を求め、求めた距離に対応する画素値からなる距離画像を生成して車外情報検出部１４１に出力する。尚、往復時間の測定には、一般には、送受信時の位相差が測定されて用いられる。
ステップＳ１４において、赤外画像生成部１９４は、赤外光受光部１９２より供給される画素単位の赤外光の受光強度を画素値とする赤外画像を生成して車外情報検出部１４１に出力する。
ステップＳ１５において、車外情報検出部１４１における画像入力部２０１の赤外画像入力部２１１および距離画像入力部２１２は、それぞれ赤外画像の入力を受け付けて、画像処理部２０２のフィルタ処理部２２１に出力すると共に、距離画像の入力を受け付けて、画像処理部２０２の距離画像ノイズ除去部２２３に出力する。
ステップＳ１６において、フィルタ処理部２２１は、赤外画像に対して、バイラテラルフィルタ処理などにより輪郭を維持しつつノイズを除去し、閾値決定部２２２および距離画像ノイズ除去部２２３に出力する。
ステップＳ１７において、閾値決定部２２２は、図８を参照して説明したように、ノイズが除去された赤外画像の各画素の画素値によりヒストグラムを求め、変化点から閾値を決定し、距離画像ノイズ除去部２２３に出力する。
ステップＳ１８において、距離画像ノイズ除去部２２３は、赤外画像の各画素について、画素値が、ステップＳ１７の処理で求められた閾値よりも小さく、すなわち、赤外光の反射がなく、未検出画素とみなせるか否かを判定する。そして、距離画像ノイズ除去部２２３は、赤外光の反射がない未検出画素とみなせる場合、距離画像の対応する位置の画素の画素値を０、すなわち、未検出画素（黒色画素）に置換して設定することでノイズを除去し、それ以外の場合、距離画像の距離に対応する画素値をそのまま採用する。
ステップＳ１９において、距離画像ノイズ除去部２２３は、ノイズを除去した距離画像を出力する。
以上の一連の処理により、例えば、図７の左部で示されるようなモノクロ画像Ｐ５１が撮像される撮像位置と同一の撮像位置から同一のアングルでToFセンサ１８１を用いると、図７の中央上段の赤外画像Ｐ５２と図７の中央下段の距離画像Ｐ５３とが撮像される。
尚、図７の左部のモノクロ画像Ｐ５１においては、駐車場の画像であり、画像の中央部にトラックが止められており、その背景に空が映し出されている。したがって、図７の中央上段の赤外画像Ｐ５２で示されるように、背景の空の領域からは赤外光の反射がないので、画素値が０、すなわち、黒色画素が設定されている。
しかしながら、図７の中央下段の距離画像Ｐ５３においては、背景となる空の領域においては、何らかの距離が測定されている領域が、赤外光の乱反射の影響と思われるノイズとして斑点状に発生している。
このような場合、上述した一連の処理により、赤外画像Ｐ５２における空の領域において、所定の閾値よりも小さな画素値となる画素については、距離画像Ｐ５３のおける対応する領域の画素の画素値が未検出画素、すなわち、距離の無い、画素値が０の黒色画素とされる。これにより、図７の右部で示される距離画像Ｐ５４で示されるように空の領域においては、黒色画素が設定されて、ノイズを除去することが可能となる。
尚、以上においては、赤外画像と距離画像とを生成し、赤外画像内において、所定の閾値よりも小さい画素値となる画素に対応する位置の、距離画像における画素の画素値を黒色画素である未検出画素にすることでノイズを除去する例について説明してきたが、黒色に近い画素であればよい。例えば、黒色に近い小さな画素値を所定の画素値として置換するようにしてもよい。
また、以上においては、データ取得部１０２において、ToFセンサ１８１を設けて、赤外光を用いた距離画像と赤外画像とを測定する例について説明してきたが、被写体までの往復時間の測定と、受光強度とが求められればよい。たとえば、赤外光以外の光を投光して、受光するようにしてもよい。
さらに、ToFセンサに代えて、赤外線測距センサ（三角測量方式）を用いるようにしてもよい。赤外線測距センサは、赤外光を、レンズを通して照射し、対象物によって反射されてきた光を、レンズを通して撮像素子上に受光する。この時、対象物の距離に応じて受光素子上の受光位置が変化する。赤外線測距センサは、この位置の変化を観測し、三角測量の原理により被写体までの距離を測定し距離画像を生成する。また、赤外線測距センサは、この時の反射強度を用いることで赤外画像を生成する。
また、同様に、ToFセンサに代えて、Structured Light方式を用いた測距センサを用いるようにしてもよい。Structured Light方式を用いた測距センサは、事前に形状の把握できているボロノイパターンやグリッドパターンなどを物体に投影し、その物体に投影されたパターンの歪みに基づいて、物体までの３次元距離を計測することで距離画像を生成する。Structured Light方式を用いた測距センサは、ToFセンサ１８１などの方式と同様、赤外光を受信した赤外画像を生成する。
さらに、同様に、ToFセンサ１８１に代えて、ステレオカメラセンサを用いるようにしてもよい。ステレオカメラセンサは、２つのカメラから構成されており、２つのカメラ画像の中から、画像処理などによって同一の被写体領域を検出し、被写体までの視差を算出する。ステレオカメラセンサは、この視差から、三角測量によって距離画像を生成する。ステレオカメラセンサは、赤外光を照射し、その反射光をステレオ処理するアクティブな方式と、可視光を受光した画像からステレオ処理するパッシブな方式の両方がある。アクティブ方式のステレオカメラセンサは、赤外光を受信した赤外画像を生成することが可能である。また、パッシブ方式のステレオカメラセンサは、受光の輝度値を赤外反射強度として用いることができ、赤外画像を生成することができる。
また、同様に、ToFセンサに代えて、LiDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）を用いるようにしてもよい。LiDARは、赤外光を照射し、その反射光からセンサ周囲の障害物までの３次元点群を得ることができるセンサであり、測距方式としてはToF方式が一般的である。LiDARは、３次元点群を構成する３次元点のそれぞれに対して、赤外光の反射強度が得られるため、赤外画像を生成することができ、３次元点群を距離画像として用いることで、本開示に適用することができる。
＜＜３．応用例＞＞
以上においては、移動体の例として車両１１を用いる例について説明してきたが、移動体は、車両以外であってもよく、例えば、移動可能なロボットであってもよい。
図８は、本開示の技術を自律移動型のロボットに応用した時のモジュール構成例を示している。この例では、ToFセンサを使って障害物を検出し、目的地まで自律移動するシステムを想定している。
より詳細には、図８のロボット３０１は、センサ部３２１、センサ制御部３２２、認識部３２３、行動計画部３２４、モータ制御部３２５、およびモータ３２６より構成される。
センサ部３２１は、ToF撮像装置３４１からなり、ToF撮像装置３４１は、赤外光照射部３５１、赤外光受信部３５２、距離画像生成部３５３、および赤外画像生成部３５４を備えている。尚、ToF撮像装置３４１は、ToFセンサ１８１と対応する構成であり、赤外光照射部３５１、赤外光受信部３５２、距離画像生成部３５３、および赤外画像生成部３５４は、それぞれ赤外光投光部１９１、赤外光受光部１９２、距離画像生成部１９３、および赤外画像生成部１９４に対応するものであり、同様の機能のものであるので、その説明は省略する。
センサ制御部３２２は、画像処理装置３６１からなり、画像処理装置３６１は、画像入力部３７１および画像処理部３７２を備えている。尚、画像処理装置３６１は、図３の車外情報検出部１４１に対応するものであり、画像入力部３７１および画像処理部３７２は、画像入力部２０１および画像処理部２０２と対応するものであり、同様の機能を備えるものであるので、その説明は省略する。
認識部３２３は、センサ制御部３２２より出力されるノイズ除去された距離画像に基づいて、障害物を検出し、検出した障害物に基づいて、移動用地図を生成し、行動計画部３２４に出力する。
より詳細には、認識部３２３は、障害物検出部３８１および移動用地図生成部３８２を備えている。障害物検出部３８１は、距離画像に基づいて、障害物を検出し、移動用地図生成部３８２に出力する。移動用地図生成部３８２は、障害物検出部３８１により検出された障害物の情報に基づいて、移動用地図を生成し、行動計画部３２４に出力する。
行動計画部３２４は、移動用地図に基づいて、移動経路を計画して生成し、生成した移動経路に対して追従するようにモータ制御部３２５に指令を送る。
より詳細には、行動計画部３２４は、移動経路生成部３９１および経路追従部３９２を備えている。移動経路生成部３９１は、移動用地図に基づいて、移動経路を計画して生成し、移動経路の情報を経路追従部３９２に出力する。経路追従部３９２は、移動経路の情報に基づいて、ロボットを追従して移動させるために必要な各種のモータ３２６を制御するコマンドを生成し、モータ制御部３２５に出力する。
モータ制御部３２５は、モータ駆動制御部４０１を備えており、モータ駆動制御部４０１は、モータを制御するコマンドに基づいて、モータ３２６の駆動を制御する。
モータ３２６は、自らを駆動させるための各種のHW（Hardware）４１１から構成されており、モータ制御部３２５により駆動が制御される。
以上のような構成により、センサ部３２１は、ToF撮像装置３４１を制御して、周囲の距離画像と赤外画像とを撮像させ、センサ制御部３２２に出力する。
センサ制御部３２２は、画像処理装置３６１を制御して、赤外画像を利用して、距離画像よりノイズを除去し、ノイズを除去した距離画像を認識部３２３に出力する。
認識部３２３は、障害物検出部３８１を制御して、距離画像に基づいて、障害物を検出させる。そして、認識部３２３は、移動用地図生成部３８２を制御して、ロボット３０１の自らが移動可能な領域を表現する移動用地図を生成させ、行動計画部３２４に出力させる。
行動計画部３２４は、移動経路生成部３９１を制御して、移動用地図を用いて、定められた目的地までの移動経路を生成させる。そして、行動計画部３２４は、経路追従部３９２を制御して、ロボット３０１の機体の運動性能などを考慮した上で、移動経路を細かく解析し、実際にロボット３０１の機体が追従可能な、すなわち、移動可能な経路を構成し、移動可能な経路を移動できるコマンドをモータ制御部３２５に出力する。
モータ制御部３２５は、モータ駆動制御部４０１を制御して、ロボット３０１の機体が追従可能な経路を、移動できるように、モータ３２６のHW４１１の駆動を制御する。
以上のような構成により、図３のデータ取得部１０２および車外情報検出部１４１に対応するセンサ部３２１およびセンサ制御部３２２による、図６のフローチャートを参照して説明した距離画像ノイズ除去処理が実行されることにより、ノイズが除去された距離画像が生成されることになる。
結果として、認識部３２３における障害物検出において実際には存在しない位置に障害物が検出されるといった誤検出を低減させることが可能となり、実際には移動可能な領域であるのに走行できない、ノイズによる誤検出で急停止してしまうといった移動に伴うトラブルを抑制させることが可能となる。
＜＜４．ソフトウェアにより実行させる例＞＞
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、記録媒体からインストールされる。
図９は、汎用のコンピュータの構成例を示している。このコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
尚、図９におけるCPU１００１が、図２における自動運転制御部１１２の機能を実現させる。また、図９における記憶部１００８が、図２における記憶部１１１を実現する。
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
尚、本開示は、以下のような構成も取ることができる。
＜１＞ 撮像された被写体までの距離に応じた画素値からなる距離画像を取得する距離画像取得部と、
投光された光の前記被写体からの反射光の受光強度に応じた画素値からなる強度画像を取得する強度画像取得部と、
前記強度画像における所定の閾値より小さな画素値の画素に対応する、前記距離画像における画素の画素値を、所定の画素値に変換することで前記距離画像のノイズを除去するノイズ除去部と
を含む画像処理装置。
＜２＞ 前記強度画像の画素値のヒストグラムを生成し、前記ヒストグラムにおける変化点となる画素値を前記所定の閾値に決定する閾値決定部をさらに含む
＜１＞に記載の画像処理装置。
＜３＞ 前記強度画像にノイズを除去する所定のフィルタを用いた処理を施すフィルタ処理部をさらに含む
＜２＞に記載の画像処理装置。
＜４＞ 前記フィルタは、バイラテラルフィルタである
＜３＞に記載の画像処理装置。
＜５＞ 前記ノイズ除去部は、前記強度画像における所定の閾値より小さな画素値の画素に対応する、前記距離画像における画素の画素値を、前記距離が検出されない未検出画素に変換することで前記距離画像のノイズを除去する
＜１＞乃至＜４＞のいずれかに記載の画像処理装置。
＜６＞ 光を投光する投光部と、
前記投光部により投光された光が、前記被写体により反射された反射光を受光する受光部と、
前記投光部が前記光を投光してから、前記受光部が前記反射光を受光するまでの時間に基づいて、画素単位で前記被写体までの距離を求め、前記被写体までの距離に応じた画素値からなる距離画像を生成する距離画像生成部と、
前記受光部が画素単位で受光する前記反射光の強度に応じた画素値からなる強度画像を生成する強度画像生成部とをさらに含み、
前記距離画像取得部は、前記距離画像生成部により生成された距離画像を、撮像された被写体までの距離に応じた画素値からなる距離画像として取得し、
前記強度画像取得部は、前記強度画像生成部により生成された強度画像を、投光された光の前記被写体からの反射光の受光強度に応じた画素値からなる強度画像として取得する
＜１＞乃至＜５＞のいずれかに記載の画像処理装置。
＜７＞ 前記投光部には、赤外光を投光する
＜６＞に記載の画像処理装置。
＜８＞ 前記距離画像は、三角測量方式を用いた赤外線測距センサにより生成される
＜１＞乃至＜５＞のいずれかに記載の画像処理装置。
＜９＞ 前記距離画像は、Structured Light方式を用いた測距センサにより生成される
＜１＞乃至＜５＞のいずれかに記載の画像処理装置。
＜１０＞ 前記距離画像は、ステレオカメラセンサにより生成される
＜１＞乃至＜５＞のいずれかに記載の画像処理装置。
＜１１＞ 前記距離画像は、LiDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）により測定される３次元点群に基づいて生成される
＜１＞乃至＜５＞のいずれかに記載の画像処理装置。
＜１２＞ 撮像された被写体までの距離に応じた画素値からなる距離画像を取得する距離画像取得処理と、
投光された光の前記被写体からの反射光の受光強度に応じた画素値からなる強度画像を取得する強度画像取得処理と、
前記強度画像における所定の閾値より小さな画素値の画素に対応する、前記距離画像における画素の画素値を、所定の画素値に変換するノイズ除去処理と
を含む画像処理方法。
＜１３＞ 撮像された被写体までの距離に応じた画素値からなる距離画像を取得する距離画像取得部と、
投光された光の前記被写体からの反射光の受光強度に応じた画素値からなる強度画像を取得する強度画像取得部と、
前記強度画像における所定の閾値より小さな画素値の画素に対応する、前記距離画像における画素の画素値を、所定の画素値に変換するノイズ除去部と
を含む処理をコンピュータに実行させるプログラム。
＜１４＞ 撮像された被写体までの距離に応じた画素値からなる距離画像を取得する距離画像取得部と、
投光された光の前記被写体からの反射光の受光強度に応じた画素値からなる強度画像を取得する強度画像取得部と、
前記強度画像における所定の閾値より小さな画素値の画素に対応する、前記距離画像における画素の画素値を、所定の画素値に変換するノイズ除去部と、
前記ノイズが除去された前記距離画像に基づいて、環境マップを生成する状況分析部と、
前記状況分析部により生成された前記環境マップに基づいて、移動経路を計画する計画部と、
前記計画部により計画された移動経路に基づいて動作を制御する動作制御部と
を含む移動体。
１１ 車両， １４１ 車外情報検出部， １８１ ToFセンサ， １９１ 赤外光投光部， １９２ 赤外光受光部， １９３ 距離画像生成部， １９４ 赤外画像生成部， ２０１ 画像入力部， ２０２ 画像処理部， ２１１ 赤外画像入力部， ２１２ 距離画像入力部， ２２１ フィルタ処理部， ２２２ 閾値決定部， ２２３ 距離画像ノイズ除去部， ３０１ ロボット， ３２１ センサ部， ３２２ センサ制御部， ３２３ 認識部， ３２４ 行動計画部， ３２５ モータ制御部， ３２６ モータ， ３４１ ToF撮像部， ３５１ 赤外光照射部， ３５２ 赤外光受信部， ３５３ 距離画像生成部， ３５４ 赤外画像生成部， ３６１ 画像処理装置， ３７１ 画像入力部， ３７２ 画像処理部， ３８１ 障害物検出部， ３８２ 移動用地図生成部， ３９１ 移動経路生成部， ３９２ 経路追従部， ４０１ モータ駆動制御部， ４１１ HW（Hardware）

Claims (14)

  1. 撮像された被写体までの距離に応じた画素値からなる距離画像を取得する距離画像取得部と、
    投光された光の前記被写体からの反射光の受光強度に応じた画素値からなる強度画像を取得する強度画像取得部と、
    前記強度画像における所定の閾値より小さな画素値の画素に対応する、前記距離画像における画素の画素値を、所定の画素値に変換するノイズ除去部と
    を含む画像処理装置。
  2. 前記強度画像の画素値のヒストグラムを生成し、前記ヒストグラムにおける変化点となる画素値を前記所定の閾値に決定する閾値決定部をさらに含む
    請求項１に記載の画像処理装置。
  3. 前記強度画像にノイズを除去する所定のフィルタを用いた処理を施すフィルタ処理部をさらに含む
    請求項２に記載の画像処理装置。
  4. 前記フィルタは、バイラテラルフィルタである
    請求項３に記載の画像処理装置。
  5. 前記ノイズ除去部は、前記強度画像における所定の閾値より小さな画素値の画素に対応する、前記距離画像における画素の画素値を、前記距離が検出されない未検出画素に変換することで前記距離画像のノイズを除去する
    請求項１に記載の画像処理装置。
  6. 光を投光する投光部と、
    前記投光部により投光された光が、前記被写体により反射された反射光を受光する受光部と、
    前記投光部が前記光を投光してから、前記受光部が前記反射光を受光するまでの時間に基づいて、画素単位で前記被写体までの距離を求め、前記被写体までの距離に応じた画素値からなる距離画像を生成する距離画像生成部と、
    前記受光部が画素単位で受光する前記反射光の強度に応じた画素値からなる強度画像を生成する強度画像生成部とをさらに含み、
    前記距離画像取得部は、前記距離画像生成部により生成された距離画像を、撮像された被写体までの距離に応じた画素値からなる距離画像として取得し、
    前記強度画像取得部は、前記強度画像生成部により生成された強度画像を、投光された光の前記被写体からの反射光の受光強度に応じた画素値からなる強度画像として取得する
    請求項１に記載の画像処理装置。
  7. 前記投光部は、赤外光を投光する
    請求項６に記載の画像処理装置。
  8. 前記距離画像は、三角測量方式を用いた赤外線測距センサにより生成される
    請求項１に記載の画像処理装置。
  9. 前記距離画像は、Structured Light方式を用いた測距センサにより生成される
    請求項１に記載の画像処理装置。
  10. 前記距離画像は、ステレオカメラセンサにより生成される
    請求項１に記載の画像処理装置。
  11. 前記距離画像は、LiDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）により測定される３次元点群に基づいて生成される
    請求項１に記載の画像処理装置。
  12. 撮像された被写体までの距離に応じた画素値からなる距離画像を取得する距離画像取得処理と、
    投光された光の前記被写体からの反射光の受光強度に応じた画素値からなる強度画像を取得する強度画像取得処理と、
    前記強度画像における所定の閾値より小さな画素値の画素に対応する、前記距離画像における画素の画素値を、所定の画素値に変換するノイズ除去処理と
    を含む画像処理方法。
  13. 撮像された被写体までの距離に応じた画素値からなる距離画像を取得する距離画像取得部と、
    投光された光の前記被写体からの反射光の受光強度に応じた画素値からなる強度画像を取得する強度画像取得部と、
    前記強度画像における所定の閾値より小さな画素値の画素に対応する、前記距離画像における画素の画素値を、所定の画素値に変換するノイズ除去部と
    を含む処理をコンピュータに実行させるプログラム。
  14. 撮像された被写体までの距離に応じた画素値からなる距離画像を取得する距離画像取得部と、
    投光された光の前記被写体からの反射光の受光強度に応じた画素値からなる強度画像を取得する強度画像取得部と、
    前記強度画像における所定の閾値より小さな画素値の画素に対応する、前記距離画像における画素の画素値を、所定の画素値に変換するノイズ除去部と、
    前記ノイズが除去された前記距離画像に基づいて、環境マップを生成する状況分析部と、
    前記状況分析部により生成された前記環境マップに基づいて、移動経路を計画する計画部と、
    前記計画部により計画された移動経路に基づいて動作を制御する動作制御部と
    を含む移動体。
JP2019539380A 2017-09-01 2018-08-21 画像処理装置、および画像処理方法、プログラム、並びに移動体 Pending JPWO2019044571A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017168592 2017-09-01
JP2017168592 2017-09-01
PCT/JP2018/030726 WO2019044571A1 (ja) 2017-09-01 2018-08-21 画像処理装置、および画像処理方法、プログラム、並びに移動体

Publications (1)

Publication Number Publication Date
JPWO2019044571A1 true JPWO2019044571A1 (ja) 2020-10-01

Family

ID=65525579

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019539380A Pending JPWO2019044571A1 (ja) 2017-09-01 2018-08-21 画像処理装置、および画像処理方法、プログラム、並びに移動体

Country Status (4)

Country Link
US (1) US11341615B2 (ja)
JP (1) JPWO2019044571A1 (ja)
DE (1) DE112018004891T5 (ja)
WO (1) WO2019044571A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021051042A (ja) * 2019-09-26 2021-04-01 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、電子機器、画像処理方法及びプログラム
DE102020110809B3 (de) * 2020-04-21 2021-10-21 Daimler Ag Verfahren und Vorrichtung zum Erkennen von Blooming in einer Lidarmessung
KR20220019930A (ko) * 2020-08-11 2022-02-18 삼성전자주식회사 로봇 및 그 제어 방법
DE102020128732A1 (de) 2020-11-02 2022-05-05 Daimler Ag Verfahren und Vorrichtung zum Erkennen von Blooming-Kandidaten in einer Lidarmessung
US20220221585A1 (en) * 2021-01-14 2022-07-14 Argo AI, LLC Systems and methods for monitoring lidar sensor health
KR102542126B1 (ko) * 2021-04-01 2023-06-13 주식회사 솔리드뷰 라이다 센서 및 그의 노이즈 제거 방법
CN114475650B (zh) * 2021-12-01 2022-11-01 中铁十九局集团矿业投资有限公司 一种车辆行驶行为确定方法、装置、设备及介质
CN114677315B (zh) * 2022-04-11 2022-11-29 探维科技(北京)有限公司 基于图像与激光点云的图像融合方法、装置、设备和介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006011880A (ja) * 2004-06-25 2006-01-12 Sony Corp 環境地図作成方法、環境地図作成装置、及び移動型ロボット装置
JP2010165183A (ja) * 2009-01-15 2010-07-29 Panasonic Electric Works Co Ltd 人体検出装置
JP2013187645A (ja) * 2012-03-06 2013-09-19 Canon Inc ノイズ低減装置およびノイズ低減方法
WO2014157435A1 (ja) * 2013-03-27 2014-10-02 株式会社デンソー 車両に搭載された、物標を検出する装置及びその方法
JP2015147481A (ja) * 2014-02-06 2015-08-20 オムロン株式会社 移動体管理装置
US20160364844A1 (en) * 2015-06-10 2016-12-15 Samsung Electronics Co., Ltd. Apparatus and method for noise reduction in depth images during object segmentation
WO2016208215A1 (ja) * 2015-06-24 2016-12-29 株式会社村田製作所 距離センサ及びユーザインタフェース装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7209221B2 (en) * 1994-05-23 2007-04-24 Automotive Technologies International, Inc. Method for obtaining and displaying information about objects in a vehicular blind spot
US5966678A (en) * 1998-05-18 1999-10-12 The United States Of America As Represented By The Secretary Of The Navy Method for filtering laser range data
WO2005057493A1 (en) * 2003-12-10 2005-06-23 Agency For Science, Technology And Research Methods and apparatus for binarising images
JP2008243184A (ja) * 2007-02-26 2008-10-09 Fujifilm Corp 濃淡画像の輪郭補正処理方法及びその装置
JP2011511281A (ja) * 2008-02-04 2011-04-07 テレ アトラス ノース アメリカ インコーポレイテッド センサにより検出されたオブジェクトとマップマッチングする方法
US20140379254A1 (en) * 2009-08-25 2014-12-25 Tomtom Global Content B.V. Positioning system and method for use in a vehicle navigation system
US20130342694A1 (en) * 2012-06-25 2013-12-26 Tandent Vision Science, Inc. Method and system for use of intrinsic images in an automotive driver-vehicle-assistance device
JP5904069B2 (ja) * 2012-09-13 2016-04-13 オムロン株式会社 画像処理装置、オブジェクト検出方法、およびオブジェクト検出プログラム
LU92074B1 (en) * 2012-09-18 2014-03-19 Iee Sarl Depth image enhancement method
US10003757B2 (en) * 2012-12-28 2018-06-19 Nokia Technologies Oy Method and apparatus for de-noising data from a distance sensing camera
RU2013104895A (ru) * 2013-02-05 2014-08-10 ЭлЭсАй Корпорейшн Процессор изображений с функциональностью выбора контуров
RU2013106513A (ru) * 2013-02-14 2014-08-20 ЭлЭсАй Корпорейшн Способ и устройство для улучшения изображения и подтверждения границ с использованием по меньшей мере одного дополнительного изображения
KR102079686B1 (ko) * 2013-02-27 2020-04-07 삼성전자주식회사 인텐시티 영상과 깊이 영상을 이용한 컬러 영상 개선 장치 및 방법
EP2992357A4 (en) * 2013-04-29 2017-01-18 Nokia Technologies OY A method and apparatus for fusing distance data from a distance sensing camera with an image
US9767545B2 (en) * 2013-07-16 2017-09-19 Texas Instruments Incorporated Depth sensor data with real-time processing of scene sensor data
US9580014B2 (en) * 2013-08-08 2017-02-28 Convoy Technologies Llc System, apparatus, and method of detecting and displaying obstacles and data associated with the obstacles
KR20150037366A (ko) * 2013-09-30 2015-04-08 삼성전자주식회사 깊이 영상의 노이즈를 저감하는 방법, 이를 이용한 영상 처리 장치 및 영상 생성 장치
US10062180B2 (en) * 2014-04-22 2018-08-28 Microsoft Technology Licensing, Llc Depth sensor calibration and per-pixel correction
EP3185180B1 (en) * 2014-10-23 2019-01-02 Axis AB Modification of at least one parameter used by a video processing algorithm for monitoring of a scene
GB2532003A (en) * 2014-10-31 2016-05-11 Nokia Technologies Oy Method for alignment of low-quality noisy depth map to the high-resolution colour image
US9805294B2 (en) * 2015-02-12 2017-10-31 Mitsubishi Electric Research Laboratories, Inc. Method for denoising time-of-flight range images
CN105825494B (zh) * 2015-08-31 2019-01-29 维沃移动通信有限公司 一种图像处理方法及移动终端
JP6607163B2 (ja) * 2016-10-07 2019-11-20 株式会社デンソー 画像処理装置
CN106791770B (zh) * 2016-12-20 2018-08-10 南阳师范学院 一种适用于dibr预处理过程的深度图融合方法
US10242454B2 (en) * 2017-01-25 2019-03-26 Google Llc System for depth data filtering based on amplitude energy values
US10445861B2 (en) * 2017-02-14 2019-10-15 Qualcomm Incorporated Refinement of structured light depth maps using RGB color data
WO2019075473A1 (en) * 2017-10-15 2019-04-18 Analog Devices, Inc. METHODS AND SYSTEMS FOR PROCESSING FLIGHT TIME DEPTH IMAGE

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006011880A (ja) * 2004-06-25 2006-01-12 Sony Corp 環境地図作成方法、環境地図作成装置、及び移動型ロボット装置
JP2010165183A (ja) * 2009-01-15 2010-07-29 Panasonic Electric Works Co Ltd 人体検出装置
JP2013187645A (ja) * 2012-03-06 2013-09-19 Canon Inc ノイズ低減装置およびノイズ低減方法
WO2014157435A1 (ja) * 2013-03-27 2014-10-02 株式会社デンソー 車両に搭載された、物標を検出する装置及びその方法
JP2015147481A (ja) * 2014-02-06 2015-08-20 オムロン株式会社 移動体管理装置
US20160364844A1 (en) * 2015-06-10 2016-12-15 Samsung Electronics Co., Ltd. Apparatus and method for noise reduction in depth images during object segmentation
WO2016208215A1 (ja) * 2015-06-24 2016-12-29 株式会社村田製作所 距離センサ及びユーザインタフェース装置

Also Published As

Publication number Publication date
US11341615B2 (en) 2022-05-24
WO2019044571A1 (ja) 2019-03-07
DE112018004891T5 (de) 2020-06-10
US20210183016A1 (en) 2021-06-17

Similar Documents

Publication Publication Date Title
JP7103359B2 (ja) 制御装置、および制御方法、プログラム、並びに移動体
JPWO2019044571A1 (ja) 画像処理装置、および画像処理方法、プログラム、並びに移動体
JP7259749B2 (ja) 情報処理装置、および情報処理方法、プログラム、並びに移動体
WO2020203657A1 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
WO2019073920A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
WO2019077999A1 (ja) 撮像装置、画像処理装置、及び、画像処理方法
JPWO2019181284A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
WO2020250725A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
CN112534487B (zh) 信息处理设备、移动体、信息处理方法和程序
JP7257737B2 (ja) 情報処理装置、自己位置推定方法、及び、プログラム
JPWO2019082669A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
US11363212B2 (en) Exposure control device, exposure control method, program, imaging device, and mobile body
JPWO2019188391A1 (ja) 制御装置、制御方法、並びにプログラム
WO2020116206A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
US20220018932A1 (en) Calibration apparatus, calibration method, program, and calibration system and calibration target
JPWO2020116194A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
US20200230820A1 (en) Information processing apparatus, self-localization method, program, and mobile body
JP7192771B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、車両
JP2019100942A (ja) 移動体、測位システム、測位プログラム及び測位方法
JP2022017612A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
WO2020129656A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
US20210325176A1 (en) Information processing device, terminal device, information processing method and information processing program
JP6984256B2 (ja) 信号処理装置、および信号処理方法、プログラム、並びに移動体
JPWO2019049710A1 (ja) 信号処理装置、および信号処理方法、プログラム、並びに移動体
JPWO2020116204A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210709

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220719

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20221018