JPWO2017154389A1 - 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム - Google Patents
画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JPWO2017154389A1 JPWO2017154389A1 JP2018504047A JP2018504047A JPWO2017154389A1 JP WO2017154389 A1 JPWO2017154389 A1 JP WO2017154389A1 JP 2018504047 A JP2018504047 A JP 2018504047A JP 2018504047 A JP2018504047 A JP 2018504047A JP WO2017154389 A1 JPWO2017154389 A1 JP WO2017154389A1
- Authority
- JP
- Japan
- Prior art keywords
- road surface
- image
- distance
- unit
- parallax
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/02—Occupant safety arrangements or fittings, e.g. crash pads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R2021/003—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks characterised by occupant or pedestian
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R2021/01204—Actuation parameters of safety arrangents
- B60R2021/01252—Devices other than bags
- B60R2021/01259—Brakes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
図1は、本発明の実施形態に係る移動体機器制御システムとしての車載機器制御システムの構成を示す図である。
図2は、撮像ユニット500及び画像解析ユニット600の構成を示す図である。
視差画像生成部11は、視差画像データ(視差画像情報)を生成する視差画像生成処理を行う。なお、視差画像生成部11は、例えば視差演算部511(図2)によって構成される。
路面推定部12は、視差画像生成部11により生成された視差画像に基づき、路面を推定(検出)する。
Vマップ生成部121は、視差画素データに基づき、Vマップ(V-Disparity Map、「垂直方向分布データ」の一例)を生成するVマップ生成処理を実行する。視差画像データに含まれる各視差画素データは、x方向位置とy方向位置と視差値dとの組(x,y,d)で示される。これを、X軸にd、Y軸にy、Z軸に頻度fを設定した三次元座標情報(d,y,f)に変換したもの、又はこの三次元座標情報(d,y,f)から所定の頻度閾値を超える情報に限定した三次元座標情報(d,y,f)を、視差ヒストグラム情報として生成する。本実施形態の視差ヒストグラム情報は、三次元座標情報(d,y,f)からなり、この三次元ヒストグラム情報をX−Yの2次元座標系に分布させたものを、Vマップと呼ぶ。
標本点抽出部122は、Vマップ生成部121により生成されたVマップから、路面の推定に用いる標本点を抽出する。
図11は、第2のセグメントから、標本点を抽出する処理の他の例を説明する図である。
外れ点除去部123は、標本点抽出部122により抽出された標本点のうち、直線近似に適さない点を除外する。
路面形状検出部124は、Vマップ生成部121により生成されたVマップの各セグメントから、標本点抽出部122により抽出され、外れ点除去部123により除去されていない標本点に基づき、路面の形状(位置、高さ)を検出する。
路面補足部125は、路面形状検出部124により検出(推定)された路面が不適切か否かを判定し、不適切と判定した場合は、路面を補足する。なお、不適切か否かの判定は、路面の角度での判定によるほか、例えば、推定に使用した点数が所定の閾値より少ない場合や、最小二乗法で近似する際の相関係数が所定値よりも小さい場合(点群のばらつきが大きい場合)に不適切と判定してもよい。
スムージング処理部126は、各セグメントで推定された各路面を、当該各路面が連続するように修正する。スムージング処理部126は、隣り合う2つのセグメントにおいてそれぞれ推定された各路面のうち、一方の路面の終点(端点)と、他方の路面の始点(端点)が一致するよう、各路面の傾きと切片を変更する。
路面高さテーブル算出部127は、スムージング処理部126にて修正された各セグメントにおける路面に基づいて、路面高さ(自車両の真下の路面部分に対する相対的な高さ)を算出してテーブル化する路面高さテーブル算出処理を行う。
〈クラスタリング、棄却、トラッキング〉
クラスタリング部13は、視差画像データに含まれる各視差画素データにおけるx方向位置とy方向位置と視差値dとの組(x,y,d)を、X軸にx、Y軸にd、Z軸に頻度を設定し、X−Yの2次元ヒストグラム情報(頻度Uマップ)を作成する。
制御部139は、クラスタリング部13による、物体の検出結果に基づいて、例えば、自車両100の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御したりするなどの走行支援制御を行う。
雨天時の路面の照り返し等により、視差にノイズが発生すると、推定される路面が正解に対して低すぎたり、逆に高すぎたりする問題が発生する。推定される路面が低すぎる場合、路面の一部を障害物と誤認識する場合がある。推定される路面が高すぎる場合、推定される路面よりも低い障害物等を検出できない場合がある。
100 自車両
101 撮像ユニット
103 表示モニタ
106 車両走行制御ユニット(「制御部」の一例)
11 視差画像生成部(「距離画像生成部」の一例)
12 路面推定部
121 Vマップ生成部(「生成部」の一例)
122 標本点抽出部(「抽出部」の一例)
123 外れ点除去部
124 路面形状検出部(「検出部」の一例)
125 路面補足部
126 スムージング処理部
127 路面高さテーブル算出部
13 クラスタリング部(「物体検出部」の一例)
14 棄却部
15 トラッキング部
16 制御部
2 撮像装置
510a,510b 撮像部
510 処理ハードウェア部
600 画像解析ユニット(「画像処理装置」の一例)
Claims (8)
- 複数の撮像部で各々撮影された複数の撮影画像における路面の距離に応じた距離値を有する距離画像から、前記距離画像の垂直方向に対する距離値の頻度の分布を示す垂直方向分布データを生成する生成部と、
前記垂直方向分布データにおいて、所定の基準点に応じた探索範囲を設定し、当該探索範囲から複数の画素を抽出する抽出部と、
前記抽出された複数の画素に基づいて、路面を検出する検出部と、
を備えることを特徴とする画像処理装置。 - 前記抽出部は、前記所定の基準点から、路面が傾き得る角度に応じた前記探索範囲を設定する、
ことを特徴とする請求項1記載の画像処理装置。 - 前記抽出部は、前記所定の基準点を、以前に撮影された前記複数の撮影画像に基づいて前記検出部により検出された路面、または予め設定されている路面に応じて決定する、
ことを特徴とする請求項1または2記載の画像処理装置。 - 前記抽出部は、前記垂直方向分布データを、距離値に応じて第1のセグメント、及び第2のセグメントに分割し、前記第2のセグメントにおける前記所定の基準点を、前記第1のセグメントにおいて検出された路面に応じて決定する、
ことを特徴とする請求項1乃至3のいずれか一項に記載の画像処理装置。 - 複数の撮像部と、
前記複数の撮像部で各々撮影された複数の撮影画像から、前記複数の撮影画像における路面の視差に応じた距離値を有する距離画像を生成する距離画像生成部と、
前記距離画像の垂直方向に対する距離値の頻度の分布を示す垂直方向分布データを生成する生成部と、
前記垂直方向分布データにおいて、所定の基準点に応じた探索範囲を設定し、当該探索範囲から複数の画素を抽出する抽出部と、
前記抽出された複数の画素に基づいて、前記路面を検出する検出部と、
を備える撮像装置。 - 移動体に搭載され、前記移動体の前方を撮像する複数の撮像部と、
前記複数の撮像部で各々撮影された複数の撮影画像から、前記複数の撮影画像における路面の視差に応じた距離値を有する距離画像を生成する距離画像生成部と、
前記距離画像の垂直方向に対する距離値の頻度の分布を示す垂直方向分布データを生成する生成部と、
前記垂直方向分布データにおいて、所定の基準点に応じた探索範囲を設定し、当該探索範囲から複数の画素を抽出する抽出部と、
前記抽出された複数の画素に基づいて、路面を検出する検出部と、
前記検出部により検出された路面、及び前記距離画像に基づいて、前記複数の撮影画像における物体を検出する物体検出部と、
前記物体検出部により検出された物体のデータに基づいて、前記移動体の制御を行う制御部と、
を備える移動体機器制御システム。 - コンピュータが、
複数の撮像部で各々撮影された複数の撮影画像における路面の距離に応じた距離値を有する距離画像から、前記距離画像の垂直方向に対する距離値の頻度の分布を示す垂直方向分布データを生成するステップと、
前記垂直方向分布データにおいて、所定の基準点に応じた探索範囲を設定し、当該探索範囲から複数の画素を抽出するステップと、
前記抽出された複数の画素に基づいて、前記路面を検出するステップと、
を実行する、画像処理方法。 - コンピュータに、
複数の撮像部で各々撮影された複数の撮影画像における路面の距離に応じた距離値を有する距離画像から、前記距離画像の垂直方向に対する距離値の頻度の分布を示す垂直方向分布データを生成するステップと、
前記垂直方向分布データにおいて、所定の基準点に応じた探索範囲を設定し、当該探索範囲から複数の画素を抽出するステップと、
前記抽出された複数の画素に基づいて、前記路面を検出するステップと、
を実行させるプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016047574 | 2016-03-10 | ||
JP2016047574 | 2016-03-10 | ||
PCT/JP2017/002393 WO2017154389A1 (ja) | 2016-03-10 | 2017-01-24 | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017154389A1 true JPWO2017154389A1 (ja) | 2019-02-28 |
JP6769477B2 JP6769477B2 (ja) | 2020-10-14 |
Family
ID=59790244
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018504047A Active JP6769477B2 (ja) | 2016-03-10 | 2017-01-24 | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11691585B2 (ja) |
EP (1) | EP3428902A4 (ja) |
JP (1) | JP6769477B2 (ja) |
WO (1) | WO2017154389A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6406289B2 (ja) * | 2016-03-14 | 2018-10-17 | オムロン株式会社 | 路面形状測定装置、測定方法、及び、プログラム |
WO2017159082A1 (ja) * | 2016-03-14 | 2017-09-21 | 株式会社リコー | 画像処理装置、機器制御システム、撮像装置、画像処理方法及びプログラム |
JP6960827B2 (ja) * | 2017-11-08 | 2021-11-05 | フォルシアクラリオン・エレクトロニクス株式会社 | 路面領域検出装置 |
JP6660367B2 (ja) | 2017-12-25 | 2020-03-11 | 株式会社Subaru | 車外環境認識装置 |
CN109191512B (zh) * | 2018-07-27 | 2020-10-30 | 深圳市商汤科技有限公司 | 双目图像的深度估计方法及装置、设备、程序及介质 |
CN109144097B (zh) * | 2018-08-15 | 2021-04-06 | 广州极飞科技有限公司 | 障碍物或地面识别及飞行控制方法、装置、设备及介质 |
JP2022040651A (ja) * | 2020-08-31 | 2022-03-11 | 株式会社Subaru | 車外環境認識装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014225220A (ja) * | 2013-02-18 | 2014-12-04 | 株式会社リコー | 移動面情報検出装置、及びこれを用いた移動体機器制御システム並びに移動面情報検出用プログラム |
JP2015057690A (ja) * | 2013-08-15 | 2015-03-26 | 株式会社リコー | 画像処理装置、認識対象物検出方法、認識対象物検出プログラム、および、移動体制御システム |
JP2015195018A (ja) * | 2014-03-18 | 2015-11-05 | 株式会社リコー | 画像処理装置、画像処理方法、運転支援システム、プログラム |
WO2016031494A1 (ja) * | 2014-08-26 | 2016-03-03 | 日立オートモティブシステムズ株式会社 | 物体検出装置 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4719543B2 (ja) | 2005-09-26 | 2011-07-06 | 株式会社リコー | ワークフローシステム、サーバ装置、ワークフローシステムの処理方法及びワークフロープログラム |
JP2007102545A (ja) | 2005-10-05 | 2007-04-19 | Ricoh Co Ltd | 電子文書作成装置、電子文書作成方法及び電子文書作成プログラム |
JP4647515B2 (ja) | 2006-02-20 | 2011-03-09 | 株式会社リコー | 座標検出装置、筆記具および座標入力システム |
US7873215B2 (en) * | 2007-06-27 | 2011-01-18 | Seiko Epson Corporation | Precise identification of text pixels from scanned document images |
CN103177236B (zh) * | 2011-12-22 | 2016-06-01 | 株式会社理光 | 道路区域检测方法和装置、分道线检测方法和装置 |
CN103854008B (zh) * | 2012-12-04 | 2019-10-18 | 株式会社理光 | 路面检测方法和装置 |
JP6151150B2 (ja) | 2013-10-07 | 2017-06-21 | 日立オートモティブシステムズ株式会社 | 物体検出装置及びそれを用いた車両 |
JP5874756B2 (ja) * | 2014-02-07 | 2016-03-02 | トヨタ自動車株式会社 | 区画線検出システム及び区画線検出方法 |
JP6519262B2 (ja) * | 2014-04-10 | 2019-05-29 | 株式会社リコー | 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム |
JP6550881B2 (ja) | 2014-07-14 | 2019-07-31 | 株式会社リコー | 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム |
US20160019429A1 (en) | 2014-07-17 | 2016-01-21 | Tomoko Ishigaki | Image processing apparatus, solid object detection method, solid object detection program, and moving object control system |
JP6805534B2 (ja) * | 2015-07-02 | 2020-12-23 | 株式会社リコー | 視差画像生成装置、視差画像生成方法及び視差画像生成プログラム、物体認識装置、機器制御システム |
WO2017090326A1 (ja) | 2015-11-27 | 2017-06-01 | 株式会社リコー | 画像処理装置、撮像装置、機器制御システム、分布データ生成方法、及びプログラム |
EP3385904A4 (en) * | 2015-11-30 | 2018-12-19 | Ricoh Company, Ltd. | Image processing device, object recognition device, device conrol system, image processing method, and program |
EP3176013B1 (en) * | 2015-12-01 | 2019-07-17 | Honda Research Institute Europe GmbH | Predictive suspension control for a vehicle using a stereo camera sensor |
-
2017
- 2017-01-24 JP JP2018504047A patent/JP6769477B2/ja active Active
- 2017-01-24 EP EP17762735.3A patent/EP3428902A4/en active Pending
- 2017-01-24 WO PCT/JP2017/002393 patent/WO2017154389A1/ja active Application Filing
-
2018
- 2018-09-05 US US16/122,445 patent/US11691585B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014225220A (ja) * | 2013-02-18 | 2014-12-04 | 株式会社リコー | 移動面情報検出装置、及びこれを用いた移動体機器制御システム並びに移動面情報検出用プログラム |
JP2015057690A (ja) * | 2013-08-15 | 2015-03-26 | 株式会社リコー | 画像処理装置、認識対象物検出方法、認識対象物検出プログラム、および、移動体制御システム |
JP2015195018A (ja) * | 2014-03-18 | 2015-11-05 | 株式会社リコー | 画像処理装置、画像処理方法、運転支援システム、プログラム |
WO2016031494A1 (ja) * | 2014-08-26 | 2016-03-03 | 日立オートモティブシステムズ株式会社 | 物体検出装置 |
Also Published As
Publication number | Publication date |
---|---|
EP3428902A4 (en) | 2019-08-14 |
US11691585B2 (en) | 2023-07-04 |
WO2017154389A1 (ja) | 2017-09-14 |
JP6769477B2 (ja) | 2020-10-14 |
US20190001910A1 (en) | 2019-01-03 |
EP3428902A1 (en) | 2019-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6733225B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
US10580155B2 (en) | Image processing apparatus, imaging device, device control system, frequency distribution image generation method, and recording medium | |
JP6662388B2 (ja) | 画像処理装置、撮像装置、機器制御システム、分布データ生成方法、及びプログラム | |
JP6769477B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
JP6705496B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、移動体、画像処理方法、及びプログラム | |
JP6583527B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
JP6711395B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、移動体、画像処理方法、及びプログラム | |
JP7206583B2 (ja) | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム | |
JP6816401B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
WO2017130640A1 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
JP6705497B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、プログラム、及び移動体 | |
JP6733302B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
JP6711128B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
JP6763198B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
JP2018088234A (ja) | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及びプログラム | |
JP6812701B2 (ja) | 画像処理装置、移動体機器制御システム、画像処理方法、及びプログラム | |
JP6561688B2 (ja) | 検出装置、検出方法、撮像装置、機器制御システム、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A527 Effective date: 20180906 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180906 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190618 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190809 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200114 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200305 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200825 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200907 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6769477 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |