JP7180739B2 - 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム - Google Patents
情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム Download PDFInfo
- Publication number
- JP7180739B2 JP7180739B2 JP2021160015A JP2021160015A JP7180739B2 JP 7180739 B2 JP7180739 B2 JP 7180739B2 JP 2021160015 A JP2021160015 A JP 2021160015A JP 2021160015 A JP2021160015 A JP 2021160015A JP 7180739 B2 JP7180739 B2 JP 7180739B2
- Authority
- JP
- Japan
- Prior art keywords
- captured image
- image
- overlapping
- stereo camera
- parallax
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
Description
ここで、I_Cb、I_Csは各特徴点の強度を示す。
但し、特徴点間距離の総和をD_b、D_sとし、各特徴点強度をI_Cb(n)、I_Cs(n)として、A_b=D_b・Σ(I_Cb(n))、A_s=D_s・Σ(I_Cs(n))とする。ここでは、特徴点間距離が大きいほど、θx、θy、θzの算出時の精度向上に寄与する。
20 車載装置
30 情報処理装置
100 車両
200 第1ステレオカメラ
202 第2ステレオカメラ
204 傾斜センサ
206 GPS
208 加速度センサ
210 視差画像生成部
212 第1通信部
300 第2通信部
302 取得部
304 特徴点抽出部
306 重み付け決定部
308 画像処理部
310 処理制御部
312 輝度画像取得部
314 視差画像取得部
316 三次元情報変換部
318 補間処理部
Claims (14)
- ステレオカメラにより取得された画像を処理する情報処理装置であって、
前記ステレオカメラは移動しながら撮像対象を撮像するものであり、
前記ステレオカメラにより第1の時刻に撮像された第1の右眼撮像画像と第1の左眼撮像画像とに基づいて生成された第1の視差画像と、
前記第1の右眼撮像画像と前記第1の左眼撮像画像とにおいて撮像範囲が重複する第1の重複撮像画像と、
前記ステレオカメラにより第2の時刻に撮像された第2の右眼撮像画像と第2の左眼撮像画像とに基づいて生成された第2の視差画像と、
前記第2の右眼撮像画像と前記第2の左眼撮像画像とにおいて撮像範囲が重複する第2の重複撮像画像と、
を取得する取得部と、
前記第1の視差画像および前記第2の視差画像に基づいて視差画像特徴点を抽出する特徴点抽出部と、
を備え、
前記第2の重複撮像画像は、前記第1の重複撮像画像と前記ステレオカメラの移動する方向に重複する撮像範囲を含み、
前記第2の視差画像は、前記第1の視差画像と前記ステレオカメラの移動する方向に重複する撮像範囲を含み、
前記視差画像特徴点に基づいて前記第1の視差画像と前記第2の視差画像について視差画像マッチング処理を行い、前記第1の重複撮像画像と前記第2の重複撮像画像を繋げるつなぎ処理を行う、
情報処理装置。 - ステレオカメラにより取得された画像を処理する情報処理装置であって、
前記ステレオカメラは、該ステレオカメラに対して相対的に移動する撮像対象を撮像するものであり、
前記ステレオカメラにより第1の時刻に撮像された第1の右眼撮像画像と第1の左眼撮像画像とに基づいて生成された第1の視差画像と、
前記第1の右眼撮像画像と前記第1の左眼撮像画像とにおいて撮像範囲が重複する第1の重複撮像画像と、
前記ステレオカメラにより第2の時刻に撮像された第2の右眼撮像画像と第2の左眼撮像画像とに基づいて生成された第2の視差画像と、
前記第2の右眼撮像画像と前記第2の左眼撮像画像とにおいて撮像範囲が重複する第2の重複撮像画像と、
を取得する取得部と、
前記第1の視差画像および前記第2の視差画像に基づいて視差画像特徴点を抽出する特徴点抽出部と、
を備え、
前記第2の重複撮像画像は、前記撮像対象からみて前記ステレオカメラが相対的に移動する方向において前記第1の重複撮像画像と重複する撮像範囲を含み、
前記第2の視差画像は、前記撮像対象からみて前記ステレオカメラが相対的に移動する方向において前記第1の視差画像と重複する撮像範囲を含み、
前記視差画像特徴点に基づいて前記第1の視差画像と前記第2の視差画像について視差画像マッチング処理を行い、前記第1の重複撮像画像と前記第2の重複撮像画像を繋げるつなぎ処理を行う、
情報処理装置。 - 前記特徴点抽出部は、さらに前記第1の重複撮像画像および前記第2の重複撮像画像に基づいて撮像画像特徴点を抽出し、
前記視差画像マッチング処理と、前記撮像画像特徴点に基づく前記第1の重複撮像画像と前記第2の重複撮像画像についての撮像画像マッチング処理と、を行い、前記つなぎ処理を行う、
請求項1または2に記載の情報処理装置。 - 前記視差画像マッチング処理と前記撮像画像マッチング処理とについて、前記視差画像特徴点および前記撮像画像特徴点に基づいて重みづけし、前記つなぎ処理を行う、
請求項3に記載の情報処理装置。 - ステレオカメラにより取得された画像を処理する情報処理装置であって、
前記ステレオカメラは移動しながら撮像対象を撮像するものであり、
前記ステレオカメラにより第1の時刻に撮像された第1の右眼撮像画像と第1の左眼撮像画像とに基づいて生成された第1の視差画像と、
前記第1の右眼撮像画像と前記第1の左眼撮像画像とにおいて撮像範囲が重複する第1の重複撮像画像と、
前記ステレオカメラにより第2の時刻に撮像された第2の右眼撮像画像と第2の左眼撮像画像とに基づいて生成された第2の視差画像と、
前記第2の右眼撮像画像と前記第2の左眼撮像画像とにおいて撮像範囲が重複する第2の重複撮像画像と、
を取得する取得部と、
前記第1の重複撮像画像および前記第2の重複撮像画像に基づいて撮像画像特徴点を抽出する特徴点抽出部と、
を備え、
前記第2の重複撮像画像は、前記第1の重複撮像画像と前記ステレオカメラの移動する方向に重複する撮像範囲を含み、
前記第2の視差画像は、前記第1の視差画像と前記ステレオカメラの移動する方向に重複する撮像範囲を含み、
前記撮像画像特徴点に基づいて前記第1の重複撮像画像と前記第2の重複撮像画像について撮像画像マッチング処理を行い、前記第1の視差画像と前記第2の視差画像を繋げるつなぎ処理を行う、
情報処理装置。 - ステレオカメラにより取得された画像を処理する情報処理装置であって、
前記ステレオカメラは、該ステレオカメラに対して相対的に移動する撮像対象を撮像するものであり、
前記ステレオカメラにより第1の時刻に撮像された第1の右眼撮像画像と第1の左眼撮像画像とに基づいて生成された第1の視差画像と、
前記第1の右眼撮像画像と前記第1の左眼撮像画像とにおいて撮像範囲が重複する第1の重複撮像画像と、
前記ステレオカメラにより第2の時刻に撮像された第2の右眼撮像画像と第2の左眼撮像画像とに基づいて生成された第2の視差画像と、
前記第2の右眼撮像画像と前記第2の左眼撮像画像とにおいて撮像範囲が重複する第2の重複撮像画像と、
を取得する取得部と、
前記第1の重複撮像画像および前記第2の重複撮像画像に基づいて撮像画像特徴点を抽出する特徴点抽出部と、
を備え、
前記第2の重複撮像画像は、前記撮像対象からみて前記ステレオカメラが相対的に移動する方向において前記第1の重複撮像画像と重複する撮像範囲を含み、
前記第2の視差画像は、前記撮像対象からみて前記ステレオカメラが相対的に移動する方向において前記第1の視差画像と重複する撮像範囲を含み、
前記撮像画像特徴点に基づいて前記第1の重複撮像画像と前記第2の重複撮像画像について撮像画像マッチング処理を行い、前記第1の視差画像と前記第2の視差画像を繋げるつなぎ処理を行う、
情報処理装置。 - 前記特徴点抽出部は、さらに前記第1の視差画像および前記第2の視差画像に基づいて視差画像特徴点を抽出し、
撮像画像マッチング処理と、前記視差画像特徴点に基づく前記第1の視差画像と前記第2の視差画像についての視差画像マッチング処理と、を行い、前記つなぎ処理を行う、
請求項5または6に記載の情報処理装置。 - 前記視差画像マッチング処理と前記撮像画像マッチング処理とについて、前記視差画像特徴点および前記撮像画像特徴点に基づいて重みづけし、前記つなぎ処理を行う、
請求項7に記載の情報処理装置。 - 請求項1から8のいずれか一項に記載の情報処理装置と、
前記ステレオカメラと、
を備える情報処理システム。 - ステレオカメラにより取得された画像を処理する情報処理方法であって、
前記ステレオカメラは移動しながら撮像対象を撮像するものであり、
前記ステレオカメラにより第1の時刻に撮像された第1の右眼撮像画像と第1の左眼撮像画像とに基づいて生成された第1の視差画像と、
前記第1の右眼撮像画像と前記第1の左眼撮像画像とにおいて撮像範囲が重複する第1の重複撮像画像と、
前記ステレオカメラにより第2の時刻に撮像された第2の右眼撮像画像と第2の左眼撮像画像とに基づいて生成された第2の視差画像と、
前記第2の右眼撮像画像と前記第2の左眼撮像画像とにおいて撮像範囲が重複する第2の重複撮像画像と、
を取得する工程と、
前記第1の視差画像および前記第2の視差画像に基づいて視差画像特徴点を抽出する工程と、
前記視差画像特徴点に基づいて前記第1の視差画像と前記第2の視差画像について視差画像マッチング処理行い、前記第1の重複撮像画像と前記第2の重複撮像画像を繋げるつなぎ処理を行う工程と、
を含み、
前記第2の重複撮像画像は、前記第1の重複撮像画像と前記ステレオカメラの移動する方向に重複する撮像範囲を含むものであり、
前記第2の視差画像は、前記第1の視差画像と前記ステレオカメラの移動する方向に重複する撮像範囲を含むものである、
情報処理方法。 - ステレオカメラにより取得された画像を処理する情報処理方法であって、
前記ステレオカメラは、該ステレオカメラに対して相対的に移動する撮像対象を撮像するものであり
前記ステレオカメラにより第1の時刻に撮像された第1の右眼撮像画像と第1の左眼撮像画像とに基づいて生成された第1の視差画像と、
前記第1の右眼撮像画像と前記第1の左眼撮像画像とにおいて撮像範囲が重複する第1の重複撮像画像と、
前記ステレオカメラにより第2の時刻に撮像された第2の右眼撮像画像と第2の左眼撮像画像とに基づいて生成された第2の視差画像と、
前記第2の右眼撮像画像と前記第2の左眼撮像画像とにおいて撮像範囲が重複する第2の重複撮像画像と、
を取得する工程と、
前記第1の視差画像および前記第2の視差画像に基づいて視差画像特徴点を抽出する工程と、
前記視差画像特徴点に基づいて前記第1の視差画像と前記第2の視差画像について視差画像マッチング処理行い、前記第1の重複撮像画像と前記第2の重複撮像画像を繋げるつなぎ処理を行う工程と、
を含み、
前記第2の重複撮像画像は、前記撮像対象からみて前記ステレオカメラが相対的に移動する方向において前記第1の重複撮像画像と重複する撮像範囲を含むものであり、
前記第2の視差画像は、前記撮像対象からみて前記ステレオカメラが相対的に移動する方向において前記第1の視差画像と重複する撮像範囲を含むものである、
情報処理方法。 - ステレオカメラにより取得された画像を処理する情報処理方法であって、
前記ステレオカメラは移動しながら撮像するものであり、
前記ステレオカメラにより第1の時刻に撮像された第1の右眼撮像画像と第1の左眼撮像画像とに基づいて生成された第1の視差画像と、
前記第1の右眼撮像画像と前記第1の左眼撮像画像とにおいて撮像範囲が重複する第1の重複撮像画像と、
前記ステレオカメラにより第2の時刻に撮像された第2の右眼撮像画像と第2の左眼撮像画像とに基づいて生成された第2の視差画像と、
前記第2の右眼撮像画像と前記第2の左眼撮像画像とにおいて撮像範囲が重複する第2の重複撮像画像と、
を取得する工程と、
前記第1の重複撮像画像および前記第2の重複撮像画像に基づいて撮像画像特徴点を抽出する工程と、
前記撮像画像特徴点に基づいて前記第1の重複撮像画像と前記第2の重複撮像画像について撮像画像マッチング処理行い、て、前記第1の視差画像と前記第2の視差画像を繋げるつなぎ処理を行う工程と、
を含み、
前記第2の重複撮像画像は、前記第1の重複撮像画像と前記ステレオカメラの移動する方向に重複する撮像範囲を含むものであり、
前記第2の視差画像は、前記第1の視差画像と前記ステレオカメラの移動する方向に重複する撮像範囲を含むものである、
情報処理方法。 - ステレオカメラにより取得された画像を処理する情報処理方法であって、
前記ステレオカメラは、該ステレオカメラに対して相対的に移動する撮像対象を撮像するものであり、
前記ステレオカメラにより第1の時刻に撮像された第1の右眼撮像画像と第1の左眼撮像画像とに基づいて生成された第1の視差画像と、
前記第1の右眼撮像画像と前記第1の左眼撮像画像とにおいて撮像範囲が重複する第1の重複撮像画像と、
前記ステレオカメラにより第2の時刻に撮像された第2の右眼撮像画像と第2の左眼撮像画像とに基づいて生成された第2の視差画像と、
前記第2の右眼撮像画像と前記第2の左眼撮像画像とにおいて撮像範囲が重複する第2の重複撮像画像と、
を取得する工程と、
前記第1の重複撮像画像および前記第2の重複撮像画像に基づいて撮像画像特徴点を抽出する工程と、
前記撮像画像特徴点に基づいて前記第1の重複撮像画像と前記第2の重複撮像画像について撮像画像マッチング処理行い、て、前記第1の視差画像と前記第2の視差画像を繋げるつなぎ処理を行う工程と、
を含み、
前記第2の重複撮像画像は、前記撮像対象からみて前記ステレオカメラが相対的に移動する方向において前記第1の重複撮像画像と重複する撮像範囲を含むものであり、
前記第2の視差画像は、前記撮像対象からみて前記ステレオカメラが相対的に移動する方向において前記第1の視差画像と重複する撮像範囲を含むものである、
情報処理方法。 - 請求項10から13のいずれか一項に記載の情報処理方法をコンピュータに実行させる情報処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021160015A JP7180739B2 (ja) | 2019-06-19 | 2021-09-29 | 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019113805A JP6988860B2 (ja) | 2016-02-09 | 2019-06-19 | 情報処理システム、情報処理方法及び情報処理プログラム |
JP2021160015A JP7180739B2 (ja) | 2019-06-19 | 2021-09-29 | 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019113805A Division JP6988860B2 (ja) | 2016-02-09 | 2019-06-19 | 情報処理システム、情報処理方法及び情報処理プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021193634A JP2021193634A (ja) | 2021-12-23 |
JP2021193634A5 JP2021193634A5 (ja) | 2022-01-13 |
JP7180739B2 true JP7180739B2 (ja) | 2022-11-30 |
Family
ID=68065675
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021160015A Active JP7180739B2 (ja) | 2019-06-19 | 2021-09-29 | 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7180739B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002048513A (ja) | 2000-05-26 | 2002-02-15 | Honda Motor Co Ltd | 位置検出装置、位置検出方法、及び位置検出プログラム |
JP2003259359A (ja) | 2002-03-06 | 2003-09-12 | Nissan Motor Co Ltd | 車両用周囲監視装置及び方法 |
WO2010140513A1 (ja) | 2009-06-02 | 2010-12-09 | 株式会社トプコン | ステレオ画像撮影装置及びその方法 |
JP5846268B1 (ja) | 2014-08-12 | 2016-01-20 | 株式会社リコー | 画像処理システム、画像処理装置、プログラムおよび撮像システム |
-
2021
- 2021-09-29 JP JP2021160015A patent/JP7180739B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002048513A (ja) | 2000-05-26 | 2002-02-15 | Honda Motor Co Ltd | 位置検出装置、位置検出方法、及び位置検出プログラム |
JP2003259359A (ja) | 2002-03-06 | 2003-09-12 | Nissan Motor Co Ltd | 車両用周囲監視装置及び方法 |
WO2010140513A1 (ja) | 2009-06-02 | 2010-12-09 | 株式会社トプコン | ステレオ画像撮影装置及びその方法 |
JP5846268B1 (ja) | 2014-08-12 | 2016-01-20 | 株式会社リコー | 画像処理システム、画像処理装置、プログラムおよび撮像システム |
Also Published As
Publication number | Publication date |
---|---|
JP2021193634A (ja) | 2021-12-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6544257B2 (ja) | 情報処理システム、情報処理方法及び情報処理プログラム | |
JP5926228B2 (ja) | 自律車両用の奥行き検知方法及びシステム | |
CN105157608B (zh) | 一种超限车辆的检测方法、装置及*** | |
JP7134012B2 (ja) | 視差推定装置及び方法 | |
JP6013884B2 (ja) | 物体検出装置及び物体検出方法 | |
CN105551020B (zh) | 一种检测目标物尺寸的方法及装置 | |
CN101443817B (zh) | 用于确定场景的三维重建时的对应关系的方法和装置 | |
CN105335955A (zh) | 对象检测方法和对象检测装置 | |
CN105069804B (zh) | 基于智能手机的三维模型扫描重建方法 | |
CN110956069B (zh) | 一种行人3d位置的检测方法及装置、车载终端 | |
WO2013133129A1 (ja) | 移動物***置姿勢推定装置及び移動物***置姿勢推定方法 | |
JP2008140370A (ja) | ステレオカメラ侵入検知システム | |
JP6708730B2 (ja) | 移動体 | |
JP5164351B2 (ja) | 物体検出装置および物体検出方法 | |
JP2016009487A (ja) | 立体画像に基づいて距離情報を求めるためのセンサシステム | |
KR20180061803A (ko) | 도로면 폐색 영역 복원 장치 및 방법 | |
JP6860445B2 (ja) | 物体距離検出装置 | |
JP6988860B2 (ja) | 情報処理システム、情報処理方法及び情報処理プログラム | |
CN108460348A (zh) | 基于三维模型的道路目标检测方法 | |
US9041778B2 (en) | Image processing device and method of processing image | |
JP7180739B2 (ja) | 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム | |
WO2014054124A1 (ja) | 路面標示検出装置及び路面標示検出方法 | |
CN116958195A (zh) | 物件追踪整合方法及整合装置 | |
JP2007233487A (ja) | 歩行者検出方法、装置、およびプログラム | |
JP4200165B2 (ja) | ステレオカメラによるオブジェクトの分類のための方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211025 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211228 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220927 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221018 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221031 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7180739 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |