JP7359901B1 - 情報処理装置、情報処理方法およびプログラム - Google Patents
情報処理装置、情報処理方法およびプログラム Download PDFInfo
- Publication number
- JP7359901B1 JP7359901B1 JP2022075096A JP2022075096A JP7359901B1 JP 7359901 B1 JP7359901 B1 JP 7359901B1 JP 2022075096 A JP2022075096 A JP 2022075096A JP 2022075096 A JP2022075096 A JP 2022075096A JP 7359901 B1 JP7359901 B1 JP 7359901B1
- Authority
- JP
- Japan
- Prior art keywords
- processing target
- target area
- calibration value
- camera
- vehicle camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 26
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000000034 method Methods 0.000 claims abstract description 52
- 230000003287 optical effect Effects 0.000 claims abstract description 34
- 230000008569 process Effects 0.000 claims abstract description 31
- 238000001514 detection method Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 abstract description 14
- 238000009434 installation Methods 0.000 description 11
- 238000000605 extraction Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 239000000284 extract Substances 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000032683 aging Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/06—Automatic manoeuvring for parking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
11 カメラ
12 センサ部
13 通知デバイス
14 記憶部
14a 画像情報
14b 取り付け情報
15 制御部
15a モード設定部
15b 姿勢推定部
15ba 取得部
15bb 特徴点抽出部
15bc 特徴点追従部
15bd 線分抽出部
15be 算出部
15bf ノイズ除去部
15bg 決定部
15c キャリブレーション実行部
30 ROI
30-1 矩形ROI
30-2 路面ROI
30-S 重畳ROI
50 外部装置
Claims (10)
- 車載カメラの撮像画像に基づいて前記車載カメラの姿勢を推定する制御部を備え、
前記制御部は、
前記車載カメラの取り付け状態が既知のキャリブレーション値を持たない第1の状態である場合に、前記撮像画像の中に矩形状の第1処理対象領域を設定し、前記第1処理対象領域内における特徴点のオプティカルフローに基づいて第1のキャリブレーション値を算出し前記車載カメラの姿勢を推定する第1の姿勢推定処理と、
前記車載カメラの取り付け状態が既知のキャリブレーション値を持つ第2の状態である場合に、既知のキャリブレーション値を用いて、前記撮像画像の中に路面の形状に応じた第2処理対象領域を設定し、前記第2処理対象領域内における特徴点のオプティカルフローに基づいて第2のキャリブレーション値を算出し前記車載カメラの姿勢を推定する第2の姿勢推定処理と、
を実行可能な情報処理装置。 - 前記第2処理対象領域は台形状である、
請求項1に記載の情報処理装置。 - 前記第2処理対象領域は、前記撮像画像中において消失点へ向けて収束するように写り込む前記路面の形状に応じた形状である、
請求項2に記載の情報処理装置。 - 前記第2の姿勢推定処理は、
前記第1処理対象領域と前記第2処理対象領域とが重なる重畳部分における特徴点のオプティカルフローに基づいて前記第2のキャリブレーション値を算出し前記車載カメラの姿勢を推定する、
請求項2に記載の情報処理装置。 - 前記制御部は、
前記第1処理対象領域および前記第2処理対象領域のそれぞれから前記オプティカルフローに基づく線分のペア群を抽出し、前記線分のペア群に基づいて、前記第1のキャリブレーション値および前記第2のキャリブレーション値としてそれぞれ前記車載カメラのPAN、TILTおよびROLLの各軸の回転角を算出する、
請求項1~4のいずれか一つに記載の情報処理装置。 - 前記制御部は、
算出した前記回転角をヒストグラム化した後の中央値に基づいて前記PAN、TILTおよびROLLの各軸の角度推定値を決定する、
請求項5に記載の情報処理装置。 - 前記制御部は、
決定した前記角度推定値に基づいて前記車載カメラの軸ズレを判定する、
請求項6に記載の情報処理装置。 - 前記制御部は、
前記軸ズレが判定された場合に、少なくとも駐車枠検知機能または自動駐車機能を停止させる、
請求項7に記載の情報処理装置。 - 情報処理装置が実行する情報処理方法であって、
車載カメラの撮像画像を取得し、
前記車載カメラの取り付け状態が既知のキャリブレーション値を持たない第1の状態である場合に、前記撮像画像の中に矩形状の第1処理対象領域を設定し、前記第1処理対象領域内における特徴点のオプティカルフローに基づいて第1のキャリブレーション値を算出し前記車載カメラの姿勢を推定し、
前記車載カメラの取り付け状態が既知のキャリブレーション値を持つ第2の状態である場合に、既知のキャリブレーション値を用いて、前記撮像画像の中に路面の形状に応じた第2処理対象領域を設定し、前記第2処理対象領域内における特徴点のオプティカルフローに基づいて第2のキャリブレーション値を算出し前記車載カメラの姿勢を推定する、
情報処理方法。 - 車載カメラの撮像画像を取得する処理と、
前記車載カメラの取り付け状態が既知のキャリブレーション値を持たない第1の状態である場合に、前記撮像画像の中に矩形状の第1処理対象領域を設定し、前記第1処理対象領域内における特徴点のオプティカルフローに基づいて第1のキャリブレーション値を算出し前記車載カメラの姿勢を推定する処理と、
前記車載カメラの取り付け状態が既知のキャリブレーション値を持つ第2の状態である場合に、既知のキャリブレーション値を用いて、前記撮像画像の中に路面の形状に応じた第2処理対象領域を設定し、前記第2処理対象領域内における特徴点のオプティカルフローに基づいて第2のキャリブレーション値を算出し前記車載カメラの姿勢を推定する処理と、
をコンピュータに実行させる、プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022075096A JP7359901B1 (ja) | 2022-04-28 | 2022-04-28 | 情報処理装置、情報処理方法およびプログラム |
US17/942,305 US20230351631A1 (en) | 2022-04-28 | 2022-09-12 | Information processing apparatus, information processing method, and computer-readable recording medium |
CN202211261482.7A CN117011374A (zh) | 2022-04-28 | 2022-10-14 | 信息处理装置、信息处理方法和计算机可读记录介质 |
JP2023130670A JP2023164431A (ja) | 2022-04-28 | 2023-08-10 | 情報処理装置、情報処理方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022075096A JP7359901B1 (ja) | 2022-04-28 | 2022-04-28 | 情報処理装置、情報処理方法およびプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023130670A Division JP2023164431A (ja) | 2022-04-28 | 2023-08-10 | 情報処理装置、情報処理方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7359901B1 true JP7359901B1 (ja) | 2023-10-11 |
JP2023163887A JP2023163887A (ja) | 2023-11-10 |
Family
ID=88242192
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022075096A Active JP7359901B1 (ja) | 2022-04-28 | 2022-04-28 | 情報処理装置、情報処理方法およびプログラム |
JP2023130670A Pending JP2023164431A (ja) | 2022-04-28 | 2023-08-10 | 情報処理装置、情報処理方法およびプログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023130670A Pending JP2023164431A (ja) | 2022-04-28 | 2023-08-10 | 情報処理装置、情報処理方法およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230351631A1 (ja) |
JP (2) | JP7359901B1 (ja) |
CN (1) | CN117011374A (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020060899A (ja) | 2018-10-09 | 2020-04-16 | 株式会社デンソー | 車載カメラのキャリブレーション装置 |
JP2021033605A (ja) | 2019-08-23 | 2021-03-01 | 株式会社デンソーテン | 画像処理装置、および、画像処理方法 |
JP2021093670A (ja) | 2019-12-12 | 2021-06-17 | 株式会社デンソーテン | 姿勢推定装置、異常検出装置、補正装置、および、姿勢推定方法 |
JP2021174288A (ja) | 2020-04-27 | 2021-11-01 | 富士通株式会社 | カメラ高さ算出方法および画像処理装置 |
-
2022
- 2022-04-28 JP JP2022075096A patent/JP7359901B1/ja active Active
- 2022-09-12 US US17/942,305 patent/US20230351631A1/en active Pending
- 2022-10-14 CN CN202211261482.7A patent/CN117011374A/zh active Pending
-
2023
- 2023-08-10 JP JP2023130670A patent/JP2023164431A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020060899A (ja) | 2018-10-09 | 2020-04-16 | 株式会社デンソー | 車載カメラのキャリブレーション装置 |
JP2021033605A (ja) | 2019-08-23 | 2021-03-01 | 株式会社デンソーテン | 画像処理装置、および、画像処理方法 |
JP2021093670A (ja) | 2019-12-12 | 2021-06-17 | 株式会社デンソーテン | 姿勢推定装置、異常検出装置、補正装置、および、姿勢推定方法 |
JP2021174288A (ja) | 2020-04-27 | 2021-11-01 | 富士通株式会社 | カメラ高さ算出方法および画像処理装置 |
Also Published As
Publication number | Publication date |
---|---|
US20230351631A1 (en) | 2023-11-02 |
CN117011374A (zh) | 2023-11-07 |
JP2023163887A (ja) | 2023-11-10 |
JP2023164431A (ja) | 2023-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6924251B2 (ja) | 画像センサの外因性パラメータを較正するための方法及び装置 | |
JP7355505B2 (ja) | 車両のカメラを較正する方法およびシステム | |
JP6776202B2 (ja) | 車載カメラのキャリブレーション装置及び方法 | |
JP7096053B2 (ja) | 車両の車両カメラを較正するための方法および装置 | |
CN115503759B (zh) | 车道线航向角补偿方法、装置、电子设备及存储介质 | |
JP2021154969A (ja) | 障害物検知装置、障害物検知方法、および、プログラム | |
EP2913999A1 (en) | Disparity value deriving device, equipment control system, movable apparatus, robot, disparity value deriving method, and computer-readable storage medium | |
JP6841331B2 (ja) | 車両駐車支援装置、車両駐車支援プログラム | |
JP7359901B1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
CN109478336B (zh) | 图像处理装置及图像处理方法 | |
JP6314655B2 (ja) | 標示線検出装置、標示線検出方法 | |
WO2001039018A1 (en) | System and method for detecting obstacles to vehicle motion | |
JP7394934B1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP7512330B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP7401614B1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP7359922B1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP7169075B2 (ja) | 撮像制御装置および撮像制御方法 | |
US11654961B2 (en) | Steering assistance control apparatus | |
CN110570680A (zh) | 利用地图信息确定对象位置的方法和*** | |
JP7505909B2 (ja) | キャリブレーション装置及びキャリブレーション方法 | |
JP7340667B1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP6955464B2 (ja) | 車両位置判定装置 | |
JP2018120303A (ja) | 物体検出装置 | |
CN111326012A (zh) | 图像处理设备和图像处理方法 | |
EP2919191B1 (en) | Disparity value deriving device, equipment control system, movable apparatus, robot, and disparity value producing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220511 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230411 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230608 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230627 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230810 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230912 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230928 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7359901 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |