JP7249919B2 - 推定装置、推定方法及びプログラム - Google Patents
推定装置、推定方法及びプログラム Download PDFInfo
- Publication number
- JP7249919B2 JP7249919B2 JP2019168062A JP2019168062A JP7249919B2 JP 7249919 B2 JP7249919 B2 JP 7249919B2 JP 2019168062 A JP2019168062 A JP 2019168062A JP 2019168062 A JP2019168062 A JP 2019168062A JP 7249919 B2 JP7249919 B2 JP 7249919B2
- Authority
- JP
- Japan
- Prior art keywords
- estimation
- reliability
- camera
- orientation
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 52
- 238000012545 processing Methods 0.000 claims description 68
- 238000004364 calculation method Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 16
- 230000033001 locomotion Effects 0.000 claims description 11
- 238000013519 translation Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 6
- 230000015654 memory Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 238000012905 input function Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Studio Devices (AREA)
Description
第1実施形態の推定装置は、例えば移動体に搭載される。
図1は第1実施形態の移動体10の例を示す図である。
図2は第1実施形態の移動体10の機能構成の例を示す図である。
図3は第1実施形態の推定方法の例を示すフローチャートである。なお、図3の説明では、推定装置20が、カメラ10Bの位置及び姿勢の両方を推定する場合について説明するが、推定装置20はカメラ10Bの位置及び姿勢の一方を推定してもよい。すなわち、推定装置20は、カメラ10Bの位置及び姿勢の少なくとも一方を推定してもよい。後述する第2及び第3実施形態についても同様である。
次に第2実施形態について説明する。第2実施形態の説明では、第1実施形態と同様の説明については省略し、第1実施形態と異なる箇所について説明する。第2実施形態では、2つの異なる方法で画像から、当該画像を撮像したカメラ10Bの位置及び姿勢を推定する。
図4は第2実施形態の推定装置20の処理部20A-2の機能構成の例を示す図である。処理部20A-2は、取得部21、第1の推定部22、第1の算出部23、第2の推定部24、第2の算出部25、判定部26、第3の推定部27、及び、第3の算出部28を備える。すなわち、第2実施形態では、第1実施形態の構成に第3の推定部27、及び、第3の算出部28が更に追加されている。
図5は第2実施形態の推定方法の例を示すフローチャートである。
次に第3実施形態について説明する。第3実施形態の説明では、第2実施形態と同様の説明については省略し、第2実施形態と異なる箇所について説明する。第3実施形態では、判定部26により判定されたカメラ10Bの位置及び姿勢を保存又は棄却する制御について説明する。
図6は第3実施形態の推定装置20の処理部20A-3の機能構成の例を示す図である。処理部20A-3は、取得部21、第1の推定部22、第1の算出部23、第2の推定部24、第2の算出部25、判定部26、第3の推定部27、第3の算出部28、及び、記憶制御部29を備える。すなわち、第3実施形態では、第2実施形態の構成に記憶制御部29が更に追加されている。
図7は第3実施形態の推定方法の例を示すフローチャートである。
図9は第1乃至第3実施形態の推定装置20のハードウェア構成の例を示す図である。推定装置20は、制御装置301、主記憶装置302、補助記憶装置303、表示装置304、入力装置305及び通信装置306を備える。制御装置301、主記憶装置302、補助記憶装置303、表示装置304、入力装置305及び通信装置306は、バス310を介して接続されている。
10A 出力部
10B カメラ
10C センサ
10D 通信部
10E ディスプレイ
10F スピーカ
10G 動力制御部
10H 動力部
10I バス
20 推定装置
21 取得部
22 第1の推定部
23 第1の算出部
24 第2の推定部
25 第2の算出部
26 判定部
27 第3の推定部
28 第3の算出部
29 記憶制御部
301 制御装置
302 主記憶装置
303 補助記憶装置
304 表示装置
305 入力装置
306 通信装置
310 バス
Claims (11)
- カメラによって撮像された画像を取得する取得部と、
前記画像から前記カメラの位置及び姿勢の少なくとも一方を示す第1の推定情報を推定する第1の推定部と、
前記第1の推定情報の信頼度を示す第1の信頼度を算出する第1の算出部と、
前記カメラの位置及び姿勢の少なくとも一方を示す第2の推定情報を推定する第2の推定部と、
前記第2の推定情報の信頼度を示す第2の信頼度を算出する第2の算出部と、
前記第1及び第2の信頼度に基づき、前記第1及び第2の推定情報から前記カメラの位置及び姿勢の少なくとも一方を決定し、決定された位置及び姿勢の少なくとも一方を判定処理結果として出力する判定部と、を備え、
前記第2の推定部は、前記判定部による過去の判定処理結果に基づいて前記第2の推定情報を推定する、
推定装置。 - 前記第2の推定部は、前記過去の判定処理結果にカルマンフィルタリングを適用して、現在の前記カメラの位置及び姿勢の少なくとも一方を線形補間することによって推定する、
請求項1に記載の推定装置。 - 前記判定部は、
前記第1の信頼度が第1の閾値よりも大きい場合、前記第1の推定情報によって前記カメラの位置及び姿勢の少なくとも一方を判定し、
前記第1の信頼度が前記第1の閾値以下であり、かつ、前記第2の信頼度が第2の閾値よりも大きい場合、前記第2の推定情報によって前記カメラの位置及び姿勢の少なくとも一方を判定し、
前記第1の信頼度が前記第1の閾値以下であり、かつ、前記第2の信頼度が第2の閾値以下である場合、前記判定処理結果を出力しない、
請求項1に記載の推定装置。 - 前記判定部は、前記第1の信頼度が第1の閾値よりも大きく、かつ、前記第2の信頼度が第2の閾値よりも大きい場合、前記第1の推定情報と前記第2の推定情報とを統合することによって得られた新たな位置及び姿勢の少なくとも一方によって、前記カメラの位置及び姿勢の少なくとも一方を決定する、
請求項1に記載の推定装置。 - 前記判定部は、前記第1の信頼度と前記第2の信頼度とに基づく重み付き平均によって、前記第1の推定情報に含まれる前記カメラの並進成分と、前記第2の推定情報に含まれる前記カメラの並進成分とを統合する、
請求項4に記載の推定装置。 - 前記判定部は、前記第1の信頼度と前記第2の信頼度とに基づく球面線形補間によって、前記第1の推定情報に含まれる前記カメラの回転成分と、前記第2の推定情報に含まれる前記カメラの回転成分とを統合する、
請求項4に記載の推定装置。 - 前記第2の推定部とは異なる推定方法を用いて、前記画像から前記カメラの位置及び姿勢の少なくとも一方を示す第3の推定情報を推定する第3の推定部と、
前記第3の推定情報の信頼度を示す第3の信頼度を算出する第3の算出部と、を更に備え、
前記判定部は、前記第3の信頼度に更に基づき、前記第1乃至第3の推定情報から前記カメラの位置及び姿勢の少なくとも一方を決定する、
請求項1に記載の推定装置。 - 前記第1乃至第3の信頼度は、前記カメラの姿勢の回転成分の値、及び、前記カメラの並進成分の移動量の少なくとも一方に基づいて算出される、
請求項7に記載の推定装置。 - 前記第1乃至第3の信頼度のいずれかが判定閾値より大きい場合、前記判定処理結果を記憶し、前記第1乃至第3の信頼度の全てが判定閾値以下であり、かつ、前記カメラの位置及び姿勢の少なくとも一方が更新されていない区間が、前回記憶された前記判定処理結果が有効な有効区間内である場合、今回判定された前記判定処理結果を棄却し、前記第1乃至第3の信頼度の全てが判定閾値以下であり、かつ、前記カメラの位置及び姿勢の少なくとも一方が更新されていない区間が、前記有効区間を超えている場合、今回判定された前記判定処理結果を記憶する記憶制御部、
を更に備える請求項7に記載の推定装置。 - カメラによって撮像された画像を取得するステップと、
前記画像から前記カメラの位置及び姿勢の少なくとも一方を示す第1の推定情報を推定するステップと、
前記第1の推定情報の信頼度を示す第1の信頼度を算出するステップと、
前記カメラの位置及び姿勢の少なくとも一方を示す第2の推定情報を推定するステップと、
前記第2の推定情報の信頼度を示す第2の信頼度を算出するステップと、
前記第1及び第2の信頼度に基づき、前記第1及び第2の推定情報から前記カメラの位置及び姿勢の少なくとも一方を決定し、決定された位置及び姿勢の少なくとも一方を判定処理結果として出力するステップと、を含み、
前記第2の推定情報を推定するステップは、前記出力するステップによる過去の判定処理結果に基づいて前記第2の推定情報を推定する、
推定方法。 - コンピュータを、
カメラによって撮像された画像を取得する取得部と、
前記画像から前記カメラの位置及び姿勢の少なくとも一方を示す第1の推定情報を推定する第1の推定部と、
前記第1の推定情報の信頼度を示す第1の信頼度を算出する第1の算出部と、
前記カメラの位置及び姿勢の少なくとも一方を示す第2の推定情報を推定する第2の推定部と、
前記第2の推定情報の信頼度を示す第2の信頼度を算出する第2の算出部と、
前記第1及び第2の信頼度に基づき、前記第1及び第2の推定情報から前記カメラの位置及び姿勢の少なくとも一方を決定し、決定された位置及び姿勢の少なくとも一方を判定処理結果として出力する判定部、として機能させ、
前記第2の推定部は、前記判定部による過去の判定処理結果に基づいて前記第2の推定情報を推定する、
プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019168062A JP7249919B2 (ja) | 2019-09-17 | 2019-09-17 | 推定装置、推定方法及びプログラム |
EP20156871.4A EP3796257A1 (en) | 2019-09-17 | 2020-02-12 | Estimation device, estimation method, and computer program product |
US16/795,711 US20210082140A1 (en) | 2019-09-17 | 2020-02-20 | Estimation device, estimation method, and computer program product |
CN202010118380.4A CN112529932A (zh) | 2019-09-17 | 2020-02-26 | 推定装置、推定方法以及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019168062A JP7249919B2 (ja) | 2019-09-17 | 2019-09-17 | 推定装置、推定方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021047479A JP2021047479A (ja) | 2021-03-25 |
JP7249919B2 true JP7249919B2 (ja) | 2023-03-31 |
Family
ID=69571951
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019168062A Active JP7249919B2 (ja) | 2019-09-17 | 2019-09-17 | 推定装置、推定方法及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20210082140A1 (ja) |
EP (1) | EP3796257A1 (ja) |
JP (1) | JP7249919B2 (ja) |
CN (1) | CN112529932A (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170132794A1 (en) | 2015-11-05 | 2017-05-11 | Samsung Electronics Co., Ltd. | Pose estimation method and apparatus |
US20180286056A1 (en) | 2015-09-30 | 2018-10-04 | Sony Corporation | Information processing device, information processing method, and program |
JP2019125112A (ja) | 2018-01-15 | 2019-07-25 | キヤノン株式会社 | 情報処理装置及びその制御方法及びプログラム、並びに、運転制御システム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9031782B1 (en) * | 2012-01-23 | 2015-05-12 | The United States Of America As Represented By The Secretary Of The Navy | System to use digital cameras and other sensors in navigation |
JP5843288B2 (ja) * | 2012-04-19 | 2016-01-13 | Kddi株式会社 | 情報提示システム |
JP6482844B2 (ja) * | 2014-12-11 | 2019-03-13 | 株式会社メガチップス | 状態推定装置、プログラムおよび集積回路 |
KR102472767B1 (ko) * | 2017-09-14 | 2022-12-01 | 삼성전자주식회사 | 신뢰도에 기초하여 깊이 맵을 산출하는 방법 및 장치 |
-
2019
- 2019-09-17 JP JP2019168062A patent/JP7249919B2/ja active Active
-
2020
- 2020-02-12 EP EP20156871.4A patent/EP3796257A1/en active Pending
- 2020-02-20 US US16/795,711 patent/US20210082140A1/en not_active Abandoned
- 2020-02-26 CN CN202010118380.4A patent/CN112529932A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180286056A1 (en) | 2015-09-30 | 2018-10-04 | Sony Corporation | Information processing device, information processing method, and program |
US20170132794A1 (en) | 2015-11-05 | 2017-05-11 | Samsung Electronics Co., Ltd. | Pose estimation method and apparatus |
JP2019125112A (ja) | 2018-01-15 | 2019-07-25 | キヤノン株式会社 | 情報処理装置及びその制御方法及びプログラム、並びに、運転制御システム |
Also Published As
Publication number | Publication date |
---|---|
CN112529932A (zh) | 2021-03-19 |
US20210082140A1 (en) | 2021-03-18 |
EP3796257A1 (en) | 2021-03-24 |
JP2021047479A (ja) | 2021-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102508843B1 (ko) | 서라운드 뷰 영상에서 차량의 자차 동작을 산정하는 방법 및 장치 | |
JP4899424B2 (ja) | 物体検出装置 | |
CN110060297B (zh) | 信息处理装置、***、信息处理方法和存储介质 | |
JP2020064046A (ja) | 車両位置決定方法及び車両位置決定装置 | |
JP6891954B2 (ja) | 物体検知装置、物体検知方法、及びプログラム | |
JP5023186B2 (ja) | 3dワーピング手法と固有対象物運動(pom)の検出の組み合わせに基づく対象物の動き検出システム | |
CN109300143B (zh) | 运动向量场的确定方法、装置、设备、存储介质和车辆 | |
WO2019197140A1 (en) | Apparatus for determining an angle of a trailer attached to a vehicle | |
JP2019125116A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
CN109900245B (zh) | 坡度推定装置、坡度推定方法以及存储介质 | |
US20170259830A1 (en) | Moving amount derivation apparatus | |
JP7365148B2 (ja) | ポーズ情報を取得する方法及び装置 | |
JP5935435B2 (ja) | 画像処理装置、画像処理方法 | |
US10916018B2 (en) | Camera motion estimation device, camera motion estimation method, and computer program product | |
JP7337617B2 (ja) | 推定装置、推定方法及びプログラム | |
JP7249919B2 (ja) | 推定装置、推定方法及びプログラム | |
TWI791261B (zh) | 在移動中提供虛擬環境的方法與系統以及非暫態電腦可讀取儲存媒體 | |
KR101071061B1 (ko) | 차량의 특징점을 이용한 운전 보조 장치 및 방법과 이에 사용되는 마이크로프로세서 및 기록매체 | |
JP7221897B2 (ja) | 推定装置、移動体、推定方法及びプログラム | |
WO2022190848A1 (ja) | 測距装置、測距システム及び測距方法 | |
US20220343536A1 (en) | Three-dimensional map estimation apparatus and obstacle detection apparatus | |
US20240098231A1 (en) | Image processing device, image processing method, and computer-readable medium | |
JP2016122381A (ja) | オプティカルフロー算出装置、オプティカルフロー算出方法、及びプログラム | |
JPWO2020246202A1 (ja) | 計測システム、計測方法、及び計測プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220314 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230209 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230221 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230320 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7249919 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |