JP7290454B2 - 深度算出システム - Google Patents
深度算出システム Download PDFInfo
- Publication number
- JP7290454B2 JP7290454B2 JP2019078316A JP2019078316A JP7290454B2 JP 7290454 B2 JP7290454 B2 JP 7290454B2 JP 2019078316 A JP2019078316 A JP 2019078316A JP 2019078316 A JP2019078316 A JP 2019078316A JP 7290454 B2 JP7290454 B2 JP 7290454B2
- Authority
- JP
- Japan
- Prior art keywords
- depth
- image
- correction coefficient
- calculation system
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Image Analysis (AREA)
Description
また、この場合には、前記被撮影体を、マンホールの蓋としてもよい。
また、この場合には、深度算出システムに、自動車に関わる状況を検出する状況検出手段と、前記補正係数算定手段が算定した補正係数を、前記深度補正手段に設定すると共に、当該算定された補正係数を前記状況検出手段が検出している状況に対応づけて記憶し、前記状況検出手段が検出している状況が変化したときに、変化後の状況に対応づけて記憶している補正係数を深度補正手段に設定する補正係数設定手段を設け、前記深度補正手段において、前記補正係数設定手段によって設定された補正係数を用いて、前記深度推定手段が推定した深度を補正するようにしてもよい。
図1に、本実施形態に係る車載システムの構成を示す。
車載システムは、自動車に搭載されるシステムであり、図示するように、深度計測システム1と、深度利用システム2とを備えている。
また、深度計測システム1は、カメラ11と、CNN深度推定部12と、深度補正部13と、校正処理部14と備えている。そして、校正処理部14は、校正用被撮影体識別部141と校正係数算出部142を備えている。
CNN深度推定部12は、画像と当該画像中の各座標に映り込んだ実空間上の位置の実際の深度を教師データとする学習を予め行わせたCNN(Convolutional Neural Network)であり、カメラ11が撮影した画像中の各座標に映り込んだ実空間上の位置の深度を推定する。
そして、深度利用システム2は、深度計測システム1から出力される深度補正部13が補正したカメラ11が撮影した画像中の各座標に映り込んだ実空間上の位置の深度を利用した所定の処理を行う。ここで、深度利用システム2が行う深度を利用した処理は、たとえば、当該深度から、自車前方の障害物を検出して障害物の回避を支援する処理や、カメラ11が撮影した画像中の各座標に映り込んだ実空間上の位置の深度から自車前方の他車や構造物を識別して、自動車の自動運転を行う処理等である。
まず、校正処理動作において、校正処理部14の校正用被撮影体識別部141は、カメラ11が撮影した画像を画像認識し、画像中の校正用被撮影体の像を識別する。
校正用被撮影体は、形状と大きさが既知の物体やパターンであり、校正用被撮影体の画像認識に用いる校正用被撮影体の情報は、予め、校正用被撮影体識別部141に設定されている。
ここで、本実施形態では、広く普及している半径30cmの円形のマンホールの蓋を、校正用被撮影体として用いるものとする。
この場合、校正用被撮影体識別部141は、図3aのように自動車の前方の路面にマンホールが存在した場合に、図3bに示すようにカメラ11が撮影した画像の水平方向(左右方向)の中央に現れるマンホールの蓋3の像を検出する。
ここで、自動車の前方を撮影するカメラ11は、撮影する画像の水平方向(左右方向)が実空間の水平方向と一致するように配置されており、マンホールの蓋は路面に水平に配置されている。
したがって、図3cに示すマンホールの蓋3の中心Pa、マンホールの蓋3の自動車の後ろ方向側の端部Pb、マンホールの蓋3の自動車の前方向側の端部Pcは、カメラの光軸を鉛直方向に路面に投影した、自動車前後方向にのびる水平な線である計測線上にあり、中心Pa、端部Pb、端部Pcは、画像の水平画角0°位置の垂直線(画像の中心を通る上下方向の線)上に表れる。
すなわち、rが校正用被撮影体識とした円形のマンホールの蓋3の半径を表し、aが線分Aの長さを表し、bが線分Bの長さを表し、cが線分Cの長さを表すものとして、余弦定理から、
r2=a2+b2-2ab×cosθ1...式1
r2=a2+c2-2ac×cosθ2...式2
(2r)2=b2+c2-2bc×cos(θ1+θ2)...式3
となり、
また、図4に示すように線分Aと、Pc、Pa、Pbを通る直線との角度をθ3とすれば、正弦定理から、
r/sinθ1=b/sinθ3...式4
r/sinθ2=c/sin(180-θ3)=c/sinθ3...式5
となり、cosθ1=A1、cosθ2=A2、cos(θ1+θ2)=A3、r/sinθ1=A4、r/sinθ2=A5とおくと、
r2=a2+b2-2ab×A1...式1’
r2=a2+c2-2ac×A2...式2’
(2r)2=b2+c2-2bc×A3...式3’
A4=b/sinθ3...式4’
A5=c/sinθ3...式5’
となり、式4’と式5’から、
c=b×A5/A4となるので、A5/A4をA6とおくと、
c=b×A6...式6
となる。
4r2=b2+(b×A6)2-2b(b×A6)×A3となるので、
4r2=b2(1+A62-2×A6×A3)
b2=4r2/(1+A62-2×A6×A3)
b={4r2/(1+A62-2×A6×A3)}1/2....式7
となる。
そこで、校正係数算出部142は、式7に従ってbの値を求める。
また、校正係数算出部142は、求めたbと式6より、c=b×A6によりcの値を求める。
また、式1’より、
a2-(2b×A1)a+(b2-r2)=0...式8
となるので、校正係数算出部142は、求めたbを用いて、
式8を、aについての2次方程式として解を算出し、aの値を求める。
補正係数={(a/a’)+(b/b’)+(c/c’)}/3
によって算定し、深度補正部13に設定する。
ここで、このような校正処理部14の校正処理動作は、オペレータから校正処理の実行を指示されたときにのみ行うようにしてもよいし、自動車の走行中に継続的に行うようにしてもよい。
ここで、以上の実施形態は、校正処理部14の校正処理動作を継続的に行う場合には、図5に示すように、深度計測システム1に、自動車の周辺状況や走行状況などの自動車に関わる状況を検出する状況検出部15と、補正係数設定部16とを設け、補正係数設定部16において、校正処理部14の校正処理動作が行われたときに算定された補正係数を深度補正部13に設定すると共に、算定された補正係数を状況検出部15が検出している状況に対応づけて記憶し、状況検出部15が検出している状況が変化したときに、変化後の状況に対応づけて記憶している補正係数を深度補正部13に設定するようにしてもよい。
Claims (7)
- カメラで撮影した画像から、画像中の各座標に映り込んだ実空間上の位置の深度を算出する深度算出システムであって、
前記カメラが撮影した画像中の各座標に映り込んだ実空間上の位置の深度を推定する深度推定手段と、
前記カメラが撮影した画像中の、形状、大きさが既知の所定の被撮影体の像を識別し、識別した像の画像中の座標と当該被撮影体の前記大きさとから当該被撮影体までの深度を算出し、当該識別した像の画像中の座標の深度として前記深度推定手段が推定した深度を、算出した深度に補正する係数を補正係数として算定する補正係数算定手段と、
前記補正係数算定手段が算定した補正係数を用いて、前記深度推定手段が推定した深度を補正する深度補正手段とを有することを特徴とする深度算出システム。 - 請求項1記載の深度算出システムであって、
前記深度推定手段は、画像と当該画像中の各座標に映り込んだ実空間上の位置の実際の深度を教師データとする学習を予め行わせたCNN(Convolutional Neural Network)によって、前記カメラが撮影した画像中の各座標に映り込んだ実空間上の位置の深度を推定することを特徴とする深度算出システム。 - 請求項1または2記載の深度算出システムであって、
前記補正係数算定手段は、
前記カメラが撮影した画像中の前記被撮影体の像上の、前記被撮影体上の直線上に並ぶ間隔が既知の3点が映り込んだ3座標を検出し、検出した3座標から、前記被撮影体上の3点の前記カメラに対する角度を求め、求めた前記被撮影体上の3点の角度と、当該3点の前記間隔と、当該3点までの深度との幾何的な関係に従って、当該3点までの深度を算出し、
前記3座標の各々について、当該座標の深度として前記深度推定手段が推定した深度を、算出した当該座標に対応する点の深度に補正する係数を求め、求めた係数の平均を前記補正係数として算定することを特徴とする深度算出システム。 - 請求項1、2または3記載の深度算出システムであって、
当該深度算出システムは、自動車に搭載されており、
前記カメラは、少なくとも前記自動車の前方を撮影することを特徴とする深度算出システム。 - 請求項4記載の深度算出システムであって、
前記被撮影体は、マンホールの蓋であることを特徴とする深度算出システム。 - 請求項4記載の深度算出システムであって、
自動車に関わる状況を検出する状況検出手段と、
前記補正係数算定手段が算定した補正係数を、前記深度補正手段に設定すると共に、当該算定された補正係数を前記状況検出手段が検出している状況に対応づけて記憶し、前記状況検出手段が検出している状況が変化したときに、変化後の状況に対応づけて記憶している補正係数を深度補正手段に設定する補正係数設定手段を有し、
前記深度補正手段は、前記補正係数設定手段によって設定された補正係数を用いて、前記深度推定手段が推定した深度を補正することを特徴とする深度算出システム。 - 請求項2記載の深度算出システムであって、
前記カメラで撮影した画像と、当該画像に対して前記深度推定手段が推定した深度を深度補正手段が補正した深度とを教師データとして、前記深度推定手段が用いる前記CNNを学習させる学習処理手段を有することを特徴とする深度算出システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019078316A JP7290454B2 (ja) | 2019-04-17 | 2019-04-17 | 深度算出システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019078316A JP7290454B2 (ja) | 2019-04-17 | 2019-04-17 | 深度算出システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020177381A JP2020177381A (ja) | 2020-10-29 |
JP7290454B2 true JP7290454B2 (ja) | 2023-06-13 |
Family
ID=72936141
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019078316A Active JP7290454B2 (ja) | 2019-04-17 | 2019-04-17 | 深度算出システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7290454B2 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012159470A (ja) | 2011-02-02 | 2012-08-23 | Toyota Motor Corp | 車両用画像認識装置 |
JP2012173874A (ja) | 2011-02-18 | 2012-09-10 | Fujitsu Ltd | 距離算出プログラム、距離算出方法及び距離算出装置 |
JP2013092820A (ja) | 2011-10-24 | 2013-05-16 | Toshiba Alpine Automotive Technology Corp | 距離推定装置 |
JP2018132477A (ja) | 2017-02-17 | 2018-08-23 | 日本電信電話株式会社 | 深度推定装置、寸法推定装置、深度推定方法、寸法推定方法、及びプログラム |
JP2018205929A (ja) | 2017-05-31 | 2018-12-27 | 株式会社Preferred Networks | 学習装置、学習方法、学習モデル、検出装置及び把持システム |
-
2019
- 2019-04-17 JP JP2019078316A patent/JP7290454B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012159470A (ja) | 2011-02-02 | 2012-08-23 | Toyota Motor Corp | 車両用画像認識装置 |
JP2012173874A (ja) | 2011-02-18 | 2012-09-10 | Fujitsu Ltd | 距離算出プログラム、距離算出方法及び距離算出装置 |
JP2013092820A (ja) | 2011-10-24 | 2013-05-16 | Toshiba Alpine Automotive Technology Corp | 距離推定装置 |
JP2018132477A (ja) | 2017-02-17 | 2018-08-23 | 日本電信電話株式会社 | 深度推定装置、寸法推定装置、深度推定方法、寸法推定方法、及びプログラム |
JP2018205929A (ja) | 2017-05-31 | 2018-12-27 | 株式会社Preferred Networks | 学習装置、学習方法、学習モデル、検出装置及び把持システム |
Non-Patent Citations (1)
Title |
---|
進藤 智則,ディープラーニング技術が今度はSLAMに波及 キヤノンと独TUM、単眼カメラで密な3D地図,NIKKEI Robotics 第24号 ,日本,日経BP社,2017年06月10日,P.5-11 |
Also Published As
Publication number | Publication date |
---|---|
JP2020177381A (ja) | 2020-10-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9729858B2 (en) | Stereo auto-calibration from structure-from-motion | |
RU2678960C1 (ru) | Устройство оценки положения транспортного средства, способ оценки положения транспортного средства | |
CN108692719B (zh) | 物体检测装置 | |
US8824741B2 (en) | Method for estimating the roll angle in a travelling vehicle | |
KR102249769B1 (ko) | 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법 | |
EP1087336A2 (en) | Apparatus and method for stereoscopic image processing | |
EP3505865B1 (en) | On-vehicle camera, method for adjusting on-vehicle camera, and on-vehicle camera system | |
Nienaber et al. | A comparison of low-cost monocular vision techniques for pothole distance estimation | |
WO2018179281A1 (ja) | 物体検出装置及び車両 | |
JPWO2017057052A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2017181476A (ja) | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム | |
JP3913901B2 (ja) | カメラの内部パラメータ決定装置 | |
JP5501084B2 (ja) | 平面領域検出装置及びステレオカメラシステム | |
CN113034605B (zh) | 目标对象的位置确定方法、装置、电子设备及存储介质 | |
WO2018074302A1 (ja) | 車載カメラのキャリブレーション装置及び車載カメラのキャリブレーション方法 | |
JP6543935B2 (ja) | 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム | |
CN112150547B (zh) | 一种确定车***姿的方法、装置及环视视觉里程计*** | |
JP6243758B2 (ja) | 車両周辺監視装置、車両周辺監視方法、及びプログラム | |
JP7290454B2 (ja) | 深度算出システム | |
JP6141734B2 (ja) | ステレオ画像処理装置 | |
JP2015215299A (ja) | 対象物位置推定装置 | |
WO2022118513A1 (ja) | 位置姿勢算出装置、位置姿勢算出方法及び測量装置 | |
JP7020324B2 (ja) | 線路曲率推定装置及び方法 | |
JP7405710B2 (ja) | 処理装置及び車載カメラ装置 | |
CN113504385B (zh) | 复数相机测速方法及测速装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220329 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230323 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230328 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230517 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230530 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230601 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7290454 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |