JP2021012155A - 状態計測装置及び状態計測方法 - Google Patents
状態計測装置及び状態計測方法 Download PDFInfo
- Publication number
- JP2021012155A JP2021012155A JP2019127607A JP2019127607A JP2021012155A JP 2021012155 A JP2021012155 A JP 2021012155A JP 2019127607 A JP2019127607 A JP 2019127607A JP 2019127607 A JP2019127607 A JP 2019127607A JP 2021012155 A JP2021012155 A JP 2021012155A
- Authority
- JP
- Japan
- Prior art keywords
- speed
- camera
- image
- shooting
- time difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005259 measurement Methods 0.000 title claims abstract description 78
- 238000000691 measurement method Methods 0.000 title claims abstract description 11
- 238000003384 imaging method Methods 0.000 claims abstract description 32
- 230000001360 synchronised effect Effects 0.000 claims description 62
- 230000003068 static effect Effects 0.000 claims description 5
- 238000000034 method Methods 0.000 description 42
- 238000006073 displacement reaction Methods 0.000 description 31
- 238000012545 processing Methods 0.000 description 20
- 238000007781 pre-processing Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 230000003111 delayed effect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、このような実情に鑑みてなされたものであり、その目的は、カメラ性能によらず、カメラの撮影画像に基づいて移動体の状態を計測できる状態計測装置及び状態計測方法を提供することにある。
このような構成によれば、非同期モードで、速度の高い移動体の速度計測が行える。
好ましい構成として、前記計測部は、前記非同期モードによって撮影された前記2つの撮影画像において同一の特徴領域の相対的な移動量と前記所定の時間差とに基づいて速度計測を行う。
好ましい構成として、前記計測部は、前記相対的な移動量及び前記所定の時間差に加えて、前記非同期モードの前記2つの撮影画像の撮影範囲の相対関係を考慮して、前記非同期モードの前記2つの撮影画像に基づいて前記速度計測を行う。
好ましい構成として、前記計測部は、前記同期モードの前記2つの撮影画像の相対関係を取得した後、前記非同期モードの前記2つの撮影画像に基づく前記速度計測を行う。
好ましい構成として、前記計測部は、前記非同期モードの前記2つの撮影画像の撮影範囲の相対関係を、前記2つの撮影部の静的な相対関係による視差として取得する。
上記課題を解決する状態計測装置は、撮影画像に基づいて移動体の速度ベクトルを計測する状態計測装置であって、前記移動体が移動する移動面を前記移動体に固定された3つ以上の撮影部で撮影する移動面撮影部と、前記3つ以上の撮影部のうちで1組を構成するいずれか2つの撮影部の各々の撮影タイミングが一致する同期モードに設定され、他の組を構成するいずれか2つの撮影部の各々の撮影タイミングが所定の時間差を有する非同期モードに設定されており、設定された前記同期モードで撮影された時間差のある2つの撮影画像、又は、設定された前記非同期モードで撮影された時間差のある2つの撮影画像に基づいて前記移動体の速度ベクトルを計測する計測部とを備え、前記計測部は、前記移動体の速度に応じて、前記同期モードで撮影された時間差のある2つの撮影画像、及び、前記非同期モードで撮影された時間差のある2つの撮影画像のうちの少なくとも一方を選択する。
図1に示すように、GPSアンテナ20は、複数のGPS衛星が送信するGPS信号を受信する。GPSアンテナ20は、受信したGPS信号を信号処理部30に送信する。GPS信号には、GPSアンテナ20の現在の緯度、経度、GPS誤差及び測位時刻等、取得可能な情報が含まれている。
また、GPS車速算出部31は、GPS信号に基づいて車速を計測する。本実施形態では、GPS衛星から出力されている搬送波のドップラー効果から高精度、かつ、短周期に車速が計測される。また、GPS信号に基づいて車速を計測する他形態として、算出した緯度、経度及び経過時間に基づいて計測する技術もある。
これにより、車両10が実際に移動した距離Lは、カメラ画像上での同一の特徴領域の移動量(画素数)Δpと、式(1)に示される1画素当たりの実際の長さsとの積(式(2))によって求められる。
ここで、実長さ算出部321は、路面100から第1カメラ22及び第2カメラ23までの高さ(距離d)を、ステレオカメラ21が撮影した第1カメラ画像PC1や第2カメラ画像PC2に対応付けた視差から取得する。実長さ算出部321は、取得した視差を距離dとして、式(1)に基づいて1画素の実長さを逐次定める。なお、第1カメラ画像PC1、第2カメラ画像PC2それぞれを取得したタイミングで相違する高さが得られたとき、一方の高さを採用してもよいし、平均値を採用するとより好ましい。
切替部35は、所定の選択条件に基づいていずれか一方の車速を選択してもよいし、運転者等の指示に基づいていずれか一方の車速を選択してもよい。切替部35は、GPS車速が選択されない条件下においては、画像車速算出部32による画像車速の計測を行う。例えば、GPS車速の精度が低下するトンネルや遮蔽物の多い市街地等では画像車速算出部32による画像速度の計測を行う。
図5(a),(b)は、低速時における第1及び第2カメラ22,23の撮影タイミングt11〜t14,t21〜t24と、高速時における第1及び第2カメラ22,23の撮影タイミングt15〜t18,t25〜t28とを示している。
図6には、実長さ算出部321の実長さ算出処理や、低速時速度算出部322の速度計測を行うときの、ステレオカメラ21で撮影した各画像P11,P21,P12,P22を示す。なお、第1カメラ22が撮影した第1カメラ画像PC1のうち、最初の撮影タイミングt11に撮影したものが画像P11であり、最初の撮影タイミングt11から所定時間経過後の撮影タイミングt12に撮影したものが画像P12である。同様に、第2カメラ23が撮影した第2カメラ画像PC2のうち、最初の撮影タイミングt21に撮影したものが画像P21であり、最初の撮影タイミングt21から所定時間経過後の撮影タイミングt22に撮影したものが画像P22である。なお、第1カメラ画像PC1と第2カメラ画像PC2とのそれぞれの撮影範囲には、第1カメラ22と第2カメラ23との間にある視差の影響により生じる距離PAの相対位置のずれが生じる。よって、同じ撮影タイミングで撮影された第1カメラ画像PC1と第2カメラ画像PC2とは、路面100にある同一の特徴領域TPの像TP1が重なる態様で合わせられる。つまり、同じ撮影タイミングt11,t21で撮影した2つの画像P11,P21を重ね合わせて1つの画像とし、撮影タイミングt12,t22で撮影した2つの画像P12,P22を重ね合わせて1つの画像とすることもできる。なお、説明の便宜上、画像P12,P22には、最初の撮影タイミングt11,t21で撮影された特徴領域TPの像TP1が破線で示されている。また、視差を表す距離PAは、第1カメラ22と第2カメラ23との相対的な位置関係が既知であれば、路面100からのカメラの高さにより特定される。よって、カメラの高さは、同期モードの撮影画像の視差を表す距離PAから算出できる。
また、同時でない撮影タイミングt16の画像P16と撮影タイミングt26の画像P26とで車速の測定を行う。
まず、図9を参照して、画像車速の算出手順の概略について説明する。画像車速算出部32は、画像車速の算出が開始されると初回速度算出処理を行う(図9のステップS10)。初回速度算出処理では、概略的には、1ピクセル当たりの実長さ(実際の長さs)が算出されるとともに、撮影タイミングの相違する2つの画像において同一位置の相対的な移動量から車速を測定する。詳細には、初回速度算出処理は、後に説明する高速時速度算出処理(図9のステップS40)と同じ処理であって、第1カメラ22と第2カメラ23の撮影タイミングについて、想定される速度域、あるいは最高の速度域を計測可能な時間差Δtを用いて撮影した画像から速度算出する。
そして、画像車速算出部32は、撮影間隔を有する2つの画像(例えば、画像P11,P12)の各特徴領域TPの像TP1,TP2の位置に基づいて速度ベクトルを算出する(図10のステップS31)。このとき、画像P11は、メモリ上に保持した前回の撮影タイミングで得た画像である。これにより、低速時速度算出処理が完了する。
図11に示すように、高速時速度算出処理では、高速時速度算出部323が非同期モードで撮影した2つの画像に基づいて画像車速を計測する。なお、図10に記載のステップと同様の処理には図10に記載のステップ番号と同じステップ番号を付している。
(1)車両10の速度に応じて、連写性能により計測速度が制限される同期モードによる速度計測と、連写性能による計測速度の制限がない非同期モードによる速度計測とが選択できる。例えば、車速が高くて同期モードでは2つのカメラ画像にトラッキング対象となる同一の特徴領域が含まれず速度計測ができないとき、非同期モードによる速度計測を行うことができる。これにより、カメラ性能によらず、カメラの撮影画像に基づいて車両10の速度を計測できる。
(3)非同期モードにおいても、第1カメラ画像PC1及び第2カメラ画像PC2の撮影画像で重なる範囲の相対位置に基づいて速度ベクトルが取得可能になる。
本実施形態は、以下のように変更して実施することができる。本実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施できる。
また、撮影タイミングt35でのカメラの高さが撮影タイミングt15における高さから変化していないとして、2つの画像P25,P35の間の横方向に生じる視差に対応する距離PA2を撮影タイミングt15における高さから算出することもできる。
図14に示すように、状態計測装置1は、ステレオカメラ21を第1ステレオカメラとしたとき、第2ステレオカメラ121をさらに備えている。第1ステレオカメラ21は、第1カメラ22及び第2カメラ23を有し、第2ステレオカメラ121は、第1カメラ122及び第2カメラ123を有する。タイミング設定部33は、第2ステレオカメラ121の第1カメラ122及び第2カメラ123にもそれぞれタイミング122G,123Gを設定することができる。このとき、第1ステレオカメラ21及び第2ステレオカメラ121をそれぞれ同期モードに設定するとともに、第1ステレオカメラ21の撮影タイミングと第2ステレオカメラ121の撮影タイミングとの間には非同期モードに対応する時間差を設ける。
また、一旦、記憶部34に記憶した画像情報に基づいて事後に車速を計測してもよい。
・上記実施形態では、状態計測装置1は、車両10の状態を計測する場合を示したが、これに限らず、状態計測装置1は、路面や床面等を移動する移動体の速度等の状態を計測してもよい。あるいは、状態計測装置1を床面等に設置し、状態計測装置1のカメラの撮影範囲を通過する車両10の状態を計測してもよい。
Claims (10)
- 撮影画像に基づいて移動体の速度ベクトルを計測する状態計測装置であって、
前記移動体が移動する移動面を前記移動体に固定された2つの撮影部で撮影する移動面撮影部と、
前記2つの撮影部の各々の撮影タイミングを、前記各々の撮影タイミングが一致する同期モード、又は、前記各々の撮影タイミングが所定の時間差を有する非同期モードに設定するとともに、設定した前記同期モードで撮影された時間差のある2つの撮影画像、又は、設定した前記非同期モードで撮影された時間差のある2つの撮影画像に基づいて前記移動体の速度ベクトルを計測する計測部とを備え、
前記計測部は、前記移動体の速度に応じて、前記撮影タイミングに前記同期モード、及び、前記非同期モードのいずれか一方を選択する
状態計測装置。 - 前記所定の時間差は、前記撮影部が連写可能な時間間隔よりも短い時間である
請求項1に記載の状態計測装置。 - 前記計測部は、前記移動体の速度が前記同期モードによる速度計測可能な上限値に基づいて定められる切替速度以下であるとき前記同期モードを選択し、前記移動体の速度が前記切替速度よりも高いとき前記非同期モードを選択する
請求項1又は2に記載の状態計測装置。 - 前記計測部は、前記非同期モードによって撮影された前記2つの撮影画像において同一の特徴領域の相対的な移動量と前記所定の時間差とに基づいて速度計測を行う
請求項1〜3のいずれか一項に記載の状態計測装置。 - 前記計測部は、前記相対的な移動量及び前記所定の時間差に加えて、前記非同期モードの前記2つの撮影画像の撮影範囲の相対関係を考慮して、前記非同期モードの前記2つの撮影画像に基づいて前記速度計測を行う
請求項4に記載の状態計測装置。 - 前記計測部は、前記同期モードの前記2つの撮影画像の相対関係を取得した後、前記非同期モードの前記2つの撮影画像に基づく前記速度計測を行う
請求項5に記載の状態計測装置。 - 前記計測部は、前記非同期モードの前記2つの撮影画像の撮影範囲の相対関係を、前記2つの撮影部の静的な相対関係による視差として取得する
請求項6に記載の状態計測装置。 - 撮影画像に基づいて移動体の速度ベクトルを計測する状態計測装置に用いられる状態計測方法であって、
移動面撮影部が、前記移動体が移動する移動面を前記移動体に固定された2つの撮影部で撮影する移動面撮影ステップと、
計測部が、前記2つの撮影部の各々の撮影タイミングを、前記各々の撮影タイミングが一致する同期モード、又は、前記各々の撮影タイミングが所定の時間差を有する非同期モードに設定するタイミング設定ステップと、設定した前記同期モードで撮影された時間差のある2つの撮影画像、又は、設定した前記非同期モードで撮影された時間差のある2つの撮影画像に基づいて前記移動体の速度ベクトルを計測する計測ステップとを備え、
前記計測ステップでは、前記移動体の速度に応じて、前記撮影タイミングに前記同期モード、及び、前記非同期モードのいずれか一方を選択する
状態計測方法。 - 撮影画像に基づいて移動体の速度ベクトルを計測する状態計測装置であって、
前記移動体が移動する移動面を前記移動体に固定された3つ以上の撮影部で撮影する移動面撮影部と、
前記3つ以上の撮影部のうちで1組を構成するいずれか2つの撮影部の各々の撮影タイミングが一致する同期モードに設定され、他の組を構成するいずれか2つの撮影部の各々の撮影タイミングが所定の時間差を有する非同期モードに設定されており、設定された前記同期モードで撮影された時間差のある2つの撮影画像、又は、設定された前記非同期モードで撮影された時間差のある2つの撮影画像に基づいて前記移動体の速度ベクトルを計測する計測部とを備え、
前記計測部は、前記移動体の速度に応じて、前記同期モードで撮影された時間差のある2つの撮影画像、及び、前記非同期モードで撮影された時間差のある2つの撮影画像のうちの少なくとも一方を選択する
状態計測装置。 - 撮影画像に基づいて移動体の速度ベクトルを計測する状態計測装置に用いられる状態計測方法であって、
移動面撮影部が、前記移動体が移動する移動面を前記移動体に固定された3つ以上の撮影部で撮影する移動面撮影ステップと、
前記3つ以上の撮影部のうちで1組を構成するいずれか2つの撮影部の各々の撮影タイミングが一致する同期モードに設定され、他の組を構成するいずれか2つの撮影部の各々の撮影タイミングが所定の時間差を有する非同期モードに設定されており、計測部が、設定された前記同期モードで撮影された時間差のある2つの撮影画像、又は、設定された前記非同期モードで撮影された時間差のある2つの撮影画像に基づいて前記移動体の速度ベクトルを計測する計測ステップとを備え、
前記計測ステップでは、前記移動体の速度に応じて、前記同期モードで撮影された時間差のある2つの撮影画像、及び、前記非同期モードで撮影された時間差のある2つの撮影画像のうちの少なくとも一方を選択する
状態計測方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019127607A JP7213158B2 (ja) | 2019-07-09 | 2019-07-09 | 状態計測装置及び状態計測方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019127607A JP7213158B2 (ja) | 2019-07-09 | 2019-07-09 | 状態計測装置及び状態計測方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021012155A true JP2021012155A (ja) | 2021-02-04 |
JP7213158B2 JP7213158B2 (ja) | 2023-01-26 |
Family
ID=74226671
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019127607A Active JP7213158B2 (ja) | 2019-07-09 | 2019-07-09 | 状態計測装置及び状態計測方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7213158B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023013108A1 (ja) * | 2021-08-02 | 2023-02-09 | 日立Astemo株式会社 | マルチカメラ装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04110715A (ja) * | 1990-08-31 | 1992-04-13 | Kyocera Corp | 高速度物体計測装置 |
JP2008217330A (ja) * | 2007-03-02 | 2008-09-18 | Kobe Univ | 速度推定方法および速度推定プログラム |
JP2011073885A (ja) * | 2005-01-04 | 2011-04-14 | Mitsubishi Electric Corp | 移動体の位置・速度検出装置 |
US20160021312A1 (en) * | 2014-07-15 | 2016-01-21 | Hyundai Mobis Co., Ltd | Around view monitoring system and method for vehicles |
CN107315095A (zh) * | 2017-06-19 | 2017-11-03 | 哈尔滨工业大学 | 基于视频处理的具有光照适应性的多车辆自动测速方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4110715B2 (ja) | 2000-07-11 | 2008-07-02 | コニカミノルタビジネステクノロジーズ株式会社 | 画像処理装置 |
-
2019
- 2019-07-09 JP JP2019127607A patent/JP7213158B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04110715A (ja) * | 1990-08-31 | 1992-04-13 | Kyocera Corp | 高速度物体計測装置 |
JP2011073885A (ja) * | 2005-01-04 | 2011-04-14 | Mitsubishi Electric Corp | 移動体の位置・速度検出装置 |
JP2008217330A (ja) * | 2007-03-02 | 2008-09-18 | Kobe Univ | 速度推定方法および速度推定プログラム |
US20160021312A1 (en) * | 2014-07-15 | 2016-01-21 | Hyundai Mobis Co., Ltd | Around view monitoring system and method for vehicles |
CN107315095A (zh) * | 2017-06-19 | 2017-11-03 | 哈尔滨工业大学 | 基于视频处理的具有光照适应性的多车辆自动测速方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023013108A1 (ja) * | 2021-08-02 | 2023-02-09 | 日立Astemo株式会社 | マルチカメラ装置 |
Also Published As
Publication number | Publication date |
---|---|
JP7213158B2 (ja) | 2023-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10764517B2 (en) | Stereo assist with rolling shutters | |
CN111436216B (zh) | 用于彩色点云生成的方法和*** | |
JP4889351B2 (ja) | 画像処理装置及びその処理方法 | |
US7908106B2 (en) | Apparatus for correcting position and attitude information of camera and method thereof | |
JP2012198075A (ja) | ステレオカメラ装置、画像補整方法 | |
CN107560603B (zh) | 一种无人机倾斜摄影测量***及测量方法 | |
JP5293131B2 (ja) | 車両用複眼距離測定装置及び複眼距離測定方法 | |
US20210192750A1 (en) | Motion segmentation in video from non-stationary cameras | |
JP3765862B2 (ja) | 車両用環境認識装置 | |
CN109074480B (zh) | 用于检测机动车辆的环境区域的图像中的滚动快门效应的方法、计算装置、驾驶员辅助***以及机动车辆 | |
JP2019533875A (ja) | 道路の合成トップビュー画像を生成するための方法およびシステム | |
KR20190143202A (ko) | 3차원 모델링용 촬영장치 및 촬영방법 | |
KR100901312B1 (ko) | 자율이동플랫폼의 지형데이터 생성 장치, 이를 구비하는 자율이동플랫폼 및 자율이동플랫폼의 지형데이터 생성 방법 | |
JP7213158B2 (ja) | 状態計測装置及び状態計測方法 | |
JP5162412B2 (ja) | トンネル壁面撮影装置 | |
KR100797391B1 (ko) | 카메라의 위치 및 자세 정보 보정 방법 및 장치 | |
JP2020082830A (ja) | 人工衛星、観測システム、情報処理装置 | |
EP4235574A1 (en) | Measuring device, moving device, measuring method, and storage medium | |
CN109309785B (zh) | 拍摄控制装置以及拍摄控制方法 | |
JP7174667B2 (ja) | 状態計測装置 | |
JP7179571B2 (ja) | 車両点検装置および方法 | |
CN112272757A (zh) | 一种探测装置的外参数标定方法、装置及可移动平台 | |
JP2019203732A (ja) | 状態計測装置 | |
JP5040831B2 (ja) | 車両用撮影装置および撮影方法 | |
JP2015176275A (ja) | 移動体搭載撮影システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220303 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230116 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7213158 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |