JP7169689B2 - 計測システム、計測方法、及び計測プログラム - Google Patents
計測システム、計測方法、及び計測プログラム Download PDFInfo
- Publication number
- JP7169689B2 JP7169689B2 JP2020559296A JP2020559296A JP7169689B2 JP 7169689 B2 JP7169689 B2 JP 7169689B2 JP 2020559296 A JP2020559296 A JP 2020559296A JP 2020559296 A JP2020559296 A JP 2020559296A JP 7169689 B2 JP7169689 B2 JP 7169689B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- ipm
- imaging device
- measurement system
- measurement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
- G01C11/12—Interpretation of pictures by comparison of two or more pictures of the same area the pictures being supported in the same relative position as when they were taken
- G01C11/26—Interpretation of pictures by comparison of two or more pictures of the same area the pictures being supported in the same relative position as when they were taken using computers to control the position of the pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
- H04N13/264—Image signal generators with monoscopic-to-stereoscopic image conversion using the relative movement of objects in two video frames or fields
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Measurement Of Optical Distance (AREA)
Description
第1節では、計測システム1の全体構成について説明する。図1は、本実施形態に係る計測システム1の構成概要を示す図である。計測システム1は、撮像装置2と、情報処理装置3とを備え、これらが電気的に接続されたシステムである。計測システム1は、静止して使用してもよいが、特になんらかの移動手段に設置して使用することが好ましい。移動手段とは、例えば、自動車、列車(公共交通機関だけでなく遊戯用等も含む)、船舶、飛行体(飛行機、ヘリコプター、ドローン等を含む)、移動型ロボット等が想定される。本明細書では、例として自動車を取り上げて説明を行い、計測システム1が搭載された自動車を「本自動車」と定義する。すなわち、計測システム1は、本自動車の、例えば、前方に位置する前方車両(障害物である対象物)の位置を計測するために用いられる。
撮像装置2は、外界の情報を画像として取得可能に構成される、いわゆるビジョンセンサ(カメラ)であり、特に高速ビジョンと称するフレームレートが高いものが採用されることが好ましい。フレームレートは、例えば、100fps以上であり、好ましくは、250fps以上であり、更に好ましくは500fps又は1000fpsである。具体的には例えば、100、125、150、175、200、225、250、275、300、325、350、375、400、425、450、475、500、525、550、575、600、625、650、675、700、725、750、775、800、825、850、875、900、925、950、975、1000、1025、1050、1075、1100、1125、1150、1175、1200、1225、1250、1275、1300、1325、1350、1375、1400、1425、1450、1475、1500、1525、1550、1575、1600、1625、1650、1675、1700、1725、1750、1775、1800、1825、1850、1875、1900、1925、1950、1975、2000fps(ヘルツ)であり、ここで例示した数値の何れか2つの間の範囲内であってもよい。より具体的には、撮像装置2は、第1のカメラ21及び第2のカメラ22からなる、いわゆる2眼の撮像装置である。また、第1のカメラ21の画角及び第2のカメラ22の画角は、互いに重複する領域があることに留意されたい。また、撮像装置2において、可視光だけではなく紫外域や赤外域といったヒトが知覚できない帯域を計測可能なカメラを採用してもよい。このようなカメラを採用することによって、暗視野であっても本実施形態に係る計測システム1を用いた計測を実施することができる、という有利な効果を奏する。
第1のカメラ21は、例えば、計測システム1において、第2のカメラ22と並列に設けられ、本自動車の左側前方を撮像可能に構成される。具体的には、第1のカメラ21の画角に、本自動車の前方に位置する前方車両(すなわち障害物である対象物)がとらえられる。また、第1のカメラ21は、後述の情報処理装置3における通信部31と電気通信回線(例えばUSBケーブル等)で接続され、撮像した画像を情報処理装置3に転送可能に構成される。
第2のカメラ22は、例えば、計測システム1において、第1のカメラ21と並列に設けられ、本自動車の右側前方を撮像可能に構成される。具体的には、第2のカメラ22の画角に、本自動車の前方に位置する前方車両(すなわち障害物である対象物)がとらえられる。また、第2のカメラ22は、後述の情報処理装置3における通信部31と電気通信回線(例えばUSBケーブル等)で接続され、撮像した画像を情報処理装置3に転送可能に構成される。
情報処理装置3は、通信部31と、記憶部32と、制御部33とを有し、これらの構成要素が情報処理装置3の内部において通信バス30を介して電気的に接続されている。以下、各構成要素についてさらに説明する。
通信部31は、USB、IEEE1394、Thunderbolt、有線LANネットワーク通信等といった有線型の通信手段が好ましいものの、無線LANネットワーク通信、LTE/3G等のモバイル通信、Bluetooth(登録商標)通信等を必要に応じて含めてもよい。すなわち、これら複数の通信手段の集合として実施することがより好ましい。特に、前述の撮像装置2における第1のカメラ21及び第2のカメラ22とは、所定の高速通信規格(例えば、USB3.0やカメラリンク等)において通信可能に構成されることが好ましい。また、前方車両の計測結果を表示するためのモニター(不図示)や、計測結果に基づいて本自動車を自動制御(自動運転)するための自動制御装置(不図示)が接続されてもよい。
記憶部32は、前述の記載により定義される様々な情報を記憶する。これは、例えばソリッドステートドライブ(Solid State Drive:SSD)等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報(引数、配列等)を記憶するランダムアクセスメモリ(Random Access Memory:RAM)等のメモリとして実施されうる。また、これらの組合せであってもよい。
制御部33は、情報処理装置3に関連する全体動作の処理・制御を行う。制御部33は、例えば不図示の中央処理装置(Central Processing Unit:CPU)である。制御部33は、記憶部32に記憶された所定のプログラムを読み出すことによって、情報処理装置3に係る種々の機能を実現する。具体的にはIPM変換機能、ヒストグラム生成機能、所定領域ROI決定機能、位置計測機能、補正機能等が該当する。すなわち、ソフトウェア(記憶部32に記憶されている)による情報処理がハードウェア(制御部33)によって具体的に実現されることで、IPM変換部331、ヒストグラム生成部332、位置計測部333、及び補正部334として実行されうる。なお、図1においては、単一の制御部33として表記されているが、実際はこれに限るものではなく、機能ごとに複数の制御部33を有するように実施してもよい。またそれらの組合せであってもよい。以下、IPM変換部331、ヒストグラム生成部332、位置計測部333、及び補正部334についてさらに詳述する。
IPM変換部331は、ソフトウェア(記憶部32に記憶されている)による情報処理がハードウェア(制御部33)によって具体的に実現されているものである。IPM変換部331は、撮像装置2における第1のカメラ21及び第2のカメラ22から送信され且つ通信部31によって受信した画像IMに対して、逆透視投影変換処理を実行可能に構成される。逆透視投影変換については、第2節において詳述する。
ヒストグラム生成部332は、ソフトウェア(記憶部32に記憶されている)による情報処理がハードウェア(制御部33)によって具体的に実現されているものである。ヒストグラム生成部332は、第1のIPM画像IM1’及び第2のIPM画像IM2’の差分Dを演算し、続いて、それぞれ異なるパラメータを基準に生成された複数のヒストグラムHGを生成する。かかるヒストグラムHGは、過去のフレームで決定された所定領域ROIに限定されたものである。具体的には、角度(方向)を基準とした第1のヒストグラムHG1と、距離を基準とした第2のヒストグラムHG2とを生成する。さらに、ヒストグラム生成部332は、生成した第1のヒストグラムHG1及び第2のヒストグラムHG2に基づいて、次のフレームでの処理で使用する所定領域ROIを決定する。より詳しくは、第3節において説明する。
位置計測部333は、ソフトウェア(記憶部32に記憶されている)による情報処理がハードウェア(制御部33)によって具体的に実現されているものである。位置計測部333は、ヒストグラム生成部332によって演算された差分D、並びに第1のヒストグラムHG1及び第2のヒストグラムHG2に基づいて、前方車両の位置を計測可能に構成される。計測された前方車両の位置は、適宜、本自動車の運転者に不図示のモニターを介して提示されるとよい。さらには、計測結果に基づいて本自動車を自動制御(自動運転)するための自動制御装置に適切な制御信号が送信されてもよい。
補正部334は、ソフトウェア(記憶部32に記憶されている)による情報処理がハードウェア(制御部33)によって具体的に実現されているものである。補正部334は、第1のIPM画像IM1’及び第2のIPM画像IM2’を比較することで、これらの座標の対応関係を推定し、推定された座標の対応関係に基づいて、IPM画像IM’の真値との誤差を補正する。より詳しくは、第4節において説明する。
第2節では、逆透視投影変換について説明する。図2は、逆透視投影変換の概要図であり、ここではモデルとして、ピンホールカメラを仮定するとともに、カメラのピッチ角のみを考慮して表式化していることにも留意されたい。もちろん、魚眼カメラやオムニディレクショナルカメラを仮定してもよいし、ロール角を考慮して表式化してもよい。図2に示されるように、世界座標系O_Wで表された点(X_W,Y_W,Z_W)をカメラ画像平面π_Cに投影したときの点(x,y)は[数1]のように表される。
ただし、Kはカメラ(第1のカメラ21及び第2のカメラ22)の内部行列、Πはカメラ座標系O_Cからカメラ画像平面π_Cへの射影行列、R∈SO(3)及びT∈R^3は、世界座標系O_Wからカメラ座標系O_Cへの回転行列、及び並進ベクトルをそれぞれ表す。
と表されるとき、画像上の点(x,y)の逆透視投影像であるπ上の点(X_W,Y_W,Z_W)は、(x,y)を用いて、[数3]のように計算される。
第3節では、所定領域ROIについて説明する。2台のカメラ(第1のカメラ21及び第2のカメラ22)の画角内に対象物が存在する場合、IPM画像IM’の対の差分Dにおいて対象物の左右の側辺に相当する部分にそれぞれ大きな三角形状の非ゼロ領域ができる(図3E参照)。2台のカメラを平面に射影した点の中点F(撮像装置2を射影した点と解する)を原点として角度方向のヒストグラムHGである第1のヒストグラムHG1を取ると、図4Aに示されるように、三角形の頂点に対応する位置にピークを持つ。このピークを示す角度がカメラから物体の側辺までの角度を表す。ここで、この物体に対して移動量微小仮定をおく。すなわち、連続するフレーム間の対象物の角度方向の移動量は高々δθであると仮定すると、時刻t+1におけるピーク位置θ_(t+1)と時刻tにおけるピーク位置θ_tの間に[数4]の関係が成り立つ。
第4節では、情報処理装置3における補正部334によってなされる補正(キャリブレーション)について説明する。かかる補正によって、逆透視投影変換の精度が向上する。
本実施形態においては、第1のカメラ21及び第2のカメラ22を具備するものの、各カメラ単独で補正を行うように実施することができる。つまり、補正部334は、現在画像と過去画像とを逐次的に比較することで、撮像装置2が有するパラメータを推定し、推定されたパラメータに基づいて、IPM画像IM’の真値との誤差を補正可能に構成される。
本実施形態においては、第1のカメラ21及び第2のカメラ22を具備するため、かかる構成を利用してカメラ間の位置姿勢関係を把握し、さらに補正を行うことができる。つまり、補正部334は、第1のIPM画像IM1’及び第2のIPM画像IM2’を比較することで、これらの座標の対応関係を推定し、推定された座標の対応関係に基づいて、IPM画像IM’の真値との誤差を補正可能に構成される。
前述に説明した繰り返し処理に際して、より具体的には、時系列に隣接するフレーム(画像IM)に基づいて算出されたオプティカルフローを指標とするとよい。オプティカルフローとは、時刻t-1における任意に選択された点を始点とし、時刻tにおいて、選択された点と比較して所定の条件を満たす点(推定移動先)を終点としたベクトルである。オプティカルフローは、画像中における対象物の動きを表す指標として一般的に用いられる。特に、Lucas Kanade法によって計算コストを抑えて演算することが可能である。特に、IPM画像IM’上で,位相限定相関法等の画像の位置合せ手法を用いることで、高精度なオプティカルフローを推定することができる。
第5節では、本実施形態に係る計測システム1を用いた計測方法について説明する。図5は、計測方法の流れを示すフローチャートである。以下、図5における各ステップに沿って説明する。
(ステップS1)
ある時刻tにおいて、撮像装置2(第1のカメラ21及び第2のカメラ22)が対象物を100fps以上のフレームレートで画像IM(第1の画像IM1及び第2の画像IM2)として撮像する(ステップS2に続く)。
続いて、ステップS1において撮像された画像IMに対して、所定領域ROIが設定される。なお、ここでの所定領域ROIは、時刻tよりも過去(通常は1フレーム前)のステップS5(後述)において決定されたものである。ただし、1フレーム目については、かかる所定領域ROIが設定されなくてよい(ステップS3に続く)。
続いて、IPM変換部331が、画像IMに対して逆透視投影変換(第2節参照)を行って、ステップS2で設定された所定領域ROIに限定されたIPM画像IM’(第1のIPM画像IM1’及び第2のIPM画像IM2’)を生成する(ステップS4に続く)。
続いて、ヒストグラム生成部332が、第1のIPM画像IM1’及び第2のIPM画像IM2’の差分Dを演算し、続いて、それぞれ異なるパラメータ(角度及び距離)を基準に生成されたヒストグラムHG(第1のヒストグラムHG1及び第2のヒストグラムHG2)を生成する。また、かかる差分Dに基づいて、位置計測部333が対象物の位置を計測することとなる(ステップS5に続く)。
続いて、ヒストグラム生成部332が、ステップS4において生成されたヒストグラムHGに基づいて、時刻t以降(通常は1フレーム先)のステップS2(前述)において設定されうる所定領域ROIを決定する。
[終了]
第6節では、本実施形態に係る変形例について説明する。すなわち、次のような態様によって、本実施形態に係る計測システム1をさらに創意工夫してもよい。
以上のように、本実施形態によれば、計測すべき対象物(障害物)の存在をすばやく且つ確実に検知することで、産業における安全なオペレーションを実現可能な計測システム1を実施することができる。
前記計測システムにおいて、前記撮像装置が撮像したn(n≧2)番目のフレームに係る画像を、現在画像と定義し、前記撮像装置が撮像したn-k(n>k≧1)番目のフレームに係る画像を、過去画像と定義すると、前記現在画像に対して適用される前記所定領域は、前記過去画像を用いて計測された前記対象物の過去の位置に基づいて設定される、計測システム。
前記計測システムにおいて、前記情報処理装置は、補正部をさらに備え、前記補正部は、前記現在画像と前記過去画像とを逐次的に比較することで、前記撮像装置が有するパラメータを推定し、推定された前記パラメータに基づいて、前記IPM画像の真値との誤差を補正可能に構成される、計測システム。
前記計測システムにおいて、前記撮像装置は、第1及び第2のカメラからなる2眼の撮像装置であり、前記第1及び第2のカメラの画角に含まれる前記対象物を、第1及び第2の画像として前記フレームレートで撮像可能に構成され、前記IPM変換部は、前記第1及び第2の画像に対応する第1及び第2のIPM画像を生成し、前記位置計測部は、前記第1及び第2のIPM画像の差分に基づいて前記対象物の位置を計測可能に構成される、計測システム。
前記計測システムにおいて、前記情報処理装置は、補正部をさらに備え、前記補正部は、前記第1及び第2のIPM画像を比較することで、これらの座標の対応関係を推定し、推定された前記座標の対応関係に基づいて、前記IPM画像の真値との誤差を補正可能に構成される、計測システム。
前記計測システムにおいて、ヒストグラム生成部をさらに備え、前記ヒストグラム生成部は、前記IPM画像の差分に基づいて、前記所定領域に限定されたヒストグラムを生成する、計測システム。
前記計測システムにおいて、前記ヒストグラムは、それぞれ異なるパラメータを基準に生成された第1及び第2のヒストグラムを含む複数のヒストグラムであり、それぞれの前記パラメータが所定範囲内にあるか否かに基づいて、前記所定領域が決定される、計測システム。
前記計測システムにおいて、前記第1のヒストグラムの基準となる前記パラメータは、前記IPM画像における前記撮像装置の位置を中心とした極座標での角度であり、前記第2のヒストグラムの基準となる前記パラメータは、前記極座標での距離である、計測システム。
前記計測システムにおいて、当該計測システムは、移動可能に構成され、前記所定領域は、当該計測システムの速度、加速度、移動方向、周辺環境の少なくとも1つに基づいて決定される、計測システム。
前記計測システムにおいて、当該計測システムの速度、加速度、移動方向、周辺環境の少なくとも1つと、前記所定領域との相関性が、機械学習によって学習可能に構成される、計測システム。
前記計測システムにおいて、前記対象物は複数あり、前記位置計測部は、前記複数の対象物それぞれを分離的に認識し、且つそれぞれの位置を計測可能に構成される、計測システム。
前記計測システムにおいて、前記複数の対象物を分離的に認識した結果が機械学習可能に構成され、これにより、当該計測システムの継続的な使用を通じて前記位置計測部による分離認識の精度が向上可能に構成される、計測システム。
対象物の位置を計測する計測方法であって、撮像ステップと、IPM変換ステップと、位置計測ステップとを備え、前記撮像ステップでは、フレームレートが100fps以上のカメラを用いて、前記カメラの画角に含まれる前記対象物を、画像として撮像し、前記IPM変換ステップでは、前記対象物を含む前記画像の少なくとも一部を所定領域として決定し、前記画像を逆透視投影変換して、前記所定領域に限定されたIPM画像を生成し、ここで前記IPM画像とは、前記対象物を含む所定平面を俯瞰するように描画された画像であり、前記位置計測ステップでは、前記IPM画像に基づいて、前記対象物の位置を計測する、計測方法。
対象物の位置を計測可能に構成される計測システムの情報処理装置であって、受付部と、IPM変換部と、位置計測部とを備え、前記受付部は、対象物を含む画像を受付可能に構成され、前記IPM変換部は、前記対象物を含む前記画像の少なくとも一部を所定領域として設定し、前記画像を逆透視投影変換して、前記所定領域に限定されたIPM画像を生成するように構成され、ここで前記IPM画像とは、前記対象物を含む所定平面を俯瞰するように描画された画像であり、前記位置計測部は、前記IPM画像に基づいて、前記対象物の位置を計測可能に構成される、情報処理装置。
計測プログラムであって、コンピュータを前記情報処理装置として機能させるもの。
もちろん、この限りではない。
2 :撮像装置
21 :第1のカメラ
22 :第2のカメラ
3 :情報処理装置
30 :通信バス
31 :通信部
32 :記憶部
33 :制御部
331 :IPM変換部
332 :ヒストグラム生成部
333 :位置計測部
334 :補正部
D :差分
HG :ヒストグラム
HG1 :第1のヒストグラム
HG2 :第2のヒストグラム
IM :画像
IM’ :IPM画像
IM1 :第1の画像
IM1’ :第1のIPM画像
IM2 :第2の画像
IM2’ :第2のIPM画像
ROI :所定領域
ROI1 :第1の所定領域
ROI2 :第2の所定領域
Claims (13)
- 対象物の位置を計測可能に構成される計測システムであって、
撮像装置と、情報処理装置とを備え、
前記撮像装置は、画角に含まれる前記対象物を、画像として撮像可能に構成され、
前記情報処理装置は、通信部と、IPM変換部と、位置計測部とを備え、
前記通信部は、
前記撮像装置と接続され、
前記撮像装置によって撮像された前記画像を受信可能に構成され、
前記IPM変換部は、
前記対象物を含む前記画像の少なくとも一部を所定領域として設定し、
前記画像を逆透視投影変換して、前記所定領域に限定されたIPM画像を生成するように構成され、ここで前記IPM画像とは、前記対象物を含む所定平面を俯瞰するように描画された画像であり、
前記位置計測部は、前記IPM画像に基づいて、前記対象物の位置を計測可能に構成され、
前記撮像装置が撮像したn(n≧2)番目のフレームに係る画像を、現在画像と定義し、前記撮像装置が撮像したn-k(n>k≧1)番目のフレームに係る画像を、過去画像と定義すると、
前記現在画像に対して適用される前記所定領域は、前記過去画像を用いて計測された前記対象物の過去の位置に基づいて設定される、
計測システム。 - 請求項1に記載の計測システムにおいて、
前記情報処理装置は、補正部をさらに備え、
前記補正部は、
前記現在画像と前記過去画像とを逐次的に比較することで、前記撮像装置が有するパラメータを推定し、
推定された前記パラメータに基づいて、前記IPM画像の真値との誤差を補正可能に構成される、
計測システム。 - 対象物の位置を計測可能に構成される計測システムであって、
撮像装置と、情報処理装置とを備え、
前記撮像装置は、画角に含まれる前記対象物を、画像として撮像可能に構成され、
前記情報処理装置は、通信部と、IPM変換部と、位置計測部とを備え、
前記通信部は、
前記撮像装置と接続され、
前記撮像装置によって撮像された前記画像を受信可能に構成され、
前記IPM変換部は、
前記対象物を含む前記画像の少なくとも一部を所定領域として設定し、
前記画像を逆透視投影変換して、前記所定領域に限定されたIPM画像を生成するように構成され、ここで前記IPM画像とは、前記対象物を含む所定平面を俯瞰するように描画された画像であり、
前記位置計測部は、前記IPM画像に基づいて、前記対象物の位置を計測可能に構成され、
前記撮像装置は、
第1及び第2のカメラからなる2眼の撮像装置であり、
前記第1及び第2のカメラの画角に含まれる前記対象物を、第1及び第2の画像として撮像可能に構成され、
前記IPM変換部は、前記第1及び第2の画像に対応する第1及び第2のIPM画像を生成し、
前記位置計測部は、前記第1及び第2のIPM画像の差分に基づいて前記対象物の位置を計測可能に構成され、
前記情報処理装置は、補正部をさらに備え、
前記補正部は、
前記第1及び第2のIPM画像を比較することで、これらの座標の対応関係を推定し、
推定された前記座標の対応関係に基づいて、前記IPM画像の真値との誤差を補正可能に構成される、
計測システム。 - 請求項3に記載の計測システムにおいて、
ヒストグラム生成部をさらに備え、
前記ヒストグラム生成部は、前記IPM画像の差分に基づいて、前記所定領域に限定されたヒストグラムを生成する、
計測システム。 - 請求項4に記載の計測システムにおいて、
前記ヒストグラムは、それぞれ異なるパラメータを基準に生成された第1及び第2のヒストグラムを含む複数のヒストグラムであり、
それぞれの前記パラメータが所定範囲内にあるか否かに基づいて、前記所定領域が決定される、
計測システム。 - 請求項5に記載の計測システムにおいて、
前記第1のヒストグラムの基準となる前記パラメータは、前記IPM画像における前記撮像装置の位置を中心とした極座標での角度であり、
前記第2のヒストグラムの基準となる前記パラメータは、前記極座標での距離である、
計測システム。 - 対象物の位置を計測可能に構成される計測システムであって、
撮像装置と、情報処理装置とを備え、
前記撮像装置は、画角に含まれる前記対象物を、画像として撮像可能に構成され、
前記情報処理装置は、通信部と、IPM変換部と、位置計測部とを備え、
前記通信部は、
前記撮像装置と接続され、
前記撮像装置によって撮像された前記画像を受信可能に構成され、
前記IPM変換部は、
前記対象物を含む前記画像の少なくとも一部を所定領域として設定し、
前記画像を逆透視投影変換して、前記所定領域に限定されたIPM画像を生成するように構成され、ここで前記IPM画像とは、前記対象物を含む所定平面を俯瞰するように描画された画像であり、
前記位置計測部は、前記IPM画像に基づいて、前記対象物の位置を計測可能に構成され、
当該計測システムは、移動可能に構成され、
前記所定領域は、当該計測システムの速度、加速度、移動方向、周辺環境の少なくとも1つに基づいて決定される、
当該計測システムの速度、加速度、移動方向、周辺環境の少なくとも1つと、前記所定領域との相関性が、機械学習によって学習可能に構成される、
計測システム。 - 請求項1~請求項7の何れか1つに記載の計測システムにおいて、
前記対象物は複数あり、
前記位置計測部は、前記複数の対象物それぞれを分離的に認識し、且つそれぞれの位置を計測可能に構成される、
計測システム。 - 請求項8に記載の計測システムにおいて、
前記複数の対象物を分離的に認識した結果が機械学習可能に構成され、これにより、当該計測システムの継続的な使用を通じて前記位置計測部による分離認識の精度が向上可能に構成される、
計測システム。 - 請求項1~請求項9の何れか1つに記載の計測システムにおいて、
前記撮像装置は、
フレームレートが100fps以上のカメラであり、
前記カメラの画角に含まれる前記対象物を、画像として撮像可能に構成される、
計測システム。 - 対象物の位置を計測する計測方法であって、
撮像ステップと、IPM変換ステップと、位置計測ステップとを備え、
前記撮像ステップでは、撮像装置を用いて、前記撮像装置の画角に含まれる前記対象物を、画像として撮像し、
前記IPM変換ステップでは、
前記対象物を含む前記画像の少なくとも一部を所定領域として決定し、
前記画像を逆透視投影変換して、前記所定領域に限定されたIPM画像を生成し、ここで前記IPM画像とは、前記対象物を含む所定平面を俯瞰するように描画された画像であり、
前記位置計測ステップでは、前記IPM画像に基づいて、前記対象物の位置を計測し、
前記撮像装置が撮像したn(n≧2)番目のフレームに係る画像を、現在画像と定義し、前記撮像装置が撮像したn-k(n>k≧1)番目のフレームに係る画像を、過去画像と定義すると、
前記現在画像に対して適用される前記所定領域は、前記過去画像を用いて計測された前記対象物の過去の位置に基づいて設定される、
計測方法。 - 対象物の位置を計測可能に構成される計測システムの情報処理装置であって、
受付部と、IPM変換部と、位置計測部とを備え、
前記受付部は、撮像装置によって撮像された対象物を含む画像を受付可能に構成され、
前記IPM変換部は、
前記対象物を含む前記画像の少なくとも一部を所定領域として設定し、
前記画像を逆透視投影変換して、前記所定領域に限定されたIPM画像を生成するように構成され、ここで前記IPM画像とは、前記対象物を含む所定平面を俯瞰するように描画された画像であり、
前記位置計測部は、前記IPM画像に基づいて、前記対象物の位置を計測可能に構成され、
前記撮像装置が撮像したn(n≧2)番目のフレームに係る画像を、現在画像と定義し、前記撮像装置が撮像したn-k(n>k≧1)番目のフレームに係る画像を、過去画像と定義すると、
前記現在画像に対して適用される前記所定領域は、前記過去画像を用いて計測された前記対象物の過去の位置に基づいて設定される、
情報処理装置。 - 計測プログラムであって、
コンピュータを請求項12に記載の情報処理装置として機能させる、
プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018232784 | 2018-12-12 | ||
JP2018232784 | 2018-12-12 | ||
PCT/JP2019/048554 WO2020122143A1 (ja) | 2018-12-12 | 2019-12-11 | 計測システム、計測方法、及び計測プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020122143A1 JPWO2020122143A1 (ja) | 2021-10-21 |
JP7169689B2 true JP7169689B2 (ja) | 2022-11-11 |
Family
ID=71076434
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020559296A Active JP7169689B2 (ja) | 2018-12-12 | 2019-12-11 | 計測システム、計測方法、及び計測プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220018658A1 (ja) |
JP (1) | JP7169689B2 (ja) |
CN (1) | CN113167579B (ja) |
WO (1) | WO2020122143A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7360180B2 (ja) | 2017-02-28 | 2023-10-12 | 国立大学法人 筑波大学 | 半導体装置とその製造方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006121087A1 (ja) | 2005-05-10 | 2006-11-16 | Olympus Corporation | 画像処理装置、画像処理方法および画像処理プログラム |
US20180192035A1 (en) | 2017-01-04 | 2018-07-05 | Qualcomm Incorporated | Systems and methods for object location |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07262375A (ja) * | 1994-03-25 | 1995-10-13 | Toshiba Corp | 移動体検出装置 |
KR101075615B1 (ko) * | 2006-07-06 | 2011-10-21 | 포항공과대학교 산학협력단 | 주행 차량의 운전자 보조 정보 생성 장치 및 방법 |
CN102221358B (zh) * | 2011-03-23 | 2012-12-12 | 中国人民解放军国防科学技术大学 | 基于逆透视投影变换的单目视觉定位方法 |
US8848978B2 (en) * | 2011-09-16 | 2014-09-30 | Harman International (China) Holdings Co., Ltd. | Fast obstacle detection |
EP3286056B1 (en) * | 2016-03-23 | 2021-01-06 | Deutsche Telekom AG | System and method for a full lane change aid system with augmented reality technology |
US20180240031A1 (en) * | 2017-02-17 | 2018-08-23 | Twitter, Inc. | Active learning system |
US11618438B2 (en) * | 2018-03-26 | 2023-04-04 | International Business Machines Corporation | Three-dimensional object localization for obstacle avoidance using one-shot convolutional neural network |
CN113056775A (zh) * | 2018-09-28 | 2021-06-29 | 星际控股集团有限公司 | 交通监控和证据收集*** |
-
2019
- 2019-12-11 WO PCT/JP2019/048554 patent/WO2020122143A1/ja active Application Filing
- 2019-12-11 CN CN201980080871.XA patent/CN113167579B/zh active Active
- 2019-12-11 JP JP2020559296A patent/JP7169689B2/ja active Active
- 2019-12-11 US US17/299,362 patent/US20220018658A1/en not_active Abandoned
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006121087A1 (ja) | 2005-05-10 | 2006-11-16 | Olympus Corporation | 画像処理装置、画像処理方法および画像処理プログラム |
US20180192035A1 (en) | 2017-01-04 | 2018-07-05 | Qualcomm Incorporated | Systems and methods for object location |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7360180B2 (ja) | 2017-02-28 | 2023-10-12 | 国立大学法人 筑波大学 | 半導体装置とその製造方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113167579A (zh) | 2021-07-23 |
JPWO2020122143A1 (ja) | 2021-10-21 |
WO2020122143A1 (ja) | 2020-06-18 |
CN113167579B (zh) | 2023-03-14 |
US20220018658A1 (en) | 2022-01-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5926228B2 (ja) | 自律車両用の奥行き検知方法及びシステム | |
JP2019096072A (ja) | 物体検出装置、物体検出方法およびプログラム | |
CN106960454B (zh) | 景深避障方法、设备及无人飞行器 | |
US10719949B2 (en) | Method and apparatus for monitoring region around vehicle | |
JP2023530762A (ja) | 3dバウンディングボックスからの単眼深度管理 | |
US20200177867A1 (en) | Camera-parameter-set calculation apparatus, camera-parameter-set calculation method, and recording medium | |
KR102507248B1 (ko) | 에고모션 추정 시스템 및 방법 | |
US20170244954A1 (en) | Vehicle-Mounted Image Recognition Device | |
JP2016009487A (ja) | 立体画像に基づいて距離情報を求めるためのセンサシステム | |
TWI530409B (zh) | 自動追蹤防撞警示系統及其方法 | |
JP2014142241A (ja) | 3次元位置推定装置、車両制御装置、および3次元位置推定方法 | |
JP7169689B2 (ja) | 計測システム、計測方法、及び計測プログラム | |
Su et al. | 3D AVM system for automotive applications | |
JP6577595B2 (ja) | 車両用外界認識装置 | |
JP6674959B2 (ja) | 視差算出装置、ステレオカメラ装置、車両および視差算出方法 | |
JP7311407B2 (ja) | 姿勢推定装置、および、姿勢推定方法 | |
JP7303064B2 (ja) | 画像処理装置、および、画像処理方法 | |
CN112668505A (zh) | 基于路侧相机的外参的三维感知信息获取方法和路侧设备 | |
CN111656404B (zh) | 图像处理方法、***及可移动平台 | |
CN111260538B (zh) | 基于长基线双目鱼眼相机的定位及车载终端 | |
JP2021092996A (ja) | 計測システム、車両、計測方法、計測装置及び計測プログラム | |
WO2022141262A1 (en) | Object detection | |
WO2020246202A1 (ja) | 計測システム、計測方法、及び計測プログラム | |
JP6561688B2 (ja) | 検出装置、検出方法、撮像装置、機器制御システム、及びプログラム | |
WO2021230314A1 (ja) | 計測システム、車両、計測装置、計測プログラム及び計測方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210603 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20210603 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220705 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220815 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221018 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221024 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7169689 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |