JP2023142834A - Camera calibration device, camera calibration method, and camera calibration program - Google Patents
Camera calibration device, camera calibration method, and camera calibration program Download PDFInfo
- Publication number
- JP2023142834A JP2023142834A JP2022049950A JP2022049950A JP2023142834A JP 2023142834 A JP2023142834 A JP 2023142834A JP 2022049950 A JP2022049950 A JP 2022049950A JP 2022049950 A JP2022049950 A JP 2022049950A JP 2023142834 A JP2023142834 A JP 2023142834A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- calibration
- information
- attitude information
- attitude
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 33
- 239000003550 marker Substances 0.000 claims abstract description 107
- 238000004364 calculation method Methods 0.000 claims abstract description 62
- 238000012937 correction Methods 0.000 claims abstract description 47
- 238000012545 processing Methods 0.000 description 28
- 238000010586 diagram Methods 0.000 description 17
- 238000009434 installation Methods 0.000 description 17
- 230000010365 information processing Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000010354 integration Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000001915 proofreading effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
Abstract
Description
本開示は、カメラ校正装置、カメラ校正方法、およびカメラ校正プログラムに関する。 The present disclosure relates to a camera calibration device, a camera calibration method, and a camera calibration program.
従来、車両や計測機器等のカメラ搭載機器に搭載されたカメラの取り付け誤差を、販売元や製造元等で校正することが行われている。例えば、車両に対して正確な角度で床面に配置された校正用マーカを車載カメラで撮影し、撮影画像に含まれるマーカの特徴点等を用いてカメラの姿勢のずれ量を算出する方法が開示されている（例えば、特許文献１～特許文献３参照）。
BACKGROUND ART Conventionally, installation errors of cameras mounted on camera-equipped devices such as vehicles and measuring instruments have been calibrated by vendors, manufacturers, and the like. For example, there is a method in which a calibration marker placed on the floor at an accurate angle to the vehicle is photographed using an on-vehicle camera, and the amount of deviation in the camera's posture is calculated using the characteristic points of the marker included in the photographed image. (For example, see
しかしながら、従来技術では、車両等のカメラの搭載機器の周囲に、搭載機器に対して正確な位置に校正用マーカを配置することが困難である場合には校正精度が低下することがあった。また、校正用マーカを正確な位置に設置するには、多大な作業時間がかかってしまう場合が多い。 However, in the conventional technology, when it is difficult to arrange a calibration marker at an accurate position with respect to the mounted equipment around the mounted equipment of a camera such as a vehicle, the calibration accuracy may deteriorate. Moreover, it often takes a great deal of work time to install the calibration marker at an accurate position.
本開示の非限定的な実施例は、カメラの校正精度の向上を図ることができる、カメラ校正装置、カメラ校正方法、およびカメラ校正プログラムの提供に資する。 Non-limiting embodiments of the present disclosure contribute to providing a camera calibration device, a camera calibration method, and a camera calibration program that can improve camera calibration accuracy.
本開示にかかるカメラ校正装置は、画像取得回路と、第１姿勢情報取得回路と、第２姿勢情報取得回路と、算出回路と、補正回路と、を備える。画像取得回路は、姿勢センサを備えた情報機器に設けられた校正用マーカの、カメラによる撮影画像を取得する。第１姿勢情報取得回路は、前記撮影画像の撮影時の前記校正用マーカの第１姿勢情報を取得する。第２姿勢情報取得回路は、前記カメラの搭載装置の第２姿勢情報を取得する。算出回路は、前記撮影画像に含まれる前記校正用マーカに基づいて導出した前記カメラのカメラ姿勢情報に応じた校正量を算出する。補正回路は、前記校正量を、前記第１姿勢情報と前記第２姿勢情報との差に基づいて補正する。 A camera calibration device according to the present disclosure includes an image acquisition circuit, a first attitude information acquisition circuit, a second attitude information acquisition circuit, a calculation circuit, and a correction circuit. The image acquisition circuit acquires an image taken by a camera of a calibration marker provided on an information device equipped with an attitude sensor. The first posture information acquisition circuit acquires first posture information of the calibration marker at the time of photographing the photographed image. The second posture information acquisition circuit acquires second posture information of the camera mounting device. The calculation circuit calculates a calibration amount according to camera attitude information of the camera derived based on the calibration marker included in the photographed image. The correction circuit corrects the correction amount based on a difference between the first attitude information and the second attitude information.
本開示にかかるカメラ校正装置、カメラ校正方法、およびカメラ校正プログラムによれば、カメラの校正精度および作業効率の向上を図ることができる。 According to the camera calibration device, camera calibration method, and camera calibration program according to the present disclosure, camera calibration accuracy and work efficiency can be improved.
以下に添付図面を参照して、本開示に係るカメラ校正装置、カメラ校正方法、およびカメラ校正プログラムの実施形態について説明する。 Embodiments of a camera calibration device, a camera calibration method, and a camera calibration program according to the present disclosure will be described below with reference to the accompanying drawings.
図１を用いて、本実施形態の校正システム１の構成を説明する。
The configuration of a
校正システム１は、搭載機器に搭載されたカメラ２０の取り付け誤差を校正するシステムである。搭載機器は、カメラを搭載可能な機器であればよい。詳細には、搭載機器は、搭載されたカメラの撮影画像を用いて各種の処理を実行する機器である。搭載機器は、具体的には、例えば、車両、計測機器、等である。本実施形態では、搭載機器が、車両２である形態を一例として説明する。
The
校正システム１は、カメラ校正装置１０と、カメラ２０と、姿勢センサ２２と、表示装置３０と、を備える。
The
カメラ校正装置１０は、車両２に搭載されたカメラ２０の取り付け誤差を校正するための情報処理装置である。例えば、カメラ校正装置１０は、車両２に搭載されたＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）等によって実現される。
The
カメラ２０は校正対象の機器であり、撮影によって撮影画像データを得る。本実施形態では、撮影画像データを単に撮影画像と称して説明する。
The
本実施形態では、カメラ２０は車両２に搭載されている。例えば、車両２には、撮影方向の異なる複数のカメラ２０が取り付けられている。図１には、車両２の前方を撮影するカメラ２０Ａ、車両２の後方を撮影するカメラ２０Ｄ、車両２の周囲の車幅方向を撮影するカメラ２０Ｃおよびカメラ２０Ｄ、が車両２に設けられた形態を一例として示す。なお、車両２に搭載される車両２の数および位置は、図１に示す例に限定されない。
In this embodiment, the
姿勢センサ２２は、車両２の姿勢情報である第２姿勢情報を検出するセンサである。
The
姿勢情報は、ロール角、ピッチ角、ヨー角によって表される。ロール角は、ロール軸であるＺ軸を回転軸とした回転角である。ピッチ角は、ピッチ軸であるＸ軸を回転軸とした回転角である。ヨー角は、ヨー軸であるＹ軸を回転軸とした回転角である。 Attitude information is represented by roll angle, pitch angle, and yaw angle. The roll angle is a rotation angle about the Z axis, which is the roll axis, as the rotation axis. The pitch angle is a rotation angle with the X axis as the pitch axis as the rotation axis. The yaw angle is a rotation angle with the Y axis, which is the yaw axis, as the rotation axis.
姿勢センサ２２としては、例えば、３軸角度センサおよび地磁気センサが挙げられる。本実施形態では、姿勢センサ２２は、地磁気センサによって得られる各方位および水平面を基準とする、３軸角度センサによって検出されたＸＹＺ軸の各々の軸回りの傾きであるロール角、ピッチ角、およびヨー角を含む第２姿勢情報を検出する。
Examples of the
表示装置３０は、校正用マーカ４０を表示する情報処理装置である。表示装置３０は、携帯端末、タブレット端末、パーソナルコンピュータ等である。本実施形態では、表示装置３０がタブレット端末である形態を一例として説明する。
The
表示装置３０は、表示部３２と、姿勢センサ３４と、を有する。表示部３２は、２次元平面である表示面に各種の情報を表示する。表示部３２は、各種の情報を表示するディスプレイ、または、モニタである。
The
姿勢センサ３４は、表示部３２に表示された校正用マーカ４０の姿勢情報である第１姿勢情報を検出するセンサである。本実施形態では、姿勢センサ３４は、校正用マーカ４０を表示した表示部３２であるディスプレイの姿勢情報を、校正用マーカ４０の第１姿勢情報として検出する。
The
姿勢センサ３４としては、３軸角度センサおよび地磁気センサが挙げられる。本実施形態では、姿勢センサ３４は、地磁気センサによって得られる各方位および水平面を基準とする、３軸角度センサによって検出されたＸＹＺ軸の各々の軸回りの傾きであるロール角、ピッチ角、およびヨー角を含む第２姿勢情報を検出する。
The
校正用マーカ４０とは、カメラ２０の校正に用いられる指標である。例えば、校正用マーカ４０は、ドット、複数の直線、等によって表される１または複数のパタンを含む。本実施形態では、校正用マーカ４０が、互いに交差する方向に配列された平行線を含む形態を一例として説明する。平行線は、平行な複数の直線から構成される。
The
図２Ａは、格子状の校正用マーカ４０の一例の模式図である。例えば、校正用マーカ４０は、複数の平行線Ｌ１と、平行線Ｌ１に対して交差する方向に配列された複数の平行線Ｌ２と、を含む。平行線Ｌ１および平行線Ｌ２は、校正用マーカ４０によって構成される平行線Ｌの一例である。図２Ａには、平行線Ｌ１と平行線Ｌ２とが直交する方向に交差する形態を一例として示す。
FIG. 2A is a schematic diagram of an example of a grid-
図２Ｂは、平行四辺形状の校正用マーカ４０の一例の模式図である。例えば、校正用マーカ４０は、平行線Ｌ１と、平行線Ｌ２と、からなる１または複数の平行四辺形のパタンによって表される。
FIG. 2B is a schematic diagram of an example of a parallelogram-shaped
本実施形態では、校正用マーカ４０が、図２Ａに示す格子状のパタンである形態を一例として説明する。本実施形態では、校正用マーカ４０が、複数の平行線Ｌ１と、平行線Ｌ１に対して直交する方向に配列された複数の平行線Ｌ２と、を含むパタンである形態を一例として説明する。
In this embodiment, an example in which the
図１に戻り説明を続ける。表示装置３０は、カメラ２０の校正時に、ユーザによって校正対象のカメラ２０の撮影画角内に配置される。図１には、カメラ２０Ａが校正対象のカメラ２０である形態を一例として示す。カメラ２０によって表示装置３０の表示部３２に表示された校正用マーカ４０が撮影され、撮影によって得られた撮影画像は、カメラ校正装置１０による後述する処理で用いられる。
Returning to FIG. 1, the explanation will be continued. The
図３を用いて、カメラ校正装置１０および表示装置３０の構成を説明する。
The configurations of the
カメラ校正装置１０および表示装置３０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０Ａ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０Ｂ、ＲＡＭ９０Ｃ、およびＩ／Ｆ９０Ｄ等がバス９０Ｅにより相互に接続されており、通常のコンピュータを利用したハードウェア構成となっている。
The
ＣＰＵ９０Ａは、本実施形態のカメラ校正装置１０および表示装置３０を制御する演算装置である。ＲＯＭ９０Ｂは、ＣＰＵ９０Ａによる各種の処理を実現するプログラム等を記憶する。ＲＡＭ９０Ｃは、ＣＰＵ９０Ａによる各種の処理に使用するデータを記憶する。Ｉ／Ｆ９０Ｄは、データを送受信するためのインターフェースである。
The CPU 90A is a calculation device that controls the
本実施形態のカメラ校正装置１０および表示装置３０で実行される情報処理を実行するためのプログラムは、ＲＯＭ９０Ｂ等に予め組み込んで提供される。なお、本実施形態のカメラ校正装置１０および表示装置３０で実行されるプログラムは、カメラ校正装置１０および表示装置３０にインストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供するように構成してもよい。
A program for executing information processing executed by the
次に、校正システム１の機能的構成について、図４を用いて詳細に説明する。
Next, the functional configuration of the
上述したように、校正システム１は、カメラ校正装置１０と、カメラ２０と、姿勢センサ２２と、表示装置３０と、を備える。カメラ校正装置１０と、カメラ２０、姿勢センサ２２、および表示装置３０とは、通信可能に接続されている。
As described above, the
表示装置３０は、表示部３２と、入力部３３と、姿勢センサ３４と、記憶部３５と、通信部３６と、処理部３７と、を備える。表示部３２、入力部３３、姿勢センサ３４、記憶部３５、通信部３６、および処理部３７は、バス３８などを介して通信可能に接続されている。
The
入力部３３は、ユーザによる操作入力を受付ける。入力部３３は、例えば、マウス等のポインティングデバイス、キーボード等である。なお、表示部３２および入力部３３は、一体的に構成されたタッチパネルであってもよい。
The input unit 33 receives operation input from the user. The input unit 33 is, for example, a pointing device such as a mouse, a keyboard, or the like. Note that the
記憶部３５は、各種のデータを記憶する。本実施形態では、記憶部３５は、表示部３２に表示するための校正用マーカ４０の画像データを予め記憶する。
The storage unit 35 stores various data. In this embodiment, the storage unit 35 stores in advance image data of the
通信部３６は、カメラ校正装置１０などの外部の情報処理装置と通信するための通信インターフェースである。処理部３７は、各種の情報処理を実行する。
The communication unit 36 is a communication interface for communicating with an external information processing device such as the
カメラ校正装置１０は、通信部１２と、記憶部１４と、処理部１６と、を備える。通信部１２、記憶部１４、および処理部１６は、バス１８等を介して通信可能に接続されている。
The
通信部１２は、表示装置３０、カメラ２０、および姿勢センサ２２等と通信する通信インターフェースである。記憶部１４は、各種の情報を記憶する。
The communication unit 12 is a communication interface that communicates with the
処理部１６は、各種の情報処理を実行する。処理部１６は、画像取得回路１６Ａと、第１姿勢情報取得回路１６Ｂと、第２姿勢情報取得回路１６Ｃと、算出回路１６Ｄと、補正回路１６Ｅと、を備える。
The processing unit 16 executes various information processing. The processing unit 16 includes an
画像取得回路１６Ａ、第１姿勢情報取得回路１６Ｂ、第２姿勢情報取得回路１６Ｃ、算出回路１６Ｄ、および補正回路１６Ｅの少なくとも１つは、例えば、ＣＰＵ９０Ａなどの処理装置にプログラムを実行させること、例えば、ソフトウェアにより実現してもよいし、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。また、第１姿勢情報取得回路１６Ｂ、第２姿勢情報取得回路１６Ｃ、算出回路１６Ｄ、および補正回路１６Ｅの少なくとも１つを、ネットワーク等を介してカメラ校正装置１０に通信可能に接続された外部の情報処理装置に搭載した構成としてもよい。
At least one of the
画像取得回路１６Ａは、表示装置３０に設けられた校正用マーカ４０のカメラ２０による撮影画像を取得する。
The
ユーザは、校正対象のカメラ２０の撮影画角内に表示装置３０を設置する。本実施形態では、カメラ２０Ａの撮影画角内に表示装置３０を設置する場面を一例として説明する。そして、ユーザは、表示装置３０の表示部３２に表示された校正用マーカ４０に含まれる少なくとも１つの平行線Ｌが、カメラ２０Ａの撮影方向に平行となるように表示装置３０を配置する。
The user installs the
例えば、図２Ａに示すように、ユーザは、表示部３２に表示された校正用マーカ４０の平行線Ｌ１がカメラ２０Ａの撮影方向ＳＤに対して平行となるように、表示装置３０をカメラ２０Ａの画角内に配置する。なお、校正用マーカ４０に含まれる平行線Ｌ２と、撮影方向ＳＤとは、完全に平行となるように配置されていなくてもよい。
For example, as shown in FIG. 2A, the user moves the
例えば、ユーザは、表示部３２に表示された校正用マーカ４０を視認しながら、校正用マーカ４０の平行線Ｌ１が校正対象のカメラ２０Ａの撮影方向ＳＤとほぼ平行となるように、カメラ２０の撮影画角内に表示装置３０を配置する。
For example, while visually checking the
図５Ａに示すように、例えば、ユーザは、カメラ２０を搭載した車両２の設置面Ｇ上に表示装置３０を直接載置する。設置面Ｇは、例えば、地面、床、等である。また、図５Ｂに示すように、ユーザは、設置面Ｇに配置された支持部材３９上に表示装置３０を配置してもよい。このように、表示装置３０は、設置面Ｇに直接設置された形態であってもよく、設置面Ｇに設置された支持部材３９上に載置された形態であってもよい。
As shown in FIG. 5A, for example, the user places the
そして、ユーザは、カメラ２０Ａの撮影方向ＳＤと表示部３２に表示された校正用マーカ４０の平行線Ｌ１とが略平行となるように、カメラ２０Ａの撮影画角内に表示装置３０を配置する。このとき、上述したように、表示部３２に表示された校正用マーカ４０の平行線Ｌ１または平行線Ｌ２と、カメラ２０の撮影方向ＳＤとは、完全な平行状態となっていなくてもよい。
Then, the user places the
なお、本実施形態では、校正用マーカ４０が表示装置３０の表示部３２に表示される形態を一例として説明する。しかし、校正用マーカ４０は、表示装置３０等の姿勢センサ３４を備えた機器の２次元平面上に設けられていればよく、表示部３２に表示される形態に限定されない。例えば、表示装置３０を平板状の板状面を備えた構成とし、該板状面に校正用マーカ４０を記録、記載、または添付された構成としてもよい。この場合、姿勢センサ３４は、該板状面の姿勢情報を、校正用マーカ４０の第１姿勢情報として検出可能な構成であればよい。
In this embodiment, a mode in which the
図４に戻り説明を続ける。表示装置３０の処理部３７は、例えば、ユーザによる入力部３３の操作指示等によって校正開始要求の入力を受付けると、記憶部３５に記憶されている校正用マーカ４０の画像データを読取り、表示部３２に表示する。ユーザは、表示部３２に表示された校正用マーカ４０を視認しながら、校正用マーカ４０の平行線Ｌ１とカメラ２０Ａの撮影方向ＳＤとが略平行となるように、該カメラ２０Ａの撮影画角内に表示装置３０を配置する。
Returning to FIG. 4, the explanation will be continued. When the processing unit 37 of the
カメラ２０Ａは、カメラ２０Ａの撮影画角内に載置された表示装置３０の表示部３２を撮影することで、該表示部３２に表示された校正用マーカ４０の撮影画像を取得する。画像取得回路１６Ａは、カメラ２０Ａで撮影された撮影画像をカメラ２０Ａから受付けることで、実空間Ｓに配置された校正用マーカ４０の、カメラ２０Ａによる撮影画像を取得する。
The
図６は、カメラ２０Ａによって撮影された撮影画像５０の一例の模式図である。撮影画像５０には、撮影された校正用マーカ４０の像が含まれる。以下では、撮影された校正用マーカ４０の像を、単に、校正用マーカ４０と称して説明する。
FIG. 6 is a schematic diagram of an example of a photographed
図４に戻り説明を続ける。第１姿勢情報取得回路１６Ｂは、撮影画像５０の撮影時の校正用マーカ４０の第１姿勢情報を取得する。
Returning to FIG. 4, the explanation will be continued. The first posture
本実施形態では、第１姿勢情報取得回路１６Ｂは、撮影画像５０の撮影時の表示部３２の姿勢情報を、校正用マーカ４０の第１姿勢情報として取得する。例えば、第１姿勢情報は、カメラ２０Ａによる撮影画像５０の撮影時の、実空間Ｓにおける校正用マーカ４０の姿勢情報である。
In this embodiment, the first posture
例えば、第１姿勢情報取得回路１６Ｂは、通信部１２を介して表示装置３０から第１姿勢情報を受信することで、第１姿勢情報を取得する。
For example, the first attitude
この場合、例えば、表示装置３０の処理部３７は、姿勢センサ３４で検出された表示部３２の第１姿勢情報を、第１姿勢情報の検出時刻を表す検出時刻情報と共に順次カメラ校正装置１０へ送信する。画像取得回路１６Ａは、カメラ２０Ａから受付けた撮影画像５０の撮影時刻に一致する検出時刻情報と共に受信した第１姿勢情報を、該撮影画像５０に含まれる校正用マーカ４０の撮影時の第１姿勢情報として特定する。そして、画像取得回路１６Ａは、特定した第１姿勢情報を、該撮影画像５０の撮影時の第１姿勢情報として取得すればよい。
In this case, for example, the processing unit 37 of the
また、例えば、表示装置３０の処理部３７は、校正用マーカ４０の表示部３２への表示中に、姿勢センサ３４によって検出された第１姿勢情報を表す画像を該表示部３２へ表示してもよい。
Further, for example, while displaying the
図７Ａに示すように、例えば、表示装置３０の処理部３７は、校正用マーカ４０および第１姿勢情報を表す画像４２を表示部３２へ表示する。図７Ａには、第１姿勢情報を表す画像４２として、第１姿勢情報を表す文字画像４２Ａを一例として示す。Ｒｄｘは表示部３２のピッチ角を表し、Ｒｄｙは表示部３２のヨー角を表し、Ｒｄｚは表示部３２のロール角を表す。
As shown in FIG. 7A, for example, the processing unit 37 of the
また、表示装置３０の処理部３７は、図７Ｂに示すように、第１姿勢情報を表す画像４２として第１姿勢情報を表すＱＲ（Ｑｕｉｃｋ Ｒｅｓｐｏｎｓｅ）（登録商標）コード４２Ｂを表示部３２へ表示してもよい。
Further, as shown in FIG. 7B, the processing unit 37 of the
なお、処理部３７は、姿勢センサ３４によって新たな第１姿勢情報が検出されるごとに、最新の検出結果である第１姿勢情報を表す画像４２を表示部３２に表示すればよい。このため、表示部３２には、表示部３２に含まれる校正用マーカ４０の現在の第１姿勢情報を表す画像４２が表示される。
Note that the processing unit 37 may display the
図４に戻り説明を続ける。第１姿勢情報を表す画像４２が表示部３２に表示される場合、第１姿勢情報取得回路１６Ｂは、カメラ２０Ａで撮影された撮影画像５０に含まれる第１姿勢情報を表す画像４２を公知の方法で画像解析することで、該撮影画像５０に含まれる校正用マーカ４０の撮影時の第１姿勢情報を取得する。
Returning to FIG. 4, the explanation will be continued. When the
第２姿勢情報取得回路１６Ｃは、カメラ２０の搭載装置である車両２の第２姿勢情報を取得する。第２姿勢情報取得回路１６Ｃは、姿勢センサ２２で検出された第２姿勢情報を受付けることで、車両２の第２姿勢情報を取得する。なお、第２姿勢情報取得回路１６Ｃは、撮影画像５０の撮影時刻に一致する検出時刻に姿勢センサ２２で検出された第２姿勢情報を取得すればよい。
The second posture information acquisition circuit 16C acquires second posture information of the
算出回路１６Ｄは、撮影画像５０に含まれる校正用マーカ４０に基づいて、カメラ２０のカメラ姿勢情報を導出する。そして、算出回路１６Ｄは、導出したカメラ姿勢情報に応じた校正量を算出する。
The calculation circuit 16D derives camera attitude information of the
校正量とは、カメラ２０の取り付け誤差の校正に用いられる情報である。本実施形態では、校正量が、ロール角、ピッチ角、およびヨー角によって表される場合を一例として説明する。
The calibration amount is information used to calibrate mounting errors of the
算出回路１６Ｄは、撮影画像５０に含まれる校正用マーカ４０を用いて、公知の方法で、カメラ２０のカメラ姿勢情報を導出する。例えば、算出回路１６Ｄは、撮影画像５０に含まれる校正用マーカ４０によって構成される平行線Ｌの延長線の収束点である消失点、および、複数の消失点を通る直線である消失線に基づいて、カメラ姿勢情報を算出する。
The calculation circuit 16D uses the
図８を用いて、カメラ姿勢情報の算出について説明する。 Calculation of camera posture information will be explained using FIG. 8.
算出回路１６Ｄは、撮影画像５０に含まれる校正用マーカ４０によって構成される、撮影方向ＳＤに沿った平行線Ｌ、および、撮影方向ＳＤに対して交差する方向に沿った平行線Ｌ、の少なくとも一方の収束点を、消失点Ｐとして特定する。
The calculation circuit 16D calculates at least a parallel line L along the shooting direction SD and a parallel line L along the direction intersecting the shooting direction SD, which are formed by the
詳細には、算出回路１６Ｄは、格子状の校正用マーカ４０を構成する平行線Ｌ１と平行線Ｌ２との交点を結ぶ平行線Ｌ３および平行線Ｌ４を特定する。そして、算出回路１６Ｄは、平行線Ｌ３の収束点を消失点Ｐ３として特定する。また、算出回路１６Ｄは、平行線Ｌ４の収束点を消失点Ｐ２として特定する。同様に、算出回路１６Ｄは、実空間Ｓに載置された校正用マーカ４０の撮影方向ＳＤに沿った平行線Ｌである平行線Ｌ１の収束点を、深消失点Ｐ１として特定する。深消失点Ｐ１、消失点Ｐ２、および消失点Ｐ３は、消失点Ｐの一例である。
Specifically, the calculation circuit 16D specifies a parallel line L3 and a parallel line L4 that connect the intersections of the parallel lines L1 and L2 that constitute the grid-
更に、算出回路１６Ｄは、特定した２点の消失点Ｐ、例えば消失点Ｐ２と消失点Ｐ３とを通る直線を、消失線ＶＬとして特定する。 Furthermore, the calculation circuit 16D specifies a straight line passing through the two identified vanishing points P, for example, the vanishing point P2 and the vanishing point P3, as the vanishing line VL.
そして、算出回路１６Ｄは、消失点Ｐ２、消失点Ｐ３、および消失線ＶＬに基づいて、カメラ姿勢情報に含まれるロール角およびピッチ角を公知の方法により算出する。 Then, the calculation circuit 16D calculates the roll angle and pitch angle included in the camera attitude information using a known method based on the vanishing point P2, the vanishing point P3, and the vanishing line VL.
例えば、算出回路１６Ｄは、消失線ＶＬを用いて、公知の方法によりロール角を算出する。詳細には、例えば、算出回路１６Ｄは、消失線ＶＬの実空間Ｓにおける水平方向に対する角度を、カメラ姿勢情報に含まれるロール角として算出する。 For example, the calculation circuit 16D calculates the roll angle using a known method using the vanishing line VL. Specifically, for example, the calculation circuit 16D calculates the angle of the vanishing line VL with respect to the horizontal direction in the real space S as the roll angle included in the camera attitude information.
また、算出回路１６Ｄは、算出したロール角と、１つの消失点Ｐ（例えば消失点Ｐ３）と、を用いて、公知の方法を用いてカメラ２０のピッチ角を算出する。詳細には、例えば、算出回路１６Ｄは、消失線ＶＬに対する消失点Ｐのピッチ軸を軸中心とした移動角度を、カメラ姿勢情報に含まれるピッチ角として算出する。
Further, the calculation circuit 16D uses the calculated roll angle and one vanishing point P (for example, vanishing point P3) to calculate the pitch angle of the
また、算出回路１６Ｄは、算出したピッチ角と深消失点Ｐ１とを用いて、公知の方法によりカメラ２０のヨー角を算出する。詳細には、算出回路１６Ｄは、消失線ＶＬに沿った深消失点Ｐ１の移動距離に相当する角度を、カメラ姿勢情報に含まれるヨー角として算出する。
Further, the calculation circuit 16D uses the calculated pitch angle and deep vanishing point P1 to calculate the yaw angle of the
算出回路１６Ｄは、これらの算出処理により算出したロール角、ピッチ角、およびヨー角を含むカメラ姿勢情報を、校正量として算出する。なお、算出回路１６Ｄは、カメラ姿勢情報に含まれるロール角、ピッチ角、およびヨー角の各々に、”－１”を乗算することで正負（±）を逆にした値を、校正量として算出してもよい。本実施形態では、算出回路１６Ｄは、撮影画像５０に含まれる校正用マーカ４０から算出したカメラ姿勢情報を、校正量として算出する場合を一例として説明する。
The calculation circuit 16D calculates camera attitude information including the roll angle, pitch angle, and yaw angle calculated by these calculation processes as a calibration amount. Note that the calculation circuit 16D calculates, as a calibration amount, a value obtained by multiplying each of the roll angle, pitch angle, and yaw angle included in the camera attitude information by "-1" to reverse the sign (±). You may. In the present embodiment, an example will be described in which the calculation circuit 16D calculates camera attitude information calculated from the
図４に戻り説明を続ける。補正回路１６Ｅは、算出回路１６Ｄによって算出された校正量を、第１姿勢情報と第２姿勢情報との差に基づいて補正した補正校正量を算出する。 Returning to FIG. 4, the explanation will be continued. The correction circuit 16E calculates a corrected calibration amount by correcting the calibration amount calculated by the calculation circuit 16D based on the difference between the first attitude information and the second attitude information.
例えば、補正回路１６Ｅは、算出回路１６Ｄによって撮影画像５０に含まれる校正用マーカ４０に基づいて算出された校正量を、撮影画像５０の撮影時の校正用マーカ４０の姿勢情報である第１姿勢情報と、撮影画像５０の撮影時の車両２の姿勢情報である第２姿勢情報と、に基づいて補正する。そして、補正回路１６Ｅは、補正によって得られた補正校正量を、カメラ２０の正式な校正量として記憶部３５へ記憶する。
For example, the correction circuit 16E calculates the amount of correction calculated based on the
まず、補正回路１６Ｅは、撮影画像５０の撮影時の表示部３２の姿勢情報である第１姿勢情報と、撮影画像５０の撮影時の車両２の姿勢情報である第２姿勢情報と、の差を算出する。
First, the correction circuit 16E calculates the difference between the first attitude information, which is the attitude information of the
図９Ａ～図９Ｃを用いて、第１姿勢情報と第２姿勢情報との差の算出について説明する。 Calculation of the difference between the first attitude information and the second attitude information will be explained using FIGS. 9A to 9C.
上述したように、第１姿勢情報および第２姿勢情報は、姿勢情報の一例であり、ロール角、ピッチ角、ヨー角によって表される。図９Ａ～図９Ｃ中、Ｒｄｘは、表示部３２のピッチ角を表す。Ｒｄｙは、表示部３２のヨー角を表す。Ｒｄｚは、表示部３２のロール角を表す。Ｒｃｘは、車両２のピッチ角を表す。Ｒｃｙは、車両２のヨー角を表す。Ｒｃｚは、車両２のロール角を表す。図９Ｃ中、Ｎは、方位の北方向を表す。
As described above, the first attitude information and the second attitude information are examples of attitude information, and are represented by a roll angle, a pitch angle, and a yaw angle. In FIGS. 9A to 9C, R dx represents the pitch angle of the
補正回路１６Ｅは、下記式（１）～式（３）により、第１姿勢情報および第２姿勢情報の、ロール角、ピッチ角、およびヨー角の各々の差を算出することで、第１姿勢情報と第２姿勢情報との差を算出する。 The correction circuit 16E calculates the difference between the roll angle, pitch angle, and yaw angle of the first attitude information and the second attitude information using equations (1) to (3) below, thereby adjusting the first attitude. A difference between the information and the second posture information is calculated.
ピッチ角の差＝（Ｒｄｘ－Ｒｃｘ） ・・・式（１）
ヨー角の差 ＝（Ｒｄｙ－Ｒｃｙ） ・・・式（２）
ロール角の差＝（Ｒｄｚ－Ｒｃｚ） ・・・式（３）
Difference in pitch angle = (R dx - R cx ) ...Formula (1)
Difference in yaw angle = (R dy - R cy ) ...Formula (2)
Difference in roll angle = (R dz - R cz ) ...Formula (3)
そして、補正回路１６Ｅは、算出回路１６Ｄによって校正用マーカ４０に基づいて算出された校正量から、第１姿勢情報と第２姿勢情報との差を減算した結果を、補正校正量として算出する。詳細には、補正回路１６Ｅは、下記式（４）～式（６）により、補正校正量を算出する。
Then, the correction circuit 16E calculates the result of subtracting the difference between the first attitude information and the second attitude information from the correction amount calculated by the calculation circuit 16D based on the
ピッチ角の補正校正量＝ピッチ角の校正量－（Ｒｄｘ－Ｒｃｘ） ・・・式（４）
ヨー角の補正校正量 ＝ヨー角の校正量 －（Ｒｄｙ－Ｒｃｙ） ・・・式（５）
ロール角の補正校正量＝ロール角の校正量－（Ｒｄｚ－Ｒｃｚ） ・・・式（６）
Pitch angle correction calibration amount = Pitch angle calibration amount - (R dx - R cx ) ...Formula (4)
Yaw angle correction calibration amount = Yaw angle calibration amount - (R dy - R cy ) ... Formula (5)
Roll angle correction calibration amount = Roll angle calibration amount - (R dz - R cz ) ...Formula (6)
例えば、本実施形態のカメラ校正装置１０では、上記式（１）～式（３）によって表される第１姿勢情報と第２姿勢情報との差分を、校正対象のカメラ２０Ａから見た校正用マーカ４０の設置誤差ととらえる。そして、カメラ校正装置１０の補正回路１６Ｅは、算出回路１６Ｄで撮影画像５０に含まれる校正用マーカ４０に基づいて算出した校正量から、カメラ２０Ａからみた校正用マーカ４０の設置誤差による影響成分を除去することで、正しい校正量である補正校正量を算出する。
For example, in the
そして、補正回路１６Ｅは、補正によって得られた補正校正量を、カメラ２０Ａの正式な校正量として記憶部１４へ記憶する。
Then, the correction circuit 16E stores the corrected calibration amount obtained by the correction in the storage unit 14 as the official calibration amount of the
なお、補正回路１６Ｅは、補正によって得られた補正校正量を、校正対象のカメラ２０Ａの識別情報に対応付けて記憶部１４へ記憶すればよい。また、補正回路１６Ｅは、算出した補正校正量を用いて、公知の方法により、カメラ２０Ａの設置誤差を補正してもよい。
Note that the correction circuit 16E may store the correction amount obtained by the correction in the storage unit 14 in association with the identification information of the
また、本実施形態のカメラ校正装置１０は、他の校正対象のカメラ２０（カメラ２０Ｂ～カメラ２０Ｄ）についても同様の処理を行うことで、車両２に搭載されたカメラ２０の各々ごとに、補正校正量を算出すればよい。
In addition, the
次に、本実施形態の校正システム１で実行する情報処理の流れの一例を、図１０を用いて説明する。
Next, an example of the flow of information processing executed by the
表示装置３０の処理部３７は、ユーザによる入力部３３の操作指示等によって入力部３３から校正開始要求を表す信号を受付けると（ステップＳ１００）、ステップＳ１０２へ進む。
When the processing unit 37 of the
ステップＳ１０２では、処理部３７は、記憶部３５から校正用マーカ４０の画像データを読取り（ステップＳ１０２）、表示部３２へ表示する（ステップＳ１０４）。
In step S102, the processing unit 37 reads the image data of the
ユーザは、表示部３２に表示された校正用マーカ４０を視認しながら、校正用マーカ４０の平行線Ｌ１が校正対象のカメラ２０Ａの撮影方向ＳＤとほぼ平行となるように、カメラ２０の撮影画角内に表示装置３０を配置する。
While visually checking the
処理部３７は、姿勢センサ３４から表示部３２の第１姿勢情報を取得し（ステップＳ１０６）、第１姿勢情報を表す画像４２を表示部３２へ表示する（ステップＳ１０８）。このため、表示部３２には、校正用マーカ４０および第１姿勢情報を表す画像４２が表示される。なお、処理部３７は、姿勢センサ３４で検出された第１姿勢情報および該第１姿勢情報の検出時間をカメラ校正装置１０へ送信してもよい。
The processing unit 37 acquires the first attitude information of the
次に、処理部３７は、校正終了要求を受付けたか否かを判断する（ステップＳ１１０）。例えば、処理部３７は、ユーザによる入力部３３の操作指示等によって入力部３３から構成終了要求を表す信号を受付けたか否かを判別することで、ステップＳ１１０の判断を行う。ステップＳ１１０で否定判断すると（ステップＳ１１０：Ｎｏ）、上記ステップＳ１０６へ戻る。ステップＳ１１０で肯定判断すると（ステップＳ１１０：Ｙｅｓ）、本ルーチンを終了する。 Next, the processing unit 37 determines whether a proofreading completion request has been accepted (step S110). For example, the processing unit 37 makes the determination in step S110 by determining whether or not a signal representing a configuration termination request is received from the input unit 33 based on an operation instruction of the input unit 33 or the like by the user. If a negative determination is made in step S110 (step S110: No), the process returns to step S106. If an affirmative determination is made in step S110 (step S110: Yes), this routine ends.
次に、本実施形態のカメラ校正装置１０で実行される情報処理の流れの一例を、図１１を用いて説明する。
Next, an example of the flow of information processing executed by the
カメラ校正装置１０の処理部１６は、ユーザによる操作指示等によって校正開始要求を受付けると（ステップＳ２００）、カメラ２０から撮影画像５０を取得する（ステップＳ２０２）。
When the processing unit 16 of the
算出回路１６Ｄは、ステップＳ２０２で取得した撮影画像５０に含まれる校正用マーカ４０に基づいてカメラ２０のカメラ姿勢情報を導出し、カメラ姿勢情報に応じた校正量を算出する（ステップＳ２０４～ステップＳ２２２）。
The calculation circuit 16D derives the camera attitude information of the
詳細には、算出回路１６Ｄは、算出回路１６Ｄは、撮影画像５０に含まれる校正用マーカ４０に含まれる、互いに交差する平行線Ｌ１および平行線Ｌ２を検出する（ステップＳ２０４）。
Specifically, the calculation circuit 16D detects parallel lines L1 and L2 that intersect with each other and are included in the
平行線Ｌ１および平行線Ｌ２に検出に失敗した場合（ステップＳ２０２：Ｎｏ）、後述するステップＳ２３８へ進む。平行線Ｌ１および平行線Ｌ２の検出に成功した場合（ステップＳ２０２：Ｙｅｓ）、ステップＳ２０８へ進む。 If the detection of parallel line L1 and parallel line L2 fails (step S202: No), the process advances to step S238, which will be described later. If parallel line L1 and parallel line L2 are successfully detected (step S202: Yes), the process advances to step S208.
ステップＳ２０８では、算出回路１６Ｄは、撮影方向ＳＤに沿った平行線Ｌ、および、撮影方向ＳＤに対して交差する方向に沿った平行線Ｌ、の少なくとも一方の収束点を、消失点Ｐとして特定する（ステップＳ２１２）。例えば、図８に示すように、算出回路１６Ｄは、格子状の校正用マーカ４０を構成する平行線Ｌ１と平行線Ｌ２との交点を結ぶ平行線Ｌ３および平行線Ｌ４を特定する。そして、算出回路１６Ｄは、平行線Ｌ３の収束点を消失点Ｐ３として特定する。また、算出回路１６Ｄは、平行線Ｌ４の収束点を消失点Ｐ２として特定する。また、算出回路１６Ｄは、実空間Ｓに載置された校正用マーカ４０の撮影方向ＳＤに沿った平行線Ｌである、撮影画像５０に含まれる平行線Ｌ１の収束点である消失点Ｐを特定する。
In step S208, the calculation circuit 16D identifies the convergence point of at least one of the parallel line L along the shooting direction SD and the parallel line L along the direction intersecting the shooting direction SD as the vanishing point P. (Step S212). For example, as shown in FIG. 8, the calculation circuit 16D specifies a parallel line L3 and a parallel line L4 that connect the intersections of the parallel lines L1 and L2 that constitute the grid-
算出回路１６Ｄは、ステップＳ２０８の処理によって消失点Ｐを２点以上特定出来たか否かを判断する（ステップＳ２１０）。消失点Ｐを２点以上特定することが困難であった場合（ステップＳ２１０：Ｎｏ）、後述するステップＳ２３８へ進む。消失点Ｐを２点以上特定できた場合（ステップＳ２１０：Ｙｅｓ）、ステップＳ２１２へ進む。 The calculation circuit 16D determines whether two or more vanishing points P can be identified through the process of step S208 (step S210). If it is difficult to specify two or more vanishing points P (step S210: No), the process advances to step S238, which will be described later. If two or more vanishing points P can be identified (step S210: Yes), the process advances to step S212.
ステップＳ２１２では、算出回路１６Ｄは、ステップＳ２０８で特定した２点の消失点Ｐを通る線を消失線ＶＬとして特定する（ステップＳ２１２）。また、算出回路１６Ｄは、ステップＳ２０８で特定した消失点Ｐの内、撮影方向ＳＤに沿った平行線Ｌである平行線Ｌ１の収束点である消失点Ｐを、深消失点Ｐ１として特定する（ステップＳ２１４）。 In step S212, the calculation circuit 16D identifies a line passing through the two vanishing points P identified in step S208 as the vanishing line VL (step S212). Further, the calculation circuit 16D identifies the vanishing point P, which is the convergence point of the parallel line L1, which is the parallel line L along the photographing direction SD, as the deep vanishing point P1, among the vanishing points P identified in step S208 ( Step S214).
次に、算出回路１６Ｄは、ステップＳ２１２で特定した消失線ＶＬの、実空間Ｓにおける水平方向に対する角度を、カメラ２０のロール角として算出する（ステップＳ２１６）。 Next, the calculation circuit 16D calculates the angle of the vanishing line VL identified in step S212 with respect to the horizontal direction in the real space S as the roll angle of the camera 20 (step S216).
次に、算出回路１６Ｄは、ステップＳ２１６で算出したロール角と、ステップＳ２１２で特定した１つの消失点Ｐ（例えば消失点Ｐ３、図８参照）と、を用いて、カメラ２０のピッチ角を算出する（ステップＳ２１８）。
Next, the calculation circuit 16D calculates the pitch angle of the
次に、算出回路１６Ｄは、ステップＰＳ２１８で算出したピッチ角とステップＳ２１４で特定した深消失点Ｐ１とを用いて、カメラ２０のヨー角を算出する（ステップＳ２２０）。
Next, the calculation circuit 16D calculates the yaw angle of the
算出回路１６Ｄは、ステップＳ２１６～ステップＳ２２０によって算出された、カメラ２０のロール角、ピッチ角、およびヨー角によって表されるカメラ姿勢情報に応じて、カメラ２０の校正量を算出する（ステップＳ２２２）。例えば、算出回路１６Ｄは、ステップＳ２１６～ステップＳ２２０によって算出された、カメラ２０のロール角、ピッチ角、およびヨー角によって表されるカメラ姿勢情報を、カメラ２０の校正量として算出する。
The calculation circuit 16D calculates the amount of calibration of the
次に、算出回路１６Ｄは、ステップＳ２２２で算出した校正量が正常であるか否かを判断する（ステップＳ２２４）。例えば、算出回路１６Ｄは、カメラ２０の識別情報に対応付けて、カメラ２０の取りうるカメラ姿勢情報の範囲を予め記憶部１４へ記憶する。カメラ２０の取りうるカメラ姿勢情報の範囲には、カメラ２０の製造メーカ等から提供された情報等を用いればよい。算出回路１６Ｄは、ステップＳ２２２で算出した校正量が、校正対象のカメラ２０のカメラ識別情報に対応するカメラ姿勢情報の範囲内の値であるか否かを判別することで、ステップＳ２２４の判断を行う。
Next, the calculation circuit 16D determines whether the calibration amount calculated in step S222 is normal (step S224). For example, the calculation circuit 16D stores in advance the range of camera posture information that the
ステップＳ２２４で否定判断すると（ステップＳ２２４：Ｎｏ）、後述するステップＳ２３８へ進む。ステップＳ２２４で肯定判断すると（ステップＳ２２４：Ｙｅｓ）、ステップＳ２２６へ進む。 If a negative determination is made in step S224 (step S224: No), the process advances to step S238, which will be described later. If an affirmative determination is made in step S224 (step S224: Yes), the process advances to step S226.
ステップＳ２２６では、第１姿勢情報取得回路１６Ｂが、ステップＳ２０２で取得した撮影画像５０の撮影時の校正用マーカ４０の第１姿勢情報を取得する（ステップＳ２３０）。第１姿勢情報取得回路１６Ｂが第１姿勢情報の取得に失敗した場合（ステップＳ２２８：Ｎｏ）、後述するステップＳ２３８へ進む。第１姿勢情報取得回路１６Ｂが第１姿勢情報の取得に成功した場合（ステップＳ２２８：Ｙｅｓ）、ステップＳ２３０へ進む。
In step S226, the first posture
ステップＳ２３０では、第２姿勢情報取得回路１６Ｃが、ステップＳ２０２で取得した撮影画像５０の撮影時の車両２の第２姿勢情報を取得する（ステップＳ２３０）。
In step S230, the second posture information acquisition circuit 16C acquires second posture information of the
補正回路１６Ｅは、ステップＳ２２６で取得した第１姿勢情報とステップＳ２３０で取得した第２姿勢情報との差を算出する（ステップ２３２）。 The correction circuit 16E calculates the difference between the first attitude information obtained in step S226 and the second attitude information obtained in step S230 (step 232).
次に、補正回路１６Ｅは、ステップＳ２２２で算出した校正量から、ステップＳ２３２で算出した第１姿勢情報と第２姿勢情報との差を減算することで、補正校正量を算出する（ステップＳ２３４）。そして、補正回路１６Ｅは、ステップＳ２３４で算出した補正校正量を、校正対象のカメラ２０の正式な校正量として、該カメラ２０の識別情報に対応付けて記憶部１４へ記憶する（ステップＳ２３６）。そして、本ルーチンを終了する。
Next, the correction circuit 16E calculates a corrected calibration amount by subtracting the difference between the first attitude information and the second attitude information calculated in step S232 from the correction amount calculated in step S222 (step S234). . Then, the correction circuit 16E stores the correction amount calculated in step S234 in the storage unit 14 as the official correction amount of the
一方、ステップＳ２３８では、処理部１６は、校正エラーを表す情報をカメラ校正装置１０の図示を省略する表示部等に出力し（ステップＳ２３８）、本ルーチンを終了する。 On the other hand, in step S238, the processing unit 16 outputs information indicating the calibration error to a display unit (not shown) of the camera calibration device 10 (step S238), and ends this routine.
以上説明したように、本実施形態のカメラ校正装置１０は、画像取得回路１６Ａと、第１姿勢情報取得回路１６Ｂと、第２姿勢情報取得回路１６Ｃと、算出回路１６Ｄと、補正回路１６Ｅと、を備える。画像取得回路１６Ａは、姿勢センサ３４を備えた表示装置３０（情報機器）に設けられた校正用マーカ４０のカメラ２０による撮影画像５０を取得する。第１姿勢情報取得回路１６Ｂは、撮影画像５０の撮影時の校正用マーカ４０の第１姿勢情報を取得する。第２姿勢情報取得回路１６Ｃは、カメラ２０の搭載装置（車両２）の第２姿勢情報を取得する。算出回路１６Ｄは、撮影画像５０に含まれる校正用マーカ４０に基づいて導出したカメラ２０のカメラ姿勢情報に応じた校正量を算出する。補正回路１６Ｅは、算出回路１６Ｄで算出された校正量を、第１姿勢情報と第２姿勢情報との差に基づいて補正する。
As explained above, the
ここで、従来技術には、車両２に対して正確な角度で床面に配置された校正用のマーカを車両２に搭載されたカメラ２０で撮影し、撮影画像に含まれるマーカの特徴点等を用いてカメラ２０の校正量を求める方法が開示されている。しかしながら、従来技術では、車両２等のカメラ２０の搭載機器の周囲に、搭載機器に対して正確な角度で高精度にマーカを配置する必要があり、設置環境によっては校正精度が低下する場合があった。
Here, in the conventional technology, a calibration marker placed on the floor at an accurate angle with respect to the
例えば、車両２を販売する販売業者等でカメラ２０の校正作業を行う場合、車両２の周囲にマーカを設置するための十分なスペースが無いことがある。また、精密に設置されている車両生産工場と異なり、校正担当者が都度手作業で設置するため、校正担当者が車両２に対して正確な角度でマーカを車両２の周囲に設置することが困難となり、加えて、多大な時間も要する場合がある。
For example, when calibrating the
しかしながら、従来技術は、車両２に対して正確な角度で高精度に配置したマーカを用いる方法であるため、校正精度が低下する場合があった。
However, since the conventional technique uses a marker that is placed with high accuracy at an accurate angle with respect to the
一方、本実施形態のカメラ校正装置１０では、撮影画像５０に写り込んだ校正用マーカ４０に基づいて導出したカメラ２０の校正量を、該撮影画像５０の撮影時の校正用マーカ４０の第１姿勢情報と該撮影画像５０の撮影時の車両２の第２姿勢情報とを用いて補正する。そして、本実施形態のカメラ校正装置１０では、校正量の補正によって得られた補正校正量を、カメラ２０の正式な校正量として扱う。
On the other hand, in the
例えば、本実施形態のカメラ校正装置１０は、第１姿勢情報と第２姿勢情報との差分を、校正対象のカメラ２０から見た校正用マーカ４０の設置誤差ととらえる。そして、カメラ校正装置１０は、撮影画像５０に含まれる校正用マーカ４０に基づいて算出した校正量から、カメラ２０からみた校正用マーカ４０の設置誤差による影響成分を除去した補正校正量を、カメラ２０の正しい校正量として算出する。
For example, the
このように、本実施形態のカメラ校正装置１０は、実空間Ｓに配置された校正用マーカ４０の設置誤差による影響を除去した補正校正量を算出する。このため、本実施形態のカメラ校正装置１０は、車両２に搭載されたカメラ２０に対する校正用マーカ４０の設置精度が低い場合であっても、高精度にカメラ２０の校正量を算出することができる。
In this way, the
従って、本実施形態のカメラ校正装置１０は、カメラ２０の校正精度および作業効率の向上を図ることができる。
Therefore, the
また、本実施形態のカメラ校正装置１０は、校正対象のカメラ２０を搭載した車両２等の搭載機器の周囲に校正用マーカ４０の設置スペースが十分に無い環境であっても、カメラ２０の校正精度および作業効率の向上を図ることができる。
Further, the
また、本実施形態のカメラ校正装置１０は、車両２の周囲に校正用マーカ４０を配置する校正担当者の熟練度に拘わらず、カメラ２０の校正精度および作業効率の向上を図ることができる。また、校正用マーカと車両姿勢の差を補正する機能を有するため、校正用マーカを正確に設置しなくてもよく、作業時間を短縮することができる。
Further, the
なお、上述の実施形態においては、各構成要素に用いる「・・・部」という表記は、「・・・回路（ｃｉｒｃｕｉｔｒｙ）」、「・・・アッセンブリ」、「・・・デバイス」、「・・・ユニット」、または、「・・・モジュール」といった他の表記に置換されてもよい。 In the above-described embodiment, the notation "...unit" used for each component is "...circuitry", "...assembly", "...device", "... It may be replaced with other expressions such as "...unit" or "...module".
以上、図面を参照しながら実施形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかである。そのような変更例または修正例についても、本開示の技術的範囲に属するものと了解される。また、本開示の趣旨を逸脱しない範囲において、実施形態における各構成要素は任意に組み合わされてよい。 Although the embodiments have been described above with reference to the drawings, the present disclosure is not limited to such examples. It is clear that those skilled in the art can come up with various changes and modifications within the scope of the claims. It is understood that such changes or modifications also fall within the technical scope of the present disclosure. Furthermore, each component in the embodiments may be combined as desired without departing from the spirit of the present disclosure.
本開示はソフトウェア、ハードウェア、または、ハードウェアと連携したソフトウェアで実現することが可能である。上記実施形態の説明に用いた各機能ブロックは、部分的にまたは全体的に、集積回路であるＬＳＩとして実現され、上記実施形態で説明した各プロセスは、部分的にまたは全体的に、一つのＬＳＩまたはＬＳＩの組み合わせによって制御されてもよい。ＬＳＩは個々のチップから構成されてもよいし、機能ブロックの一部または全てを含むように一つのチップから構成されてもよい。ＬＳＩはデータの入力と出力を備えてもよい。ＬＳＩは、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。 The present disclosure can be implemented by software, hardware, or software in conjunction with hardware. Each functional block used in the explanation of the above embodiment is partially or entirely realized as an LSI that is an integrated circuit, and each process explained in the above embodiment is partially or entirely realized as one LSI. It may be controlled by an LSI or a combination of LSIs. The LSI may be composed of individual chips, or may be composed of a single chip that includes some or all of the functional blocks. The LSI may include data input and output. LSIs are sometimes called ICs, system LSIs, super LSIs, and ultra LSIs depending on the degree of integration.
集積回路化の手法はＬＳＩに限るものではなく、専用回路、汎用プロセッサまたは専用プロセッサで実現してもよい。また、ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。本開示は、デジタル処理またはアナログ処理として実現されてもよい。 The method of circuit integration is not limited to LSI, but may be implemented using a dedicated circuit, a general-purpose processor, or a dedicated processor. Furthermore, an FPGA (Field Programmable Gate Array) that can be programmed after the LSI is manufactured or a reconfigurable processor that can reconfigure the connections and settings of circuit cells inside the LSI may be used. The present disclosure may be implemented as digital or analog processing.
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。 Furthermore, if an integrated circuit technology that replaces LSI emerges due to advancements in semiconductor technology or other derived technology, then of course the functional blocks may be integrated using that technology. Possibilities include the application of biotechnology.
なお、上記には、実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記実施形態は、発明の範囲または要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although embodiments have been described above, the embodiments are presented as examples and are not intended to limit the scope of the invention. The novel embodiment described above can be implemented in various other forms, and various omissions, substitutions, and changes can be made without departing from the gist of the invention. The embodiments described above are included within the scope or gist of the invention, and are included within the scope of the invention described in the claims and its equivalents.
２ 車両
１０ カメラ校正装置
１６Ａ 画像取得回路
１６Ｂ 第１姿勢情報取得回路
１６Ｃ 第２姿勢情報取得回路
１６Ｄ 算出回路
１６Ｅ 補正回路
２０、２０Ａ、２０Ｂ、２０Ｃ、２０Ｄ カメラ
２２ 姿勢センサ
３０ 表示装置
３２ 表示部
３４ 姿勢センサ
2
Claims (7)
前記撮影画像の撮影時の前記校正用マーカの第１姿勢情報を取得する第１姿勢情報取得回路と、
前記カメラの搭載装置の第２姿勢情報を取得する第２姿勢情報取得回路と、
前記撮影画像に含まれる前記校正用マーカに基づいて導出した前記カメラのカメラ姿勢情報に応じた校正量を算出する算出回路と、
前記校正量を、前記第１姿勢情報と前記第２姿勢情報との差に基づいて補正する補正回路と、
を備えるカメラ校正装置。 an image acquisition circuit that acquires an image taken by a camera of a calibration marker provided in an information device equipped with an attitude sensor;
a first posture information acquisition circuit that acquires first posture information of the calibration marker at the time of photographing the photographed image;
a second posture information acquisition circuit that acquires second posture information of the device mounted on the camera;
a calculation circuit that calculates a calibration amount according to camera attitude information of the camera derived based on the calibration marker included in the photographed image;
a correction circuit that corrects the calibration amount based on a difference between the first attitude information and the second attitude information;
A camera calibration device equipped with.
前記校正量から前記第１姿勢情報と前記第２姿勢情報との差を減算した補正校正量を算出する、
請求項１に記載のカメラ校正装置。 The correction circuit is
calculating a corrected calibration amount by subtracting a difference between the first attitude information and the second attitude information from the calibration amount;
The camera calibration device according to claim 1.
前記情報機器に設けられたモニタに表示された前記校正用マーカの、前記カメラによる前記撮影画像を取得し、
前記第１姿勢情報取得回路は、
前記校正用マーカが表示された前記モニタの前記第１姿勢情報を取得する、
請求項１に記載のカメラ校正装置。 The image acquisition circuit includes:
acquiring the image taken by the camera of the calibration marker displayed on a monitor provided in the information device;
The first posture information acquisition circuit includes:
acquiring the first attitude information of the monitor on which the calibration marker is displayed;
The camera calibration device according to claim 1.
互いに交差する方向に配列された複数の平行線を含み、
前記画像取得回路は、
前記校正用マーカに含まれる少なくとも１つの平行線が前記カメラの撮影方向に平行となるように配置された前記校正用マーカの前記撮影画像を取得し、
前記算出回路は、
前記撮影画像に含まれる前記校正用マーカによって構成される平行線の延長線の収束点である消失点および複数の前記消失点を通る直線である消失線に基づいて、前記カメラ姿勢情報を算出する、
請求項１に記載のカメラ校正装置。 The calibration marker is
It includes a plurality of parallel lines arranged in directions that intersect with each other,
The image acquisition circuit includes:
acquiring the photographed image of the calibration marker arranged such that at least one parallel line included in the calibration marker is parallel to the photographing direction of the camera;
The calculation circuit is
The camera attitude information is calculated based on a vanishing point that is a convergence point of extensions of parallel lines formed by the calibration markers included in the captured image and a vanishing line that is a straight line that passes through the plurality of vanishing points. ,
The camera calibration device according to claim 1.
前記情報機器または前記撮影画像から、前記第１姿勢情報を取得する、
請求項１に記載のカメラ校正装置。 The first posture information acquisition circuit includes:
acquiring the first posture information from the information device or the photographed image;
The camera calibration device according to claim 1.
前記撮影画像の撮影時の前記校正用マーカの第１姿勢情報を取得するステップと、
前記カメラの搭載装置の第２姿勢情報を取得するステップと、
前記撮影画像に含まれる前記校正用マーカに基づいて導出した前記カメラのカメラ姿勢情報に応じた校正量を算出するステップと、
前記校正量を、前記第１姿勢情報と前記第２姿勢情報との差に基づいて補正するステップと、
を含むカメラ校正方法。 a step of acquiring an image taken by a camera of a calibration marker provided on an information device equipped with an attitude sensor;
acquiring first posture information of the calibration marker at the time of photographing the photographed image;
acquiring second attitude information of the camera mounting device;
calculating a calibration amount according to camera attitude information of the camera derived based on the calibration marker included in the captured image;
correcting the calibration amount based on a difference between the first attitude information and the second attitude information;
Camera calibration methods including.
前記撮影画像の撮影時の前記校正用マーカの第１姿勢情報を取得するステップと、
前記カメラの搭載装置の第２姿勢情報を取得するステップと、
前記撮影画像に含まれる前記校正用マーカに基づいて導出した前記カメラのカメラ姿勢情報に応じた校正量を算出するステップと、
前記校正量を、前記第１姿勢情報と前記第２姿勢情報との差に基づいて補正するステップと、
をコンピュータに実行させるためのカメラ校正プログラム。 a step of acquiring an image taken by a camera of a calibration marker provided on an information device equipped with an attitude sensor;
acquiring first posture information of the calibration marker at the time of photographing the photographed image;
acquiring second attitude information of the camera mounting device;
calculating a calibration amount according to camera attitude information of the camera derived based on the calibration marker included in the captured image;
correcting the calibration amount based on a difference between the first attitude information and the second attitude information;
A camera calibration program to run on a computer.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022049950A JP2023142834A (en) | 2022-03-25 | 2022-03-25 | Camera calibration device, camera calibration method, and camera calibration program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022049950A JP2023142834A (en) | 2022-03-25 | 2022-03-25 | Camera calibration device, camera calibration method, and camera calibration program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2023142834A true JP2023142834A (en) | 2023-10-05 |
Family
ID=88205498
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022049950A Pending JP2023142834A (en) | 2022-03-25 | 2022-03-25 | Camera calibration device, camera calibration method, and camera calibration program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2023142834A (en) |
-
2022
- 2022-03-25 JP JP2022049950A patent/JP2023142834A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107784672B (en) | Method and device for acquiring external parameters of vehicle-mounted camera | |
| US8452568B2 (en) | Method for calibrating cameras installed on vehicle | |
| CN107481292B (en) | Attitude error estimation method and device for vehicle-mounted camera | |
| US20060227211A1 (en) | Method and apparatus for measuring position and orientation | |
| US20160063704A1 (en) | Image processing device, image processing method, and program therefor | |
| CN109883444B (en) | Attitude angle coupling error compensation method and device and electronic equipment | |
| CN111263142B (en) | Method, device, equipment and medium for testing optical anti-shake of camera module | |
| JP6966218B2 (en) | Imaging equipment calibration equipment, work machines and calibration methods | |
| CN112991453B (en) | Calibration parameter verification method and device for binocular camera and electronic equipment | |
| CN106767895B (en) | The system and method for solving camera elements of exterior orientation are oriented using index point | |
| CN111750896B (en) | Holder calibration method and device, electronic equipment and storage medium | |
| JP2007322170A (en) | Method of aerial photographic survey | |
| CN112970249A (en) | Assembly for calibrating a camera and measurement of such an assembly | |
| CN113758498A (en) | Unmanned aerial vehicle holder calibration method and device | |
| CN114777768A (en) | High-precision positioning method and system for satellite rejection environment and electronic equipment | |
| KR102167847B1 (en) | System and Method for Calibration of Mobile Mapping System Using Laser Observation Equipment | |
| JP2023142834A (en) | Camera calibration device, camera calibration method, and camera calibration program | |
| CN114754779B (en) | Positioning and mapping method and device and electronic equipment | |
| CN111563936A (en) | Camera external parameter automatic calibration method and automobile data recorder | |
| CN112633043B (en) | Lane line determining method and device, electronic equipment and storage medium | |
| CN114018212B (en) | Spherical camera monocular ranging-oriented pitch angle correction method and system | |
| CN115018922A (en) | Distortion parameter calibration method, electronic device and computer readable storage medium | |
| US8903163B2 (en) | Using gravity measurements within a photogrammetric adjustment | |
| CN113610086A (en) | Reading correction method and device for vertical-scale pointer instrument and terminal equipment | |
| CN113365045B (en) | Camera module detection method, device and system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20240226 |