JP6406044B2 - カメラ校正ユニット、カメラ校正方法、およびカメラ校正プログラム - Google Patents

Description

この発明は、マルチカメラシステムにおける各カメラの外部パラメータを校正（キャリブレーション）する技術に関する。

従来、アングルが異なる複数のカメラを用いるマルチカメラシステムとして、複数のカメラで撮像した対象領域の立体画像（３次元画像）を生成するもの（例えば、特許文献１参照）や、基準位置を中心とする全周画像を生成するもの（例えば、特許文献２参照）がある。これらの技術は、各カメラが撮像したフレーム画像を、共通の座標系上に射影することによって、立体画像や全周画像を生成するものである。

立体画像や全周画像の生成においては、各カメラによって撮像されるフレーム画像間の位置関係が必要である。このため、特許文献１、２等に記載されているように、カメラ校正（カメラキャリブレーション）を行って、各カメラの外部パラメータを事前に取得している。カメラの外部パラメータは、カメラの位置や姿勢にかかるパラメータである。

特開２０１３− ９３７８７号公報 特開２０１１− ８６１１１号公報

しかしながら、カメラ校正は、特徴点を有するオブジェクトを対象領域にセットし、対象領域を撮像したフレーム画像からオブジェクトの特徴点を抽出する手法で行っていた。例えば、特徴点を有するオブジェクトとしてチェスボードを用いた場合、隣接する２つの黒マスが接する点等を特徴点として抽出する手法で行っていた。

このように、カメラ校正にかかる従来の手法は、特徴点を有するオブジェクトを対象領域にセットする必要があり、手間や時間がかかるという問題があった。

また、カメラ本体の取り付け状態（位置や姿勢）は、外力等の外的要因によって変化する。すなわち、カメラの外部パラメータは、外的要因によって変化する。このため、カメラの外部パラメータは、カメラの内部パラメータ（焦点距離やレンズ歪み等にかかるパラメータ）と異なり、定期的に更新する必要があり、カメラ校正にかかる手間、および時間を抑えることが要望されている。

この発明の目的は、カメラ校正にかかる手間、および時間を抑えることができる技術を提供することにある。

この発明のカメラ校正ユニットは、上記目的を達するために、以下のように構成している。

第１の動画像入力部には、第１のカメラが撮像した第１の動画像が入力される。また、第２の動画像入力部には、第２のカメラが第１のカメラとは異なるアングルで撮像した第２の動画像が入力される。第１のカメラの撮像領域と、第２のカメラの撮像領域とは、その一部が重なっている。第１の特徴点抽出部は、カメラ校正処理の開始タイミングの直後に第１の動画像入力部に入力された第１の動画像にかかる所定フレーム数のフレーム画像の中から、人の顔が正面から撮像されているフレーム画像を、第１の処理対象フレーム画像として選択し、且つこの正面から顔が撮像されている人を対象者に選択する。第１の特徴点抽出部は、選択した第１の処理対象フレーム画像に撮像されている対象者の顔の特徴点を複数抽出する。また、第２の特徴点抽出部は、第１の処理対象フレーム画像の撮像タイミングに対して、時間的に最も近い撮像タイミングのフレーム画像を、第２の処理対象フレーム画像として選択する、第２の特徴点抽出部は、選択した第２のフレーム画像に撮像されている対象者の顔の特徴点を複数抽出する。

また、特徴点対応付部は、第１の特徴点抽出部が抽出した対象者の顔の特徴点と、第２の特徴点抽出部が抽出した対象者の顔の特徴点と、を対応付ける。外部パラメータ算出部は、特徴点対応付部による対象者の顔の特徴点の対応付け結果と、第１の処理対象フレーム画像上における対象者の顔の特徴点の位置と、第２の処理対象フレーム画像上における対象者の顔の特徴点の位置とを用いて、第１のカメラと第２のカメラとの相対的な位置関係にかかるカメラの外部パラメータを算出する。外部パラメータ算出部は、例えば第１のカメラを基準にし、第１のカメラに対する第２のカメラの相対的な位置関係にかかる外部パラメータを算出する。

この構成では、第１のカメラと第２のカメラとにおいて重なっている撮像領域（以下、対象領域と言う。）に位置する対象者の顔の特徴を利用して、第１のカメラと第２のカメラとの相対的な位置関係にかかるカメラの外部パラメータを算出する。すなわち、第１のカメラと第２のカメラとの相対的な位置関係にかかるカメラの外部パラメータを算出するカメラ校正が、特徴点を有するオブジェクトを対象領域にセットすることなく行える。したがって、カメラ校正にかかる手間、および時間を抑えることができる。
また、略同じタイミングで撮像された第１の処理対象フレーム画像、および第２の処理対象フレーム画像を用いてカメラ校正を行うことができるので、カメラの外部パラメータの算出精度の低下が抑えられる。

また、第２の特徴点抽出部は、第１の処理対象フレーム画像に撮像されている対象者の顔画像を用いた顔認証により、第２の処理対象フレーム画像に撮像されている対象者を選択する構成としてもよい。

このように構成すれば、第１の特徴点抽出部、および第２の特徴点抽出部が、異なる対象者から特徴点を抽出するのを防止できる。

この発明によれば、カメラ校正にかかる手間、および時間を抑えることができる。

この例にかかるカメラ校正ユニットの主要部の構成を示す図である。 カメラ校正処理にかかる画像処理プロセッサの機能構成を示すブロック図である。 カメラ校正処理を示すフローチャートである。 第１の処理対象フレーム画像、および第２の処理対象フレーム画像を示す図である。 抽出した対象者の顔の特徴点、および対象者の顔の特徴点の対応付結果を示す図である。

以下、この発明の実施形態であるカメラ構成ユニットについて説明する。

図１は、この例にかかるカメラ校正ユニットの主要部の構成を示す図である。カメラ校正ユニット１は、画像処理プロセッサ２と、第１の動画像入力部３と、第２の動画像入力部４と、記憶部５と、出力部６と、入力部７と、を備えている。

この例にかかるカメラ校正ユニット１は、第１のカメラ１０と、第２のカメラ１１との相対的な位置関係にかかるカメラの外部パラメータを算出するカメラ校正（カメラキャリブレーション）を行うとともに、カメラ校正で算出したカメラの外部パラメータを用いて立体画像（３次元画像）を生成する。カメラの外部パラメータは、公知のようにカメラの回転Ｒと並進Ｔである。この例では、第１のカメラ１０を基準にした、第２のカメラ１１の回転Ｒと、並進Ｔをカメラの外部パラメータとして算出するカメラ校正を行う。

画像処理プロセッサ２は、この発明にかかるカメラ校正方法を実行するコンピュータを備える。また、この発明にかかるカメラ校正プログラムは、画像処理プロセッサ２が備えるコンピュータにインストールされる。画像処理プロセッサ２の機能構成については後述する。また、画像処理プロセッサが備えるコンピュータは、第１のカメラ１０が撮像したフレーム画像と、第２のカメラ１１が撮像したフレーム画像とを用いて、立体画像を生成する。

第１の動画像入力部３には、第１のカメラ１０が接続されている。また、第２の動画像入力部４には、第２のカメラ１１が接続されている。第１のカメラ１０、および第２のカメラ１１は、動画像を撮像するビデオカメラである。第１のカメラ１０、および第２のカメラ１１のフレームレートは、数十フレーム／ｓｅｃ（例えば、３０フレーム／ｓｅｃ）である。第１のカメラ１０と、第２のカメラ１１とは、異なるアングルである。第１のカメラ１０の撮像領域と、第２のカメラ１１の撮像領域とは、その一部が重複している。この重複している撮像領域を、ここでは対象領域と言う。

第１の動画像入力部３には、第１のカメラ１０が撮像した動画像にかかるフレーム画像が入力される。第２の動画像入力部４には、第２のカメラ１１が撮像した動画像にかかるフレーム画像が入力される。第１の動画像入力部３、および第２の動画像入力部４は、入力された動画像にかかるフレーム画像を記憶する画像メモリやハードディスク等の記憶媒体（不図示）を有している。

記憶部５は、後述するカメラ校正処理で算出したカメラの外部パラメータを記憶する。

出力部６は、第１のカメラ１０、および第２のカメラ１１によって撮像された対象領域の立体画像を出力する。この立体画像は、画像処理プロセッサ２において生成される。出力部６には、立体画像を処理する立体画像処理装置が接続される。立体画像処理装置は、例えば立体画像を表示する表示装置や、対象領域に位置するオブジェクトの立体形状を解析する解析装置である。

入力部７には、カメラ校正ユニット１本体に対してコマンドを入力する入力装置が接続される。入力装置は、後述するカメラ校正処理の実行指示等にかかるコマンドを入力部７に入力する。

図２は、後述するカメラ校正処理の実行にかかる画像処理プロセッサの機能構成を示すブロック図である。画像処理プロセッサ２は、上述したように立体画像を生成する機能も有しているが、この立体画像の生成処理にかかる機能構成については、図示を省略している。画像処理プロセッサ２は、第１の処理対象フレーム画像選択機能部２１と、第２の処理対象フレーム画像選択機能部２２と、顔認証機能部２３と、第１の特徴点抽出機能部２４と、第２の特徴点抽出機能部２５と、特徴点対応付機能部２６と、外部パラメータ算出機能部２７と、を備えている。

第１の処理対象フレーム画像選択機能部２１は、第１のカメラ１０が撮像した動画像にかかるフレーム画像（第１の動画像入力部３に入力されたフレーム画像）の中から、第１の処理対象フレーム画像を選択する。第２の処理対象フレーム画像選択機能部２２は、第２のカメラ１１が撮像した動画像にかかるフレーム画像（第２の動画像入力部４に入力されたフレーム画像）の中から、第２の処理対象フレーム画像を選択する。特に、第２の処理対象フレーム画像選択機能部２２は、第２のカメラ１１が撮像した動画像にかかるフレーム画像の中から、第１の処理対象フレーム画像選択機能部２１が選択した第１の処理対象フレーム画像の撮像タイミングに対して、時間的にもっと近い撮像タイミングのフレーム画像を第２の処理対象フレーム画像として選択する。すなわち、第１の処理対象フレーム画像選択機能部２１が選択した第１の処理対象フレーム画像の撮像タイミングと、第２の処理対象フレーム画像選択機能部２２が選択した第２の処理対象フレーム画像の撮像タイミングとは、略同じである。

第１の特徴点抽出機能部２４は、第１の処理対象フレーム画像上の対象領域に撮像されている対象者について顔の特徴点を複数抽出する。また、抽出した顔の特徴点毎に、第１の処理対象フレーム画像上の位置を検出する。

顔認証機能部２３は、第２の処理対象フレーム画像上の対象領域に撮像されている人の中から、第１の特徴点抽出機能部２４が顔の特徴量を抽出した対象者を顔認証により検出する。

第２の特徴点抽出機能部２５は、顔認証機能部２３によって検出された対象者について顔の特徴点を複数抽出する。また、抽出した顔の特徴点毎に、第２の処理対象フレーム画像上の位置を検出する。

特徴点対応付機能部２６は、第１の特徴点抽出機能部２４が抽出した対象者の顔の特徴点と、第２の特徴点抽出機能部２５が抽出した対象者の顔の特徴点と、を対応付ける。

外部パラメータ算出機能部２７は、第１の処理対象フレーム画像上における特徴点対応付機能部２６が対応付けた対象者の顔の特徴点の位置と、第２の処理対象フレーム画像上における特徴点対応付機能部２６が対応付けた対象者の顔の特徴点の位置と、を用いて、第１のカメラ１０と、第２のカメラ１１との相対的な位置関係にかかる外部パラメータを算出する。

次に、このカメラ校正ユニット１におけるカメラ校正の動作について説明する。図３は、カメラ校正処理を示すフローチャートである。カメラ校正ユニット１は、カメラ校正処理の実行指示にかかるコマンドが入力部７に入力されると、図３に示すカメラ校正処理を行う。

なお、ここでは、カメラ校正処理の実行指示にかかるコマンドが入力部７に入力されたタイミングで、カメラ校正処理を実行するとしているが、このカメラ校正処理を定期的に実行するようにしてもよい。カメラ校正ユニット１は、例えば、毎週日曜日の午前０時や、毎月１日の午前０時にカメラ校正処理を実行するように、スケジューリングが行える構成であってもよい。

カメラ校正ユニット１は、第１のカメラ１０が撮像した動画像にかかるフレーム画像が第１の動画像入力部３に入力されているとともに、第２のカメラ１１が撮像した動画像にかかるフレーム画像が第２の動画像入力部４に入力されている。

画像処理プロセッサ２は、第１のカメラ１０が撮像した動画像にかかるフレーム画像（第１の動画像入力部３に入力されたフレーム画像）の中から、後述するカメラ校正処理に用いる第１の処理対象フレーム画像を選択する（ｓ１）。ｓ１では、カメラ校正処理の開始タイミング（カメラ校正処理の実行指示にかかるコマンドが入力部７に入力されたタイミング等）の直後に入力された所定フレーム数（例えば、１０フレーム）のフレーム画像の中から、第１の処理対象フレーム画像を選択する。例えば、対象領域に、略正面から顔が撮像されている人がいるフレーム画像を第１の処理対象フレーム画像として選択する。また、この人（略正面から顔が撮像されている対象領域にいる人）を、対象者として選択する。このｓ１にかかる処理は、上述した第１の処理対象フレーム画像選択機能部２１によって行われる。

画像処理プロセッサ２は、第２のカメラ１１が撮像した動画像にかかるフレーム画像（第２の動画像入力部４に入力されたフレーム画像）の中から、後述するカメラ校正処理に用いる第２の処理対象フレーム画像を選択する（ｓ２）。ｓ２では、ｓ１で選択された第１の処理対象フレーム画像の撮像タイミングに対して、時間的にもっと近い撮像タイミングのフレーム画像を第２の処理対象フレーム画像として選択する。このｓ２にかかる処理は、上述した第２の処理対象フレーム画像選択機能部２２によって行われる。

したがって、ｓ１で選択された第１の処理対象フレーム画像の撮像タイミングと、ｓ２で選択された第２の処理対象フレーム画像の撮像タイミングとは、略同じである。

図４は、ｓ１で選択された第１の処理対象フレーム画像、およびｓ２で選択された第２の処理対象フレーム画像を示す図である。図４は、撮像されている対象者以外の人や、背景等については、図示を省略している。第１のカメラ１０と、第２のカメラ１１とのアングルの違いにより、第１の処理対象フレーム画像、および第２の処理対象フレーム画像における対象者の撮像位置や、対象者の向き等が異なっている。

画像処理プロセッサ２は、第２の処理対象フレーム画像上の対象領域に撮像されている人の中から、ｓ１で選択した対象者を顔認証により検出する（ｓ３）。このｓ３にかかる処理は、上述した顔認証機能部２３によって行われる。

画像処理プロセッサ２は、第１の処理対象フレーム画像上の対象領域に撮像されている対象者（ｓ１で選択した対象者）の顔の特徴点を複数抽出する（ｓ４）。また、画像処理プロセッサ２は、第２の処理対象フレーム画像上の対象領域に撮像されている対象者（ｓ３で顔認証により検出した対象者）の顔の特徴点を複数抽出する（ｓ５）。ｓ４で抽出する対象者の顔の特徴点の個数と、ｓ５で抽出する対象者の顔の特徴点の個数とは、同じであってもよいし、同じでなくてもよい。ｓ４にかかる処理は、上述した第１の特徴点抽出機能部２４によって行われる。また、ｓ５にかかる処理は、上述した第２の特徴点抽出機能部２５によって行われる。

この発明で言う第１の特徴点抽出部は、第１の処理対象フレーム画像選択機能部２１、および第１の特徴点抽出機能部２４によって構成される。また、この発明で言う第２の特徴点抽出部は、第２の処理対象フレーム画像選択機能部２２、顔認証機能部２３、および第２の特徴点抽出機能部２５によって構成される。

画像処理プロセッサ２は、ｓ４で抽出した対象者の顔の特徴点と、ｓ５で抽出した対象者の顔の特徴点とを対応付ける（ｓ６）。図５は、ｓ４、ｓ５で抽出した対象者の顔の特徴点、およびｓ６での対象者の顔の特徴点の対応付結果を示す図である。図５に示すハッチングした小円は、ｓ４、ｓ５で抽出した対象者の顔の特徴点である。ｓ６では、ｓ４で抽出した対象者の顔の特徴点の中に、ｓ５で抽出した特徴点に対応付けられない特徴点があってもよいし、逆に、ｓ５で抽出した対象者の顔の特徴点の中に、ｓ４で抽出した特徴点に対応付けられない特徴点があってもよい。図５に示す両端矢印の直線は、特徴点が対応付けられたことを示している。また、両端矢印の直線が記されていない特徴点は、対応付けることができなかった特徴点である。ｓ６にかかる処理は、上述した特徴点対応付機能部２６によって行われる。

画像処理プロセッサ２は、ｓ６で対応付けることができた特徴点の組数が予め定めた所定数以上であるかどうかを判定する（ｓ７）。ｓ７では、ｓ６で対応付けることができた特徴点の組数が、第１のカメラ１０、および第２のカメラ１１の相対的な位置関係にかかる外部パラメータを算出することができる組数以上であるかどうかを判定している。すなわち、ｓ７では、第１のカメラ１０、および第２のカメラ１１の相対的な位置関係にかかる外部パラメータが算出できるかどうかを判定している。

カメラ校正ユニット１は、カメラの外部パラメータを、ｓ６で対応付けた特徴点の第１の処理対象フレーム画像上の位置（座標）と、第２の処理対象フレーム画像上の位置（座標）とを用いて算出する。このとき、第１のカメラ１０を基準にし、第２のカメラ１１の回転Ｒと、並進Ｔをカメラの外部パラメータとして算出する。カメラの外部パラメータを算出する演算手法については、様々な演算手法が公知である。例えば、上述した特許文献１等に記載されている。カメラ校正ユニット１は、カメラの外部パラメータを、すでに公知であるいずれの演算手法で算出してもよい。

画像処理プロセッサ２は、ｓ６で対応付けることができた特徴点の組数が予め定めた所定数未満であると判定すると、開始タイミングを更新し（ｓ１０）、ｓ１に戻って、上記処理を繰り返す。ｓ１０では、現時点を、開始タイミングに設定する。

画像処理プロセッサ２は、ｓ６で対応付けることができた特徴点の組数が予め定めた所定数以上であると判定すると、第１のカメラ１０、および第２のカメラ１１の相対的な位置関係にかかる外部パラメータを算出する（ｓ８）。

カメラ校正ユニット１は、ｓ８で算出した外部パラメータを記憶部５に記憶し（ｓ９）、本処理を終了する。

このように、この例にかかるカメラ校正ユニット１は、特徴点を有するチェスボード等のオブジェクトを対象領域にセットすることなく、第１のカメラ１０と第２のカメラ１１との相対的な位置関係にかかるカメラの外部パラメータを算出することができる。したがって、カメラ校正にかかる手間、および時間を抑えることができる。

また、顔認証により、第１の処理対象フレーム画像に撮像されている対象者と、第２の処理対照フレーム画像に撮像されている対象者と、を対応付けるので、異なる対象者から特徴点を抽出するのを防止できる。すなわちｓ５以降の処理を無駄に行うことがない。また、第１の処理対象フレーム画像において、略正面から顔が撮像されている人を対象者として選択するので、対象者の顔の特徴点をより多く抽出できる。

また、第１の処理対象フレーム画像、および第２の処理対象フレーム画像の撮像タイミングが略同じであるので、算出するカメラの外部パラメータの精度の低下が抑えられる。

また、カメラ校正ユニット１は、記憶部５に記憶している外部パラメータを用いて、第１のカメラ１０が撮像した動画像にかかるフレーム画像と、第２のカメラ１１が撮像した動画像にかかるフレーム画像と、を用いて、対象領域の立体画像を生成し、生成した立体画像を出力部６から出力する。

また、カメラ校正ユニット１は、３台のカメラが接続され、各カメラの外部パラメータを算出する構成であってもよい。この場合には、任意の１台のカメラを基準にすることで、他の２台のカメラについては、基準にしたカメラに対する、相対的な位置関係にかかる外部パラメータを算出する。

また、上記の例は、カメラ校正において用いる、撮像タイミングが略同じである第１の処理対象フレーム画像と、第２の処理対象フレーム画像を１組としたが、撮像タイミングが略同じである第１の処理対象フレーム画像と、第２の処理対象フレーム画像を複数組用いてカメラ校正を行ってもよい。撮像タイミングが略同じである第１の処理対象フレーム画像と、第２の処理対象フレーム画像を複数組用いれば、ｓ８における外部パラメータの算出に用いる対応付けた特徴点の組数を増加させることができる。したがって、カメラ校正の精度の向上が図れる。

また、ここでは、対象領域の立体画像を生成するものを例にして説明を行ったが、上述した特許文献２に記載されている全周画像を生成する複数台のカメラであっても、外部パラメータを算出することができる。

また、カメラ校正ユニット１は、いずれかのカメラに内蔵させた構成であってもよいし、パーソナルコンピュータ等の情報処理装置に内蔵させた構成であってもよい。

１…カメラ校正ユニット
２…画像処理プロセッサ
３…第１の動画像入力部
４…第２の動画像入力部
５…記憶部
６…出力部
７…入力部
１０…第１のカメラ
１１…第２のカメラ
２１…第１の処理対象フレーム画像選択機能部
２２…第２の処理対象フレーム画像選択機能部
２３…顔認証機能部
２４…第１の特徴点抽出機能部
２５…第２の特徴点抽出機能部
２６…特徴点対応付機能部
２７…外部パラメータ算出機能部

Claims (5)

1. 第１のカメラが撮像した第１の動画像を入力する第１の動画像入力部と、
   第２のカメラが前記第１のカメラと異なるアングルで撮像した第２の動画像を入力する第２の動画像入力部と、
   カメラ校正処理の開始タイミングの直後に前記第１の動画像入力部に入力された前記第１の動画像にかかる所定フレーム数のフレーム画像の中から、第１の処理対象フレーム画像を選択し、当該第１の処理対象フレーム画像に撮像されている対象者の顔の特徴点を複数抽出する第１の特徴点抽出部と、
   前記第１の特徴点抽出部が選択した前記第１の処理対象フレーム画像の撮像タイミングに応じて、前記第２の動画像入力部に入力された前記第２の動画像にかかるフレーム画像の中から第２の処理対象フレーム画像を選択し、当該第２のフレーム画像に撮像されている前記対象者の顔の特徴点を複数抽出する第２の特徴点抽出部と、
   前記第１の特徴点抽出部が抽出した前記対象者の顔の特徴点と、前記第２の特徴点抽出部が抽出した前記対象者の顔の特徴点と、を対応付ける特徴点対応付部と、
   前記特徴点対応付部による前記対象者の顔の特徴点の対応付け結果と、前記第１の処理対象フレーム画像上における前記対象者の顔の特徴点の位置と、前記第２の処理対象フレーム画像上における前記対象者の顔の特徴点の位置とを用いて、前記第１のカメラと前記第２のカメラとの相対的な位置関係にかかるカメラの外部パラメータを算出する外部パラメータ算出部と、を備え、
   前記第１の特徴点抽出部は、前記所定フレーム数のフレーム画像の中から、人の顔が正面から撮像されているフレーム画像を、前記第１の処理対象フレーム画像として選択し、且つこの正面から顔が撮像されている人を前記対象者に選択し、
   前記第２の特徴点抽出部は、前記第１の処理対象フレーム画像の撮像タイミングに対して、時間的に最も近い撮像タイミングのフレーム画像を、前記第２の処理対象フレーム画像として選択する、カメラ校正ユニット。
2. 前記第２の特徴点抽出部は、前記第１の処理対象フレーム画像に撮像されている前記対象者の顔画像を用いた顔認証により、前記第２の処理対象フレーム画像に撮像されている前記対象者を検出する、請求項１に記載のカメラ校正ユニット。
3. 前記外部パラメータ算出部は、前記第１のカメラを基準にし、前記第１のカメラに対する前記第２のカメラの相対的な位置関係にかかる外部パラメータを算出する、請求項１、または２に記載のカメラ校正ユニット。
4. 第１のカメラが撮像した第１の動画像が第１の動画像入力部に入力され、第２のカメラが前記第１のカメラと異なるアングルで撮像した第２の動画像が第２の動画像入力部に入力され、
   カメラ校正処理の開始タイミングの直後に前記第１の動画像入力部に入力された前記第１の動画像にかかる所定フレーム数のフレーム画像の中から、第１の処理対象フレーム画像を選択し、当該第１の処理対象フレーム画像に撮像されている対象者の顔の特徴点を複数抽出する第１の特徴点抽出ステップと、
   前記第１の特徴点抽出ステップで選択した前記第１の処理対象フレーム画像の撮像タイミングに応じて、前記第２の動画像入力部に入力された前記第２の動画像にかかるフレーム画像の中から第２の処理対象フレーム画像を選択し、当該第２のフレーム画像に撮像されている前記対象者の顔の特徴点を複数抽出する第２の特徴点抽出ステップと、
   前記第１の特徴点抽出ステップで抽出した前記対象者の顔の特徴点と、前記第２の特徴点抽出ステップで抽出した前記対象者の顔の特徴点と、を対応付ける特徴点対応付ステップと、
   前記特徴点対応付ステップによる前記対象者の顔の特徴点の対応付け結果と、前記第１の処理対象フレーム画像上における前記対象者の顔の特徴点の位置と、前記第２の処理対象フレーム画像上における前記対象者の顔の特徴点の位置とを用いて、前記第１のカメラと前記第２のカメラとの相対的な位置関係にかかるカメラの外部パラメータを算出する外部パラメータ算出ステップと、をコンピュータが実行するカメラ校正方法であって、
   前記第１の特徴点抽出ステップは、前記所定フレーム数のフレーム画像の中から、人の顔が正面から撮像されているフレーム画像を、前記第１の処理対象フレーム画像として選択し、且つこの正面から顔が撮像されている人を前記対象者に選択し、
   前記第２の特徴点抽出ステップは、前記第１の処理対象フレーム画像の撮像タイミングに対して、時間的に最も近い撮像タイミングのフレーム画像を、前記第２の処理対象フレーム画像として選択する、カメラ校正方法。
5. 第１のカメラが撮像した第１の動画像が第１の動画像入力部に入力され、第２のカメラが前記第１のカメラと異なるアングルで撮像した第２の動画像が第２の動画像入力部に入力され、
   カメラ校正処理の開始タイミングの直後に前記第１の動画像入力部に入力された前記第１の動画像にかかる所定フレーム数のフレーム画像の中から、第１の処理対象フレーム画像を選択し、当該第１の処理対象フレーム画像に撮像されている対象者の顔の特徴点を複数抽出する第１の特徴点抽出ステップと、
   前記第１の特徴点抽出ステップで選択した前記第１の処理対象フレーム画像の撮像タイミングに応じて、前記第２の動画像入力部に入力された前記第２の動画像にかかるフレーム画像の中から第２の処理対象フレーム画像を選択し、当該第２のフレーム画像に撮像されている前記対象者の顔の特徴点を複数抽出する第２の特徴点抽出ステップと、
   前記第１の特徴点抽出ステップで抽出した前記対象者の顔の特徴点と、前記第２の特徴点抽出ステップで抽出した前記対象者の顔の特徴点と、を対応付ける特徴点対応付ステップと、
   前記特徴点対応付ステップによる前記対象者の顔の特徴点の対応付け結果と、前記第１の処理対象フレーム画像上における前記対象者の顔の特徴点の位置と、前記第２の処理対象フレーム画像上における前記対象者の顔の特徴点の位置とを用いて、前記第１のカメラと前記第２のカメラとの相対的な位置関係にかかるカメラの外部パラメータを算出する外部パラメータ算出ステップと、をコンピュータが実行するカメラ校正プログラムであって、
   前記第１の特徴点抽出ステップは、前記所定フレーム数のフレーム画像の中から、人の顔が正面から撮像されているフレーム画像を、前記第１の処理対象フレーム画像として選択し、且つこの正面から顔が撮像されている人を前記対象者に選択し、
   前記第２の特徴点抽出ステップは、前記第１の処理対象フレーム画像の撮像タイミングに対して、時間的に最も近い撮像タイミングのフレーム画像を、前記第２の処理対象フレーム画像として選択する、カメラ校正プログラム。

Images