JP4458173B2 - 画像記録方法、画像記録装置、およびプログラム - Google Patents

Description

本発明は、画像記録方法、画像記録装置、およびプログラムに関する。詳しくは、連続する画像を順番に取得して、当該画像の中の１つを記録する画像記録方法、画像記録装置、およびプログラムに関する。

従来より、デジタルカメラなどの撮像装置としては、画像中の撮影対象の動作を契機として、自動的に画像を記録する手法が知られている。
例えば、ブロックマッチング法を用いて、自動的に画像を記録する手法が知られている（特許文献１参照）。すなわち、所定の画像において撮影対象を含むブロックを記憶し、この所定の画像に連続する画像において、撮影対象を含むブロックに類似するブロックを探索する。このようにブロックの移動を検出することにより、撮影対象を追跡して、自動的に画像を記録する。
特開平９−７００１２号公報

しかしながら、動物や人間などの生物を撮影する場合、撮影対象は、手足を動かしたり、体の姿勢を変えたりする。よって、上述のような単純な追跡手法では、類似するブロックを検出できず、撮影対象を追跡できない場合があった。その結果、自動記録処理の安定性が低くなる、という問題があった。

本発明は、撮影対象の移動や変形の瞬間を捉えて自動的に記録する自動記録処理を安定して動作させることができる画像記録方法、画像記録装置、およびプログラムを提供することを目的とする。

請求項１に記載の発明は、連続する画像を順番に取得して、当該画像の中の１つを記録する画像記録方法であって、前記画像中に特定領域および当該特定領域を囲む追跡範囲を設定する手順と、当該画像中の前記特定領域の特徴量を記憶する手順と、当該画像の前記特定領域に、所定数の探索点を生成する手順と、を備える初期設定手順と、乱数を用いて、前記複数の探索点の座標を更新する手順と、前記特定領域の特徴量と前記画像における前記更新後の探索点の特徴量とを比較して、類似度が高いほど重みを大きくして、重み付けを行う手順と、前記探索点を重み付けに応じて選別する手順と、前記選別した探索点の座標の分散を算出する手順と、前記選別した探索点の座標の重みつき平均を算出する手順と、を備えるフィルタ手順と、前記選別した探索点の座標の分散、前記選別した探索点の座標の重みつき平均、および前記追跡範囲に基づいて、当該画像を記録するか否かを判定し、記録すると判定した場合には、当該画像を記録する画像記録判定手順と、を備えることを特徴とする。

請求項２に記載の発明は、請求項１に記載の画像記録方法において、前記探索点を重み付けに応じて選別する手順は、前記探索点の重みの総和を算出し、この総和に等しい数だけ識別子を生成し、当該識別子のそれぞれを、重みに応じて前記探索点に対応付けておき、当該識別子の中からランダムに前記所定数の回数だけ前記識別子を選択し、選択された識別子に対応する探索点を記憶する手順であることを特徴とする。

請求項３に記載の発明は、請求項１に記載の画像記録方法において、前記探索点を重み付けに応じて選別する手順は、前記重み付けが所定の閾値以下である探索点を除去する手順であることを特徴とする。

請求項４に記載の発明は、請求項１から３のいずれかに記載の画像記録方法において、最初の画像に対して前記初期設定手順および前記フィルタ手順を実行し、その後、２番目の画像からｋ（ｋは自然数）番目の画像まで、前記フィルタ手順を繰り返す学習手順と、（ｋ＋１）番目以降の画像について、前記フィルタ手順および前記画像記録判定手順を繰り返す画像記録手順と、を備えることを特徴とする。

請求項５に記載の発明は、請求項４に記載の画像記録方法において、前記学習手順を実行した後、前記画像記録手順を実行するまでの間に、前記フィルタ手順を繰り返して、前記特定領域および前記追跡範囲を追従して移動させることを特徴とする。

請求項６に記載の発明は、請求項４または５に記載の画像記録方法において、前記学習手順の前記選別した探索点の座標の重みつき平均を算出する手順では、前記選別した探索点の座標の重みつき平均が前記追跡範囲の外に位置する場合、エラーを出力することを特徴とする。

請求項７に記載の発明は、請求項４から６のいずれかに記載の画像記録方法において、前記学習手順の前記選別した探索点の座標の分散を算出する手順では、前記分散が所定の閾値以上である場合、エラーを出力することを特徴とする。

請求項８に記載の発明は、請求項４から７のいずれかに記載の画像記録方法において、前記学習手順の前記選別した探索点の座標の分散を算出する手順では、前記分散の前回の分散からの変化量が大きい場合、エラーを出力することを特徴とする。

請求項９に記載の発明は、請求項４から８のいずれかに記載の画像記録方法において、前記画像記録手順の前記選別した探索点の座標の重みつき平均を算出する手順では、前記選別した探索点の座標の重みつき平均が前記追跡範囲の外に位置する場合、前記画像を記録することを特徴とする。

請求項１０に記載の発明は、請求項４から９のいずれかに記載の画像記録方法において、前記画像記録手順の前記選別した探索点の座標の分散を算出する手順では、前記分散が所定の閾値以上である場合、前記画像を記録することを特徴とする。

請求項１１に記載の発明は、請求項４から１０のいずれかに記載の画像記録方法において、前記画像記録手順の前記選別した探索点の座標の分散を算出する手順では、前記分散の前回の分散からの変化量が大きい場合、前記画像を記録することを特徴とする。

請求項１２に記載の発明は、請求項１から１１のいずれかに記載の発明をコンピュータに実行させるためのプログラムである。

請求項１３に記載の発明は、連続する画像を順番に取得して、当該画像の中の１つを記録する画像記録装置であって、前記画像中に特定領域および当該特定領域を囲む追跡範囲を設定し、当該画像中の前記特定領域の特徴量を記憶し、当該画像の前記特定領域に、所定数の探索点を生成する初期設定手段と、乱数を用いて、前記複数の探索点の座標を更新し、前記特定領域の特徴量と前記画像における前記更新後の探索点の特徴量とを比較して、類似度が高いほど重みを大きくして、重み付けを行い、前記探索点を重み付けに応じて選別し、前記選別した探索点の座標の分散を算出し、前記選別した探索点の座標の重みつき平均を算出するフィルタ手段と、前記選別した探索点の座標の分散、前記選別した探索点の座標の重みつき平均、および前記追跡範囲に基づいて、当該画像を記録するか否かを判定し、記録すると判定した場合には、当該画像を記録する画像記録判定手段と、を備えることを特徴とする画像記録装置。

本発明によれば、自動記録処理を安定して動作させることができる。

以下、本発明の一実施形態を図面に基づいて説明する。
［外観図および回路構成］
図１（Ａ）は、本実施の形態に係る画像記録装置としての撮像装置１の外観を示す正面図であり、図１（Ｂ）は背面図である。
この撮像装置１には、前面に撮像レンズ２が設けられており、上面部にはシャッタボタン３が設けられている。このシャッタボタン３は、半押し操作と全押し操作とが可能な所謂ハーフシャッタ機能を備えるものである。

また、背面には、ファンクションキー４、カーソルキー５、および、表示部６が設けられている。カーソルキー５は、図中ａの方向に回転可能なロータリースイッチとしての役割を果たす。

図２は、撮像装置１の概略構成を示すブロック図である。この撮像装置１は、バスライン１８を介して各部に接続された制御部１７を備えている。制御部１７は、撮像装置１の各部を制御するワンチップマイコンである。
同図において、撮像レンズ２は、詳細には光学系部材を実装するレンズユニットである。また、駆動制御部７は、撮影者のズーム操作または撮影者のシャッタボタン３の半押し操作の検出による制御部１７からのＡＦ（自動合焦）処理に基づく制御信号に基づいて、撮像レンズ２の位置を移動させる回路部である。

撮像部８は、ＣＭＯＳ等のイメージセンサからなり、上述の撮像レンズ２の光軸上に配置されている。
ユニット回路９は、撮像部８から出力される被写体の光学像に応じたアナログの撮像信号を、デジタル信号に変換する回路である。このユニット回路９は、入力した撮像信号を保持するＣＤＳと、ＡＥ（自動露出調整）処理等に伴って撮像信号を増幅するゲイン調整アンプ（ＡＧＣ）、増幅された撮像信号をデジタルの撮像信号に変換するＡ／Ｄ変換器（ＡＤＣ）等から構成されている。

撮像部８の出力信号はユニット回路９を経て各々デジタル信号として画像処理部１０に送られて、各種画像処理が施されるとともに、プレビューエンジン１２にて縮小加工されて、表示部６に供給される。
表示部６は、１６：９のアスペクト比を備えるＬＣＤからなり、ドライバを内蔵しており、このデジタル信号とドライバを駆動する駆動制御信号とが入力されると、デジタル信号に基づく画像をスルー画像として下位レイヤーに表示する。
また、表示部６は、制御部１７から出力されるメッセージやアイコンなどを上位レイヤーに表示する。

また、画像記録モードにおいて、画像処理部１０で処理された信号は、符号化／復号化処理部１１で圧縮符号化され、ＪＰＥＧ形式等の所定のファイル形式でファイル化されて画像記録部１４に記録される。一方、画像再生モードにおいては画像記録部１４から読み出された画像ファイルを符号化／復号化処理部１１で復号化し表示部６に表示する。

プレビューエンジン１２は、上記スルー画像の生成の他、画像記録モードにおいて画像記録部１４に記録される直前の画像を表示部６に表示させる際に必要な制御を行う。
さらに、バスライン１８には、プログラムメモリ１５や連続撮影された画像を一時的に記憶するＲＡＭ１６が接続されている。プログラムメモリ１５には、後述するフローチャートに示す処理を実行するためのプログラムを記憶する。

制御部１７は、プログラムメモリ１５からプログラムを読み出して、デジタルカメラの各部を制御して、撮像信号に含まれる輝度情報に基づいたＡＥ制御処理、コントラスト検出方式によるＡＦ制御処理、後述の自動記録処理などを行う。
学習処理部１３は、自動記録処理を実行する際に、後述の学習処理を行う回路部である。

［自動記録処理］
次に、撮像装置１における自動記録処理について、図３のフローチャートを参照しながら説明する。
まず、ユーザは、ファンクションキー４およびカーソルキー５を操作して、画像記録モードとし、さらに、自動記録機能を選択する。すると、制御部１７は、この操作を検出し、プログラムメモリ１５から自動記録処理に係るプログラムを読み出して自動記録処理を実行する。

ステップＳ１では、表示部６の下位レイヤーにスルー画像を表示するとともに、表示部６の上位レイヤーに、自動記録処理を伴う画像記録モードである旨のアイコン、および、撮影対象を追跡する範囲（以降、追跡範囲と呼ぶ）を表示する。

具体的には、図４に示すように、表示部６の表示領域６１の中心には、撮影対象を決定するフォーカスエリア６３が表示され、フォーカスエリア６３の中心には、追跡対象領域Ｃが設けられている。また、表示部６の表示領域６１には、追跡対象領域Ｃを囲んで追跡範囲６２が表示される。

ステップＳ２では、ユーザは、撮影対象がフォーカスエリア６３内に位置するように、撮像装置１の向きを変更し、さらに、ファンクションキー４およびカーソルキー５を操作して、追跡範囲６２の横幅、縦幅を変更して、追跡範囲６２の範囲を設定する。

具体的には、ここでは、図５に示すように、ユーザは、鳥を撮影対象として撮像装置１の向きを調整し、表示領域６１に表示させる。そして、撮影対象の鳥の特徴部分であるくちばし部分を追跡対象領域Ｃ内に位置させる。
次に、鳥の挙動を観測しながら、カーソルキー５を右方向若しくは左方向に回転させて追跡範囲６２の範囲を調整し、ファンクションキー４を操作して、追跡範囲６２の範囲を設定する。

ステップＳ３では、ユーザは、シャッタボタン３を半押し操作する。すると、制御部１７は、この操作を検出し、フォーカスエリアについてＡＦ（自動合焦）処理、ＡＥ（自動露出調整）処理、および、ＡＷＢ（オートホワイトバランス）処理を行う。

ステップＳ４では、スルー表示される画像の中から５枚の画像を取得して、撮影対象を追跡する学習処理を行う。この学習処理については、後に詳述する。
ステップＳ５では、学習処理の結果、撮影対象を追跡可能であるか否かを判定する。この判定がＮＯの場合には、撮影対象を追跡不可能である旨を表示部６の表示領域６１に表示し（ステップＳ６）、ステップＳ３に戻る。一方、この判定がＹＥＳの場合には、撮影対象を追跡可能である旨を表示部６の表示領域６１に表示し（ステップＳ７）、ステップＳ８に移る。

ステップＳ８では、シャッタボタン３が全押し操作されたか否かを判定する。この判定がＮＯの場合には、ステップＳ９に移り、ＹＥＳの場合には、表示領域６１内の追跡範囲６２の位置をロックして（ステップＳ１０）、ステップＳ１１に移る。

ステップＳ９では、ユーザは、カメラの向きを操作して、フレーミングを行う。すると、制御部１７は、このフレーミングに伴って追従処理を行う。すなわち、表示部６の表示領域６１内では、フレーミングにより撮影対象が移動するから、追跡対象領域Ｃおよび追跡範囲６２を撮影対象に追従して移動させて、ステップＳ８に戻る。この追従処理については、後に詳述する。
具体的には、図６に示すように、撮影対象である鳥の全体が表示領域６１に入るように、ユーザがフレーミングを行うと、追跡対象領域Ｃおよび追跡範囲６２は、鳥のくちばしを追跡して表示領域６１内を移動する。

ステップＳ１１では、撮影対象が移動または変化したことを検出して、画像を記録する画像記録処理を行い、終了する。この画像記録処理については、後に詳述する。
具体的には、図７（Ａ）および図７（Ｂ）に示すように、撮影対象である鳥が飛び立とうとしたり水に頭を入れたりすると、この鳥の動作を検出し、その瞬間の画像を記録する。

［学習処理］
以下、ステップＳ４の学習処理について、図８のフローチャートを参照しながら説明する。
上述のように、取得した５枚のスルー画像を評価対象画像として、これら評価対象画像に対して順番に学習処理を行う。
ステップＳ２１では、評価対象画像に所定数の探索点Ｐを生成する。
具体的には、探索点Ｐの個数を２５６個とする。すると、探索点Ｐの座標は、Ｐ［ｎｕｍ］（Ｐ_ｘ［ｎｕｍ］，Ｐ_ｙ［ｎｕｍ］）（０＜＝ｎｕｍ＜＝２５５）と表される。
本実施形態では、探索点Ｐの個数を２５６個としたが、これに限らず、撮像装置１に搭載されるＣＰＵの処理能力に基づいて、適宜決定されてよい。

ステップＳ２２では、各探索点Ｐ［ｎｕｍ］を中心とする所定範囲を探索対象領域Ｔ［ｎｕｍ］として設定する。具体的には、この探索対象領域Ｔ［ｎｕｍ］は、以下の式（１）で表される。

具体的には、ｓｉｚｅ＝２とし、図９に示すように、探索対象領域Ｔを、各探索点を中心とする縦５画素、横５画素の範囲とする。
なお、本実施形態では、理解の容易のためｓｉｚｅ＝２としたが、これに限らない。すなわち、学習精度を維持しつつ実時間計測を行うため、４＜ｓｉｚｅ＜１０が望ましい。

ステップＳ２３では、全ての探索点Ｐ［ｎｕｍ］の初期座標をフォーカスエリア６３中心に設定する。
すなわち、フォーカスエリア６３の中心の座標を（Ｆ_ｘ，Ｆ_ｙ）とすると、探索点Ｐ［ｎｕｍ］の初期座標は、以下の式（２）のように表される。

ステップＳ２４では、図１０に示すように、探索対象領域Ｔ［ｎｕｍ］の初期位置を追跡対象領域Ｃとする。１枚目の評価対象画像のＹＵＶの各色空間において、追跡対象領域Ｃを構成する画素Ｑの画素値を算出し、基準画素値Ｂ１、Ｂ２、Ｂ３として記憶する。
評価対象画像のＹ色空間をＳｒ１、Ｕ色空間をＳｒ２、Ｖ色空間をＳｒ３とすると、基準画素値Ｂ１、Ｂ２、Ｂ３は、以下の式（３）〜（５）のように表される。

本実施形態では、評価対象画像の色空間としてＹＵＶ色空間を用いたが、これに限らず、ＲＧＢ色空間、ＨＳＶ色空間、ＨＬＳ色空間、ＯＨＨＴＡ色空間などを用いてもよく、カメラのスルー画像出力の色空間に応じて適宜選択されてよい。

ステップＳ２５では、正規分布に従う乱数を用いて、全ての探索点Ｐ［ｎｕｍ］の座標を更新する。すると、図１１に示すように、表示領域６１内に探索点Ｐが分布する。図１１には、理解を容易にするため、２５６個の探索点Ｐのうち２０個のみを示す。
すなわち、平均μ、分散σ２の正規分布に従う乱数をＮ（μ，σ２）として、探索点Ｐ［ｎｕｍ］の座標は、以下の式（６）のように更新される。

ステップＳ２６では、各探索点の重みを算出する。
具体的には、評価対象画像のＹＵＶの各色空間において、探索対象領域Ｔ［ｎｕｍ］を構成する画素Ｑの画素値を算出する。そして、これら画素値と、記憶した基準画素値Ｂ１〜Ｂ３との差分を算出し、この差分が所定範囲内であるものの画素数を計数し、この個数を当該探索点の重みとする。
よって、重みが大きいということは、評価対象画像の探索対象領域Ｔ［ｎｕｍ］と、１枚目の評価対象画像の追跡対象領域Ｃと、が類似していることを意味する。

具体的には、上下の閾値をＴＨ１，ＴＨ２として、以下の式（７）〜（９）を満たすものの画素Ｑの個数をカウントし、重みＰｗ［ｎｕｍ］とする。
本実施形態では、ｓｉｚｅを２とし、各探索対象領域Ｔ［ｎｕｍ］を構成する画素Ｑは２５個としたので、重みＰｗ［ｎｕｍ］の最小値はゼロであり、最大値は２５となる。

ステップＳ２７では、探索点Ｐのリサンプリングを行う。
すなわち、探索点Ｐの重みＰｗの総和を所定値Ｎとする。次に、Ｎ個の識別子を生成し、これらＮ個の識別子のそれぞれを、重みＰｗに応じて探索点Ｐに対応付ける。つまり、探索点Ｐの重みＰｗが大きいほど、この探索点Ｐに対応する識別子の個数が多くなる。
次に、Ｎ個の識別子の中の１つをランダムに選択する処理を、探索点Ｐの個数に等しい回数だけ繰り返し、この選択された識別子に対応する探索点Ｐを、新たな２５６個の探索点Ｐ［ｎｕｍ］として記憶する。ここで、特定の探索点Ｐが複数回選択される場合があるが、この場合、特定の探索点Ｐを複数回記憶する。

具体的には、図１２に示すように、重みＰｗの総和であるＮを１０２４とし、識別子として０〜１０２３までの整数を生成する。そして、これら１０２４個の整数のそれぞれを、重みＰｗに応じて探索点Ｐに対応付ける。
例えば、探索点Ｐ［２３］は、重みＰｗが２２であるため、０−２１の整数に対応する。探索点Ｐ［２４８］は、重みＰｗが２２であるため、２２−４３の整数に対応する。

次に、ゼロから１０２３の範囲内で乱数を２５６回発生させて、発生した乱数に等しい数値を１０２４個の整数の中から抽出し、この抽出した数値に対応する探索点Ｐを新たな探索点Ｐ［ｎｕｍ］として記憶する。

つまり、以上のステップＳ２７の処理により、Ｐ［ｎｕｍ］の中から特定のものが選択されて、０〜２５５の番号が付されて、新たなＰ［ｎｕｍ］として記憶される。

具体的には、表示領域６１内の探索点Ｐの分布は、図１１に示す状態から図１３に示す状態となる。例えば、Ｐ［５］、Ｐ［６］は、乱数により選択されなかったため、消去される。一方、Ｐ［０］は、新たなＰ［９２］、Ｐ［１１９］として記憶され、Ｐ［１］は、新たなＰ［２０８］として記憶され、Ｐ［２］は、新たなＰ［１０３］として記憶される。また、Ｐ［３］は、新たなＰ［１３９］として記憶され、Ｐ［４］は、新たなＰ［５４］として記憶される。

ステップＳ２８では、新たな探索点Ｐ［ｎｕｍ］の座標の分散Ｖを算出し、ステップＳ２９では、この分散Ｖが所定の閾値未満であるか否かを判定する。
この判定がＮＯの場合には、撮影対象を追跡できないため、ステップＳ３０に移り、学習エラーを出力する。一方、この判定がＹＥＳの場合には、ステップＳ３１に移る。

ステップＳ３１では、分散Ｖの前回からの変化量が大きいか否かを判定する。
この判定がＮＯの場合には、ステップＳ３２に移り、撮影対象を追跡できないため、学習エラーを出力する。一方、この判定がＹＥＳの場合には、ステップＳ３３に移る。

ステップＳ３３では、全探索点Ｐ［ｎｕｍ］の座標の重みつき平均を撮影対象の現在の座標として算出し、ステップＳ３４では、この座標が評価対象画像の追跡範囲内に位置しているか否かを判定する。この判定がＮＯの場合には、撮影対象を追跡できないため、ステップＳ３５に移り、学習エラーを出力する。一方、この判定がＹＥＳの場合には、ステップＳ３６に移る。

ステップＳ３６では、現在の評価対象画像が５枚目であるか否かを判定する。この判定がＹＥＳの場合には、終了し、この判定がＮＯの場合には、評価対象画像を次の画像に更新して（ステップＳ３７）、ステップＳ２５に戻ってループ処理を行う。

図１４は、鳥が表示された時系列の画像に上述の学習処理を実行して得られる探索点Ｐの分布の変化を示す図である。図１５は、建物の壁が表示された時系列の画像に上述の学習処理を実行して得られる探索点Ｐの分布の変化を示す図である。
鳥が表示された画像では、図１４（ａ）〜（ｅ）に示すように、鳥のくちばしには特徴があるため、探索点Ｐがそれほど分散せず、学習エラーとならない。一方、建物の壁が表示された画像では、図１５（ａ）〜（ｅ）に示すように、壁面のテクスチャは均一であるため、探索点Ｐが分散し、学習エラーとなる。

［画像記録処理］
以下、画像記録処理について、図１６のフローチャートを参照しながら説明する。
ステップＳ４０〜ステップＳ４３までは、学習処理のステップＳ２５〜ステップＳ２８と同様の処理である。

ステップＳ４４では、分散Ｖが閾値以上であるか否かを判定する。この判定がＹＥＳの場合、撮影対象が追跡できないほど素早く移動した、あるいは、撮影対象を見失ったと考えられるので、ステップＳ４５に移り、画像を記録する。一方、この判定がＮＯの場合、ステップＳ４６に移る。

ステップＳ４６では、分散Ｖの前回からの変化量が大きいか否かを判定する。分散Ｖの変動が大きい場合、例えば鳥や昆虫が羽ばたきだしたなど、撮影対象の形状が大きく変化したと考えられる。
例えば、以下の式（１０）、（１１）の両方を満たす場合である。

ステップＳ４６の判定がＹＥＳの場合、ステップＳ４５に移り、画像を記録する。一方、この判定がＮＯの場合、ステップＳ４７に移る。
ステップＳ４７は、学習処理のステップＳ３３と同様の処理である。

ステップＳ４８では、撮影対象の現在の座標Ｐｎが、追跡範囲６２の外にあるか否かを判定する。この判定がＹＥＳの場合、撮影対象が移動したと考えられるので、ステップＳ４５に移り、画像を記録する。一方、この判定がＮＯの場合、ステップＳ４９に移る。

ステップＳ４９は、学習処理のステップＳ３７と同様の処理である。このステップＳ４９の後、ステップＳ４０に戻る。

［追従処理］
追従処理では、撮影対象の現在の座標Ｐｎが中心となるように、表示領域６１内で追跡範囲６２を移動させる。
なお、この追従処理では、学習処理のステップＳ２５からステップＳ３７までのループ処理を継続して行う。ただし、一旦、撮影対象を追跡可能であると判定したので、ステップＳ２９、ステップＳ３１、およびステップＳ３４のエラー判定を行わないこととする。

以上のように、分散Ｖの閾値は、学習処理のステップＳ２９および画像記録処理のステップＳ４４の判定で用いられる。
また、分散Ｖの変化量は、学習処理のステップＳ３１および画像記録処理のステップＳ４６の判定で用いられる。
また、追跡範囲の位置や大きさは、学習処理のステップＳ３４および画像記録処理のステップＳ４８の判定で用いられる。

よって、ファンクションキー４およびカーソルキー５を操作して、分散Ｖの閾値、分散Ｖの変化量、および追跡範囲の位置や大きさを適宜設定することで、自動記録の感度を任意のレベルに設定できる。
ただし、撮影対象の移動量や撮影対象の形状の変化量が小さくても自動記録するように設定すると、学習処理で学習エラーが出力されやすくなるが、自動記録の感度を高感度とすることができる。
一方、撮影対象の移動量や撮影対象の形状の変化量が大きくなければ自動記録しないように設定すると、自動記録の感度は低感度となるが、学習処理で学習エラーを出力され難くできる。

本実施形態によれば、以下のような効果がある。
（１）学習処理において撮影対象を追跡できるか否か、つまり、自動記録可能か否かを判定し、表示部６に表示したので、ユーザがパラメータを再設定することにより、確実に自動記録できる。よって、自動記録処理を安定して動作させることができる。

（２）シャッタボタン３を半押し操作することで、追跡対象領域Ｃおよび追跡範囲６２が撮影対象に追従して移動するので、ユーザは、フレーミングにより所望の構図で自動記録できる。

（３）シャッタボタン３を全押し操作することで、表示領域６１内の追跡範囲６２の位置をロックし、撮影対象が移動したり変形したりすると、自動記録を行う。よって、ユーザに緊張を強いることなく、撮影対象が移動した瞬間や変形した瞬間を確実に捉えて、自動的に記録できる。
例えば、動物や昆虫が飛び立つ瞬間、人間がサッカーボールを蹴り出す瞬間、あるいは、ゴルフクラブとゴルフボールとのインパクトの瞬間等を、自動的に記録できる。

（４）ファンクションキー４およびカーソルキー５により、追跡範囲の位置や大きさ、分散Ｖの閾値、および分散Ｖの変化量を設定できるようにしたので、ユーザは、自動記録の感度を任意のレベルに設定できる。

なお、本発明は前記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
例えば、本実施形態では、フォーカスエリア６３の中心に１つの追跡対象領域Ｃを生成して、この１つの追跡対象領域Ｃに対して学習処理を行ったが、これに限らない。すなわち、図１７に示すように、フォーカスエリア６３の中心部分に９つの追跡対象領域Ｃを生成し、これら９つの追跡対象領域Ｃに対して学習処理を行い、これら９つの追跡対象領域Ｃのうち分散Ｖが閾値未満かつ最小となったものに対して、画像記録処理を行ってもよい。

また、本実施形態では探索点Ｐのリサンプリングを、重み付けに応じて確率的に選択する方法を採用したが、これに限らず、所定の閾値ＴＨ３を用いて、重みＰｗがＴＨ３以下である探索点Ｐを除去する方法を採用してもよい。あるいは、これらの確率的リサンプリングと閾値リサンプリングを併用してもよい。

本発明の一実施形態に係る画像記録システムの外観を示す図である。 前記実施形態に係る画像記録システムの概略構成を示すブロック図である。 前記実施形態に係る画像記録システムの自動記録処理のフローチャートである。 前記実施形態に係る画像記録システムの表示領域を示す図である。 前記実施形態に係る表示領域に撮影対象の一部を表示した状態を示す図である。 前記実施形態に係る表示領域に撮影対象の全体を表示した状態を示す図である。 前記実施形態に係る表示領域に表示した撮影対象が動作した状態を示す図である。 前記実施形態に係る画像記録システムの学習処理のフローチャートである。 前記実施形態に係る学習処理の探索領域を説明するための図である。 前記実施形態に係る学習処理の基準画素値を算出する手順を説明するための図である。 前記実施形態に係る学習処理の探索点の分布を示す図である。 前記実施形態に係る学習処理のリサンプリングおよびサンプリングの手順を説明するための図である。 前記実施形態に係る学習処理の探索点にリサンプリングおよびサンプリングを実行した結果を示す図である。 前記実施形態に係る学習処理を、鳥が表示された時系列の画像に実行して得られる探索点の分布の変化を示す図である。 前記実施形態に係る学習処理を、建物の壁が表示された時系列の画像に実行して得られる探索点の分布の変化を示す図である。 前記実施形態に係る画像記録システムの画像記録処理のフローチャートである。 前記実施形態に係る画像記録システムの変形例を説明するための図である。

符号の説明

１ 撮像装置（画像記録装置）
６２ 追跡範囲
Ｐ 探索点
Ｃ 追跡対象領域（特定領域）
Ｐｗ 探索点の重み
Ｖ 分散

Claims (13)

1. 連続する画像を順番に取得して、当該画像の中の１つを記録する画像記録方法であって、
   前記画像中に特定領域および当該特定領域を囲む追跡範囲を設定する手順と、
   当該画像中の前記特定領域の特徴量を記憶する手順と、
   当該画像の前記特定領域に、所定数の探索点を生成する手順と、を備える初期設定手順と、
   乱数を用いて、前記複数の探索点の座標を更新する手順と、
   前記特定領域の特徴量と前記画像における前記更新後の探索点の特徴量とを比較して、類似度が高いほど重みを大きくして、重み付けを行う手順と、
   前記探索点を重み付けに応じて選別する手順と、
   前記選別した探索点の座標の分散を算出する手順と、
   前記選別した探索点の座標の重みつき平均を算出する手順と、を備えるフィルタ手順と、
   前記選別した探索点の座標の分散、前記選別した探索点の座標の重みつき平均、および前記追跡範囲に基づいて、当該画像を記録するか否かを判定し、記録すると判定した場合には、当該画像を記録する画像記録判定手順と、を備えることを特徴とする画像記録方法。
2. 前記探索点を重み付けに応じて選別する手順は、前記探索点の重みの総和を算出し、この総和に等しい数だけ識別子を生成し、当該識別子のそれぞれを、重みに応じて前記探索点に対応付けておき、当該識別子の中からランダムに前記所定数の回数だけ前記識別子を選択し、選択された識別子に対応する探索点を記憶する手順であることを特徴とする請求項１に記載の画像記録方法。
3. 前記探索点を重み付けに応じて選別する手順は、前記重み付けが所定の閾値以下である探索点を除去する手順であることを特徴とする請求項１に記載の画像記録方法。
4. 最初の画像に対して前記初期設定手順および前記フィルタ手順を実行し、その後、２番目の画像からｋ（ｋは自然数）番目の画像まで、前記フィルタ手順を繰り返す学習手順と、
   （ｋ＋１）番目以降の画像について、前記フィルタ手順および前記画像記録判定手順を繰り返す画像記録手順と、を備えることを特徴とする請求項１から３のいずれかに記載の画像記録方法。
5. 前記学習手順を実行した後、前記画像記録手順を実行するまでの間に、前記フィルタ手順を繰り返して、前記特定領域および前記追跡範囲を追従して移動させることを特徴とする請求項４に記載の画像記録方法。
6. 前記学習手順の前記選別した探索点の座標の重みつき平均を算出する手順では、前記選別した探索点の座標の重みつき平均が前記追跡範囲の外に位置する場合、エラーを出力することを特徴とする請求項４または５に記載の画像記録方法。
7. 前記学習手順の前記選別した探索点の座標の分散を算出する手順では、前記分散が所定の閾値以上である場合、エラーを出力することを特徴とする請求項４から６のいずれかに記載の画像記録方法。
8. 前記学習手順の前記選別した探索点の座標の分散を算出する手順では、前記分散の前回の分散からの変化量が大きい場合、エラーを出力することを特徴とする請求項４から７のいずれかに記載の画像記録方法。
9. 前記画像記録手順の前記選別した探索点の座標の重みつき平均を算出する手順では、前記選別した探索点の座標の重みつき平均が前記追跡範囲の外に位置する場合、前記画像を記録することを特徴とする請求項４から８のいずれかに記載の画像記録方法。
10. 前記画像記録手順の前記選別した探索点の座標の分散を算出する手順では、前記分散が所定の閾値以上である場合、前記画像を記録することを特徴とする請求項４から９のいずれかに記載の画像記録方法。
11. 前記画像記録手順の前記選別した探索点の座標の分散を算出する手順では、前記分散の前回の分散からの変化量が大きい場合、前記画像を記録することを特徴とする請求項４から１０のいずれかに記載の画像記録方法。
12. 請求項１から１１のいずれかに記載の画像記録方法をコンピュータに実行させるためのプログラム。
13. 連続する画像を順番に取得して、当該画像の中の１つを記録する画像記録装置であって、
    前記画像中に特定領域および当該特定領域を囲む追跡範囲を設定し、当該画像中の前記特定領域の特徴量を記憶し、当該画像の前記特定領域に、所定数の探索点を生成する初期設定手段と、
    乱数を用いて、前記複数の探索点の座標を更新し、前記特定領域の特徴量と前記画像における前記更新後の探索点の特徴量とを比較して、類似度が高いほど重みを大きくして、重み付けを行い、前記探索点を重み付けに応じて選別し、前記選別した探索点の座標の分散を算出し、前記選別した探索点の座標の重みつき平均を算出するフィルタ手段と、
    前記選別した探索点の座標の分散、前記選別した探索点の座標の重みつき平均、および前記追跡範囲に基づいて、当該画像を記録するか否かを判定し、記録すると判定した場合には、当該画像を記録する画像記録判定手段と、を備えることを特徴とする画像記録装置。

Images