JP2009159554A - 撮像装置、及び、プログラム - Google Patents

Abstract

【課題】逐次撮像される画像の変化による影響が受け難く、所望する画像を自動的に記録する。
【解決手段】撮像装置１は、スルー画像表示状態で、シャッタボタン３の半押し操作が検出されると、枠６０６の中央付近を合焦領域として設定するとともに、この合焦領域の中央付近画素領域を追跡すべき画素領域として特定し、この特定された画素領域が追跡対象として充足するか否かを判断する処理を行う（ステップＳ９）。充足（適合）する場合は、シャッタボタン３の全押しを検出するまで画素領域６０８を追跡し（ステップＳ１２）、シャッタボタン３の全押し操作が検出されると、枠６０６を表示部６に固定表示する（ステップＳ１４）。そして、この画素領域６０８に変化が生じたか（ステップＳ１５）、或いは、枠６０６に接触したか若しくは越えたことを検出すると（ステップＳ１６）、直ちに高速連続撮影による記録処理を開始する（ステップＳ１８）。
【選択図】 図３

Description

本発明は、撮像装置、及び、プログラムに関し、詳細には、逐次撮像される画像から所定の条件に沿った画像を記録する撮像装置、及び、プログラムに関する。

従来より、撮像装置においては、所定の条件を満たしたとことを契機に自動的に撮影される画像を記録・保存する機能が考案されている。その一例としては、例えば、特許文献に記載されるように、本画像撮影前に解析用画像を取得、この解析用画像から特徴点の画像を抽出したのち、予め用意された特徴点動作分析情報に基づき逐次撮像される解析用画像に含まれる特徴点画像の時系列的な変化を分析し、特徴点画像のパターンが略一致する時点を予測し、そして、一致した時点以降で撮影タイミングに従って本画像を記録する技術が知られている。

特開２００７−２１５０６４号公報

しかしながら、上述の如く特徴点画像のパターンに基づいて撮影可能なタイミングを予測した場合、例えば撮像装置を把持して撮影する撮影者の微妙な手の動きが逐次撮像される画像に変化を与え、その変化が特徴点画像の分析に影響を与えることがある。
また、分析した結果と略一致したか否かの判断の度合いを厳しくすると本画像の撮影タイミングを逸する可能性がある一方、判断の度合いを緩くすると本画像を撮影することはできても、撮影者が所望のする画像にならないという問題が予想される。

本発明は上記の問題点に鑑みてなされたものであり、逐次撮像される画像の変化による影響が受け難く、所望する画像を自動的に記録することを目的とする。

請求項１記載の発明は、撮像手段と、この撮像手段によって逐次撮像される画像と所定範囲の枠とを表示画面に表示する表示手段と、第１の指示を検出する第１の指示検出手段と、この第１の指示検出手段によって第１の指示を検出すると、前記画像の前記所定範囲の枠内に存在する第１の画素領域を特定する特定手段と、この特定手段による特定の後、前記撮像される画像の記録の指示を検出する第２の指示検出手段と、この第２の指示検出手段によって記録の指示が検出されると、前記表示画面における前記所定範囲の枠の位置を固定するとともに前記逐次撮像される画像に含まれる前記第１の画素領域を追跡し、この第１の画素領域が前記所定範囲の枠に接触したか若しくは前記所定範囲の枠を越えたか否かを判断する第１の判断手段と、この第１の判断手段により前記第１の画素領域が前記所定範囲の枠に接触したか若しくは前記所定範囲の枠を越えたと判断すると前記撮像される画像を記録する第１の記録手段と、を備えたことを特徴とする。

請求項２記載の発明は、上記請求項１記載の発明において、前記第２の指示検出手段による検出の後、前記逐次撮像される画像に含まれる前記第１の画素領域の変化を検出する検出手段と、この検出手段によって前記第１の画素領域の変化が検出されると、前記撮像される画像を記録する第２の記録手段と、を更に備えたことを特徴とする。

請求項３記載の発明は、上記請求項１又は２記載の発明において、前記特定手段による特定の後、前記第１の画素領域の色情報と逐次撮像される所定枚の画像とから、前記第１の画素領域周辺における前記第１の画素領域と尤度の高い領域の範囲の広さを学習する学習手段と、この学習手段によって学習した前記尤度の高い領域の範囲の広さと所定の範囲とを比較する比較手段と、この比較手段による比較の結果、前記尤度の高い領域の範囲の広さが所定範囲内にあると、前記第１の画素領域を追跡すべき画素領域として決定し、前記第２の指示検出手段による記録の指示の検出を待機する第１の待機手段と、を更に備えたことを特徴とする。

請求項４記載の発明は、上記請求項３記載の発明において、前記比較手段による比較の結果、前記尤度の高い領域の範囲の広さが所定範囲より広いと、前記特定手段による前記第１の画像領域の特定を取り消し、前記第１の指示検出手段による指示検出を待機する第２の待機手段を更に備えたことを特徴とする。

請求項５記載の発明は、上記請求項４記載の発明において、前記比較手段による比較の結果、前記尤度の高い領域の範囲の広さが所定範囲より広いと、前記特定手段による前記第１の画像領域の特定を取り消す旨を報知する報知手段を更に備えたことを特徴とする。

請求項６記載の発明は、上記請求項２乃至５の何れかに記載の発明において、前記検出手段は、前記逐次撮像される画像における前記学習手段によって学習した前記尤度の高い領域の範囲の広さの変化を検出することにより、前記第１の画素領域の変化を検出することを特徴とする。

請求項７記載の発明は、上記請求項１乃至６の何れかに記載の発明において、前記所定範囲の枠の大きさを任意に変更する変更手段を更に備えたことを特徴とする。

請求項８記載の発明は、上記請求項１乃至７の何れかに記載の発明において、前記第１の指示検出手段によって前記第１の指示を検出すると、前記撮像される画像の前記所定範囲の枠内における中心付近の露出値の調整を行なう調整手段を更に備えたことを特徴とする。

請求項９記載の発明は、上記請求項１乃至８の何れかに記載の発明において、レンズと、 前記第１の指示検出手段によって前記第１の指示を検出すると、前記撮像される画像の前記所定範囲の枠内における中心付近にピントが合うよう前記レンズを制御するレンズ制御手段と、を更に備えたことを特徴とする。

請求項１０記載の発明は、上記請求項１乃至９の何れかに記載の発明において、シャッタボタンを更に備え、前記第１の指示検出手段は、前記シャッタボタンが半押し操作されると前記第１の指示を検出し、前記第２の指示検出手段は、前記シャッタボタンが全押し操作されると、前記記録の指示を検出することを特徴とする。

請求項１１記載の発明は、上記請求項１乃至１０の何れかに記載の発明において、前記第２の指示検出手段による指示を検出すると、前記撮像される画像の記録を開始する記録開始手段を更に備えたことを特徴する。

請求項１２記載の発明は、撮像装置が備えるコンピュータを、逐次撮像される画像と所定範囲の枠とを表示部の表示画面に表示させる表示手段、第１の指示を検出する第１の指示検出手段、この第１の指示検出手段によって第１の指示を検出すると、前記画像の前記所定範囲の枠内に存在する第１の画素領域を特定する特定手段、この特定手段による特定の後、前記撮像される画像の記録の指示を検出する第２の指示検出手段、この第２の指示検出手段によって記録の指示が検出されると、前記表示画面における前記所定範囲の枠の位置を固定するとともに前記逐次撮像される画像に含まれる前記第１の画素領域を追跡し、この第１の画素領域が前記所定範囲の枠に接触したか若しくは前記所定範囲の枠を越えたか否かを判断する判断手段、この判断手段により前記第１の画素領域が前記所定範囲の枠に接触したか若しくは前記所定範囲の枠を越えたと判断すると前記撮像される画像を記録部に記録する第１の記録手段、として機能させることを特徴とする。

請求項１３記載の発明は、上記請求項１２記載の発明において、前記第２の指示検出手段による検出の後、前記逐次撮像される画像に含まれる前記第１の画素領域の変化を検出する検出手段、この検出手段によって前記第１の画素領域の変化が検出されると、前記撮像される画像を前記記録部に記録する第２の記録手段、として更に機能させることを特徴とする。

本発明によれば、逐次撮像される画像の変化による影響が受け難く、所望する画像を自動的に記録することができる。

以下、本発明の一実施の形態を図に従って説明する。

Ａ．外観図、及び、回路構成
図１（Ａ）は、本実施の形態に係る撮像装置１の外観を示す正面図であり、（Ｂ）は裏面図である。この撮像装置１には、前面に撮像レンズ２が設けられており、上面部にはシャッタボタン３が設けられている。このシャッタボタン３は、半押し操作と全押し操作とが可能な所謂ハーフシャッター機能を備えるものである。また、背面には、ファンクションキー４、カーソルキー５、及び、表示部６が設けられている。カーソルキー５は図中ａの方向に回転可能なロータリースイッチとしての役割を果たし、本実施例においては後述の枠の範囲設定操作に用いられる。表示部６は１６：９のアスペクト比を備えるＬＣＤからなる。

図２は、撮像装置１の概略構成を示すブロック図である。この撮像装置１は、バスライン１８を介して各部に接続された制御部１７を備えている。制御部１７は、撮像装置１の各部を制御するワンチップマイコンである。
同図において撮像レンズ２は、詳細には光学系部材を実装するレンズユニットである。また駆動制御部７は撮影者のズーム操作、若しくは、撮影者のシャッタボタン３の半押し操作の検出による制御部１７からのＡＦ（自動合焦）処理に基づく制御信号に基づいて、撮影レンズ２の位置を移動させる回路部である。撮像部８は、ＣＭＯＳ等のイメージセンサからなり、上述の撮像レンズ２の光軸上に配置されている。ユニット回路９は、撮像部８から出力される被写体の光学像に応じたアナログの撮像信号が入力される回路であって、入力した撮像信号を保持するＣＤＳと、ＡＥ（自動露出調整）処理等に伴い、その撮像信号を増幅するゲイン調整アンプ（ＡＧＣ）、増幅された撮像信号をデジタルの撮像信号に変換するＡ／Ｄ変換器（ＡＤＣ）等から構成されている。

撮像部８の出力信号はユニット回路９を経て各々デジタル信号として画像処理部１０に送られて、各種画像処理が施されるとともに、プレビューエンジン１２にて縮小加工されて、表示部６に供給される。そして、供給されたデジタル信号（撮像信号）とこの表示部６が内蔵するドライバを駆動する駆動制御信号とが表示部６に入力されると、表示部６はこのデジタル信号（撮像信号）に基づく画像をスルー画像として下位レイヤーに表示する。
また、画像記録時において、画像処理部１０で処理された信号は、符号化／復号化処理部１１で圧縮符号化され、ＪＰＥＧ形式等の所定のファイル形式でファイル化されて画像記録部１４に記録される。一方、画像再生時においては画像記録部１４から読み出された画像ファイルを符号化／復号化処理部１１で復号化し表示部６に表示する。

プレビューエンジン１２は、上記スルー画像の生成の他、画像記録時において画像記録部１４に記録される直前の画像を表示部６に表示させる際に必要な制御を行う。学習処理部１３は、後述の画素領域における尤度の高い範囲を学習する回路部である。
さらに、バスライン１８には、プログラムメモリ１５や連続撮影された画像を一時的に記憶するＲＡＭ１６が接続されている。プログラムメモリ１５には、後述するフローチャートに示す処理を実行するプログラムを記憶する。

Ｂ．自動記録処理
次に、撮像装置１における自動記録処理について図３〜図５を用いて説明する。図３は撮影（撮像）から画像記録部８への記録までの処理を示すフローチャートである。
制御部１７はファンクションキー４、及び、カーソルキー５にて検出される所定の操作により自動撮影処理に関わる撮影モードの起動が指示されると、プログラムメモリ１５から撮像処理に係るプログラムを読み出して実行し、撮像部８、ユニット回路９、画像処理部１０、ＲＡＭ１６、符号化／復号化処理部１１、及び、プレビューエンジン１２に初期動作を行わせる（スタート状態）。

そして、撮像レンズ２を介して撮像部８に結像された画像に基づいて、周期的にユニット回路９にてデジタル信号に変換、及び、画像信号処理部５にて画像データに加工し、その結果得られた映像（画像）を下位レイヤーとして表示部６にスルー表示させるとともにその上位レイヤーには、自動記録処理を伴う撮影モードである旨のアイコンや所定範囲の枠を表示させる（ステップＳ１）。

次に、このスルー画像表示状態において、ファンクションキー４、及び、カーソルキー５の回転操作により検出される所定の操作により所定範囲の枠について範囲設定操作を検出したか否かを判断する（ステップＳ２）。範囲設定操作を検出しなかった場合（ステップＳ２→Ｎｏ）、再度スルー画像表示状態に移行するが、範囲設定操作を検出した場合（ステップＳ２→Ｙｅｓ）、枠の位置と設定された範囲とを読み込み（ステップＳ３）、設定された範囲の枠を逐次撮像され表示されるスルー画像の上位レイヤーとして表示する（ステップＳ４）。

図４（Ａ）はステップＳ２における表示部６の表示態様を示すものである。表示部６には、スルー画像表示領域６０１、現在の撮影設定内容等を表示する操作パネル表示領域６０２、その操作パネル表示領域６０２において、本撮影モードが高速連続撮影を兼ね、その連写速度（フレームレート）を表示する連写速度表示領域６０３、本撮影モードが自動記録処理を伴う旨を示すアイコン６０４、鳥（追跡・記録すべき被写対象）の画像６０５、所定範囲の枠６０６、及び、この枠の範囲設定を行なうよう撮影者に促すためのガイダンス６０７が表示されている。

ステップＳ２において、図４（Ａ）の表示がなされると、撮影者は、画像６０５として表示される鳥の挙動を観測しながらカーソルキー５を右方向若しくは左方向に回転させて枠６０６の範囲を調整し、ファンクションキー４（この設定操作では決定を意味する）を操作して、枠６０６の範囲を設定する。したがって、撮影者は自動記録を希望する被写対象の挙動を観察し、どの程度その被写対象が動くかを見定めた上で枠６０６を設定できるので、動きの速い被写対象から比較的動きの遅い被写対象まで自動記録する被写対象について枠６０６を設定することができる。

ステップＳ４にて、枠６０６の範囲が設定されると、制御部１７は、撮影者によるシャッタボタン３の半押し操作の検出を待つ（ステップＳ５）。シャッタボタン３の半押し操作が検出されることなく、所定時間が経過したか、所定の操作検出によるキャンセルを検出した場合（ステップＳ５→Ｎｏ）はステップＳ４に戻るが、シャッタボタン３の半押し操作が検出されると（ステップＳ５→Ｙｅｓ）、制御部１７は、枠６０６の中央付近を合焦領域として設定するとともに、この合焦領域についてＡＦ（自動合焦）処理、ＡＥ（自動露出調整）処理、及び、ＡＷＢ（オートホワイトバランス）処理を行い（ステップＳ６）、次に、この合焦領域の中央付近の縦３×横３の９画素の画素領域を追跡すべき画素領域として特定し読み込む処理を行う（ステップＳ７）。

次に、制御部１７は、この特定された画素領域が追跡対象として充足するか否かを判断する処理を行う。詳細は後述するが、プロセスとしては上記の読み込みの後、学習処理部１３がステップＳ７で特定された画素領域について、色空間成分（ＹＵＶ）毎にその後逐次撮像される５つの画像データにおける上記特定された画素領域と尤度の高い画素領域がどの程度拡散するか、またその拡散する範囲の広さが所定の閾値内にあるか、その範囲が収束する傾向にあるか否か等を学習し、その結果を制御部１７に出力する（ステップＳ８）。そして、この学習結果を受け取った制御部１７は、その拡散する範囲の広さから特定された画素領域が追跡対象として充足するかを判断する（ステップＳ９）。

制御部１７は、特定された画素領域が追跡対象として充足しないと判断すると、特定された画素領域は追跡対象として不適合である旨を表示部６に表示して（ステップＳ１０）、ステップＳ４へ移行する処理を行う。一方、特定された画素領域が追跡対象として充足すると判断すると、特定された画素領域は追跡対象として適合する旨を表示部６に表示する（ステップＳ１１）。
図４（Ｂ）はステップＳ１０における表示部６の表示態様を示すものである。図４（Ａ）と同じ番号を付与している表示については説明を省略するが、ステップＳ５にて、シャッタボタン３の半押し操作が検出されることにより、表示部６にはＡＦ枠６０９、そしてそのＡＦ枠６０９の中央付近に特定された画素領域６０８、及び、特定された画素領域は追跡対象として不適合である旨のガイダンス（エラーです）６１０が表示されている。

すなわち、この表示態様においてＡＦ枠６０９は、画像６０５から外れており、均一な画像、若しくは、焦点距離の測定が不可能な画像が中心付近に存在するので、学習処理部１３は、画素領域６０８について、色空間成分（ＹＵＶ）毎にその後逐次撮像される５つの画像データにおける上記特定された画素領域と尤度の高い画素領域がどの程度拡散するか、またその拡散する範囲の広さが所定の閾値内にあるか、その範囲が収束する傾向にあるか否か等を学習することになる。しかしながらこの図４（Ｂ）における画素領域６０８については、逐次撮像される５つの画像データにおいても尤度の高い範囲が収束する傾向に無いため、制御部１７は追跡対象としては不適合であると判断している。
このように、画素領域が追跡対象として不適合な場合は、その旨を表示し、画素領域の候補選択操作に戻るので、撮影者はその旨をスルー画像とともに容易に理解することができる。

これに対し、図４（Ｃ）はステップＳ１１における表示部６の表示態様を示している。図４（Ａ）、（Ｂ）と同じ番号を付与している表示については説明を省略するが、ステップＳ５にて、シャッタボタン３の半押し操作が検出されることにより、表示部６にはＡＦ枠６０９、そしてそのＡＦ枠６０９の中央付近に特定された画素領域６０８、及び、特定された画素領域は追跡対象として適合している旨のガイダンス（ＯＫ）６１１が表示されている。
すなわち、この表示態様においてＡＦ枠６０９は画像６０５に重なっており、画素領域６０８はＡＦ（自動合焦）処理、ＡＥ（自動露出調整）処理、及び、ＡＷＢ（オートホワイトバランス）処理されている画像６０５から得られたものになっている。したがって学習処理部１３は、色空間成分（ＹＵＶ）毎にその後逐次撮像される５つの画像データにおける上記特定された画素領域と尤度の高い画素領域がどの程度拡散するか、またその拡散する範囲の広さが所定の閾値内にあるか、その範囲が収束する傾向にあるか否か等を学習することになる。この図４（Ｃ）における画素領域６０８は、その画素領域と尤度の高い範囲が逐次撮像される５つの画像データにおいて収束する傾向にあるため、制御部１７は追跡対象として適合していると判断している。
このように、画素領域が追跡対象として適合する場合は、その旨を表示するので、撮影者はその旨をスルー画像とともに容易に理解することができる。

また、制御部１７は、学習処理部１３による特定された画素領域について色空間成分（ＹＵＶ）毎にその後逐次撮像される５つの画像データにおける上記特定された画素領域と尤度の高い画素領域がどの程度拡散するか、またその拡散する範囲の広さや収束する傾向にあるか否か等の学習結果に従い、追跡対象として適合するか否かを判断するので、特徴点画像の予測パターンと比較する場合と比較して、より幅広く追跡対象を設定することができる。
また、学習する画素領域はＡＦ（自動合焦）処理、ＡＥ（自動露出調整）処理、及び、ＡＷＢ（オートホワイトバランス）処理されている画像から得られるので、白飛びや黒潰れの無い画像データを得ることができ、より確実に追跡対象として適合するか否かを判断することができる。

ステップＳ１１にて適合する旨の表示がなされると、制御部１７はその後逐次撮像され表示部６に表示されるスルー画像に対応する画像データにおいて、画素領域６０８、若しくは、この画素領域６０８と尤度の高い範囲を追跡する処理を行う。またこの追跡に伴い、この画素領域６０８が中央付近に位置するように枠６０６を移動表示させ（ステップＳ１２）、撮影者によるシャッタボタン３の全押し操作の検出を待つ（ステップＳ１３）。
このように本実施の形態によれば、追跡対象として特定された画素領域と尤度の高い（この画素領域の存在確率の高い）範囲を次の画像（フレーム）データ内で追跡するので、特徴点画像を追跡する場合と比較して、追跡対象のロスト（見失うこと）に対する耐性が向上するという効果が期待できる。
尚、シャッタボタン３が全押し操作されるまでは、追跡対象が撮像されている画像から外れない範囲で撮影者は自由に構図を決めることが可能である。これにより撮影者は、被写対象を含んだ好みの構図で自動記録することができる。

この後、シャッタボタン３の全押し操作が検出されることなく、所定時間が経過したか、所定の操作検出によるキャンセルを検出した場合（ステップＳ１３→Ｎｏ）はステップＳ１２に戻るが、シャッタボタン３の全押し操作が検出されると（ステップＳ１３→Ｙｅｓ）、制御部１７は、枠６０６を表示部６に固定表示する（ステップＳ１４）。
図５（Ａ）はステップＳ１４における表示部６の表示態様を示すものである。図４（Ａ）〜（Ｃ）と同じ番号を付与している表示については説明を省略するが、ステップＳ１３にて、シャッタボタン３の全押し操作が検出されることにより、表示部６には、自動記録の開始待ちを報知するためのアイコン６１２が表示される。また、枠６０６はステップＳ１２の時点では画素領域６０８の移動に追従してこの画素領域６０８が中央付近にくるように移動表示されていたが、シャッタボタン３の全押し操作が検出されることにより、それまで移動していた位置に固定表示されている。

ステップＳ１３にてシャッタボタン３の全押し操作が検出されると、制御部１７は、この画素領域６０８が、次に撮像される画像データにおいて急激に変化したか否か（画素領域６０８と尤度の高い範囲が急激に変化したか否か）を判断する（ステップＳ１５）。これは例えば、画像６０５（鳥（追跡・記録すべき被写対象））が、急に羽ばたく等により、画像領域６０８若しくはその周辺の画素領域の範囲に変化が生じたか否かを判断するためのものである。急激な変化を検出した場合には（ステップＳ１５→Ｙｅｓ）、直ちに高速連続撮影による記録処理を開始し（ステップＳ１８）、所定枚数記録した後リターンする。これにより、挙動の予測が困難な被写対象であっても確実に追跡し、且つ、決定的な瞬間を記録することができる。

また、ステップＳ１５で画素領域６０８の急激な変化を検出しない場合であっても（ステップＳ１５→Ｎｏ）、画素領域６０８が枠６０６に接触したか若しくは越えたことを検出すると（ステップＳ１６→Ｙｅｓ）、直ちに高速連続撮影による記録処理を開始（ステップＳ１８）、所定枚数記録した後リターンする。
図５（Ｂ）、（Ｃ）はステップＳ１６、ステップＳ１８における表示部６の表示態様を示すものである。図４（Ａ）〜（Ｃ）、及び、図５（Ａ）と同じ番号を付与している表示については説明を省略するが、ステップＳ１４にて枠６０６が固定表示されることにより、画素領域６０８はこの固定された枠６０６の左の境界線に接触している。したがって、制御部１７はこの状態をシャッターチャンスと判断し、記録処理に移行する。記録処理を開始すると図５（Ｃ）のような表示状態になる。これにより、予め設定した範囲の何れかに画像領域６０８、ひいては画像（追跡・記録すべき被写対象）６０５が移動すれば、確実に記録することができるので、より撮影者の好みの構図に沿った画像を記録することができる。

尚、ステップＳ１５で画素領域６０８の急激な変化を検出せず（ステップＳ１５→Ｎｏ）、且つ、画素領域６０８が枠６０６に接触したか若しくは越えたことを検出しない場合は（ステップＳ１６→Ｎｏ）、所定時間が経過したか、所定の操作検出によるキャンセルを検出の有無を判断し（ステップＳ１７）、所定時間が経過したか、所定の操作検出によるキャンセルを検出しなければ（ステップＳ１５→Ｙｅｓ）、ステップＳ１５に戻り、所定時間が経過したか、所定の操作検出によるキャンセルを検出すると、ステップＳ１に戻る。
このように本実施の形態によれば、従来の撮像装置を操作する感触でシャッタボタンを半押し操作したり全押し操作するのみで、好みの構図で追跡対象を自動記録することができるので、操作勝手の良い自動記録可能な撮像装置を提供することができる。

Ｃ．学習処理
次に、図３におけるステップＳ８にて実行される学習処理部１３の処理内容について説明する。
図６（Ａ）は枠６０６に表示される画像（追跡・記録すべき被写対象）６０５を示すものであり、特にステップＳ７にて入力された画像を示すものである。同図において画素領域６０８についてＹＵＶの各色空間成分についてパーティクル（粒子）フィルターという時系列フィルタリングシステムを用いる。
尚、パーティクル（粒子）フィルターの基礎理論については、和歌山大学 加藤丈和 パーティクルフィルタとその実装法 社団法人 情報処理学会 研究報告（ＣＶＩＭ２００７年１月研究会プログラム発表 ２００７年１月１２日）にて既知であるため省略するが、要は現状態から起こりうる多数の次状態を、多数（数百若しくは数千）のパーティクル（粒子）に見立て、全パーティクルの尤度に基づいた重み付き平均を次状態として予測しながら追跡を行なうフィルタリングシステムである。

図６（Ａ）において、範囲６１３はパーティクル（粒子）フィルターの範囲である。この範囲でリサンプリングされた結果、次状態（次に撮像される画像）においてフィルターの範囲を決定する。図６（Ｂ）の６１３は、図６（Ａ）における尤度（重み）に基づいて決定された次の撮像画像におけるフィルターの範囲を示すものである。図６（Ｃ）の６１３は図６（Ｂ）における尤度に基づいて決定されたその次の撮像画像におけるフィルターの範囲を示すものである。ここで図６（Ｃ）の６１３はそれ自身の範囲が広がることにより、画像６０５の画素から外れるパーティクルが生じ始める。この画像６０５の画素から外れるパーティクルについては、画像６０５の画素内のパーティクルと比較して尤度が低いため、尤度の密度に差が生じ始める。

更に、図６（Ｄ）の６１３は図６（Ｃ）における尤度に基づいて決定されたその次の撮像画像におけるフィルターの範囲を示すものである。図６（Ｄ）の６１３は図６（Ｃ）と比較して更にそれ自身の範囲が広がるが、画像６０５の画素から外れるパーティクルについては画像６０５の画素内のパーティクルと比較して尤度が低く、一定以上の尤度の範囲は画素領域６０８周辺に偏り始めている。
図６（Ｅ）の６１３は図６（Ｄ）における尤度に基づいて決定されたその次の撮像画像におけるフィルターの範囲を示すものであり、最終的に一定以上の尤度の範囲はそれ以上の広がりを持たず、収束する傾向にあることが分かる。したがって、学習処理部１３はこの画素領域６０８は追跡対象として適合することを学習する。

一方、図６（Ｆ）はステップＳ７にて均一な画像を撮像した状態を示すものである。図６（Ｆ）において、範囲６１３はパーティクル（粒子）フィルターの範囲である。この範囲でリサンプリングされた結果、次状態（次に撮像される画像）においてフィルターの範囲を決定する。図６（Ｇ）の６１３は、図６（Ｆ）における尤度（重み）に基づいて決定された次の撮像画像におけるフィルターの範囲を示すものである。図６（Ｈ）の６１３は図６（Ｇ）における尤度に基づいて決定されたその次の撮像画像におけるフィルターの範囲を示すものである。ここで図６（Ｇ）の６１３はそれ自身の範囲が広がるが、均一な画像であるために尤度に差が生じることなく均一な尤度で広がり始めている。

更に、図６（Ｉ）の６１３は図６（Ｈ）における尤度に基づいて決定されたその次の撮像画像におけるフィルターの範囲を示すものであるが、ここでも均一な画像であるため均一な尤度で広がり、最終的に５つめの画像である図６（Ｊ）になっても尤度の範囲は収束せず拡散する傾向にある。したがって、学習処理部１３はこの画素領域６０８は追跡対象として不適合であることを学習する。尚、図６（Ｆ）〜（Ｊ）においては、図６（Ａ）〜（Ｅ）と同様、５つの画像データについて逐次尤度の範囲について処理を繰り返しているが、これに限ることなく、５つ目のデータについて処理を行う以前に尤度の範囲が予め設定された範囲よりも広がる傾向にあれば、途中で学習処理を打ち切り不適合である旨を制御部１７に出力するようにしても良い。

Ｄ．変形例
上記実施の形態では、画素領域６０８を縦３×横３の９画素に限って説明したが、これに限ることなく、この画素領域６０８を複数用意し、規則的に配列させて学習処理を並列させて行うようにしても良い。図７はこの変形例における画素領域６０８の配置を示すものであり、図中、画素領域６０８ａは上記の実施の形態における画素領域６０８に相当する。この画素領域６０８ａを中心としてその周囲には画素領域６０８ｂ〜６０８ｉが規則的に配置されている。したがってこのような配置構成を採用することにより、適合する画素領域を増やすことができ、追跡対象となる画素の特定を容易にすることができる。

尚、本実施の形態においては、シャッタボタン３の全押し操作検出後、画素領域６０８に変化が生じたか、或いは、枠６０６に接触したか若しくは越えたことを検出するまで記録処理は行わないようにしたが、これに限ることなく、シャッタボタン３の全押し操作検出後、直ちに記録処理を行うようにしても良い。このようにすれば、自動記録処理以前の画像も記録できるので、シャッターチャンスを得た前後の画像も記録することができ、より演出効果の高い映像を得ることができる。

また、本実施の形態においては、学習処理部１３は、特定された画素領域についてＹＵＶの色空間成分を用いて学習処理を行っていたが、これに限ることなく、色空間成分については、ＲＧＢ、ＨＳＶ（Ｈｕｅ（色相）、Ｓａｔｕｒａｔｉｏｎ（彩度）、Ｂｒｉｇｈｔｎｅｓｓ（明度））、ＨＬＳ（Ｈｕｅ（色相）、Ｌｉｇｈｔｎｅｓｓ（輝度）、Ｓａｔｕｒａｔｉｏｎ（彩度））、Ｉ１Ｉ２Ｉ３等を採用しても良い。
更にまた、本実施の形態においては、撮像装置における自動記録処理について述べたが、これに限ることなく、撮像機能を備えた機器、方法、プログラムであれば、これに限ることなく適用可能である。

本発明の一実施の形態に係る撮像装置の外観図である。 本発明の一実施の形態に係る撮像装置の回路構成図である。 本発明の実施の形態における自動記録処理のフローチャートである。 同実施の形態における表示例である。 同実施の形態における表示例である。 学習処理部における処理の概要を示す図である。 変形例における画素領域の配置を示す図である。

符号の説明

１ 撮像装置
３ シャッタボタン
５ カーソルキー
６ 表示部
８ 撮像部
１０ 画像処理部
１３ 学習処理部
１５ プログラムメモリ
１７ 制御部
６０１ スルー画像表示領域
６０５ 被写対象
６０６ 枠
６０８ 画素領域
６０９ ＡＦ枠

Claims (13)

1. 撮像手段と、
   この撮像手段によって逐次撮像される画像と所定範囲の枠とを表示画面に表示する表示手段と、
   第１の指示を検出する第１の指示検出手段と、
   この第１の指示検出手段によって第１の指示を検出すると、前記画像の前記所定範囲の枠内に存在する第１の画素領域を特定する特定手段と、
   この特定手段による特定の後、前記撮像される画像の記録の指示を検出する第２の指示検出手段と、
   この第２の指示検出手段によって記録の指示が検出されると、前記表示画面における前記所定範囲の枠の位置を固定するとともに前記逐次撮像される画像に含まれる前記第１の画素領域を追跡し、この第１の画素領域が前記所定範囲の枠に接触したか若しくは前記所定範囲の枠を越えたか否かを判断する第１の判断手段と、
   この第１の判断手段により前記第１の画素領域が前記所定範囲の枠に接触したか若しくは前記所定範囲の枠を越えたと判断すると前記撮像される画像を記録する第１の記録手段と、
   を備えたことを特徴とする撮像装置。
2. 前記第２の指示検出手段による検出の後、前記逐次撮像される画像に含まれる前記第１の画素領域の変化を検出する検出手段と、
   この検出手段によって前記第１の画素領域の変化が検出されると、前記撮像される画像を記録する第２の記録手段と、
   を更に備えたことを特徴とする請求項１に記載の撮像装置。
3. 前記特定手段による特定の後、前記第１の画素領域の色情報と逐次撮像される所定枚の画像とから、前記第１の画素領域周辺における前記第１の画素領域と尤度の高い領域の範囲の広さを学習する学習手段と、
   この学習手段によって学習した前記尤度の高い領域の範囲の広さと所定の範囲とを比較する比較手段と、
   この比較手段による比較の結果、前記尤度の高い領域の範囲の広さが所定範囲内にあると、
   前記第１の画素領域を追跡すべき画素領域として決定し、前記第２の指示検出手段による記録の指示の検出を待機する第１の待機手段と、
   を更に備えたことを特徴とする請求項１又は２に記載の撮像装置。
4. 前記比較手段による比較の結果、前記尤度の高い領域の範囲の広さが所定範囲より広いと、前記特定手段による前記第１の画像領域の特定を取り消し、前記第１の指示検出手段による指示検出を待機する第２の待機手段を更に備えたことを特徴とする請求項３に記載の撮像装置。
5. 前記比較手段による比較の結果、前記尤度の高い領域の範囲の広さが所定範囲より広いと、前記特定手段による前記第１の画像領域の特定を取り消す旨を報知する報知手段を更に備えたことを特徴とする請求項４に記載の撮像装置。
6. 前記検出手段は、前記逐次撮像される画像における前記学習手段によって学習した前記尤度の高い領域の範囲の広さの変化を検出することにより、前記第１の画素領域の変化を検出することを特徴とする請求項２乃至５の何れかに記載の撮像装置。
7. 前記所定範囲の枠の大きさを任意に変更する変更手段を更に備えたことを特徴とする請求項１乃至６の何れかに記載の撮像装置。
8. 前記第１の指示検出手段によって前記第１の指示を検出すると、前記撮像される画像の前記所定範囲の枠内における中心付近の露出値の調整を行なう調整手段を更に備えたことを特徴とする請求項１乃至７の何れかに記載の撮像装置。
9. レンズと、
   前記第１の指示検出手段によって前記第１の指示を検出すると、前記撮像される画像の前記所定範囲の枠内における中心付近にピントが合うよう前記レンズを制御するレンズ制御手段と、
   を更に備えたことを特徴とする請求項１乃至８の何れかに記載の撮像装置。
10. シャッタボタンを更に備え、
    前記第１の指示検出手段は、前記シャッタボタンが半押し操作されると前記第１の指示を検出し、
    前記第２の指示検出手段は、前記シャッタボタンが全押し操作されると、前記記録の指示を検出することを特徴とする請求項１乃至９の何れかに記載の撮像装置。
11. 前記第２の指示検出手段による指示を検出すると、前記撮像される画像の記録を開始する記録開始手段を更に備えたことを特徴する請求項１乃至１０の何れかに記載の撮像装置。
12. 撮像装置が備えるコンピュータを、
    逐次撮像される画像と所定範囲の枠とを表示部の表示画面に表示させる表示手段、
    第１の指示を検出する第１の指示検出手段、
    この第１の指示検出手段によって第１の指示を検出すると、前記画像の前記所定範囲の枠内に存在する第１の画素領域を特定する特定手段、
    この特定手段による特定の後、前記撮像される画像の記録の指示を検出する第２の指示検出手段、
    この第２の指示検出手段によって記録の指示が検出されると、前記表示画面における前記所定範囲の枠の位置を固定するとともに前記逐次撮像される画像に含まれる前記第１の画素領域を追跡し、この第１の画素領域が前記所定範囲の枠に接触したか若しくは前記所定範囲の枠を越えたか否かを判断する判断手段、
    この判断手段により前記第１の画素領域が前記所定範囲の枠に接触したか若しくは前記所定範囲の枠を越えたと判断すると前記撮像される画像を記録部に記録する第１の記録手段、
    として機能させることを特徴とするプログラム。
13. 前記第２の指示検出手段による検出の後、前記逐次撮像される画像に含まれる前記第１の画素領域の変化を検出する検出手段、
    この検出手段によって前記第１の画素領域の変化が検出されると、前記撮像される画像を前記記録部に記録する第２の記録手段、
    として更に機能させることを特徴とする請求項１２に記載のプログラム。

Images