JP2004112537A - 撮像装置、撮像方法、およびその方法を実行するプログラム - Google Patents
撮像装置、撮像方法、およびその方法を実行するプログラム Download PDFInfo
- Publication number
- JP2004112537A JP2004112537A JP2002274108A JP2002274108A JP2004112537A JP 2004112537 A JP2004112537 A JP 2004112537A JP 2002274108 A JP2002274108 A JP 2002274108A JP 2002274108 A JP2002274108 A JP 2002274108A JP 2004112537 A JP2004112537 A JP 2004112537A
- Authority
- JP
- Japan
- Prior art keywords
- video signal
- recording
- focus
- tracking
- focus area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
【課題】撮像面上に投影された被写体像の合焦領域を検出して追跡し撮影に同期して記録することができる撮像装置、撮像方法、およびその方法を実行させるプログラムを提供する。
【解決手段】デジタルスチルカメラ1は、光学系を介して入射して撮像面に投影された被写体像を映像信号として出力する撮像部3と、被写体像における合焦領域を検出する合焦領域手段およびその合焦領域を追跡する追跡手段を有する画像処理部4と、映像信号を記録する映像信号記録手段および映像信号記録時にその時の合焦領域を関連させて記録する付加情報記録手段であるシステム制御部2と、を備える。
【選択図】 図1
【解決手段】デジタルスチルカメラ1は、光学系を介して入射して撮像面に投影された被写体像を映像信号として出力する撮像部3と、被写体像における合焦領域を検出する合焦領域手段およびその合焦領域を追跡する追跡手段を有する画像処理部4と、映像信号を記録する映像信号記録手段および映像信号記録時にその時の合焦領域を関連させて記録する付加情報記録手段であるシステム制御部2と、を備える。
【選択図】 図1
Description
【0001】
【発明の属する技術分野】
この発明は、撮像装置、撮像方法、およびその方法を実行するプログラムに関する。
【0002】
【従来の技術】
撮像装置を用いた撮像において、撮像された映像信号の編集、管理、検索、表示などのアプリケーションのために、その映像信号に付加情報を加えて、記録する重要性が高まっている。とりわけ、撮像画面上の合焦位置(以下、焦点検出領域と呼ぶ)を記録しておいて、撮影後、該焦点検出領域を基にユーザーの撮影意図を確認したいという要望があった。あるいは、特定の被写体のみを管理・検索したいという要望に対して、撮像画面上に合焦位置の記録を残す方式が求められていた。
【0003】
このような要望に応えるべく、特開2001−128044号公報の発明は、撮影画面内において合焦させた撮影によって得られた画像データと、撮影画面上における合焦位置を規定した合焦位置データとを記録するデジタルカメラを開示している。
【0004】
【特許文献1】
特開2001−128044号公報 (第3−6頁、第1−9図)
【0005】
【発明が解決しようとする課題】
しかし、同号公報の発明によると、シャッターボタンを半押ししてフォーカスロック操作を行った後にカメラを動かして視野を変化させて撮影した場合、合焦位置が変化してしまうという問題点があった。このため、フォーカスロック操作中のカメラの動きによって、誤った合焦位置が記録されてしまうという問題点があった。
【0006】
本発明は、上述の問題点に鑑みてなされたものであり、撮像面上に投影された被写体像における合焦領域(焦点検出領域)を検出して追跡し、そして記録することで合焦位置が変化した場合でも、常に正しい合焦位置を記録することができる撮像装置、撮像方法、その方法を実行させるプログラム、そのプログラムを格納した記録媒体、およびその撮像装置を備えたカメラを提供することにある。
【0007】
【課題を解決するための手段】
上記目的を達成するため、請求項1にかかる発明は、光学系を介して入射し撮像面に投影された被写体像を映像信号として出力する撮像手段と、前記被写体像において焦点が検出された合焦領域を検出する合焦領域検出手段と、前記被写体像において移動する前記合焦領域を追跡する追跡手段と、前記映像信号を記録する映像信号記録手段と、前記映像信号記録時における前記合焦領域を、前記記録時の映像信号に関連させて記録する付加情報記録手段と、を備えたことを特徴とする撮像装置である。
【0008】
この請求項1の発明によれば、光学系を介して入射し撮像面に投影された被写体像を映像信号として出力する撮像手段と、被写体像において焦点が検出された合焦領域を検出する合焦領域検出手段と、被写体像において移動する合焦領域を追跡する追跡手段と、映像信号を記録する映像信号記録手段と、映像信号記録時における合焦領域を、記録時の映像信号に関連させて記録する付加情報記録手段とを備えたことによって、合焦領域を追跡して映像記録時にその位置を関連させて記録可能となるので、映像編集時に利便性の高い撮像装置を提供できる。
【0009】
また、請求項2にかかる発明は、請求項1に記載の撮像装置において、前記映像信号と、所定の時間前に撮像された映像信号との類似度を算出する類似度算出手段を、更に備え、前記追跡手段は、前記類似度算出手段によって算出された類似度に基づいて前記合焦領域を追跡することを特徴とする。
【0010】
この請求項2の発明によれば、映像信号と、所定の時間前に撮像された映像信号との類似度を算出する類似度算出手段を備えることによって、追跡手段が類似度算出手段によって算出された類似度に基づいて合焦領域を追跡することができるので、より正確に合焦領域を追跡できる。
【0011】
また、請求項3にかかる発明は、請求項1または2に記載の撮像装置において、前記撮像装置の方向を検出する方向検出手段を、更に備え、前記追跡手段は、前記方向検出手段によって算出された方向に基づいて前記合焦領域を追跡することを特徴とする。
【0012】
この請求項3の発明によれば、撮像装置の方向を検出する方向検出手段を備えてその検出された方向に基づいて合焦領域を追跡することによって、より正確に合焦領域を追跡できるので、より正確に合焦領域を、特に撮影する向きを変更するときに正確に合焦領域を追跡できる。
【0013】
また、請求項4にかかる発明は、請求項1〜3のいずれか1に記載の撮像装置において、前記合焦領域検出手段の検出動作を一時停止させる焦点固定手段を、更に備えたことを特徴とする。
【0014】
この請求項4の発明によれば、合焦領域検出手段の検出動作を一時停止させる焦点固定手段を備えることによって、簡易な操作で操作者が焦点検出動作を制御することができるので、合焦領域検出手段の動作を減らし電力消耗を減らすことができる。
【0015】
また、請求項5にかかる発明は、請求項4に記載の撮像装置において、前記追跡手段は、前記焦点固定手段の動作に同期して追跡動作を行うことを特徴とする。
【0016】
この請求項5の発明によれば、追跡手段が、焦点固定手段の動作に同期して追跡動作を行うことによって、焦点固定手段により追跡動作を停止することができるので、合焦領域の追跡に要する処理コストおよび消費電力を軽減することができる。
【0017】
また、請求項6にかかる発明は、請求項1〜5のいずれか1に記載の撮像装置において、前記合焦領域を表示する表示手段を、更に備えたことを特徴とする。
【0018】
この請求項6の発明によれば、合焦領域を表示する表示手段を更に備えたことによって、合成領域を表示手段によって視認することができるので、簡易な構成で操作者が所望の撮影動作を実行できているかどうかを確認することができる。
【0019】
また、請求項7にかかる発明は、請求項1〜6のいずれか1に記載の撮像装置において、前記追跡手段は、前記合焦領域が前記撮像面上において映像信号の記録可能な範囲外にあると判定した場合、警告を発する警告手段を、更に具備することを特徴とする。
【0020】
この請求項7の発明によれば、追跡手段が、合焦領域は撮像面の映像信号の記録可能な範囲外にあると判定した場合、警告を発することができるので、簡易な構成で操作者が所望の撮影動作を実行できているかどうかを知ることができる。
【0021】
また、請求項8にかかる発明は、請求項1〜7のいずれか1に記載の撮像装置において、前記付加情報記録手段は、前記合焦領域の追跡結果を記したテキストデータを記録することを特徴とする。
【0022】
この請求項8の発明によれば、付加情報記録手段は、合焦領域の追跡結果を記したテキストデータを記録できることによって、簡易な構成によって合焦領域の移動を知ることができるので、合焦領域の移動のテキストデータによる記録から操作者が後になって撮影意図・動作を容易に確認することが可能となる。
【0023】
また、請求項9にかかる発明は、光学系を介して入射し撮像面に投影された被写体像を映像信号として出力する映像信号出力ステップと、前記被写体像において焦点が検出された合焦領域を検出する合焦領域検出ステップと、前記被写体像において移動する前記合焦領域を追跡する追跡ステップと、前記映像信号を記録する映像信号記録ステップと、前記映像信号記録時における前記合焦領域を、前記記録時の映像信号に関連させて記録する付加情報記録ステップと、を含むことを特徴とする撮像方法である。
【0024】
この請求項9の発明によれば、光学系を介して入射し撮像面に投影された被写体像を映像信号として出力する映像信号出力ステップと、撮像面上での合焦領域を検出する合焦領域検出ステップと、移動する合焦領域を追跡する追跡ステップと、映像信号を記録する映像信号記録ステップと、映像信号記録時における合焦領域を、記録時の映像信号に関連させて記録する付加情報記録ステップとを備えることによって、合焦領域を追跡して映像記録時にその位置を関連させて記録可能な撮影が可能となるので、映像編集時に利便性の高い撮像方法を提供できる。
【0025】
また、請求項10にかかる発明は、光学系を介して入射し撮像面に投影された被写体像を映像信号として出力する映像信号出力ステップと、前記被写体像において焦点が検出された合焦領域を検出する合焦領域検出ステップと、前記映像信号と、所定の時間前に撮像された映像信号との類似度を算出する類似度算出ステップと、算出された前記類似度に基づいて前記被写体像において移動する前記合焦領域を追跡する追跡ステップと、前記映像信号を記録する映像信号記録ステップと、前記映像信号記録時における前記合焦領域を、前記記録時の映像信号に関連させて記録する付加情報記録ステップと、を含むことを特徴とする撮像方法である。
【0026】
この請求項10の発明によれば、撮像面に投影された被写体像を映像信号として出力する映像信号出力ステップと、被写体像における合焦領域を検出するステップと、映像信号と所定の時間前に撮像された映像信号との類似度を算出するステップと、その類似度に基づいて合焦領域を追跡する追跡ステップと、映像信号を記録するステップと、映像信号記録時における合焦領域を記録時の映像信号に関連させて記録する付加情報記録ステップとを備えることによって、類似度に基づいて合焦領域を追跡することができるので、より正確に合焦領域を追跡でき映像編集時に利便性の高い撮像方法を提供できる。
【0027】
また、請求項11の発明は、光学系を介して入射し撮像面に投影された被写体像を映像信号として出力する映像信号出力ステップと、前記被写体像において焦点が検出された合焦領域を検出する合焦領域検出ステップと、前記光学系の主軸方向を検出する方向検出ステップと、検出された前記光学系の主軸方向に基づいて前記合焦領域を追跡する追跡ステップと、前記映像信号を記録する映像信号記録ステップと、前記映像信号記録時における前記合焦領域を、前記記録時の映像信号に関連させて記録する付加情報記録ステップと、を含むことを特徴とする撮像方法である。
【0028】
この請求項11の発明によれば、撮像面に投影された被写体像を映像信号として出力するステップと、被写体像における合焦領域を検出するステップと、光学系の主軸方向を検出するステップと、その光学系の主軸方向に基づいて合焦領域を追跡すると、映像信号を記録するステップと、映像信号記録時における合焦領域を記録時の映像信号に関連させて記録する付加情報記録ステップと、を備えることによって、検出された方向に基づいて合焦領域を追跡することができるので、より正確に合焦領域を追跡でき映像編集時に利便性の高い撮像方法を提供できる。
【0029】
また、請求項12にかかる発明は、請求項9〜11のいずれか1つに記載された方法をコンピュータに実行させることを特徴とするプログラムであるので、請求項9〜11のいずれか1つに記載された方法をコンピュータによって実行できる。
【0030】
【発明の実施の形態】
以下に添付図面を参照して、この発明にかかる撮像装置、撮像方法、およびその方法を実行するプログラム、の好適な実施の形態を、実施の形態1とその静止画撮影モード、動画撮影モード、焦点検出領域の追跡、焦点検出領域の記録、実施の形態2とその焦点検出領域の追跡、本発明の実施の形態による撮像装置を備えたカメラ、実施の形態3とそのプログラムの動作、および実施の形態4の順番で、詳細に説明する。
【0031】
(実施の形態1)
まず、デジタルスチルカメラを例に、本発明の実施の形態を説明する。図1は、本発明にかかる実施の形態1によるデジタルスチルカメラの機能的構成を示すブロック図である。図1を参照しながら、デジタルスチルカメラ装置1の機能的構成を述べる。
【0032】
システム制御部2は、デジタルスチルカメラ装置1全体の制御を行うCPU(Central Processing Unit)、メモリ、およびタイマーを含む。撮像部3は、撮像のために設けられた光学系部品(レンズ及びレンズ駆動モータ)、CCD(Charge Coupled Device)、CCD駆動回路、およびA/D変換器を含む。画像処理部4は、撮像部3で得られた画像信号に種々の画像処理を施すと共に、撮像部3のCCD駆動タイミング、レンズ駆動モータを制御してフォーカシング、露出調整等を行い、また、画像の圧縮伸長を行うために設けられた画像処理用DSP(Digital Signal
Processor)、およびメモリを含む。
【0033】
LCD表示制御部5は、画像処理部4で処理された画像信号をLCD(Liquid Crystal Display)へ表示するための信号処理を行い、また、ユーザーインターフェイスのための種々のグラフィック画像を生成し、LCDへ表示するために設けられたD/A変換器、オンスクリーンディスプレイコントローラを含む。LCD6は、画像を表示し、また、ユーザーインターフェイスのためのグラフィックを表示する。
【0034】
ファインダー表示制御部7は、画像処理部で処理された画像信号をファインダー内部に設置された表示器へ表示するための信号処理を行い、また、ユーザーインターフェイスのための種々のグラフィック画像を生成し、該表示器へ表示するために設けられたD/A変換器、およびオンスクリーンディスプレイコントローラを含む。ファインダー表示器8は、前記撮像部3の光学系に入射する像を表示し、また、ユーザーインターフェイスのためのグラフィックを表示する。
【0035】
記録メディアインターフェイス部9は、記録メディアとのインターフェイスのために設けられたメモリカードコントローラを含む。記録メディア10は、圧縮された画像信号や画像に纏わる種々の情報を記憶する、例えばフラッシュメモリであり、デジタルスチルカメラ装置1から着脱可能とする。ハードキーインターフェイス部11は、後述するレリーズSW15、図示されていないキー、ダイアル等のユーザーインターフェイスのためのハードウェアの状態を検出するために設けられたパラレルポートである。
【0036】
(静止画撮影モード)
図2は、実施の形態1にかかるデジタススチルカメラのレリーズSWの構成図である。図2に基づいてその動作を示す。RL1(16)は、レリーズSWを半押ししたときオンされる接点、RL2(17)は、レリーズSWを完全に押したときにオンされる接点、そしてCOM(18)は、RL1(16)およびRL2(17)の双方で共通な接点である。レリーズSW(15)は、2ストローク(2段階)の動作を検出できる様に構成されている。RL1(16)、RL2(17)の接点の状態は、前述したように、ハードキーインターフェイス部11を通じてシステム制御部2で判別される。
【0037】
図3は本発明の実施の形態1にかかるデジタルスチルカメラにおける静止画撮影手順を示すフローチャートである。ユーザーは撮影に先立ち、カメラに付随する種々のキー、ダイヤル(不図示)を操作し、撮影モード(静止画撮影モード、動画撮影モード)を決定する。ユーザーの操作内容はハードキーインターフェイス部11を通じてシステム制御部2で判別される(ステップS301)。静止画撮影モードの場合(ステップS301のNo)、後述する撮影準備(ステップS302)以降の処理が実行される。動画撮影モード(ステップS301のYes)では後述するように図4(後述)に示す動画撮影のフローチャートに従って動作する(ステップS303)。
【0038】
デジタルスチルカメラ装置を用いた撮影の準備作業が実行開始されると、システム制御部2は、モードに応じた処理パラメタを画像処理部4へ設定する。撮像部3は画像処理部4からの制御に従い、実際の撮影に先だって、プレビュー画像を表示するための撮像動作を開始する。撮像されたデータは連続的に画像処理部4へ送られ、画像処理部4では色空間変換、ガンマ補正、ホワイトバランス調整などの処理を施した後、その画像データをLCD表示制御部5へ送る。LCD表示制御部5では、画像データを信号処理してLCD6へ表示し、ユーザーへ撮像状態を提示する。また、ファインダー表示制御部7では、デジタルスチルカメラ1の種々の状態をファインダー表示器8へ表示し、ユーザーへ撮像状態を提示する(ステップS302)。
【0039】
撮影の準備が整った後、システム制御部2が前記レリーズSWの半押し、すなわちRL1接点がオンになったと判定すると(ステップS304のYes)、焦点検出(AF)、自動露出(AE)、オートホワイトバランス(AWB)のアルゴリズムプログラムを起動し、画像処理部4から得られる各種評価データを基に、画像処理部4、及び、撮像部3を制御して調整を行う(ステップS305)。ここで、レリーズSWの半押し状態の判定は、モード設定と同様にしてハードキーインターフェイス部11を通じてシステム制御部2で実行される。
【0040】
上記の処理が終了すると、デジタルスチルカメラ装置1は、前記撮像部3の撮像範囲において合焦領域(以下、焦点検出領域と呼ぶ)の追跡を開始する(ステップS306)。この追跡動作については具体的に後述する。
【0041】
ここで図4を参照する。図4はファインダ又はLCDに表示された焦点検出領域を示す模式図であり、(a)は焦点検出領域が表示された場合であり、(b)は焦点検出領域が画面から外れて警告表示が出た場合を示す。焦点検出領域が追跡されると、前記LCD6又は前記ファインダー表示器8において、図4(a)のように、該焦点検出領域の位置を示すポインタ21を表示する。また、焦点検出領域が画面から外れて焦点検出領域の追跡に失敗した場合には、図4(b)に示すように、ユーザーにその旨を警告するインジケータ22が表示される(ステップS307)。
【0042】
システム制御部2は、引き続きハードキーインターフェイス部11を通じて、前記レリーズSWの状態を監視し(ステップS308)、レリーズSWが全押し、すなわちRL2接点がオンになったと判定すると(ステップS308のYes)、撮影動作(後述)を開始する(ステップS309)。ここで、レリーズSWの全押し状態の判定は、レリーズSWの半押し状態の検出動作と同様にして、ハードキーインターフェイス部11を通じてシステム制御部2で実行される。
【0043】
そして、撮像部3は画像処理部4からの制御に従い、所定の画像を取り込み画像処理部4へ送り、画像処理部4は、撮影モードに応じた画像処理、圧縮処理を行う。そして、システム制御部2は、圧縮された画像データ及び追跡された焦点検出領域を読み出し、さらにヘッダー情報を付加した後、記録メディアインターフェイス部9を通じて記録メディア10へ記録する(ステップS310)。焦点検出領域の記録については、後述する。
【0044】
以上で画像の撮影及び記録を完了すると、焦点検出領域の追跡処理を終了する(ステップS312)。
【0045】
ここで、ステップS308において、RL2接点がオフであると判定されると、システム制御部2は、RL1接点の状態を検出する(ステップS311)。RL1接点がオンであると判定されると、ステップS306に戻り、ステップS311までの処理を繰り返す。またRL1接点が解除されたと判定されると、AE、AF、AWBの処理及び焦点検出領域の追跡処理を終了する(ステップS312)。最後に、各動作を電源オフ検出で終了した場合には、電源をオフして終了する(ステップS313)。
【0046】
(動画撮影モード)
図5は、実施の形態1による動画撮影の流れを示すフローチャートである。この動画撮影モードを説明する。動画撮影モードへは、図3に示した動画撮影モードか否かの判定においてYesの場合(ステップS301のYes)、動画撮影モードが選択されて、動画撮影へと移行(ステップS303)する。
【0047】
図5のフローチャートを参照すると、まず、デジタルスチルカメラ装置1において、動画撮影の準備を整える作業が実行される(ステップS501)。準備作業における動作は、ステップS302と同様である。
【0048】
撮影の準備が整うと、レリーズSWが押下され、半押しの状態すなわちRL1接点がオンになったと判定されると(ステップS502のYes)、既に述べたように、焦点検出(AF)、自動露出(AE)、オートホワイトバランス(AWB)の処理が開始される(ステップS503)。また、RL1接点がオフであると判定されると(ステップS502のNo)、後述するステップS515の処理に進む。
【0049】
システム制御部2は、引き続きハードキーインターフェイス部11を通じて、前記レリーズSWの状態を監視し、そのままレリーズSWが押し込まれると、即ちRL2接点がオンになると(ステップS504)、後述する動画の記録動作を開始する(ステップS506以降のステップ)。逆に、レリーズSWの半押しが解除されると、即ちRL1接点がオフになる(ステップS505のNo)と、前述のAF、AE、AWB処理を終了する(ステップS514)。
【0050】
記録動作を開始すると(ステップS506)、システム制御部2は、ハードキーインターフェイス部11を通じて、前記レリーズSWの状態を監視し、レリーズSWの全押し状態(RL2接点オン)を検知すると(ステップS507のYes)、動画の記録を終了する(ステップS512)。レリースSWの全押し状態を検知しなければ(ステップS507のNo)、ステップS508以降の処理を実行する。すなわち、記録動作中のレリーズSWの全押しが検知されるまで、記録動作を継続する。
【0051】
ここで、記録動作中に、前記レリーズSWの半押しが検知される(RL1接点オン)と(ステップS508のYes)、まず、システム制御部2は、動画記録中のAF処理を一時的に停止する(ステップS509)。すなわち、動画記録中のレリーズSWの半押し操作は、焦点検出動作を一時停止させる手段として機能する。
【0052】
次に、焦点検出領域を追跡する動作を開始する。即ち、デジタルスチルカメラ装置1は、撮像部3の撮像範囲において焦点検出領域の追跡を開始する(ステップS510)。この焦点検出領域追跡の動作については詳細は後述する。以上のように、焦点検出の一時停止と焦点検出領域の追跡動作は、同期して実行される。これにより、焦点検出領域の追跡に要する処理コストや消費電力を低減できる。一方、記録動作中に、前記レリーズSWが解除されていた場合(ステップS508のNo)は、上述の焦点検出追跡動作を実行しない。
【0053】
焦点検出領域が追跡されると、前記LCD6又は前記ファインダー表示器8において、図4(a)のように、該焦点検出領域の位置を示すポインタ21が表示される。また、焦点検出領域が画面から外れるなど、焦点検出領域の追跡に失敗した場合には、図4(b)のように、ユーザーにその旨を警告するインジケータ22が表示される(ステップS511)。また、焦点検出追跡動作を実行しなかった場合、既定の焦点検出領域の位置(例えば画面中央)にポインタ21を表示させてもよい。
【0054】
上記のステップS507〜S511の処理は、レリーズSWの全押し(RL2接点オン)が検知される(ステップS507のNo)まで、繰り返し実行される。動画の記録を終了した場合(ステップS512)、システム制御部2は、動画データに関連して、焦点検出領域の追跡履歴を記録メディア10へ書き込む(ステップS513)。この動作については、後述する。
【0055】
最後に、撮影モードの変更操作、あるいは電源オフ操作を検知すると、図5に描かれた手順のフローを終了する(ステップS515のYes)。そして、検知しなければ(ステップS515のNo)、ステップS502〜ステップS514の処理が繰り返し実行される。
【0056】
(焦点検出領域の追跡)
図6は、実施の形態1による撮像装置における焦点検出領域の追跡動作を示すフローチャートである。まず、システム制御部2は、焦点検出領域の追跡処理が初期状態であるかどうかを判断する(ステップS601)。初期状態とは、すなわちレリーズSWの半押し(RL1接点オン)が検知されてから、初めて追跡処理を実行する場合である(ステップS601のYes)。この場合、撮像部3が現在取得している画像(以下、現画像と呼ぶ)のうち、焦点検出領域に対応する所定の領域(以下、テンプレートと呼ぶ)を切り出し、メモリに記録する。即ち、テンプレートの生成・記録である(ステップS602)。例えば、撮像部3の焦点検出領域が画面中央に固定されている場合、画面中央の領域がテンプレートとして切り出され、記録される。また、焦点検出領域が予め複数設定されている場合、ハードキーインターフェイス部11などのユーザーインターフェイスを通じて選択された焦点検出領域に対応するテンプレートが切り出されて記録される。以上で、処理は終了する。
【0057】
一方、初期状態でない場合には(ステップS601のNo)、前回の処理で記録されたテンプレートをメモリから読み出す(ステップS603)。そして、現画像において、読み出されたテンプレートと類似度が高い領域を検出する、即ち、テンプレートマッチングを行う(ステップS604)。
【0058】
ここで、前記類似度の高い部分を検出する手段として、テンプレートマッチングを利用した場合の動作を、図7に基づいて説明する。図7は、実施の形態1による撮像装置における焦点検出領域の追跡動作を説明する説明図であり、(a)はテンプレートの一例であり、(b)は現画像の一例を示す模式図である。今、図7(a)のように、テンプレートの大きさが、(横の長さ)かける(縦の長さ)が(2du+1)×(2dv+1)であると仮定する。このテンプレート23を、図7(b)のように現画像24上で移動させ、テンプレート23と現画像24における点(m,n)との正規化相互相関値Sを、次式に基づき計算する。
【0059】
【数1】
【0060】
ここで、(1)式における各記号の意味は以下の通りである。
【0061】
I1(u,v):テンプレート上の点(u,v)における画素値
I2(u,v):現画像上の点(u,v)における画素値
以上の計算に基づいて、正規化相互相関値Sが最大となる現画像における点(m,n)を求める。
【0062】
次に、前記テンプレートマッチングの成否を判定する(ステップS605)。ここで、テンプレートマッチング成否の判定基準は、例えば正規化相互相関値Sの閾値θを予め決めておき、Sの値がθ以上ならば成功、θ以下ならば失敗とする手法をとればよい。成功と判定された場合には、ステップS604で求められた点(m,n)を現画像における焦点検出領域として、システム制御部2に出力すると同時に、現画像の点(m,n)を中心とする大きさ(2du+1)×(2dv+1)の領域を、テンプレートとして更新する(ステップS606のYes)。また、失敗と判定された場合(ステップS606のNo)には、テンプレートの更新は行わずに、追跡に失敗したことを示す信号をシステム制御部2に出力する(ステップS607)。以上で、処理を終了する。
【0063】
(焦点検出領域の記録)
静止画の場合、焦点検出領域に関するデータは、取得した画像におけるヘッダ情報に記録される。例えば、デジタルスチルカメラの静止画のフォーマットとしてExif(exchangeable image file format)を採用する場合、そのヘッダ情報中のMakerNoteと呼ばれる製造者が自由に利用できるフィールド、又はUserCommentと呼ばれるユーザーが任意のコメントを記述することができるフィールドに、該焦点検出領域の位置を記録する。
【0064】
図8は、実施の形態1にかかる撮像装置の焦点検出領域の記録動作を示す図である。動画の場合は、図8のように、左から秒単位の時刻、焦点検出領域の横方向の座標u、焦点検出領域の縦方向の座標vという順に、テキスト情報として記録される。このテキスト情報は、動画と共にテキストファイルとして記録メディアに記録される。このとき、動画データとテキストファイルは、関連して記録される。例えば、動画ファイルの名前が”Video01.avi”(aviは、Audio Video Interleavingの略)である場合、そのテキストファイルの名前は”Video01.txt”と、拡張子以前の名前が揃えられた形で記録される。
【0065】
(実施の形態2)
実施の形態2は、撮像部3の向きを検出することにより焦点領域を追跡する点が、実施の形態1と異なる。図9は、本実施の形態2によるデジタルスチルカメラの構成を示す機能的ブロック図である。図1のデジタルスチルカメラと異なる点は、姿勢検出センサ12が追加されていることである。図中、同一符号は、実施の形態1と同一又は相当する部分を示す。
【0066】
姿勢検出部12は、撮像部3の通例光軸である主軸の向きを検出するために設けられた姿勢検出センサ、該センサからの信号を取得するA/D変換器、及び該A/D変換器により取得されたデータに演算処理を施すALU(Arithmetic and Logical Unit 演算論理ユニット)を含んでなる。ここで姿勢検出センサは、例えば加速度センサ、磁気センサ、角速度センサ(ジャイロ)、又はそれらの組み合わせにより構成される。
【0067】
その撮影の動作については、静止画撮影モード及び動画撮影モードともに実施の形態1と同様であり、既に述べたようにそれぞれ図3、図5のフローチャートに従って動作する。
【0068】
(焦点検出領域の追跡)
図10は実施の形態2による焦点検出領域の追跡処理の流れを示すフローチャートである。ここで、姿勢検出センサの一例として、加速度センサと磁気センサを使用した場合の、焦点検出領域の追跡動作を、図10のフローチャートに基づいて説明する。
【0069】
まず、システム制御部2は、姿勢検出センサの検出信号より、絶対座標系に対する現在の撮像部3の姿勢を算出し、メモリに記録する(ステップS1001)。図11は、実施の形態2において想定する絶対座標系を示す模式図である。ここで、絶対座標系は図11に示すように、東向きをX軸、重力の向きをY軸、北向きをZ軸とする右手系XYZ座標系を採る。加速度センサは重力加速度を、また磁気センサは地磁気を検出するのに使用され、これらのセンサの出力信号により、絶対座標系に対する撮像部3の向きを計算することができる。ここで、焦点検出領域の追跡処理が前述の初期状態である場合(ステップS1002のYes)には、以上で処理を終了する。
【0070】
一方、初期状態でない場合(ステップS1002のNo)には、前時刻で記録された焦点検出領域及び撮像部3の姿勢を、メモリより読み出し(ステップS1003)、これらの情報と現在の撮像部3の姿勢を利用して、現在の焦点検出領域を算出しメモリに記録する(ステップS1004)。
【0071】
ここで、現在の焦点検出領域を算出する方法について説明する。図12は実施の形態2によるカメラ座標系および画像座標系を示す模式図である。まず、図12に示されている2つの座標系を定義する。
【0072】
カメラ座標系O−cam(camera coordinate system)
・x軸:画面右向きを正
・y軸:画面下向きを正
・z軸:光軸、対象に向かう向きを正
・原点O:カメラの光学中心
・f:焦点距離
画像座標系O−ima(image coordinate system)
・u軸:画面右向きを正
・v軸:画面下向きを正
・(u0,v0):画面中心、すなわち光軸と画面とが交わる画像座標
【0073】
カメラ座標系の光学系は、中心射影モデル(perspective projection model)で記述されると仮定する。また、画像座標系は、画素を基本単位とする。また、以下の変数を定義する。
【0074】
RW,t−1:前時刻t−1における、絶対座標系に対する撮像部3の姿勢を表す回転行列
RW,t:現在の時刻tの、絶対座標系に対する撮像部3の姿勢を表す回転行列
【0075】
上記2つの回転行列より、前時刻から現在にかけての撮像部3の姿勢の変化を示す回転行列Rを、次式に基づき計算する。
【0076】
【数2】
【0077】
ここで、RW,t−1の右上の添え字Tは、行列の転置を表す。
【0078】
この回転行列Rにより表される姿勢の変化により、前時刻における焦点検出領域(ut−1,vt−1)は、現在の時刻において、次式に示される点(ut,vt)に移動する。
【0079】
【数3】
【0080】
但し、
【0081】
【数4】
【0082】
【数5】
【0083】
であり、これらの行列At−1、Atは、それぞれ前時刻、現在における、カメラ座標系と画像座標系との関係を示すもので、カメラ内部行列(camera intrinsic matrix)と呼ばれる(参考文献:徐 剛,辻 三郎:『3次元ビジョン』,共立出版(1998))。
【0084】
また、ku、kvは、それぞれx軸、y軸を基準とした時のu軸、v軸の単位、すなわち画素密度を表す。また、ft−1、ftは、それぞれ前時刻、現在における焦点距離を表す変数である。また、sは(3)式の左辺の第3成分を1にするための定数である。一般に、ku、kvの値は、CCDの設計仕様より容易に知ることができる。また、焦点距離の値は、撮像部3において、レンズ駆動モータの位置をエンコーダにより読み取るなどの方法により、検出することができる。以上の計算により、現在の焦点検出領域の位置(ut,vt)が算出される。
【0085】
続いて、以上の処理で算出された点(ut,vt)が、画面内にあるか否かを判定し(ステップS1005)、画面内にある場合には、ステップS1004で求められた点(ut,vt)を、現在の焦点検出領域として、システム制御部2に出力する(ステップS1006のYes)。また、画面外にあると判定された場合には(ステップS1006のNo)、追跡に失敗したことを示す信号をシステム制御部2に出力する(ステップS1007)。以上で、処理を終了する。
【0086】
この実施の形態2による撮像装置は、角度の変化を検知して合焦領域の移動を角度に基づいて追跡することができるので、有効に合焦領域を追跡できる。その場合、静止している被写体を、被写体までの距離をあまり変えずにカメラの向きを変えて撮影する場合に、特に有効である。なぜなら、距離が実質的に変化せずにそのアングル、即ち角度が変化することにより、合焦領域の移動を角度によって検出して追跡するからである。実際の撮影場面としては、例えば、被写体に対して中央部分で合焦させ、フォーカスロックして、その被写体を画面の端に持って来るように構図を変えて撮影する場合に特に有効である。
【0087】
(実施の形態3)
実施の形態3は、実施の形態1または2における撮像方法をコンピュータに実行させるプログラムである。本発明にかかる撮像装置は、PC(Personal Computer)や携帯情報端末により、その機能を実現させることができる。近年、各種処理プログラムを読み取ることにより、種々の機能を実現可能なデジタルカメラも登場するようになった。また、レンズの向きを回動可能としたカメラを具備したノート型PCや、カメラを搭載したPDA(Personal Digital Assistant)及び携帯電話が普及するようになった。このような機器に、実施の形態1又は2で説明した機能を実現する処理プログラムを実行させることにより、その機能を実現させることができる。また、このプログラムは、各種媒体やインターネット等の電気通信回線を介して、上記の機器で読み取り可能としうる。
【0088】
(プログラムの動作)
動作の内容は、上述の実施の形態1および2における撮像動作と同様である。以下、カメラを具備したノート型PCにおいて、このプログラムを実行することにより、上述の実施の形態で説明した動作を実現する場合の具体例を説明する。
【0089】
AF(自動焦点動作)等の処理は、カメラの内部で実行される。撮影モードの選択、撮影の開始・終了の制御、焦点検出動作の一時停止(既述の実施の形態におけるレリーズSWの半押し操作に相当)、画像及び焦点検出領域の表示は、任意のユーザー・インターフェイスを介して行われる。その一例を、以下に記す。
【0090】
・撮影モードの選択:カーソルキー
・撮影の開始・終了の制御:リターンキー
・焦点検出動作の一時停止:スペースキー
・画像及び焦点検出領域の表示:LCDに表示
【0091】
図13は、実施の形態3によるプログラムを格納された記憶媒体を用いる説明図である。例えば、図13(a)に示されるように、該プログラムを格納したCD−ROM25を、カメラを具備したノート型PCに装着し、適宜そのプログラムを実行させることにより、その機能を実現させることができる。
【0092】
図13(b)に示されるように、上記のプログラムを格納したスマートメディア26を、それを読み取り可能なデジタルスチルカメラに装着し、適宜そのプログラムを実行させることにより、実施の形態1または2による撮像装置としての機能を実現させることができる。なお、プログラムを格納する記録媒体は上記に限られず、例えばCD−RWやDVD−ROM等の他の媒体であってもよいことはいうまでもない。
【0093】
以上の各実施の形態は、本発明のごく一例を説明したにすぎない。すなわち、本発明の権利範囲を上記実施の形態の通りに不当に限定・縮小すべきではなく、下記のように、本発明の構成要素を別の要素に変更した例も、本発明と均等の発明として権利範囲に含まれる。
【0094】
例えば、各実施の形態において、2ストロークの動作を検出できるレリーズSW、及び静止画・動画撮影機能を具備したデジタルスチルカメラを例に挙げて説明したが、静止画撮影専用のデジタルスチルカメラ、及び動画撮影専用のビデオカメラにおいて、上記実施の形態と同様の機能を有するものであっても、本願の権利範囲に含まれる。ここで、該ビデオカメラが、上述の実施の形態で説明したのと同様の動作を実現する為に、焦点検出動作を一時停止するボタンを具備することは、更に好適である。
【0095】
また、焦点検出領域をLCD6又はファインダー表示器8に表示する形態は、上記の実施の形態に限定されない。例えば、該表示機能を具備しない撮像装置(請求項6を除く請求の範囲に該当)、焦点検出領域を追跡している時にのみ該表示を行う撮像装置であっても適用可能である。
【0096】
また、焦点検出領域の記録については、1秒毎に焦点検出領域の位置をテキストファイルに記録すると説明したが、各々のフレーム毎に記録する、またある一定数のフレーム毎に記録するなど、別の形態とすることも可能である。また、ファイルフォーマットはテキストファイルではなく、MPEG−7(MPEGはMotion Picture Experts Groupの略)等の内容記述ファイルとして記録してもよい。このほか、静止画、動画共に、該焦点検出領域を画像データの中に、ウォーターマーク(電子透かし)として挿入するといった形態としても良い。
【0097】
また、実施の形態2において、加速度センサと磁気センサを組み合わせて使用することにより、撮像部の姿勢を検出すると説明したが、ジャイロなどの他の素子を使用しても同様の動作を実現することが可能である。
【0098】
【発明の効果】
以上説明したように、請求項1にかかる発明によれば、簡易な構成により、合焦領域を追跡して映像記録時に合焦領域と関連させて記録できるので、映像編集時に利便性の高い撮像装置を提供できるという効果を奏する。
【0099】
請求項2にかかる発明によれば、請求項1の発明による効果に加えて、追跡手段が類似度算出手段によって算出された類似度に基づいて合焦領域を追跡するので、より正確に合焦領域を追跡できるという効果を奏する。
【0100】
請求項3にかかる発明によれば、請求項1または2の発明による効果に加えて、撮像装置の方向を検出して合焦領域を追跡することによって、より正確に合焦領域を追跡でき、特にカメラを構えた向きを変更して撮影する場合に正確に合焦領域を追跡できるという効果を奏する。
【0101】
請求項4にかかる発明によれば、請求項1〜3のいずれか1つの発明による効果に加えて、簡易な操作で操作者が焦点検出動作を制御することができるので、合焦領域検出手段の動作を減らし電力消耗を減らすことができるという効果を奏する。
【0102】
請求項5にかかる発明によれば、請求項4の発明による効果に加えて、焦点固定手段により追跡動作を停止することができるので、合焦領域の追跡に要する処理コストおよび消費電力を軽減することができる。
【0103】
請求項6にかかる発明によれば、請求項1〜5のいずれか1つの発明による効果に加えて、合成領域を表示手段によって視認することができるので、簡易な構成で操作者が所望の撮影動作を実行可能か否かを確認することができるという効果を奏する。
【0104】
請求項7にかかる発明によれば、請求項1〜6のいずれか1つの発明の効果に加えて、合焦領域が記録可能な範囲外にある場合、警告を発するので、簡易な構成により操作者が所望の撮影動作を実行可能か否かを知ることができるという効果を奏する。
【0105】
請求項8にかかる発明によれば、請求項1〜7のいずれか1つの発明の効果に加えて、合焦領域の移動のテキストデータによる記録を得ることができるので、操作者が後になって撮影意図・動作を容易に確認することができるという効果を奏する。
【0106】
請求項9にかかる発明によれば、撮像面上の合焦領域を追跡して映像記録時にその位置を関連させて記録可能な撮影が可能となるので、映像編集時に利便性の高い撮像方法を提供できるという効果を奏する。
【0107】
請求項10にかかる発明によれば、映像信号の類似度を算出してそれに基づいて撮像面上の合焦領域を追跡して映像記録時にその位置を関連させて記録可能な撮影が可能となるので、映像編集時に利便性の高い撮像方法を提供できるという効果を奏する。
【0108】
請求項11にかかる発明によれば、撮像装置の光学系の方向に基づいて撮像面上の合焦領域を追跡して映像記録時にその位置を関連させて記録可能な撮影が可能となるので、映像編集時に利便性の高い撮像方法を提供できるという効果を奏する。
【0109】
請求項12にかかる発明によれば、請求項9〜11のいずれか1つに記載された方法をコンピュータによって実行できるので、撮像装置を備えたコンピュータを用いて、合焦領域を追跡し撮影時に記録し映像編集時に利便性の高い撮像方式を提供できるという効果を奏する。
【図面の簡単な説明】
【図1】本発明にかかる実施の形態1によるデジタルスチルカメラの機能的構成を示すブロック図である。
【図2】実施の形態1にかかるデジタススチルカメラのレリーズSWの構成図である。
【図3】本発明の実施の形態1にかかるデジタルスチルカメラにおける静止画撮影手順を示すフローチャートである。
【図4】ファインダ又はLCDに表示された合焦領域を示す模式図であり、(a)は合焦領域が表示された場合であり、(b)は合焦領域が画面から外れて警告表示が出た場合を示す。
【図5】実施の形態1による動画撮影の流れを示すフローチャートである。
【図6】実施の形態1による撮像装置における合焦領域の追跡動作を示すフローチャートである。
【図7】実施の形態1による撮像装置における合焦領域の追跡動作を説明する説明図であり、(a)はテンプレートの一例であり、(b)は現画像の一例を示す模式図である。
【図8】実施の形態1にかかる撮像装置の合焦領域の記録動作を示す図である。
【図9】本実施の形態2によるデジタルスチルカメラの構成を示す機能的ブロック図である。
【図10】実施の形態2による合焦領域の追跡処理の流れを示すフローチャートである。
【図11】実施の形態2において想定する絶対座標系を示す模式図である。
【図12】実施の形態2によるカメラ座標系および画像座標系を示す模式図である。
【図13】実施の形態4によるプログラムを格納された記憶媒体を用いる説明図である。
【符号の説明】
1 デジタルスチルカメラ
2 システム制御部
3 撮像部
4 画像処理部
5 LCD表示制御部
6 LCD
7 ファインダー表示制御部
8 ファインダー表示器
9 記録メディアインターフェイス部
10 記録メディア
11 ハードキーインターフェイス部
15 レリーズSW
16 RL1
17 RL2
18 COM
21 ポインタ
22 インジケータ
23 テンプレート
24 現画像
25 CD−ROM
26 スマートメディア
【発明の属する技術分野】
この発明は、撮像装置、撮像方法、およびその方法を実行するプログラムに関する。
【0002】
【従来の技術】
撮像装置を用いた撮像において、撮像された映像信号の編集、管理、検索、表示などのアプリケーションのために、その映像信号に付加情報を加えて、記録する重要性が高まっている。とりわけ、撮像画面上の合焦位置(以下、焦点検出領域と呼ぶ)を記録しておいて、撮影後、該焦点検出領域を基にユーザーの撮影意図を確認したいという要望があった。あるいは、特定の被写体のみを管理・検索したいという要望に対して、撮像画面上に合焦位置の記録を残す方式が求められていた。
【0003】
このような要望に応えるべく、特開2001−128044号公報の発明は、撮影画面内において合焦させた撮影によって得られた画像データと、撮影画面上における合焦位置を規定した合焦位置データとを記録するデジタルカメラを開示している。
【0004】
【特許文献1】
特開2001−128044号公報 (第3−6頁、第1−9図)
【0005】
【発明が解決しようとする課題】
しかし、同号公報の発明によると、シャッターボタンを半押ししてフォーカスロック操作を行った後にカメラを動かして視野を変化させて撮影した場合、合焦位置が変化してしまうという問題点があった。このため、フォーカスロック操作中のカメラの動きによって、誤った合焦位置が記録されてしまうという問題点があった。
【0006】
本発明は、上述の問題点に鑑みてなされたものであり、撮像面上に投影された被写体像における合焦領域(焦点検出領域)を検出して追跡し、そして記録することで合焦位置が変化した場合でも、常に正しい合焦位置を記録することができる撮像装置、撮像方法、その方法を実行させるプログラム、そのプログラムを格納した記録媒体、およびその撮像装置を備えたカメラを提供することにある。
【0007】
【課題を解決するための手段】
上記目的を達成するため、請求項1にかかる発明は、光学系を介して入射し撮像面に投影された被写体像を映像信号として出力する撮像手段と、前記被写体像において焦点が検出された合焦領域を検出する合焦領域検出手段と、前記被写体像において移動する前記合焦領域を追跡する追跡手段と、前記映像信号を記録する映像信号記録手段と、前記映像信号記録時における前記合焦領域を、前記記録時の映像信号に関連させて記録する付加情報記録手段と、を備えたことを特徴とする撮像装置である。
【0008】
この請求項1の発明によれば、光学系を介して入射し撮像面に投影された被写体像を映像信号として出力する撮像手段と、被写体像において焦点が検出された合焦領域を検出する合焦領域検出手段と、被写体像において移動する合焦領域を追跡する追跡手段と、映像信号を記録する映像信号記録手段と、映像信号記録時における合焦領域を、記録時の映像信号に関連させて記録する付加情報記録手段とを備えたことによって、合焦領域を追跡して映像記録時にその位置を関連させて記録可能となるので、映像編集時に利便性の高い撮像装置を提供できる。
【0009】
また、請求項2にかかる発明は、請求項1に記載の撮像装置において、前記映像信号と、所定の時間前に撮像された映像信号との類似度を算出する類似度算出手段を、更に備え、前記追跡手段は、前記類似度算出手段によって算出された類似度に基づいて前記合焦領域を追跡することを特徴とする。
【0010】
この請求項2の発明によれば、映像信号と、所定の時間前に撮像された映像信号との類似度を算出する類似度算出手段を備えることによって、追跡手段が類似度算出手段によって算出された類似度に基づいて合焦領域を追跡することができるので、より正確に合焦領域を追跡できる。
【0011】
また、請求項3にかかる発明は、請求項1または2に記載の撮像装置において、前記撮像装置の方向を検出する方向検出手段を、更に備え、前記追跡手段は、前記方向検出手段によって算出された方向に基づいて前記合焦領域を追跡することを特徴とする。
【0012】
この請求項3の発明によれば、撮像装置の方向を検出する方向検出手段を備えてその検出された方向に基づいて合焦領域を追跡することによって、より正確に合焦領域を追跡できるので、より正確に合焦領域を、特に撮影する向きを変更するときに正確に合焦領域を追跡できる。
【0013】
また、請求項4にかかる発明は、請求項1〜3のいずれか1に記載の撮像装置において、前記合焦領域検出手段の検出動作を一時停止させる焦点固定手段を、更に備えたことを特徴とする。
【0014】
この請求項4の発明によれば、合焦領域検出手段の検出動作を一時停止させる焦点固定手段を備えることによって、簡易な操作で操作者が焦点検出動作を制御することができるので、合焦領域検出手段の動作を減らし電力消耗を減らすことができる。
【0015】
また、請求項5にかかる発明は、請求項4に記載の撮像装置において、前記追跡手段は、前記焦点固定手段の動作に同期して追跡動作を行うことを特徴とする。
【0016】
この請求項5の発明によれば、追跡手段が、焦点固定手段の動作に同期して追跡動作を行うことによって、焦点固定手段により追跡動作を停止することができるので、合焦領域の追跡に要する処理コストおよび消費電力を軽減することができる。
【0017】
また、請求項6にかかる発明は、請求項1〜5のいずれか1に記載の撮像装置において、前記合焦領域を表示する表示手段を、更に備えたことを特徴とする。
【0018】
この請求項6の発明によれば、合焦領域を表示する表示手段を更に備えたことによって、合成領域を表示手段によって視認することができるので、簡易な構成で操作者が所望の撮影動作を実行できているかどうかを確認することができる。
【0019】
また、請求項7にかかる発明は、請求項1〜6のいずれか1に記載の撮像装置において、前記追跡手段は、前記合焦領域が前記撮像面上において映像信号の記録可能な範囲外にあると判定した場合、警告を発する警告手段を、更に具備することを特徴とする。
【0020】
この請求項7の発明によれば、追跡手段が、合焦領域は撮像面の映像信号の記録可能な範囲外にあると判定した場合、警告を発することができるので、簡易な構成で操作者が所望の撮影動作を実行できているかどうかを知ることができる。
【0021】
また、請求項8にかかる発明は、請求項1〜7のいずれか1に記載の撮像装置において、前記付加情報記録手段は、前記合焦領域の追跡結果を記したテキストデータを記録することを特徴とする。
【0022】
この請求項8の発明によれば、付加情報記録手段は、合焦領域の追跡結果を記したテキストデータを記録できることによって、簡易な構成によって合焦領域の移動を知ることができるので、合焦領域の移動のテキストデータによる記録から操作者が後になって撮影意図・動作を容易に確認することが可能となる。
【0023】
また、請求項9にかかる発明は、光学系を介して入射し撮像面に投影された被写体像を映像信号として出力する映像信号出力ステップと、前記被写体像において焦点が検出された合焦領域を検出する合焦領域検出ステップと、前記被写体像において移動する前記合焦領域を追跡する追跡ステップと、前記映像信号を記録する映像信号記録ステップと、前記映像信号記録時における前記合焦領域を、前記記録時の映像信号に関連させて記録する付加情報記録ステップと、を含むことを特徴とする撮像方法である。
【0024】
この請求項9の発明によれば、光学系を介して入射し撮像面に投影された被写体像を映像信号として出力する映像信号出力ステップと、撮像面上での合焦領域を検出する合焦領域検出ステップと、移動する合焦領域を追跡する追跡ステップと、映像信号を記録する映像信号記録ステップと、映像信号記録時における合焦領域を、記録時の映像信号に関連させて記録する付加情報記録ステップとを備えることによって、合焦領域を追跡して映像記録時にその位置を関連させて記録可能な撮影が可能となるので、映像編集時に利便性の高い撮像方法を提供できる。
【0025】
また、請求項10にかかる発明は、光学系を介して入射し撮像面に投影された被写体像を映像信号として出力する映像信号出力ステップと、前記被写体像において焦点が検出された合焦領域を検出する合焦領域検出ステップと、前記映像信号と、所定の時間前に撮像された映像信号との類似度を算出する類似度算出ステップと、算出された前記類似度に基づいて前記被写体像において移動する前記合焦領域を追跡する追跡ステップと、前記映像信号を記録する映像信号記録ステップと、前記映像信号記録時における前記合焦領域を、前記記録時の映像信号に関連させて記録する付加情報記録ステップと、を含むことを特徴とする撮像方法である。
【0026】
この請求項10の発明によれば、撮像面に投影された被写体像を映像信号として出力する映像信号出力ステップと、被写体像における合焦領域を検出するステップと、映像信号と所定の時間前に撮像された映像信号との類似度を算出するステップと、その類似度に基づいて合焦領域を追跡する追跡ステップと、映像信号を記録するステップと、映像信号記録時における合焦領域を記録時の映像信号に関連させて記録する付加情報記録ステップとを備えることによって、類似度に基づいて合焦領域を追跡することができるので、より正確に合焦領域を追跡でき映像編集時に利便性の高い撮像方法を提供できる。
【0027】
また、請求項11の発明は、光学系を介して入射し撮像面に投影された被写体像を映像信号として出力する映像信号出力ステップと、前記被写体像において焦点が検出された合焦領域を検出する合焦領域検出ステップと、前記光学系の主軸方向を検出する方向検出ステップと、検出された前記光学系の主軸方向に基づいて前記合焦領域を追跡する追跡ステップと、前記映像信号を記録する映像信号記録ステップと、前記映像信号記録時における前記合焦領域を、前記記録時の映像信号に関連させて記録する付加情報記録ステップと、を含むことを特徴とする撮像方法である。
【0028】
この請求項11の発明によれば、撮像面に投影された被写体像を映像信号として出力するステップと、被写体像における合焦領域を検出するステップと、光学系の主軸方向を検出するステップと、その光学系の主軸方向に基づいて合焦領域を追跡すると、映像信号を記録するステップと、映像信号記録時における合焦領域を記録時の映像信号に関連させて記録する付加情報記録ステップと、を備えることによって、検出された方向に基づいて合焦領域を追跡することができるので、より正確に合焦領域を追跡でき映像編集時に利便性の高い撮像方法を提供できる。
【0029】
また、請求項12にかかる発明は、請求項9〜11のいずれか1つに記載された方法をコンピュータに実行させることを特徴とするプログラムであるので、請求項9〜11のいずれか1つに記載された方法をコンピュータによって実行できる。
【0030】
【発明の実施の形態】
以下に添付図面を参照して、この発明にかかる撮像装置、撮像方法、およびその方法を実行するプログラム、の好適な実施の形態を、実施の形態1とその静止画撮影モード、動画撮影モード、焦点検出領域の追跡、焦点検出領域の記録、実施の形態2とその焦点検出領域の追跡、本発明の実施の形態による撮像装置を備えたカメラ、実施の形態3とそのプログラムの動作、および実施の形態4の順番で、詳細に説明する。
【0031】
(実施の形態1)
まず、デジタルスチルカメラを例に、本発明の実施の形態を説明する。図1は、本発明にかかる実施の形態1によるデジタルスチルカメラの機能的構成を示すブロック図である。図1を参照しながら、デジタルスチルカメラ装置1の機能的構成を述べる。
【0032】
システム制御部2は、デジタルスチルカメラ装置1全体の制御を行うCPU(Central Processing Unit)、メモリ、およびタイマーを含む。撮像部3は、撮像のために設けられた光学系部品(レンズ及びレンズ駆動モータ)、CCD(Charge Coupled Device)、CCD駆動回路、およびA/D変換器を含む。画像処理部4は、撮像部3で得られた画像信号に種々の画像処理を施すと共に、撮像部3のCCD駆動タイミング、レンズ駆動モータを制御してフォーカシング、露出調整等を行い、また、画像の圧縮伸長を行うために設けられた画像処理用DSP(Digital Signal
Processor)、およびメモリを含む。
【0033】
LCD表示制御部5は、画像処理部4で処理された画像信号をLCD(Liquid Crystal Display)へ表示するための信号処理を行い、また、ユーザーインターフェイスのための種々のグラフィック画像を生成し、LCDへ表示するために設けられたD/A変換器、オンスクリーンディスプレイコントローラを含む。LCD6は、画像を表示し、また、ユーザーインターフェイスのためのグラフィックを表示する。
【0034】
ファインダー表示制御部7は、画像処理部で処理された画像信号をファインダー内部に設置された表示器へ表示するための信号処理を行い、また、ユーザーインターフェイスのための種々のグラフィック画像を生成し、該表示器へ表示するために設けられたD/A変換器、およびオンスクリーンディスプレイコントローラを含む。ファインダー表示器8は、前記撮像部3の光学系に入射する像を表示し、また、ユーザーインターフェイスのためのグラフィックを表示する。
【0035】
記録メディアインターフェイス部9は、記録メディアとのインターフェイスのために設けられたメモリカードコントローラを含む。記録メディア10は、圧縮された画像信号や画像に纏わる種々の情報を記憶する、例えばフラッシュメモリであり、デジタルスチルカメラ装置1から着脱可能とする。ハードキーインターフェイス部11は、後述するレリーズSW15、図示されていないキー、ダイアル等のユーザーインターフェイスのためのハードウェアの状態を検出するために設けられたパラレルポートである。
【0036】
(静止画撮影モード)
図2は、実施の形態1にかかるデジタススチルカメラのレリーズSWの構成図である。図2に基づいてその動作を示す。RL1(16)は、レリーズSWを半押ししたときオンされる接点、RL2(17)は、レリーズSWを完全に押したときにオンされる接点、そしてCOM(18)は、RL1(16)およびRL2(17)の双方で共通な接点である。レリーズSW(15)は、2ストローク(2段階)の動作を検出できる様に構成されている。RL1(16)、RL2(17)の接点の状態は、前述したように、ハードキーインターフェイス部11を通じてシステム制御部2で判別される。
【0037】
図3は本発明の実施の形態1にかかるデジタルスチルカメラにおける静止画撮影手順を示すフローチャートである。ユーザーは撮影に先立ち、カメラに付随する種々のキー、ダイヤル(不図示)を操作し、撮影モード(静止画撮影モード、動画撮影モード)を決定する。ユーザーの操作内容はハードキーインターフェイス部11を通じてシステム制御部2で判別される(ステップS301)。静止画撮影モードの場合(ステップS301のNo)、後述する撮影準備(ステップS302)以降の処理が実行される。動画撮影モード(ステップS301のYes)では後述するように図4(後述)に示す動画撮影のフローチャートに従って動作する(ステップS303)。
【0038】
デジタルスチルカメラ装置を用いた撮影の準備作業が実行開始されると、システム制御部2は、モードに応じた処理パラメタを画像処理部4へ設定する。撮像部3は画像処理部4からの制御に従い、実際の撮影に先だって、プレビュー画像を表示するための撮像動作を開始する。撮像されたデータは連続的に画像処理部4へ送られ、画像処理部4では色空間変換、ガンマ補正、ホワイトバランス調整などの処理を施した後、その画像データをLCD表示制御部5へ送る。LCD表示制御部5では、画像データを信号処理してLCD6へ表示し、ユーザーへ撮像状態を提示する。また、ファインダー表示制御部7では、デジタルスチルカメラ1の種々の状態をファインダー表示器8へ表示し、ユーザーへ撮像状態を提示する(ステップS302)。
【0039】
撮影の準備が整った後、システム制御部2が前記レリーズSWの半押し、すなわちRL1接点がオンになったと判定すると(ステップS304のYes)、焦点検出(AF)、自動露出(AE)、オートホワイトバランス(AWB)のアルゴリズムプログラムを起動し、画像処理部4から得られる各種評価データを基に、画像処理部4、及び、撮像部3を制御して調整を行う(ステップS305)。ここで、レリーズSWの半押し状態の判定は、モード設定と同様にしてハードキーインターフェイス部11を通じてシステム制御部2で実行される。
【0040】
上記の処理が終了すると、デジタルスチルカメラ装置1は、前記撮像部3の撮像範囲において合焦領域(以下、焦点検出領域と呼ぶ)の追跡を開始する(ステップS306)。この追跡動作については具体的に後述する。
【0041】
ここで図4を参照する。図4はファインダ又はLCDに表示された焦点検出領域を示す模式図であり、(a)は焦点検出領域が表示された場合であり、(b)は焦点検出領域が画面から外れて警告表示が出た場合を示す。焦点検出領域が追跡されると、前記LCD6又は前記ファインダー表示器8において、図4(a)のように、該焦点検出領域の位置を示すポインタ21を表示する。また、焦点検出領域が画面から外れて焦点検出領域の追跡に失敗した場合には、図4(b)に示すように、ユーザーにその旨を警告するインジケータ22が表示される(ステップS307)。
【0042】
システム制御部2は、引き続きハードキーインターフェイス部11を通じて、前記レリーズSWの状態を監視し(ステップS308)、レリーズSWが全押し、すなわちRL2接点がオンになったと判定すると(ステップS308のYes)、撮影動作(後述)を開始する(ステップS309)。ここで、レリーズSWの全押し状態の判定は、レリーズSWの半押し状態の検出動作と同様にして、ハードキーインターフェイス部11を通じてシステム制御部2で実行される。
【0043】
そして、撮像部3は画像処理部4からの制御に従い、所定の画像を取り込み画像処理部4へ送り、画像処理部4は、撮影モードに応じた画像処理、圧縮処理を行う。そして、システム制御部2は、圧縮された画像データ及び追跡された焦点検出領域を読み出し、さらにヘッダー情報を付加した後、記録メディアインターフェイス部9を通じて記録メディア10へ記録する(ステップS310)。焦点検出領域の記録については、後述する。
【0044】
以上で画像の撮影及び記録を完了すると、焦点検出領域の追跡処理を終了する(ステップS312)。
【0045】
ここで、ステップS308において、RL2接点がオフであると判定されると、システム制御部2は、RL1接点の状態を検出する(ステップS311)。RL1接点がオンであると判定されると、ステップS306に戻り、ステップS311までの処理を繰り返す。またRL1接点が解除されたと判定されると、AE、AF、AWBの処理及び焦点検出領域の追跡処理を終了する(ステップS312)。最後に、各動作を電源オフ検出で終了した場合には、電源をオフして終了する(ステップS313)。
【0046】
(動画撮影モード)
図5は、実施の形態1による動画撮影の流れを示すフローチャートである。この動画撮影モードを説明する。動画撮影モードへは、図3に示した動画撮影モードか否かの判定においてYesの場合(ステップS301のYes)、動画撮影モードが選択されて、動画撮影へと移行(ステップS303)する。
【0047】
図5のフローチャートを参照すると、まず、デジタルスチルカメラ装置1において、動画撮影の準備を整える作業が実行される(ステップS501)。準備作業における動作は、ステップS302と同様である。
【0048】
撮影の準備が整うと、レリーズSWが押下され、半押しの状態すなわちRL1接点がオンになったと判定されると(ステップS502のYes)、既に述べたように、焦点検出(AF)、自動露出(AE)、オートホワイトバランス(AWB)の処理が開始される(ステップS503)。また、RL1接点がオフであると判定されると(ステップS502のNo)、後述するステップS515の処理に進む。
【0049】
システム制御部2は、引き続きハードキーインターフェイス部11を通じて、前記レリーズSWの状態を監視し、そのままレリーズSWが押し込まれると、即ちRL2接点がオンになると(ステップS504)、後述する動画の記録動作を開始する(ステップS506以降のステップ)。逆に、レリーズSWの半押しが解除されると、即ちRL1接点がオフになる(ステップS505のNo)と、前述のAF、AE、AWB処理を終了する(ステップS514)。
【0050】
記録動作を開始すると(ステップS506)、システム制御部2は、ハードキーインターフェイス部11を通じて、前記レリーズSWの状態を監視し、レリーズSWの全押し状態(RL2接点オン)を検知すると(ステップS507のYes)、動画の記録を終了する(ステップS512)。レリースSWの全押し状態を検知しなければ(ステップS507のNo)、ステップS508以降の処理を実行する。すなわち、記録動作中のレリーズSWの全押しが検知されるまで、記録動作を継続する。
【0051】
ここで、記録動作中に、前記レリーズSWの半押しが検知される(RL1接点オン)と(ステップS508のYes)、まず、システム制御部2は、動画記録中のAF処理を一時的に停止する(ステップS509)。すなわち、動画記録中のレリーズSWの半押し操作は、焦点検出動作を一時停止させる手段として機能する。
【0052】
次に、焦点検出領域を追跡する動作を開始する。即ち、デジタルスチルカメラ装置1は、撮像部3の撮像範囲において焦点検出領域の追跡を開始する(ステップS510)。この焦点検出領域追跡の動作については詳細は後述する。以上のように、焦点検出の一時停止と焦点検出領域の追跡動作は、同期して実行される。これにより、焦点検出領域の追跡に要する処理コストや消費電力を低減できる。一方、記録動作中に、前記レリーズSWが解除されていた場合(ステップS508のNo)は、上述の焦点検出追跡動作を実行しない。
【0053】
焦点検出領域が追跡されると、前記LCD6又は前記ファインダー表示器8において、図4(a)のように、該焦点検出領域の位置を示すポインタ21が表示される。また、焦点検出領域が画面から外れるなど、焦点検出領域の追跡に失敗した場合には、図4(b)のように、ユーザーにその旨を警告するインジケータ22が表示される(ステップS511)。また、焦点検出追跡動作を実行しなかった場合、既定の焦点検出領域の位置(例えば画面中央)にポインタ21を表示させてもよい。
【0054】
上記のステップS507〜S511の処理は、レリーズSWの全押し(RL2接点オン)が検知される(ステップS507のNo)まで、繰り返し実行される。動画の記録を終了した場合(ステップS512)、システム制御部2は、動画データに関連して、焦点検出領域の追跡履歴を記録メディア10へ書き込む(ステップS513)。この動作については、後述する。
【0055】
最後に、撮影モードの変更操作、あるいは電源オフ操作を検知すると、図5に描かれた手順のフローを終了する(ステップS515のYes)。そして、検知しなければ(ステップS515のNo)、ステップS502〜ステップS514の処理が繰り返し実行される。
【0056】
(焦点検出領域の追跡)
図6は、実施の形態1による撮像装置における焦点検出領域の追跡動作を示すフローチャートである。まず、システム制御部2は、焦点検出領域の追跡処理が初期状態であるかどうかを判断する(ステップS601)。初期状態とは、すなわちレリーズSWの半押し(RL1接点オン)が検知されてから、初めて追跡処理を実行する場合である(ステップS601のYes)。この場合、撮像部3が現在取得している画像(以下、現画像と呼ぶ)のうち、焦点検出領域に対応する所定の領域(以下、テンプレートと呼ぶ)を切り出し、メモリに記録する。即ち、テンプレートの生成・記録である(ステップS602)。例えば、撮像部3の焦点検出領域が画面中央に固定されている場合、画面中央の領域がテンプレートとして切り出され、記録される。また、焦点検出領域が予め複数設定されている場合、ハードキーインターフェイス部11などのユーザーインターフェイスを通じて選択された焦点検出領域に対応するテンプレートが切り出されて記録される。以上で、処理は終了する。
【0057】
一方、初期状態でない場合には(ステップS601のNo)、前回の処理で記録されたテンプレートをメモリから読み出す(ステップS603)。そして、現画像において、読み出されたテンプレートと類似度が高い領域を検出する、即ち、テンプレートマッチングを行う(ステップS604)。
【0058】
ここで、前記類似度の高い部分を検出する手段として、テンプレートマッチングを利用した場合の動作を、図7に基づいて説明する。図7は、実施の形態1による撮像装置における焦点検出領域の追跡動作を説明する説明図であり、(a)はテンプレートの一例であり、(b)は現画像の一例を示す模式図である。今、図7(a)のように、テンプレートの大きさが、(横の長さ)かける(縦の長さ)が(2du+1)×(2dv+1)であると仮定する。このテンプレート23を、図7(b)のように現画像24上で移動させ、テンプレート23と現画像24における点(m,n)との正規化相互相関値Sを、次式に基づき計算する。
【0059】
【数1】
【0060】
ここで、(1)式における各記号の意味は以下の通りである。
【0061】
I1(u,v):テンプレート上の点(u,v)における画素値
I2(u,v):現画像上の点(u,v)における画素値
以上の計算に基づいて、正規化相互相関値Sが最大となる現画像における点(m,n)を求める。
【0062】
次に、前記テンプレートマッチングの成否を判定する(ステップS605)。ここで、テンプレートマッチング成否の判定基準は、例えば正規化相互相関値Sの閾値θを予め決めておき、Sの値がθ以上ならば成功、θ以下ならば失敗とする手法をとればよい。成功と判定された場合には、ステップS604で求められた点(m,n)を現画像における焦点検出領域として、システム制御部2に出力すると同時に、現画像の点(m,n)を中心とする大きさ(2du+1)×(2dv+1)の領域を、テンプレートとして更新する(ステップS606のYes)。また、失敗と判定された場合(ステップS606のNo)には、テンプレートの更新は行わずに、追跡に失敗したことを示す信号をシステム制御部2に出力する(ステップS607)。以上で、処理を終了する。
【0063】
(焦点検出領域の記録)
静止画の場合、焦点検出領域に関するデータは、取得した画像におけるヘッダ情報に記録される。例えば、デジタルスチルカメラの静止画のフォーマットとしてExif(exchangeable image file format)を採用する場合、そのヘッダ情報中のMakerNoteと呼ばれる製造者が自由に利用できるフィールド、又はUserCommentと呼ばれるユーザーが任意のコメントを記述することができるフィールドに、該焦点検出領域の位置を記録する。
【0064】
図8は、実施の形態1にかかる撮像装置の焦点検出領域の記録動作を示す図である。動画の場合は、図8のように、左から秒単位の時刻、焦点検出領域の横方向の座標u、焦点検出領域の縦方向の座標vという順に、テキスト情報として記録される。このテキスト情報は、動画と共にテキストファイルとして記録メディアに記録される。このとき、動画データとテキストファイルは、関連して記録される。例えば、動画ファイルの名前が”Video01.avi”(aviは、Audio Video Interleavingの略)である場合、そのテキストファイルの名前は”Video01.txt”と、拡張子以前の名前が揃えられた形で記録される。
【0065】
(実施の形態2)
実施の形態2は、撮像部3の向きを検出することにより焦点領域を追跡する点が、実施の形態1と異なる。図9は、本実施の形態2によるデジタルスチルカメラの構成を示す機能的ブロック図である。図1のデジタルスチルカメラと異なる点は、姿勢検出センサ12が追加されていることである。図中、同一符号は、実施の形態1と同一又は相当する部分を示す。
【0066】
姿勢検出部12は、撮像部3の通例光軸である主軸の向きを検出するために設けられた姿勢検出センサ、該センサからの信号を取得するA/D変換器、及び該A/D変換器により取得されたデータに演算処理を施すALU(Arithmetic and Logical Unit 演算論理ユニット)を含んでなる。ここで姿勢検出センサは、例えば加速度センサ、磁気センサ、角速度センサ(ジャイロ)、又はそれらの組み合わせにより構成される。
【0067】
その撮影の動作については、静止画撮影モード及び動画撮影モードともに実施の形態1と同様であり、既に述べたようにそれぞれ図3、図5のフローチャートに従って動作する。
【0068】
(焦点検出領域の追跡)
図10は実施の形態2による焦点検出領域の追跡処理の流れを示すフローチャートである。ここで、姿勢検出センサの一例として、加速度センサと磁気センサを使用した場合の、焦点検出領域の追跡動作を、図10のフローチャートに基づいて説明する。
【0069】
まず、システム制御部2は、姿勢検出センサの検出信号より、絶対座標系に対する現在の撮像部3の姿勢を算出し、メモリに記録する(ステップS1001)。図11は、実施の形態2において想定する絶対座標系を示す模式図である。ここで、絶対座標系は図11に示すように、東向きをX軸、重力の向きをY軸、北向きをZ軸とする右手系XYZ座標系を採る。加速度センサは重力加速度を、また磁気センサは地磁気を検出するのに使用され、これらのセンサの出力信号により、絶対座標系に対する撮像部3の向きを計算することができる。ここで、焦点検出領域の追跡処理が前述の初期状態である場合(ステップS1002のYes)には、以上で処理を終了する。
【0070】
一方、初期状態でない場合(ステップS1002のNo)には、前時刻で記録された焦点検出領域及び撮像部3の姿勢を、メモリより読み出し(ステップS1003)、これらの情報と現在の撮像部3の姿勢を利用して、現在の焦点検出領域を算出しメモリに記録する(ステップS1004)。
【0071】
ここで、現在の焦点検出領域を算出する方法について説明する。図12は実施の形態2によるカメラ座標系および画像座標系を示す模式図である。まず、図12に示されている2つの座標系を定義する。
【0072】
カメラ座標系O−cam(camera coordinate system)
・x軸:画面右向きを正
・y軸:画面下向きを正
・z軸:光軸、対象に向かう向きを正
・原点O:カメラの光学中心
・f:焦点距離
画像座標系O−ima(image coordinate system)
・u軸:画面右向きを正
・v軸:画面下向きを正
・(u0,v0):画面中心、すなわち光軸と画面とが交わる画像座標
【0073】
カメラ座標系の光学系は、中心射影モデル(perspective projection model)で記述されると仮定する。また、画像座標系は、画素を基本単位とする。また、以下の変数を定義する。
【0074】
RW,t−1:前時刻t−1における、絶対座標系に対する撮像部3の姿勢を表す回転行列
RW,t:現在の時刻tの、絶対座標系に対する撮像部3の姿勢を表す回転行列
【0075】
上記2つの回転行列より、前時刻から現在にかけての撮像部3の姿勢の変化を示す回転行列Rを、次式に基づき計算する。
【0076】
【数2】
【0077】
ここで、RW,t−1の右上の添え字Tは、行列の転置を表す。
【0078】
この回転行列Rにより表される姿勢の変化により、前時刻における焦点検出領域(ut−1,vt−1)は、現在の時刻において、次式に示される点(ut,vt)に移動する。
【0079】
【数3】
【0080】
但し、
【0081】
【数4】
【0082】
【数5】
【0083】
であり、これらの行列At−1、Atは、それぞれ前時刻、現在における、カメラ座標系と画像座標系との関係を示すもので、カメラ内部行列(camera intrinsic matrix)と呼ばれる(参考文献:徐 剛,辻 三郎:『3次元ビジョン』,共立出版(1998))。
【0084】
また、ku、kvは、それぞれx軸、y軸を基準とした時のu軸、v軸の単位、すなわち画素密度を表す。また、ft−1、ftは、それぞれ前時刻、現在における焦点距離を表す変数である。また、sは(3)式の左辺の第3成分を1にするための定数である。一般に、ku、kvの値は、CCDの設計仕様より容易に知ることができる。また、焦点距離の値は、撮像部3において、レンズ駆動モータの位置をエンコーダにより読み取るなどの方法により、検出することができる。以上の計算により、現在の焦点検出領域の位置(ut,vt)が算出される。
【0085】
続いて、以上の処理で算出された点(ut,vt)が、画面内にあるか否かを判定し(ステップS1005)、画面内にある場合には、ステップS1004で求められた点(ut,vt)を、現在の焦点検出領域として、システム制御部2に出力する(ステップS1006のYes)。また、画面外にあると判定された場合には(ステップS1006のNo)、追跡に失敗したことを示す信号をシステム制御部2に出力する(ステップS1007)。以上で、処理を終了する。
【0086】
この実施の形態2による撮像装置は、角度の変化を検知して合焦領域の移動を角度に基づいて追跡することができるので、有効に合焦領域を追跡できる。その場合、静止している被写体を、被写体までの距離をあまり変えずにカメラの向きを変えて撮影する場合に、特に有効である。なぜなら、距離が実質的に変化せずにそのアングル、即ち角度が変化することにより、合焦領域の移動を角度によって検出して追跡するからである。実際の撮影場面としては、例えば、被写体に対して中央部分で合焦させ、フォーカスロックして、その被写体を画面の端に持って来るように構図を変えて撮影する場合に特に有効である。
【0087】
(実施の形態3)
実施の形態3は、実施の形態1または2における撮像方法をコンピュータに実行させるプログラムである。本発明にかかる撮像装置は、PC(Personal Computer)や携帯情報端末により、その機能を実現させることができる。近年、各種処理プログラムを読み取ることにより、種々の機能を実現可能なデジタルカメラも登場するようになった。また、レンズの向きを回動可能としたカメラを具備したノート型PCや、カメラを搭載したPDA(Personal Digital Assistant)及び携帯電話が普及するようになった。このような機器に、実施の形態1又は2で説明した機能を実現する処理プログラムを実行させることにより、その機能を実現させることができる。また、このプログラムは、各種媒体やインターネット等の電気通信回線を介して、上記の機器で読み取り可能としうる。
【0088】
(プログラムの動作)
動作の内容は、上述の実施の形態1および2における撮像動作と同様である。以下、カメラを具備したノート型PCにおいて、このプログラムを実行することにより、上述の実施の形態で説明した動作を実現する場合の具体例を説明する。
【0089】
AF(自動焦点動作)等の処理は、カメラの内部で実行される。撮影モードの選択、撮影の開始・終了の制御、焦点検出動作の一時停止(既述の実施の形態におけるレリーズSWの半押し操作に相当)、画像及び焦点検出領域の表示は、任意のユーザー・インターフェイスを介して行われる。その一例を、以下に記す。
【0090】
・撮影モードの選択:カーソルキー
・撮影の開始・終了の制御:リターンキー
・焦点検出動作の一時停止:スペースキー
・画像及び焦点検出領域の表示:LCDに表示
【0091】
図13は、実施の形態3によるプログラムを格納された記憶媒体を用いる説明図である。例えば、図13(a)に示されるように、該プログラムを格納したCD−ROM25を、カメラを具備したノート型PCに装着し、適宜そのプログラムを実行させることにより、その機能を実現させることができる。
【0092】
図13(b)に示されるように、上記のプログラムを格納したスマートメディア26を、それを読み取り可能なデジタルスチルカメラに装着し、適宜そのプログラムを実行させることにより、実施の形態1または2による撮像装置としての機能を実現させることができる。なお、プログラムを格納する記録媒体は上記に限られず、例えばCD−RWやDVD−ROM等の他の媒体であってもよいことはいうまでもない。
【0093】
以上の各実施の形態は、本発明のごく一例を説明したにすぎない。すなわち、本発明の権利範囲を上記実施の形態の通りに不当に限定・縮小すべきではなく、下記のように、本発明の構成要素を別の要素に変更した例も、本発明と均等の発明として権利範囲に含まれる。
【0094】
例えば、各実施の形態において、2ストロークの動作を検出できるレリーズSW、及び静止画・動画撮影機能を具備したデジタルスチルカメラを例に挙げて説明したが、静止画撮影専用のデジタルスチルカメラ、及び動画撮影専用のビデオカメラにおいて、上記実施の形態と同様の機能を有するものであっても、本願の権利範囲に含まれる。ここで、該ビデオカメラが、上述の実施の形態で説明したのと同様の動作を実現する為に、焦点検出動作を一時停止するボタンを具備することは、更に好適である。
【0095】
また、焦点検出領域をLCD6又はファインダー表示器8に表示する形態は、上記の実施の形態に限定されない。例えば、該表示機能を具備しない撮像装置(請求項6を除く請求の範囲に該当)、焦点検出領域を追跡している時にのみ該表示を行う撮像装置であっても適用可能である。
【0096】
また、焦点検出領域の記録については、1秒毎に焦点検出領域の位置をテキストファイルに記録すると説明したが、各々のフレーム毎に記録する、またある一定数のフレーム毎に記録するなど、別の形態とすることも可能である。また、ファイルフォーマットはテキストファイルではなく、MPEG−7(MPEGはMotion Picture Experts Groupの略)等の内容記述ファイルとして記録してもよい。このほか、静止画、動画共に、該焦点検出領域を画像データの中に、ウォーターマーク(電子透かし)として挿入するといった形態としても良い。
【0097】
また、実施の形態2において、加速度センサと磁気センサを組み合わせて使用することにより、撮像部の姿勢を検出すると説明したが、ジャイロなどの他の素子を使用しても同様の動作を実現することが可能である。
【0098】
【発明の効果】
以上説明したように、請求項1にかかる発明によれば、簡易な構成により、合焦領域を追跡して映像記録時に合焦領域と関連させて記録できるので、映像編集時に利便性の高い撮像装置を提供できるという効果を奏する。
【0099】
請求項2にかかる発明によれば、請求項1の発明による効果に加えて、追跡手段が類似度算出手段によって算出された類似度に基づいて合焦領域を追跡するので、より正確に合焦領域を追跡できるという効果を奏する。
【0100】
請求項3にかかる発明によれば、請求項1または2の発明による効果に加えて、撮像装置の方向を検出して合焦領域を追跡することによって、より正確に合焦領域を追跡でき、特にカメラを構えた向きを変更して撮影する場合に正確に合焦領域を追跡できるという効果を奏する。
【0101】
請求項4にかかる発明によれば、請求項1〜3のいずれか1つの発明による効果に加えて、簡易な操作で操作者が焦点検出動作を制御することができるので、合焦領域検出手段の動作を減らし電力消耗を減らすことができるという効果を奏する。
【0102】
請求項5にかかる発明によれば、請求項4の発明による効果に加えて、焦点固定手段により追跡動作を停止することができるので、合焦領域の追跡に要する処理コストおよび消費電力を軽減することができる。
【0103】
請求項6にかかる発明によれば、請求項1〜5のいずれか1つの発明による効果に加えて、合成領域を表示手段によって視認することができるので、簡易な構成で操作者が所望の撮影動作を実行可能か否かを確認することができるという効果を奏する。
【0104】
請求項7にかかる発明によれば、請求項1〜6のいずれか1つの発明の効果に加えて、合焦領域が記録可能な範囲外にある場合、警告を発するので、簡易な構成により操作者が所望の撮影動作を実行可能か否かを知ることができるという効果を奏する。
【0105】
請求項8にかかる発明によれば、請求項1〜7のいずれか1つの発明の効果に加えて、合焦領域の移動のテキストデータによる記録を得ることができるので、操作者が後になって撮影意図・動作を容易に確認することができるという効果を奏する。
【0106】
請求項9にかかる発明によれば、撮像面上の合焦領域を追跡して映像記録時にその位置を関連させて記録可能な撮影が可能となるので、映像編集時に利便性の高い撮像方法を提供できるという効果を奏する。
【0107】
請求項10にかかる発明によれば、映像信号の類似度を算出してそれに基づいて撮像面上の合焦領域を追跡して映像記録時にその位置を関連させて記録可能な撮影が可能となるので、映像編集時に利便性の高い撮像方法を提供できるという効果を奏する。
【0108】
請求項11にかかる発明によれば、撮像装置の光学系の方向に基づいて撮像面上の合焦領域を追跡して映像記録時にその位置を関連させて記録可能な撮影が可能となるので、映像編集時に利便性の高い撮像方法を提供できるという効果を奏する。
【0109】
請求項12にかかる発明によれば、請求項9〜11のいずれか1つに記載された方法をコンピュータによって実行できるので、撮像装置を備えたコンピュータを用いて、合焦領域を追跡し撮影時に記録し映像編集時に利便性の高い撮像方式を提供できるという効果を奏する。
【図面の簡単な説明】
【図1】本発明にかかる実施の形態1によるデジタルスチルカメラの機能的構成を示すブロック図である。
【図2】実施の形態1にかかるデジタススチルカメラのレリーズSWの構成図である。
【図3】本発明の実施の形態1にかかるデジタルスチルカメラにおける静止画撮影手順を示すフローチャートである。
【図4】ファインダ又はLCDに表示された合焦領域を示す模式図であり、(a)は合焦領域が表示された場合であり、(b)は合焦領域が画面から外れて警告表示が出た場合を示す。
【図5】実施の形態1による動画撮影の流れを示すフローチャートである。
【図6】実施の形態1による撮像装置における合焦領域の追跡動作を示すフローチャートである。
【図7】実施の形態1による撮像装置における合焦領域の追跡動作を説明する説明図であり、(a)はテンプレートの一例であり、(b)は現画像の一例を示す模式図である。
【図8】実施の形態1にかかる撮像装置の合焦領域の記録動作を示す図である。
【図9】本実施の形態2によるデジタルスチルカメラの構成を示す機能的ブロック図である。
【図10】実施の形態2による合焦領域の追跡処理の流れを示すフローチャートである。
【図11】実施の形態2において想定する絶対座標系を示す模式図である。
【図12】実施の形態2によるカメラ座標系および画像座標系を示す模式図である。
【図13】実施の形態4によるプログラムを格納された記憶媒体を用いる説明図である。
【符号の説明】
1 デジタルスチルカメラ
2 システム制御部
3 撮像部
4 画像処理部
5 LCD表示制御部
6 LCD
7 ファインダー表示制御部
8 ファインダー表示器
9 記録メディアインターフェイス部
10 記録メディア
11 ハードキーインターフェイス部
15 レリーズSW
16 RL1
17 RL2
18 COM
21 ポインタ
22 インジケータ
23 テンプレート
24 現画像
25 CD−ROM
26 スマートメディア
Claims (12)
- 光学系を介して入射し撮像面に投影された被写体像を映像信号として出力する撮像手段と、
前記被写体像において焦点が検出された合焦領域を検出する合焦領域検出手段と、
前記被写体像において移動する前記合焦領域を追跡する追跡手段と、
前記映像信号を記録する映像信号記録手段と、
前記映像信号記録時における前記合焦領域を、前記記録時の映像信号に関連させて記録する付加情報記録手段と、
を備えたことを特徴とする撮像装置。 - 前記映像信号と、所定の時間前に撮像された映像信号との類似度を算出する類似度算出手段を、更に備え、
前記追跡手段は、前記類似度算出手段によって算出された類似度に基づいて前記合焦領域を追跡することを特徴とする請求項1に記載の撮像装置。 - 前記撮像装置の方向を検出する方向検出手段を、更に備え、
前記追跡手段は、前記方向検出手段によって検出された方向に基づいて前記合焦領域を追跡することを特徴とする請求項1または2に記載の撮像装置。 - 前記合焦領域検出手段の検出動作を一時停止させる焦点固定手段を、更に備えたことを特徴とする請求項1〜3のいずれか1つに記載の撮像装置。
- 前記追跡手段は、前記焦点固定手段の動作に同期して追跡動作を行うことを特徴とする請求項4に記載の撮像装置。
- 前記合焦領域を表示する表示手段を、更に備えたことを特徴とする請求項1〜5のいずれか1つに記載の撮像装置。
- 前記追跡手段は、前記合焦領域が前記撮像面上において映像信号の記録可能な範囲外にあると判定した場合、警告を発する警告手段を、更に具備することを特徴とする請求項1〜6のいずれか1つに記載の撮像装置。
- 前記付加情報記録手段は、前記合焦領域の追跡結果を記した追跡データを記録することを特徴とする請求項1〜7のいずれか1つに記載の撮像装置。
- 光学系を介して入射し撮像面に投影された被写体像を映像信号として出力する映像信号出力ステップと、
前記被写体像において焦点が検出された合焦領域を検出する合焦領域検出ステップと、
前記被写体像において移動する前記合焦領域を追跡する追跡ステップと、
前記映像信号を記録する映像信号記録ステップと、
前記映像信号記録時における前記合焦領域を、前記記録時の映像信号に関連させて記録する付加情報記録ステップと、
を含むことを特徴とする撮像方法。 - 光学系を介して入射し撮像面に投影された被写体像を映像信号として出力する映像信号出力ステップと、
前記被写体像において焦点が検出された合焦領域を検出する合焦領域検出ステップと、
前記映像信号と、所定の時間前に撮像された映像信号との類似度を算出する類似度算出ステップと、
算出された前記類似度に基づいて前記被写体像において移動する前記合焦領域を追跡する追跡ステップと、
前記映像信号を記録する映像信号記録ステップと、
前記映像信号記録時における前記合焦領域を、前記記録時の映像信号に関連させて記録する付加情報記録ステップと、
を含むことを特徴とする撮像方法。 - 光学系を介して入射し撮像面に投影された被写体像を映像信号として出力する映像信号出力ステップと、
前記被写体像において焦点が検出された合焦領域を検出する合焦領域検出ステップと、
前記光学系の主軸方向を検出する方向検出ステップと、
検出された前記光学系の主軸方向に基づいて前記合焦領域を追跡する追跡ステップと、
前記映像信号を記録する映像信号記録ステップと、
前記映像信号記録時における前記合焦領域を、前記記録時の映像信号に関連させて記録する付加情報記録ステップと、
を含むことを特徴とする撮像方法。 - 請求項9〜11のいずれか1つに記載された方法をコンピュータに実行させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002274108A JP2004112537A (ja) | 2002-09-19 | 2002-09-19 | 撮像装置、撮像方法、およびその方法を実行するプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002274108A JP2004112537A (ja) | 2002-09-19 | 2002-09-19 | 撮像装置、撮像方法、およびその方法を実行するプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004112537A true JP2004112537A (ja) | 2004-04-08 |
Family
ID=32270676
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002274108A Pending JP2004112537A (ja) | 2002-09-19 | 2002-09-19 | 撮像装置、撮像方法、およびその方法を実行するプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004112537A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008004996A (ja) * | 2006-06-20 | 2008-01-10 | Casio Comput Co Ltd | 撮像装置及びそのプログラム |
JP2008141666A (ja) * | 2006-12-05 | 2008-06-19 | Fujifilm Corp | 立体視画像作成装置、立体視画像出力装置及び立体視画像作成方法 |
JP2008187331A (ja) * | 2007-01-29 | 2008-08-14 | Nikon Corp | 画像追尾装置および撮像装置 |
CN100414975C (zh) * | 2005-04-21 | 2008-08-27 | 佳能株式会社 | 成像设备及其控制方法 |
JP2009109925A (ja) * | 2007-10-31 | 2009-05-21 | Panasonic Corp | 撮像装置及び携帯電話機 |
US8194158B2 (en) | 2007-07-27 | 2012-06-05 | Ricoh Company, Ltd. | Image processor, image processing method, digital camera, and imaging apparatus |
-
2002
- 2002-09-19 JP JP2002274108A patent/JP2004112537A/ja active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100414975C (zh) * | 2005-04-21 | 2008-08-27 | 佳能株式会社 | 成像设备及其控制方法 |
JP2008004996A (ja) * | 2006-06-20 | 2008-01-10 | Casio Comput Co Ltd | 撮像装置及びそのプログラム |
JP2008141666A (ja) * | 2006-12-05 | 2008-06-19 | Fujifilm Corp | 立体視画像作成装置、立体視画像出力装置及び立体視画像作成方法 |
JP2008187331A (ja) * | 2007-01-29 | 2008-08-14 | Nikon Corp | 画像追尾装置および撮像装置 |
US8194158B2 (en) | 2007-07-27 | 2012-06-05 | Ricoh Company, Ltd. | Image processor, image processing method, digital camera, and imaging apparatus |
JP2009109925A (ja) * | 2007-10-31 | 2009-05-21 | Panasonic Corp | 撮像装置及び携帯電話機 |
JP4699436B2 (ja) * | 2007-10-31 | 2011-06-08 | パナソニック株式会社 | 撮像装置及び携帯電話機 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2415513C1 (ru) | Устройство записи изображения, способ записи изображения, устройство обработки изображения, способ обработки изображения и программа | |
JP4999268B2 (ja) | 電子カメラ及びプログラム | |
JP5106142B2 (ja) | 電子カメラ | |
US8988535B2 (en) | Photographing control method and apparatus according to motion of digital photographing apparatus | |
JP5383356B2 (ja) | 撮像装置、情報処理装置、撮像装置の制御方法、情報処理装置の制御方法、及びコンピュータプログラム | |
CN104145475A (zh) | 图像处理设备,图像处理方法和程序 | |
JP4655708B2 (ja) | カメラ、カメラの手ブレ状態表示方法、及びプログラム | |
JP2004112550A (ja) | 撮像装置、カメラ、プログラム及び記録媒体 | |
JP4807582B2 (ja) | 画像処理装置、撮像装置及びそのプログラム | |
JP2004112537A (ja) | 撮像装置、撮像方法、およびその方法を実行するプログラム | |
JP2009260600A (ja) | 電子カメラ | |
JP2006203732A (ja) | デジタルカメラ、縦横撮影切替え方法、及びプログラム | |
JP2008148220A (ja) | 撮影装置、撮影方法及び制御プログラム | |
JP5962974B2 (ja) | 撮像装置、撮像方法、及びプログラム | |
JP4239954B2 (ja) | カメラ装置及び合焦領域制御プログラム | |
JP2011130378A (ja) | 画像記録装置及び画像記録方法 | |
JP2008172429A (ja) | 撮影装置 | |
JP4408397B2 (ja) | 撮影装置および撮影方法およびプログラム | |
JP2004104534A (ja) | 撮像装置 | |
JP2006019852A (ja) | 撮像装置およびズーム撮像方法およびプログラム | |
JP2011130198A (ja) | 撮像装置、その制御方法及びプログラム | |
JP2008172501A (ja) | 撮像装置 | |
JP2005311875A (ja) | 電子カメラ、カメラシステムおよび画像処理プログラム | |
JP5274223B2 (ja) | 撮像装置およびその制御方法 | |
JP2010050603A (ja) | 撮影装置およびプログラム |