JP4842919B2 - 表示装置、撮影装置、および表示方法 - Google Patents

Description

本発明は、画像を表示する表示装置、その表示装置を備えた撮影装置、および表示装置が画像の表示に用いる表示方法に関する。

近年、撮影の高速化や記録媒体の大容量化が進み連続的に撮影を行なって類似画像を一度に大量に取得して記録媒体に記録することができるようになってきている。このように同じ場所で連続的に撮影を行なうことができるようになると、その撮影場所においてユーザが望む一瞬を的確に捉えることが可能となる。

しかし、一瞬を的確に捉えるために大量の画像を撮影すると、ユーザは撮影後に記録媒体内の多くの類似画像を表示画面上に再生表示して多くの類似画像の中から必要な画像を見つけ出さなければならなくなってしまう。

そこで、できるだけ短時間のうちに必要な画像を見つけ出すことができるようにするために、表示画面上にマルチ画面で多数の類似画像を一度に表示する技術が提案されている（例えば特許文献１参照）。しかし、マルチ画面で類似画像が表示画面上に表示されても表示が小さ過ぎてユーザはマルチ画面上の各画像の良し悪しをうまく見分けることができない。

また、特許文献２では、多くの類似画像の類似度を見てある程度一致していると判定された画像については表示画面上に表示をしないようにする技術が提案されている。しかし、この特許文献２の技術では画像の類似度が撮影装置側で勝手に判定されてユーザが望む画像が表示されないケースが出てくる。

また、特許文献３には、多くの類似画像間のピントの合い具合をみて差がない場合には表示をしない技術が提案されているが、上記特許文献２と同様に画像の類似度が撮影装置側で勝手に判定されてユーザが望む画像が表示されないケースが出てくる。

さらに特許文献４には複数の画像の相関を取って類似画像であると判定された場合には音で類似画像であることをユーザに知らせる技術が提案されているが、表示画面上で画像を見ているときに類似画像であるかどうかが音で通知されても、結局はすべての画像を見て自分の望む画像を見つけ出さなければならない。
特開２００６−３１１４５１号公報 特開２００６−２１７５１０号公報 特開２００６−３１１０６０号公報 特開２００６−２３８２７７号公報

本発明は、上記事情に鑑み、ユーザが簡単な操作を行なうだけで多くの類似画像の中から必要な画像を短時間のうちに見つけ出すことができる表示装置、その表示装置を備える撮影装置、およびその表示装置が実施する表示方法を提供することを目的とする。

上記目的を達成するための本発明の表示装置は、
表示画面と、
複数の画像を取得しそれら複数の画像を映像的に重ねて上記表示画面上に表示する多重表示部と、
上記表示画面上の箇所を指定する指定操作を受ける箇所指定受付部と、
上記複数の画像それぞれについて、それら複数の画像における他の画像から区別される映像的特徴を有した特徴領域を解析する領域解析部と、
上記領域解析部によって解析された各特徴領域のうち、上記多重表示部によって上記複数の画像が多重化されて表示されているときに上記指定操作で指定された箇所が属している特徴領域に対応した画像を上記表示画面に表示する画像表示部とを備えたことを特徴とする。

上記本発明の表示装置によれば、上記領域解析部によって上記映像的特徴を有した特徴領域が解析され解析された特徴領域を含めて複数の画像が上記多重表示部によって映像的に重ねて表示画面上に表示される。ユーザによってその表示画面上の多重画像のいずれかの箇所が指定されると、その指定された箇所が属している特徴領域に対応した画像が上記画像表示部によって表示画面上に表示される。

このため、ユーザは、上記特徴領域が基準画像に重ねられて表示されている多重画像のいずれかの箇所つまり上記特徴領域のいずれかを操作により表示画面上で指定することで自分の望む画像を即座に見つけ出すことができる。

ここで、上記多重表示部が、表示画面上に類似画像を映像的に重ねて表示する場合に上記特徴領域どうしの重なりが存在する場合には、上記指定操作で指定された箇所が属している特徴領域が一意には特定できなくなる恐れが出てくる。

例えば、顔などの主要被写体を解析してその「主要被写体」の範囲を特徴領域とする構成にすると、主要被写体があまり動かずに特徴領域が重なってしまう恐れがあり、また、彩度などに着目して他の画像とは色彩が異なっている領域を解析して特徴領域にする構成にしても、同様に特徴領域が重なってしまう恐れがある。

そこで、上記多重表示部が、３つ以上の画像を取得して表示するものであり、
上記領域解析部が、更に、
上記多重表示部によって表示される画像のうち１つの画像を基準として用い、その基準以外の各画像についてその基準との差分画像を作成する差分作成部と、
上記差分作成部によって作成された各差分画像において差分が所定程度を越えている大差分箇所のうち他の差分画像における大差分箇所とは画像中の位置が非共通の大差分箇所の領域を上記特徴領域として算出する差分箇所比較部とを備えたものであると良い。

上記差分箇所比較部で、上記非共通の大差分箇所の領域を上記特徴領域として算出する構成であると、例えば３つの画像に対応する特徴領域それぞれを表示画面上に重ねずに多重表示することが可能となる。このため、上記３つの画像の３つの特徴領域と３つの画像とをそれぞれ一対一で関連付けることが可能となり、いずれかの特徴領域が指定されたことを受けてその特徴領域が属する画像を表示画面上に表示することができる。

また、上記構成によれば、上記差分箇所比較部が、例えば「主要被写体」とか、「彩度」とかというような、人間が着目する対象の推測を使わずに、単に他の画像とは相対的に違っている箇所を機械的に見つける処理を行なうことになるので、推測の不適切さによって特徴領域の算出に誤りが生じることがない。

上記箇所指定受付部としては、マウス等のポインティングデバイスを使って表示画面上のいずれかの箇所が指定される構成にしても良いが、上記箇所指定受付部が、上記指定操作として、上記表示画面上での操作を受け付けるものであることが好ましい。

上記箇所指定受付部が、上記表示画面上での操作を受け付ける、例えばタッチパネルであると、ユーザは表示画面上の画像を見てその表示画面上の指定箇所を指で簡単に指定することができる。

上記課題を達成する本発明の撮影装置は、被写体を撮影することにより該被写体の画像を画像データの形式で取得する撮像部と、
上記画像が表示される表示画面と、
上記撮像部による撮影で得られた複数の画像を取得しそれら複数の画像を映像的に重ねて上記表示画面上に表示する多重表示部と、
上記表示画面上の箇所をその表示画面上で指定する指定操作を受ける箇所指定受付部と、
上記多重表示部によって表示される複数の画像それぞれについて、それら複数の画像における他の画像から区別される映像的特徴を有した特徴領域を解析する領域解析部と、
上記領域解析部によって解析された各特徴領域のうち、上記多重表示部によって上記複数の画像が多重化されて表示されているときに上記指定操作で指定された箇所が属している特徴領域に対応した画像を上記表示画面に表示する画像表示部とを備えたことを特徴とする。

上記本発明の撮影装置によれば、例えば撮像部で撮影した類似画像を上記多重表示部で多重表示して、その多重表示された画像を見ながらいくつかの類似画像の中から自分の見たい画像を指定操作して直ぐに見つけ出すことができる。

一般に、カメラ等に搭載されている表示画面は小さいが、本発明のように多重表示を行なうことで表示された画像が見易く、指定も容易となる。

上記撮像部が、連続的な撮影で複数の画像を連続的に取得する連続撮影機能を有するものであり、
上記多重表示部が、上記連続撮影機能によって得られた複数の画像を取得して表示するものであると良い。

そうすると、上記多重表示部が表示する複数の画像を見て上記連続撮影機能によって得られた複数の画像の中から自分の見たい画像をすぐに見つけ出すことができる。

また、上記撮像部が、上記連続撮影機能における連続的な撮影の撮影間隔を設定され、その設定された撮影間隔で連続的に撮影するものであり、
上記多重表示部が、上記連続撮影機能によって得られた画像を上記撮影間隔に応じて間引き、残った複数の画像を表示するものであることが好ましい。

上記連続的な撮影の撮影間隔が短いと、特徴領域が互いに重なり合う可能性が高く、あるいは、互いに重複するような領域を特徴領域から排除すると残った特徴領域が画像上の極限られた領域となってしまい、所望の画像の撮影領域を指定する指定操作が難しくなってしまう。上記のように撮影間隔を間引き、残った複数の画像を表示すると指定操作を行い易くすることができる。

上記撮像部が、上記連続撮影機能における撮影のシャッタースピードを設定され、その設定されたシャッタースピードで連続的に撮影するものであり、
上記多重表示部が、上記連続撮影機能によって得られた画像を上記シャッタースピードに応じて間引き、残った複数の画像を表示するものであることが好ましい。

連続撮影機能によって得られた画像の各撮影回のシャッタスピードが長いと、被写体が移動体である場合には被写体がぶれてしまって、上記と同様に特徴領域の大きな重複や極限られた特徴領域を生じるため、所望の画像の特徴領域を指定するのが難しくなってしまう。そこで上記のようにシャッタスピードに応じて間引き、残った複数の画像を表示する構成にすると指定操作が行い易くなる。

また上記多重表示部によって表示される画像を切り換える切換操作を受け付ける切換受付部を備え、
上記多重表示部が、上記切換受付部で切換操作が受け付けられた場合に、現在表示している画像に替えて、上記連続撮影機能によって得られた画像から間引いた複数の画像を映像的に重ねて表示するものであることが望ましい。

上記のように間引いて表示画面上に特徴領域の画像を表示した場合には、所定の間隔ごとの特徴領域の画像が表示されてそれ以外の特徴領域の画像が表示されなくなる。そこで、上記切替受付部が切替操作を受け付けたときには、別の所定の間隔ごとの特徴領域の画像を表示することができるようにしておくと良い。

また上記課題を達成する本発明の表示方法は、
複数の画像を取得しそれら複数の画像を映像的に重ねて表示画面上に表示する多重表示ステップと、
上記複数の画像それぞれについて、それら複数の画像における他の画像から区別される映像的特徴を有した特徴領域を解析する領域解析ステップと、
上記表示画面上に前記複数の画像が多重化されて表示されているときに、該表示画面上の箇所を指定する指定操作を受ける箇所指定受付ステップと、
上記領域解析ステップで解析された各特徴領域のうち、上記指定操作で指定された箇所が属している特徴領域に対応した画像を上記表示画面に表示する画像表示ステップとを有することを特徴とする。

例えばパーソナルコンピュータで当該表示方法を実行すると、ハードディスク装置等に記憶されている多くの類似画像の中から自分の見たい画像を表示画面上の画像を見ながら容易に見つけ出すことができる。また、表示装置を備えた携帯機器に当該表示方法をプログラム等で実行させることは容易であるので、他の携帯機器においても当該表示方法は有用である。

以上説明した様に、ユーザが簡単な操作を行なうだけで多くの類似画像の中から必要な画像を短時間のうちに見つけ出すことができる表示装置、そのような撮影装置、およびそのような表示方法が実現する。

以下、図面を参照して本発明の実施の形態を説明する。

図１は、本発明の撮影装置の一実施形態であるデジタルカメラを斜め上前方から見た外観斜視図である。本実施形態のデジタルカメラは、撮影モードと再生モードとを有するものであって、再生モードに切り替えられると本発明にいう表示装置として動作する。

まず図１のデジタルカメラの構成と動作を説明し、その後でこのデジタルカメラの表示装置としての動作を説明する。

図１に示すデジタルカメラ１は、被写体光を捉えて画像データを生成するものである。このデジタルカメラ１の前面には、光学ズームレンズを内蔵したズーム鏡胴１１１と、撮影に同期してフラッシュ光を発する補助光発光窓１１２と、暗所など低コントラスト時のオートフォーカス（ＡＦ）精度を向上させるためのＡＦ補助光ランプ１１３等が備えられている。

また、このデジタルカメラ１の上面には、電源スイッチ１１４と、レリーズボタン１１５が備えられ、レリーズボタン１１５の周囲には回転式のモードダイヤル１１６が備えられている。モードダイヤル１１６はそのダイヤルを回すことにより静止画モードと動画モードとを切り換えることができるようになっている。

図２は、図１に示すデジタルカメラの背面を示す外観図である。

図２に示すデジタルカメラ１の背面には、ＬＣＤの表示画面１１７Ａ、ファインダ１２４、ＭＥＮＵ／ＯＫボタン１１８、ＤＩＳＰ／ＢＡＣＫボタン１１９、フォトモードボタン１２０、再生ボタン１２１、十字ボタン１２２、ズームボタン１２３などが備えられている。

ＬＣＤの表示画面１１７Ａは、撮影レンズにより被写体光を捉えて生成された画像データからなる画像、および種々の設定時における情報を表示するものである。本実施形態では、この表示画面１１７Ａ上にタッチパネル１３０が配備されている。

ＭＥＮＵ／ＯＫボタン１１８は、撮影時や再生時における各種のメニューをＬＣＤの表示画面１１７Ａに表示させたり、表示されたメニューの中から所望のメニューを選択し決定するためのボタンである。

ＤＩＳＰ／ＢＡＣＫボタン１１９は、ＬＣＤの表示画面１１７Ａに表示された再生画像の画面の状態を切り換えたり、ＭＥＮＵ／ＯＫボタン１１８等による操作を１つ前の状態に戻したり操作を取り消したりするためのボタンである。

フォトモードボタン１２０は、ピクセル数，感度，色味，プリント枚数等を設定するためのボタンである。

再生ボタン１２１は、後述する記録媒体１０５９に記録された撮影画像を、ＬＣＤ１１７の表示画面１１７Ａ上に再生表示するためのボタンである。

十字ボタン１２２は、様々なモードでその役割が変化し、例えば静止画モードではマクロボタンやフラッシュボタンであったり、再生モードではＬＣＤの表示画面１１７Ａに表示したサムネイルの選択ボタンであったりする。マクロボタンは、マクロ撮影を行なうか否かを切り換えるためのボタンであり、一度押下するとマクロ撮影モードとなり、再度押下するとマクロ撮影モードが解除される。フラッシュボタンは、押下する毎に、オートフラッシュ、赤目低減フラッシュ、強制フラッシュ、フラッシュ禁止、スローシャッタでのフラッシュ、およびオートフラッシュというようにフラッシュの状態を順繰りに切り換えるためのボタンである。

ズームボタン１２３は、右方に向けて押下することにより望遠側（テレ側）にズームインするとともに左方に向けて押下することにより広角側（ワイド側）にズームアウトするためのボタンである。

詳細は後述するが、表示画面上に配備されたタッチパネル１３０は、再生モードにあるときに動作する。

図３は、図１、図２のデジタルカメラ１内部の構成を示す構成ブロック図である。

本実施形態のデジタルカメラ１ではすべての処理がシステム制御回路１１０によって制御されている。このシステム制御回路１１０は、例えばマイクロコンピュータ（以降マイコンという）で構成される。

このシステム制御回路１１０の入力部には図１に示した電源スイッチ１１４、レリーズボタン１１５、十字ボタン１２２、再生ボタン１２１などが接続されていてそれらの操作子からの操作信号がこのシステム制御回路１１０に供給されてくると、それらの操作子のうちの少なくとも一つの操作に応じた処理が開始される。なお図３には、それらの操作子が一つに纏められて操作部として図示されている。

例えば、システム制御回路１１０は、撮影モード時に図１に示すデジタルカメラ１の背面側に配備されているズームボタン１２３の操作に応じてズーム制御手段１０３０に指示して撮影レンズ１０２１の中のズームレンズをズームボタン１２３の操作位置に応じた焦点距離の位置に移動させる制御を行なったり、電源スイッチ１１４の操作に応じて、レンズバリア制御手段１０４０に指示してレンズバリア１０４１を開ける制御を行なったりしている。

なお、上述した様に本実施形態のデジタルカメラ１はズーム鏡胴を備えたものであるので、撮影モード時に電源スイッチ１１４が操作され鏡胴が繰り出された後、ズームボタン１２３が操作されてズーム制御手段１０２０によって鏡胴の繰り出し量が変えられることによってズームレンズ１２３が移動して撮影レンズ１０２１の焦点距離が変更される。

またシステム制御回路１１０では、ＣＣＤ固体撮像素子（以降ＣＣＤという）１２０で生成された画像データに基づいてシステム制御回路１１０によりＴＴＬ（Ｔｈｒｏｕｇｈ Ｔｈｅ Ｌｅｎｓ）測距やＴＴＬ測光が行なわれている。ＴＴＬ測距にあっては、システム制御回路１１０が測距制御手段１０２０に指示して撮影レンズ１０２１の中のフォーカスレンズを光軸に沿って移動させることによりピントを移動させながらＣＣＤ１２０に所定のタイミングごとに画像データを生成させ生成させた画像データのコントラストを所定の間隔ごとに検出していくことによってピントの検出が行なわれている。以降の説明においては、このフォーカスレンズを光軸に沿って移動させることによりピントを遠い方から近い方へと移動させながらピントの検出を行なうことをＡＦサーチという。

また、ＴＴＬ測光にあっては、システム制御回路１１０がＣＣＤ１２０で生成された画像データの輝度を検出することによりＴＴＬ測光が行なわれている。

そのＴＴＬ測光の測光結果に応じては、システム制御回路１１０は、露光制御手段１０１０に指示してその露光制御手段１０１０に絞りの開口径を調節させている。

また被写界輝度が低輝度であるというＴＴＬ測光の結果を受けてシステム制御回路１１０は、図１の補助光発光窓から不図示の補助光発光装置による補助光を照射させてもいる。

次に図３を参照してこのデジタルカメラ１の撮影動作を簡単に説明する。

まず操作部内の電源スイッチ１１４が投入されると、システム制御回路１１０内の内部メモリに格納されている全体処理プログラムの手順にしたがってシステム制御回路１１０によってこのデジタルカメラ１全体の動作が統括的に制御され撮影処理が開始される。この例では内部バッテリＢｔの消費電力を抑制するために、操作部内の電源スイッチが投入されシステム制御回路１１０（このシステム制御回路１１０には内部バッテリＢｔからの電力が常に供給されている）により電源スイッチが投入されたことが検知されたときに初めて内部バッテリＢｔから電源選択手段１１１ａ、電源制御手段１１１ｂを介して各ブロックに電力が供給される。こうして各ブロックに電力が供給されると、デジタルカメラ１は動作状態になる。

なお、本実施形態では内部バッテリＢｔのほかに外部電源である交流電源ＡＣに接続することもできる構成になっており、交流電源ＡＣに接続されたときには電源供給判定手段１１１ｃ、電源選択手段１１１ａ、電源制御手段１１１ｂを経由してシステム制御回路１１０に交流電源ＡＣが接続されたことが通知されて内部バッテリＢｔから交流電源ＡＣに切り替えられて交流電源ＡＣから各部に電力が供給される構成になっている。

ここで、こうして動作状態になったデジタルカメラ１の撮影動作を構成とともに説明する。

図１に示すレンズ鏡胴１００内にはフォーカスレンズやズームレンズを含んだ撮影レンズ１０２１、さらに光量調節用の絞り１０１１などが配備された撮影光学系が内蔵されている。またこの例においてはレンズを保護するレンズバリア１０４１が配備されており、電源スイッチ１１４が投入されるとレンズバリア制御手段１０４０によってそのレンズバリア１０４１が解放されて図１に示すように鏡胴１００が繰り出され撮影レンズ１０２１が表面に露出する構成になっている。

この電源スイッチが投入されたときにモードダイヤルが撮影側に切り替えられていた場合には、まず鏡胴内の撮影レンズ１０２１を通ってＣＣＤ１２０に結像された被写体像を表わす画像データが、タイミング発生回路１２１からのタイミング信号に基づいて所定の間隔ごと（例えば１６．５ｍｓごと）に間引かれてＡ／Ｄ変換回路１３０へと出力される。出力された画像データがＡ／Ｄ変換回路１３０でアナログの画像データからデジタルの画像データに変換されさらにデジタルの画像データがメモリ制御部１１０ａの制御の下に画像処理回路１４０に導かれてこの画像処理回路１４０でＲＧＢの画像データがそれぞれＲ色信号、Ｇ色信号、Ｂ色信号に分離される。さらにＲ色信号，Ｇ色信号，Ｂ色信号それぞれに分離された各色信号がメモリ制御部１１１ａの制御の下にバスを介してシステム制御回路１１０や色温度検出回路１４１に導かれる。その色温度検出回路１４１で検出された色温度の情報がシステム制御回路１１０に供給されてシステム制御回路１１０内のホワイトバランス調整部でホワイトバランスが調整される。

さらにシステム制御回路１１０内のホワイトバランス調整部でホワイトバランスが調整された後、このデジタルカメラ１が備えるＬＣＤの表示画面１１７Ａ(図１参照)上に表示することができる様にシステム制御回路１１０内のγ補正部でγ補正が行なわれ、さらにＹＣ変換部でＹＣ信号への変換が行われてそのＹＣ信号が画像表示メモリ１５１内に記憶される。こうしてこの画像表示メモリ１５１内に記憶された１フレーム分のＹＣ信号がメモリ制御部１１０ａの制御の下に読み出されてＤ／Ａ変換回路１６０に導かれアナログの画像データに変換されてからＬＣＤ１１７に供給される。

この例では、ＬＣＤ１１７に所定の間隔ごとに新しい画像データを供給することができるようにするために画像表示メモリ１５１を設けて、その画像表示メモリ１５１に少なくとも２フレーム分の画像データを記憶することによりＬＣＤ１１７への画像データの供給タイミングをうまく調整することができるようにして所定の間隔ごとに画像が繋がる様に切り替えられて成る動画像の表示を可能ならしめている。

システム制御回路１１０では測距結果に基づいて測距制御手段１０２０に指示して常に合焦点に撮影光学系内のフォーカスレンズを配置させ続け、またズームスイッチ１２３が操作されたときにはズーム制御手段１０３０に指示してそのズームスイッチの操作によるズーム倍率に応じた位置に撮影レンズ１０２１の中のズームレンズを配置させ続けるので、表示画面上には常にピントのあった、ズームスイッチの操作位置に応じたズーム倍率のスルー画が表示される。

ここで、レリーズボタン１１５が半押しされると、システム制御回路１１０は、半押し時のＴＴＬ測光値に応じて露光制御手段１０１０に絞り１０１１の開口径を調節させるとともに、半押し時のＴＴＬ測距値に応じて測距結果手段１０２０に指示してフォーカスレンズを合焦位置に移動させる。こうしてシステム制御回路１１０が絞り１０４１の開口径を調節させフォーカスレンズを合焦位置に移動させる。

ここで、レリーズボタンが全押しされると、システム制御回路１１０は、タイミング発生回路１２１に指示してそのタイミング発生回路１２１に露光開始信号をＣＣＤ１２０に向けて供給させてＣＣＤ１２０に露光を開始させる。なお、撮影時に被写界輝度が低輝度であった場合にはシステム制御回路１１０は不図示の補助光発光装置に指示して補助光発光窓１１２から撮影補助光を発光させて撮影を実施する。その後、所定のシャッタ秒時が経過したときにシステム制御回路１１０は、タイミング発生回路１２１に指示を出して今度は露光終了信号をＣＣＤ１２０に向けて供給させる。その露光終了信号に同期してＣＣＤ１２０から露光が終了した後の画像データをＡ／Ｄ変換回路１３０へと出力させる。

後段のＡ／Ｄ変換回路１３０ではＣＣＤ１２０から出力されたアナログの画像データがデジタルの画像データに変換され、さらにこのデジタルの画像データがメモリ制御部１１１ａに制御されバスを経由してメモリ１８０に供給される。そのメモリ１８０にＣＣＤ１２０が備えるすべての画素からなる画像データが記憶された後、システム制御回路１１０の制御の下にその画像データが読み出されてシステム制御回路１１０内のホワイトバランス調整部で上記各色アンプに設定されたゲインでＲ信号・Ｇ信号・Ｂ信号それぞれの振幅が調整されることでホワイトバランスの調整が行なわれる。さらにγ補正やＹＣ信号への変換が行なわれた画像データが、バスを介して圧縮・伸張回路１９０に供給されＹＣ信号からなる画像データが圧縮されてメモリカード８００に記憶される。

こうしてシステム制御回路１１０によってデジタルカメラの撮影動作が制御され撮影により得られた画像データがメモリカード８００に記録される。なお本実施形態では、ＣＣＤ１２０に高フレームレートのものが採用されており、連写撮影においては１秒間に３０枚程度の連写画像を得ることが可能な構成になっている。

撮影モード時には以上のように本実施形態のデジタルカメラは動作する。

次に再生モードを説明する。

図２に示した再生モードボタン１２１が操作されて再生モードになったときにこのデジタルカメラは表示装置として動作する。つまり、再生モード時のデジタルカメラによって、本発明にいう表示装置の一例が構成される。本実施形態では、図３に示すシステム制御回路１１０とメモリ制御回路１１０ａと画像表示メモリ１５１とＤ／Ａ変換回路１６０とＬＣＤ１１７と圧縮・伸長回路１９０とメモリカード８００で本発明にいう表示装置の一例が構成される。

まず、再生ボタン１２１が操作されたことを受けてシステム制御回路１１０はメモリカード８００から圧縮画像データを読み出して圧縮伸張回路１９０に伸張を行なわせて画像データを復元させる。そしてシステム制御回路１１０ａからの指示を受けたメモリ制御回路１１０ａはその画像データをバスを経由して画像表示メモリ１５１に転送する。画像表示メモリ１５１に画像データが転送された後、メモリ制御回路１１０ａの制御の下にＤ／Ａ変換回路を介してＬＣＤ１１７に画像データが供給され画像データに基づく画像がＬＣＤ１１７の表示画面１１７Ａ上に表示される。

ここで、本実施形態では、メモリカード８００内の画像ファイルのヘッダ内のタグ領域に連写画像であることや撮影場所や撮影時刻が記録されていることを利用してシステム制御回路１１０がそのタグ領域内の情報に基づいてメモリカード８００から類似画像を読み出してメモリ制御回路１１０ａとＬＣＤ１１７と連携して表示画面１１７ａ上に複数の類似画像を多重表示する処理を実施している。

このときシステム制御回路１１０は、まずタグ領域内の情報を読み取って類似画像を読み出す。ここで類似画像が２つしかない場合には、マルチ画面で並べて表示する処理を実施する。この並べて表示された画像のいずれかがタッチパネルで指定されると、その指定された画像が表示画面全体上に表示される。

また、類似画像が３つ以上になると、マルチ画面表示では小さくて画像が見難くなるとともに指定操作もし難くなるので、類似画像を多重化した多重画像を表示している。またその多重画像上で各類似画像を区別してタッチパネルで指定するために、それらの類似画像それぞれについてそれらの画像における他の画像から区別される映像的特徴を有した特徴領域を解析する。

図４は、システム制御回路１１０が実施する解析を説明する図である。

図４の上段には、１例として３つの連写画像が示されており、図４の中段には、それら連写画像の最初の画像を基準にしてその基準画像と次の画像１との差分が所定程度を越えている大差分箇所、またその基準画像と次の次の画像２との差分が所定程度を越えている大差分箇所が示されており、図４の下段には、図４の中段の大差分箇所のうち他の差分画像における大差分箇所とは画像中の位置が非共通の大差分箇所の領域（以下この領域を特徴領域と称する）が示されている。

図４の上段にある３つの画像中に符号ａ１〜ａ３で示されている丸は、例えば動くボールであって連写ごとに背景はそのままでその丸で示されるボールの在る領域がａ１、ａ２、ａ３と撮影ごとに変わっている。

本実施形態においては、ユーザがこれらの類似画像の中から自分の見たい画像を指定操作して見るときにタッチパネルを指定操作することを考慮して、基準画像と、画像１と、画像２とが、それぞれ、タッチパネルのタッチ位置に対応するように各画像の特徴領域を解析して特徴領域を算出する処理を行なっている。

例えば、中段に示される大差分箇所は、画像１と基準画像との差分演算、画像２と基準画像との差分演算により得られ、この差分演算により得られた中段の２つの演算結果には、双方共に基準画像中のボールの領域ａ１が存在してしまう。

そこで、基準画像中のボールの領域ａ１は、各画像に共通の大差分箇所であるので、基準画像の特徴領域であるとしておいて、中段の差分画像からその基準画像の特徴領域になるボールの領域ａ１をさらに減算処理して画像１と画像２の特徴領域をそれぞれ算出している。

そうすると、下段に示すボールの領域ａ１，ａ２，ａ３が特徴領域となって、それぞれ、基準画像、画像１、画像２に対応する。このため、多重画像に対してタッチパネルでいずれかの特徴領域中の箇所が指定操作されたときにはその指定された箇所に対応する基準画像、画像１、画像２を一意に決定することができ、その対応する画像が表示されることとなる。

また、上記のような差分演算や減算処理を行なうと、基準画像、画像１、画像２に対応するそれぞれの特徴領域をフレームメモリに上書きする部分的な合成によって、それらの画像の多重画像を容易に生成することができる。

ここで、図５と図６を参照して、マイコンで構成されるシステム制御回路１１０の表示動作を説明する。

図５は、マイコンで構成されるシステム制御回路１１０内の機能を示す機能系統図であり、図６は、システム制御回路１１０の制御の下にＬＣＤ１１７の表示画面上に表示される多重画像を示す図である。

再生モードにおいては図５に示す様に、システム制御回路１１０内には領域解析部と多重表示部と画像表示部とがプログラムによって構成される。本実施形態では、領域解析部のプログラム中に、更に、本発明にいう差分作成部と差分箇所比較部とを構成するプログラムがそれぞれ記述されている。なお、多重表示部と画像表示部との双方のプログラム中には、ＬＣＤ１１７との間のハンドリングに関する記述がなされており、多重表示部１１０２のプログラムが実行されたときにはメモリ制御回路１１０ａの制御の下にマイコン内のフレームメモリから画像表示メモリ１５１に１フレーム分の画像が転送されてＬＣＤ１１７の表示画面上に多重画像が表示され、画像表示部１１０４のプログラムが実行されたときにはシステム制御回路１１０によってメモリカード８００から画像データが読み出された後、メモリ制御回路１１０ａによってその圧縮・伸長回路１９０内のフレームメモリから画像表示メモリ１５１に１フレーム分の画像データが転送されユーザにより指定された画像が表示画面１１７Ａ上に表示される。

システム制御回路１１０の処理を図５を参照して説明する。

まず、複数の画像（例えば３つの画像）をメモリカード８００から読み出して領域解析部１１０１内の上記差分作成部１１０１１で、多重表示部１１０２が表示する画像のうち１つの画像を基準として用いて基準以外の各画像について基準との差分画像を作成する。次に、差分箇所比較部１１０１２で、差分作成部１１０１１によって作成された各差分画像において差分が所定程度を越えている大差分箇所（図４の中段）のうち他の差分画像における大差分箇所とは画像中の位置が非共通の大差分箇所の領域を特徴領域として算出する（図４の下段）。

本実施形態においては、基準画像がマイコン内のフレームメモリＦＭに記録され、図４の下段の特徴領域の画像が得られる度にその特徴領域の画像がマイコン内のフレームメモリＦＭに上書きされ、特徴領域の画像が上書きされるときには例えば画像１の特徴領域の座標とメモリカード内の画像１とが関連付けられてその関連付けの情報がマイコン内部のレジスタＲｅｇに記憶される。

こうして、図４の下段の特徴領域がすべてフレームメモリＦＭ内に上書きされると、メモリ制御回路１１０ａによって画像表示メモリ１５１にそのフレームメモリＦＭ内の画像が転送されＬＣＤ１１７によって図６に示すように画像が映像的に重ねられて表示画面上に表示される。

そして図６の表示画面上に映像的に重ねられた画像が表示された後にタッチパネル１３０がユーザ操作され表示画面１１７Ａ上の箇所がいずれか一箇所指定されると、システム制御回路１１０内の箇所指定受付部１１０３がその指定操作を受けて画像表示部１１０４にその指定操作された箇所の座標を供給する。画像表示部１１０４では、その座標を下にマイコン内部のレジスタを参照してその箇所が属している特徴領域に対応した画像を、メモリカード８００から読み出して圧縮・伸長回路に供給し画像データを伸長させる。そしてメモリ制御回路がその画像データを画像表示メモリ１５１に転送する。ＬＣＤ１１７は、その画像表示メモリ１５１内の画像をＬＣＤ１１７の表示画面１１７Ａ上に表示する。

例えば図６の例では映像的に重ねられた画像のうちの図６に示す箇所が指で指定されると、その指で指定された箇所が属する特徴領域に対応する画像３がメモリカード８００から読み出されて表示画面上に表示されることになる。

最後に、システム制御回路１１０とメモリカード８００と圧縮・伸長回路１９０とメモリ制御回路１１０ａと画像表示メモリ１５１とＤ／Ａ変換回路１６０とＬＣＤ１１７とからなる表示装置のシステム制御回路１１０とメモリ制御回路１１０ａとＬＣＤ１１７とが実行する表示処理の処理手順を説明する。

図７は、システム制御回路１１０とメモリカード８００と圧縮・伸長回路１９０とメモリ制御回路１１０ａと画像表示メモリ１５１とＤ／Ａ変換回路１６０とＬＣＤ１１７とからなる表示装置のシステム制御回路１１０とメモリ制御回路１１０ａとＬＣＤ１１７とが実行する表示処理の処理手順を示すフローチャートを示す図である。

ステップＳ７０１で、システム制御回路１１０は、メモリカード８００から複数の類似画像を取得しその複数の画像それぞれについて、それら複数の画像における他の画像から区別される映像的特徴を有した特徴領域を解析して基準画像とその特徴領域の画像とをフレームメモリに記憶するとともにレジスタに特徴領域の座標を書き込む。ステップＳ７０２で、メモリ制御回路１１０ａが、フレームメモリ内に記憶した基準画像と上書きされた複数の特徴領域の画像とを画像表示メモリ１５１に転送してＬＣＤ１１７が表示画面上にその画像表示メモリ内の画像を表示する。ステップＳ７０３で基準画像に複数の特徴領域の画像が多重化されて表示画面上に表示されているときにその表示画面上の箇所を指定する指定操作を受けて、システム制御回路１１０は、内部のレジスタ内の座標を参照して指定操作で指定された箇所が属している特徴領域に対応した画像をメモリカード８００から読み出して圧縮伸長回路に供給して画像データを伸長させてフレームメモリ内に一旦記憶させる。メモリ制御回路１１０ａが圧縮伸長回路１９０内の画像データを画像表示メモリ１５１に転送した後にＬＣＤ１１７がその画像表示メモリ内の画像を表示画面に表示する。

以上説明した様に、本実施形態のデジタルカメラによれば、ユーザが表示画面上のタッチパネルを操作するという簡単な操作を行なうだけで自分の望む画像を短時間のうちに見つけ出すことができる。

ここで、本実施形態の撮像素子であるＣＣＤ１２０は、前述した様に高フレームレートでの読出が可能なものであるために、例えば非常に短い撮影間隔が設定されて移動体の連続撮影が行なわれた場合には、メモリカード８００内にその短い撮影間隔で連続的に撮影された膨大な枚数の画像が記録される。

図８は、連続撮影の撮影間隔が非常に短い場合の多重画像の概念を示す図である。図８の上から２段目には撮影間隔が非常に短い連写画像を単にそのまま重ね合せて多重表示した場合の例が示されている。

この図８に示す様に、撮影間隔が短い連写で得られる各画像中には、被写体の位置が少しずつずれて写っているため、図４の中段に示すような大差分箇所も少しずつずれた状態となり、それらの箇所を１つの画面上にすべて重ねると、図８の２段目に示すように各箇所が互いに大きく重なり合うこととなる。このため、図４で説明した処理で、共通部分を消去してしまうと、特徴領域としては、丸い大差分箇所の上下端の小さな部分が残るだけとなってしまい、多重表示も画像の指定操作も困難になる。そこで本実施形態では、システム制御回路１１０が、画像ファイルのタグ領域内のフレームレートを参照することで、別の例としては連写画像を何枚か読み出すことで撮影間隔がどの程度になるかを判定している。ここで、本実施形態では撮影間隔として１０ｆｐｓ、２０ｆｐｓ、３０ｆｐｓの３種類のみ選択可能であるものとする。

そしてシステム制御回路１１０が、撮影間隔が１０ｆｐｓであると判定したときには、大差分箇所どうしの重なりが小さい可能性が高いと考えられるので順次に１コマづつ画像を読み出して図４で説明した処理を実行し、また、撮影間隔が２０ｆｐｓであると判定したときには、大差分箇所どうしの重なりがやや大きい可能性が高いと考えられるので例えば２コマごとに画像をメモリカードから間引いて読み出して図４で説明した処理を実行し、撮影間隔が３０ｆｐｓであると判定したときには、大差分箇所どうしの重なりがかなり大きい可能性が高いと考えられるので例えば３コマごとに画像を読出して図４で説明した処理を実行する。

そして図４の処理を行なって特徴領域と画像とを対応させた後、メモリカードから間引いて読み出した画像を表示すると図８の下から２番目の図に示す様になる。

また、数コマごとに読み出す場合には、先頭から読み出さずに、２番目から読み出したり、３番目から読み出したりすることで、特徴領域と画像とのいろいろな対応を得ることができる。

そこで本実施形態では、システム制御回路１１０内に、本発明にいう切替受付部を構成するプログラムを記述して、例えば十字キー１２２の操作を受けて、図８の１番下に示す様に、現在表示している画像に替えて、連続撮影機能によって得られた画像から間引いた残りの別の複数の画像を映像的に重ねて表示する構成にして現在表示している多重画像中には表示されない部分を順次に表示することができる構成にしている。

つまり、本発明にいう、多重表示部によって表示される画像を切り換える切換操作を受け付ける切換受付部を備え、前記多重表示部が、前記切換受付部で切換操作が受け付けられた場合に、現在表示している画像に替えて、前記連続撮影機能によって得られた画像から間引いた複数の画像を映像的に重ねて表示するものであるということになる。

こうしておくと、ユーザが、自分の望む画像を見つけようとして特徴領域を指定する際に、いろいろな特徴領域を表示画面上で細かく指定することができるようになる。

図９は、システム制御回路１１０内の多重表示部が実行するステップＳ７０２の詳細を示すフローチャートである。

図７のステップＳ７００１の処理でメモリカード内の画像ファイルのタグ情報のうちのフレームレートを参照する。

ここで、ステップＳ７００２でそのフレームレートが１０ｆｐｓであると判定したときにはＹＥＳ側へ進んでステップＳ７０１２でメモリカードから順次に画像を読み出して、以降図７のフローの処理を実行する。

また、ステップＳ７００３でそのフレームレートが２０ｆｐｓであると判定したときにはＹＥＳ側へ進んでステップＳ７０１３でメモリカードから２コマおきに画像を読み出して、以降図７のフローの処理を実行する。

また、ステップＳ７００４でそのフレームレートが３０ｆｐｓであると判定したときにはＹＥＳ側へ進んでステップＳ７０１３でメモリカードから３コマおきに画像を読み出して、以降図７のフローの処理を実行する。このようにすると、図８の下方に示す様に、指定操作が容易な多重画像が得られる。

また、撮影間隔の他、連続撮影機能における各撮影開のシャッタースピードが遅くなってくると、図１０に示す様に被写体中の移動体がぶれて多重化によって移動体がつながった画像となってしまう。

図１０は、移動体がつながった多重画像を概念的に示す図である。

そこで、本実施形態では、システム制御回路１１０内の多重表示部１１０１が図１０に示す様に連続撮影機能によって得られた画像をシャッタースピードに応じて間引き、残った複数の画像を表示する構成となっている。

図１１は、システム制御回路１１０内の多重表示部１１０１（図５参照）が実行する表示処理の手順を示すフローチャートである。

図７のステップＳ７００１Ａの処理でタグ領域内のシャッタスピードを読み出して撮影画像のシャッタスピードがどの程度であるかを判定する。

ここでは、説明の便宜上、例えばシャッタスピードが１／２４０、１／１２０、１／６０のうちのいずれであるとして、ステップＳ７００２Ａでシャッタスピードが１／２４０であると判定したときにはＹＥＳ側へ進んでシャッタスピードが高速であるとしてステップＳ７０１２Ａでメモリカードから順次に画像を読み出して、以降図７のフローの処理を実行する。

また、ステップＳ７００３Ａでそのフレームレートが１／１２０であると判定したときにはＹＥＳ側へ進んでシャッタスピードがやや低速であるとしてステップＳ７０１３Ａでメモリカードから２コマおきに画像を読み出して、以降図７のフローの処理を実行する。

また、ステップＳ７００４Ａでそのフレームレートが１／６０であると判定したときにはＹＥＳ側へ進んで最低速であるとしてステップＳ７０１３Ａでメモリカードから３コマおきに画像を読み出して、以降図７のフローの処理を実行する。このようにすると、図１０の下方に示す様に指定操作が容易な多重画像が得られる。

この場合にも、フレームレートのときと同様にシステム制御回路１１０内に切替受付部を設けて十字キーの切替操作に応じて表示を切り替える構成にしておくと良い。

なお、上記実施形態では、複数の画像を、通常のデジタルカメラで撮影した連写画像を例にとって説明したが、本発明における複数の画像は防犯カメラやお天気カメラによる定点観測画像であっても良く、また動画中から抽出された画像であっても良く、またアーカイブなどに蓄積された類似画像であっても良い。また、本実施形態では、差分画像の特徴領域の画像のみを多重表示する構成にしたが、本発明では複数の画像を高速に切り替えながら表示して視覚的に「重ねる」表示であっても良いし、すべての画像を重ねて多重画像を作って表示しても良い。

また上記実施形態では箇所指定受付部としてタッチパネルを例に説明したが、本発明ではポインティングデバイスが用いられても良い。また本発明の表示装置は、パーソナルコンピュータ等であっても良く、本発明の表示方法は、そのパーソナルコンピュータ内に搭載されるアプリケーションプログラム中に反映されていても良い。

本発明の撮影装置の一実施形態であるデジタルカメラを斜め上前方から見た外観斜視図である。 図１に示すデジタルカメラの背面を示す外観図である。 図１、図２のデジタルカメラ１内部の構成を示す構成ブロック図である。 システム制御回路が実施する解析を説明する図である。 マイコンで構成されるシステム制御回路１１０内の機能を示す機能系統図である。 システム制御回路１１０の制御の下にＬＣＤ１１７の表示画面上に表示される多重画像を示す図である。 システム制御回路１１０が実行する表示処理の処理手順を示すフローチャートを示す図である。 ＣＣＤから高フレームレートの読出しが行なわれた場合の多重画像の表示例を示す図である。 システム制御回路１１０内の多重表示部が実行するステップＳ７０２の詳細を示すフローチャートである。 表示画面上の表示例を示す図である。 システム制御回路内の多重表示部が実行する表示処理の手順を示すフローチャートである。

符号の説明

１ デジタルカメラ
１１０ システム制御回路
１１０ａ メモリ制御回路
１１０１ 領域解析部
１１０２ 多重表示部
１１０３ 箇所指定受付部
１１０４ 画像表示部
１１７ ＬＣＤ
１１７Ａ 表示画面
１２０ ＣＣＤ
１３０ Ａ／Ｄ変換回路
１５０ タッチパネル
１５１ 画像表示メモリ

Claims (9)

1. 表示画面と、
   複数の画像を取得しそれら複数の画像を映像的に重ねて前記表示画面上に表示する多重表示部と、
   前記表示画面上の箇所を指定する指定操作を受ける箇所指定受付部と、
   前記複数の画像それぞれについて、それら複数の画像における他の画像から区別される映像的特徴を有した特徴領域を解析する領域解析部と、
   前記領域解析部によって解析された各特徴領域のうち、前記多重表示部によって前記複数の画像が多重化されて表示されているときに前記指定操作で指定された箇所が属している特徴領域に対応した画像を前記表示画面に表示する画像表示部とを備えたことを特徴とする表示装置。
2. 前記多重表示部が、３つ以上の画像を取得して表示するものであることと、
   前記領域解析部が、更に、
   前記多重表示部によって表示される画像のうち１つの画像を基準として用い、該基準以外の各画像について該基準との差分画像を作成する差分作成部と、
   前記差分作成部によって作成された各差分画像において差分が所定程度を越えている大差分箇所のうち他の差分画像における大差分箇所とは画像中の位置が非共通の大差分箇所の領域を前記特徴領域として算出する差分箇所比較部とを備えたものであることとを特徴とする請求項１記載の表示装置。
3. 前記箇所指定受付部が、前記指定操作として、前記表示画面上での操作を受け付けるものであることを特徴とする請求項１または２記載の表示装置。
4. 被写体を撮影することにより該被写体の画像を画像データの形式で取得する撮像部と、
   前記画像が表示される表示画面と、
   前記撮像部による撮影で得られた複数の画像を取得しそれら複数の画像を映像的に重ねて前記表示画面上に表示する多重表示部と、
   前記表示画面上の箇所を該表示画面上で指定する指定操作を受ける箇所指定受付部と、
   前記多重表示部によって表示される複数の画像それぞれについて、それら複数の画像における他の画像から区別される映像的特徴を有した特徴領域を解析する領域解析部と、
   前記領域解析部によって解析された各特徴領域のうち、前記多重表示部によって前記複数の画像が多重化されて表示されているときに前記指定操作で指定された箇所が属している特徴領域に対応した画像を前記表示画面に表示する画像表示部とを備えたことを特徴とする撮影装置。
5. 前記撮像部が、連続的な撮影で複数の画像を連続的に取得する連続撮影機能を有するものであり、
   前記多重表示部が、前記連続撮影機能によって得られた複数の画像を取得して表示するものであることを特徴とする請求項４記載の撮影装置。
6. 前記撮像部が、前記連続撮影機能における連続的な撮影の撮影間隔を設定され、その設定された撮影間隔で連続的に撮影するものであり、
   前記多重表示部が、前記連続撮影機能によって得られた画像を前記撮影間隔に応じて間引き、残った複数の画像を表示するものであることを特徴とする請求項５記載の撮影装置。
7. 前記撮像部が、前記連続撮影機能における撮影のシャッタースピードを設定され、その設定されたシャッタースピードで連続的に撮影するものであり、
   前記多重表示部が、前記連続撮影機能によって得られた画像を前記シャッタースピードに応じて間引き、残った複数の画像を表示するものであることを特徴とする請求項５記載の撮影装置。
8. 前記多重表示部によって表示される画像を切り換える切換操作を受け付ける切換受付部を備え、
   前記多重表示部が、前記切換受付部で切換操作が受け付けられた場合に、現在表示している画像に替えて、前記連続撮影機能によって得られた画像から間引いた複数の画像を映像的に重ねて表示するものであることを特徴とする請求項６または７記載の撮影装置。
9. 複数の画像を取得しそれら複数の画像を映像的に重ねて表示画面上に表示する多重表示ステップと、
   前記複数の画像それぞれについて、それら複数の画像における他の画像から区別される映像的特徴を有した特徴領域を解析する領域解析ステップと、
   前記表示画面上に前記複数の画像が多重化されて表示されているときに、該表示画面上の箇所を指定する指定操作を受ける箇所指定受付ステップと、
   前記領域解析ステップで解析された各特徴領域のうち、前記指定操作で指定された箇所が属している特徴領域に対応した画像を前記表示画面に表示する画像表示ステップとを有することを特徴とする表示方法。

Images