JP2010136241A - 撮像装置 - Google Patents

Abstract

【課題】撮影した画像データに対して、世界標準時等の絶対時刻、及び、撮影された場所のタイムゾーンに対応するローカル時刻を同時に記録するように構成した撮像装置を提供する。
【解決手段】撮像装置１００は、光学系及び撮像素子を有して画像データを出力する撮像部１０３と、画像データを記憶するメモリカード（記憶部）１０５と、基準となる絶対時刻を計時して、当該絶対時刻と利用者により設定されたタイムゾーンにおけるローカル時刻とを出力するタイムカウンタ１０７と、撮像部１０３を制御して被写体を撮影して画像データを取得し、当該画像データの撮影時の絶対時刻及びローカル時刻をタイムカウンタ１０７から取得して、画像データとともにメモリカード１０５に記憶する制御部１０１と、を有する。
【選択図】図１

Description

本発明は、撮像装置に関する。

従来、デジタルカメラ等の撮像装置で撮影された画像データには、この撮像装置の内部で管理している時計情報に基づく撮影時刻情報がＥｘｉｆ情報としてこの画像データとともに記録されていた。そして、この撮影時刻情報を元に、撮影時刻の時系列順に画像表示を行ったり、撮影頻度の粗密から撮影イベント毎に写真をクラスタリングして分類する技術（以下、「時間分類」と呼ぶ）が存在した（例えば、特許文献１参照）。

また、これとは別に、主に海外旅行等で標準時刻の異なる国へ行った際に、撮像装置の設定時刻を当該国の標準時（以下、「ローカル時刻」と呼ぶ）に合わせ、画像データに記録される撮影時刻データを撮影者の感覚に合わすようにする習慣がカメラユーザの間では一般的である。このように撮像装置に設定されている時刻を変更することにより、後から画像を確認、鑑賞する際に、画像データの撮影時刻と画像データの内容とが撮影者／鑑賞者の間で違和感無く一致することとなる（逆にこのようにローカル時刻を合わせないと、例えば、昼間に撮影した画像の撮影時刻が真夜中になってしまう等、人の感覚と異なる撮影時刻が画像データに記録されることとなる）。このような撮像装置の時刻設定をローカル時刻に合わせる習慣を利用し、ローカル時刻から決定される撮影時刻から、画像データが一日のうちでいつ頃撮られた写真かを判定し、「朝」、「昼」、「夜」等の、一般的な時間概念による時間帯により規定されるシーン毎の検索を可能とする技術が開示されている。
特開２００８−０６０５６５号公報

しかしながら、撮像装置の時刻を、タイムゾーンの異なる地域に移動するたびにそのタイムゾーンに応じたローカル時刻に変更するのは利用者にとって煩わしい行為であり、しばしば設定を忘れてしまう。そのため、上述のローカル時刻を用いたシーン毎の検索がうまく機能しない場合が存在する。仮に、ローカル時刻を利用者が逐次設定したとしても、タイムゾーンとして時刻を遡るように利用者が移動、撮影を行った場合、その後この撮像装置で撮影した画像データを撮影時刻順（若しくは撮影日時順）に閲覧しようとしても、実際の撮影順序と異なる順で写真が表示されてしまい、利用者に違和感を与えることになる。同様にローカル時刻を撮影時刻とした場合、本来ならば相対的に大きく異なる時刻に撮影された画像も、近接した時刻に撮影された画像と見なされることがあり、上述の時間分類がうまく機能しない場合が存在する。このように、従来の撮像装置では、タイムゾーンの異なる地域に移動しながら撮影を行う場合、画像データの分類処理が利用者の意図通りに機能しないという課題があった。

本発明はこのような課題に鑑みてなされたものであり、撮影した画像データに対して、世界標準時等の絶対時刻（基準時刻）、及び、撮影された場所のタイムゾーンに対応するローカル時刻を同時に記憶するように構成した撮像装置を提供することを目的とする。

前記課題を解決するために、本発明に係る撮像装置は、光学系及び撮像素子を有し、光学系で結像された被写体の像を撮像素子により検出して画像データを出力する撮像部と、画像データを記憶する記憶部と、基準となる基準時刻を計時して、当該基準時刻と利用者により設定されたタイムゾーンにおけるローカル時刻とを出力するタイムカウンタと、撮像部を制御して被写体を撮影して画像データを取得し、当該画像データの撮影時の基準時刻及びローカル時刻をタイムカウンタから取得して、画像データとともに記憶部に記憶する制御部と、を有する。

このような撮像装置において、タイムカウンタは、基準時刻及びローカル時刻の各々を計時するように構成されることが好ましい。あるいは、タイムカウンタは、基準時刻に対するローカル時刻の差を記憶し、基準時刻と差とからローカル時刻を生成して出力するように構成されることが好ましい。

また、このような撮像装置は、ＧＰＳ衛星からの電波を受信して地理・時刻情報を出力するＧＰＳレシーバを有し、制御部は、地理・時刻情報に含まれる時刻情報を用いてタイムカウンタの基準時刻を設定するように構成されることが好ましい。

また、このような撮像装置は、記憶部から画像データ及び撮影時の基準時刻を読み出し、当該撮影時の基準時刻に基づいて、この撮影時の基準時刻が近い画像から構成されるクラスタであって、所属する画像枚数が閾値以下となるクラスタを生成するクラスタリング処理を実行し、画像データに当該クラスタを関連付ける時間分類処理実行部を有することが好ましい。

さらに、このような撮像装置は、記憶部からクラスタ毎に画像データを読み出して表示する画像表示部を有することが好ましい。

また、このような撮像装置において、時間分類処理実行部は、クラスタの各々に所属する画像枚数が、画像表示部に表示可能な最大表示画像枚数以下となるように、生成するクラスタの数を制御することが好ましい。

また、このような撮像装置において、時間分類処理実行部は、生成されたクラスタのうち、所属する画像枚数が画像表示部に表示可能な最大表示画像枚数を超えたクラスタに対して、クラスタリング処理を再度実行して、当該クラスタを複数のクラスタに分割し、最終的に生成される全クラスタの所属画像枚数を、最大表示画像枚数以下とすることが好ましい。

また、このような撮像装置において、時間分類処理実行部は、処理対象画像の枚数をｍとし、画像表示部に表示可能な最大表示画像枚数をｎとして、ｃｅｉｌｉｎｇ（・）を切り上げ演算処理としたとき、生成する前記クラスタの数ｃを、次式
ｃ＝ｃｅｉｌｉｎｇ（ｍ／ｎ）
により決定することが好ましい。

また、このような撮像装置において、時間分類処理実行部は、所属する画像枚数が画像表示部に表示可能な最大表示画像枚数を超えたクラスタに対してクラスタリング処理を再度実行するときに、最大表示画像枚数を超えたクラスタに属する画像枚数をｋとし、画像表示部に表示可能な最大表示画像枚数をｎとして、ｃｅｉｌｉｎｇ（・）を切り上げ演算処理としたとき、当該クラスタを分割して生成するクラスタの数ｃ_kを、次式
ｃ_k＝ｃｅｉｌｉｎｇ（ｋ／ｎ）
により決定することが好ましい。。

また、このような撮像装置において、時間分類処理実行部は、画像表示部に表示可能な最大表示画像枚数をｎとしたときに、クラスタリング処理の結果、所属する画像枚数がｎ／２以下の複数のクラスタが隣接するときに、所属する画像枚数がｎ以下となるように当該クラスタを結合して、１つのクラスタとすることが好ましい。

また、このような撮像装置は、画像データが撮影された時間帯と、当該時間帯におけるシーンとが対応付けられたシーンテーブルを記憶するデータベースと、記憶部から画像データ及び撮影時のローカル時刻を読み出し、当該撮影時のローカル時刻に基づいて、シーンテーブルからシーンを決定して、画像データに当該シーンを関連付けるシーン分類処理実行部と、を有することが好ましい。

本発明に係る撮像装置を以上のように構成すると、撮影した画像データに対して、世界標準時等の絶対時刻（基準時刻）、及び、撮影された場所のタイムゾーンに対応するローカル時刻を同時に記録されるので、これらの画像データに対して時間分類処理及びシーン分類処理を実行したときに所望の実行結果を得ることができる。

［第１の実施形態］
以下、本発明の好ましい実施形態について図面を参照して説明する。まず、図１を用いて撮像装置１００の構成について説明する。図１に示すように、この撮像装置１００は、装置全体の作動を制御する制御部１０１と、この制御部１０１の指示により画像評価処理等を行うＣＰＵ１０２と、図示しない光学系及び撮像素子を有し、この光学系で結像された被写体の像を検出して画像データとして出力する撮像部１０３と、レリーズボタン１０４と、撮像部１０３で撮像された画像データ及びこの画像データの撮影時刻情報等が関連付けられて記憶されるメモリカード（記憶部）１０５と、ＧＰＳ衛星からの電波を受信して地理・時刻情報を出力するＧＰＳレシーバ１０６と、内部に図示しないタイマーを保持するタイムカウンタ１０７と、時刻を補正するための情報等が記憶されるデータベース１０８と、メモリカード１０５に記憶されている画像データに対する時間分類処理（クラスタリング処理）を実行する時間分類処理実行部１０９と、制御部１０１に時間分類処理の開始指示を与える時間分類開始スイッチ１１０と、同じくメモリカード１０５に記憶されている画像データに対するシーン分類処理を実行するシーン分類処理実行部１１１と、制御部１０１にシーン分類処理の開始指示を与えるシーン分類開始スイッチ１１２と、クラスタリング処理の結果や途中計算などを一時的に保存する作業領域（Ｗｏｒｋ ＲＡＭ）１１３と、時間分類結果やシーン分類結果に基づいて画像を表示する画像表示部１１４と、から構成される。

メモリカード１０５において、画像データは図２のようなデータ構造で管理されており、画像データのファイル名が記憶されるファイルカラム１０５ａと、この画像データの撮影時刻として絶対時刻が管理される撮影時刻（絶対）カラム１０５ｂと、撮影時刻としてローカル時刻が管理される撮影時刻（ローカル）カラム１０５ｃと、後述する時間分類処理の結果が記憶されるクラスタ番号カラム１０５ｄと、シーン分類処理の結果が記憶されるシーンカラム１０５ｅと、を有し、１つの画像データが１レコードとして管理される。なお、画像ファイル毎に、画像データそのものが管理される画像カラム１０５ａと、ヘッダ領域、撮影時刻（絶対時刻、ローカル時刻）などの属性情報が記憶される属性情報領域（上述のカラム１０５ａ〜１０５ｅに相当）とを一つのファイルとして構成するようにしてもよい。このようなデータ構造としては、日本電子工業振興協会（ＪＥＩＤＡ）で規格されたＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）等が知られている。

以下、このような撮像装置１００で実行される処理について、図２を合わせて用いて説明する。

（時刻同期処理）
撮像装置１００の電源が投入されると、この撮像装置１００に設けられたＧＰＳレシーバ１０６は電源投入直後から一定周期にて図示しないＧＰＳ衛星からの電波を受信して地理・時刻情報を出力する。このＧＰＳレシーバ１０６が出力する地理・時刻情報に含まれる時刻情報は、世界標準時（ＵＴＣ）とほぼ同期が取れた時刻となっている。ここで、”ほぼ”と記載したのは、ＧＰＳ衛星から受信する時刻データは、地球の自転を基準としたグリニッジ標準時（ＧＭＴ）と呼ばれる時刻であり、現在、世界標準時として用いられている（電子時計によりカウントされている）ＵＴＣと２００８年現在において１４秒ほどの誤差を含んでいるためである。そのため、この撮像装置１００のデータベース１０８には、地域及び閏秒に関する補正に応じたＵＴＣとの差分データ（以下、「タイムゾーンデータ」と呼ぶ）が格納されており、ＧＰＳレシーバ１０６から得られる時刻情報と、利用者により予め設定された地域情報（タイムゾーン）と、に基づいてデータベース１０８から取得したタイムゾーンデータを組み合わせて、受信地域に応じた時刻情報を取得することができる。

制御部１０１は、電源が投入されると、ＧＰＳレシーバ１０６がＧＰＳ衛星からの電波を受信したか否かを判断し（ステップＳ２００）、受信している場合には、上述のタイムゾーンデータを参照し（ステップＳ２０１）、受信地域（タイムゾーン）に応じた時刻データをローカル時刻の初期値として設定し、また、ＧＰＳ衛星から受信した時刻情報を絶対時刻（基準時刻）の初期値として各々タイムカウンタ１０７に設定する（ステップＳ２０２）。タイムカウンタ１０７は、内部のタイマーの計時変化に伴って、ローカル時刻と絶対時刻の更新を行う。撮像装置１００が起動中に、ＧＰＳレシーバ１０６がＧＰＳ衛星から地理・時刻情報を取得する毎に、制御部１０１は、上述の絶対時刻とローカル時刻の更新処理を行うため、この撮像装置１００が起動中は、常時、タイムカウンタ１０７に記録されているローカル時刻及び絶対時刻が、ＧＰＳ衛星から受信される時刻情報と同期が取れている状態に維持される。なお、ステップＳ２００において、ＧＰＳ衛星からの電波を受信できていない場合は、次のステップＳ２０３に移行する。

（撮影時処理）
この撮像装置１００において、制御部１０１は、レリーズボタン１０４が利用者により押下されたか否かを判断し（ステップＳ２０３）、レリーズボタン１０４が押下されたと判断すると、撮影処理に移行し、撮像部１０３を制御して、光学系により撮像素子に結像された被写体の像を画像データとして取得し、メモリカード１０５に保存する（ステップＳ２０４）。この際、図３に示すように、画像データの付帯情報として、この画像データのファイル名をファイル名カラム１０５ａに記録し、レリーズボタン１０４が操作されたとき（撮影時）の撮影時刻として、タイムカウンター１０７に保存されている絶対時刻を撮影時刻（絶対）カラム１０５ｂに、また、ローカル時刻を撮影時刻（ローカル）カラム１０５ｃに記録する。このような構成とすることにより、撮影時刻（絶対）カラム１０５ｂには、撮影時の絶対時刻が記録され、撮影時刻（ローカル）カラム１０５ｃには、利用者により設定されたタイムゾーンに応じた時刻（すなわち、ローカル時刻）が記録されることになる。なお、制御部１０１は、ステップＳ２０３でレリーズボタン１０４が押下されていないと判断すると、次に時間分類処理に移行する。

（時間分類処理）
制御部１０１は、時間分類開始スイッチ１１０が選択されたか否かを判断し（ステップＳ２０５）、この時間分類開始スイッチ１１０が選択されたと判断すると、ＣＰＵ１０２に対し、時間分類処理開始命令を発行する（ステップＳ２０６）。一方、制御部１０１は、ステップＳ２０５で時間分類開始スイッチ１１０が選択されていないと判断すると、次にシーン分類処理に移行する。以下に、図４のフローチャートを合わせて用いて撮像装置１００による時間分類処理について説明する。

ＣＰＵ１０２は、時間分類処理開始命令を受信すると、メモリカード１０５に格納された画像データに関連付けられて撮影時刻（絶対）カラム１０５ｂに記憶されている撮影時刻情報（絶対時刻）をファイル名１０５ａに記憶されている画像データのファイル名（例えば、0001.jpgなど）と対応づけて、全データ分読み出す（ステップＳ３００）。この画像データのファイル名と対応づけられた撮影時刻情報（絶対時刻）の全体を「撮影時刻情報データセット」と呼ぶ。なお、この撮影時刻情報データセット、以下で説明するクラスタリングにおける演算結果、及びクラスタリング結果などの各種データは、作業領域１１３に一時的に記憶され、これらを各部が使用することにより、各部間のデータの受け渡しが行われる。

次に、ＣＰＵ１０２は、この撮影時刻情報データセットを時間分類処理実行部１０９に渡し、クラスタリング実行命令を時間分類処理実行部１０９に対して発行する（ステップＳ３１０）。時間分類処理実行部１０９は、与えられた撮影時刻情報データセットを基に時間分類処理（クラスタリング処理）を実行する。すなわち、図８に示すように、撮影時刻情報データセットを基に画像データを分類し、撮影時刻が近いもの同士でまとめて複数のクラスタを生成する。生成されたクラスタ数と、各撮影時刻情報（絶対時刻）に関連づけられた画像データが何れのクラスタに属するかを表す計算結果（以下、クラスタリング結果と呼ぶ）とをＣＰＵ１０２に返す（ステップＳ３２０）。ＣＰＵ１０２は、クリスタリング結果を取得し（ステップＳ３３０）、受け取ったクラスタリング結果を基に、生成された全クラスタにクラスタ番号を昇順に付与するとともに、メモリカード１０５の各画像データに対してこれらの画像データ毎に、属するクラスタのクラスタ番号を対応付けてクラスタ番号カラム１０５ｄに記憶する（ステップＳ３４０）。例えば、本実施形態では、図８に示すように、画像が５つのクラスタにクラスタリングされ、各クラスタに、各々１〜５のクラスタ番号が付与されている。

ＣＰＵ１０２は、以上の時間分類処理（ステップＳ３００〜Ｓ３４０）が終了した後、その旨を制御部１０１に通知する。制御部１０１はＣＰＵ１０２から時間分類処理終了の通知を受け取った段階で、メモリカード１０５にアクセスして撮影時刻情報（絶対時刻）を含む画像データと、クラスタ番号とを全て読み込み、画像表示部１１４に対して各クラスタ毎に、同一クラスタにクラスタリングされた画像集合を順次表示するよう命令及び各画像データを送信する（ステップＳ３５０）。

画像表示部１１４は、制御部１０１から時間分類結果（クラスタリング結果）表示の命令及び画像データを受け取ると、予め決められた表示形式（画面レイアウト）に従ってクラスタリング結果であるところの各画像集合を、順次表示する（ステップＳ３６０）。この画像の表示は、例えば、最大表示枚数ｎ＝２とした場合、図９（ａ）に示すような画面レイアウトに従って行われる。すなわち、画面１０の左右に２枚の画像２０が並んで表示される。以上が、画像評価装置１００による時間分類処理の動作である。

また、図９（ｂ）に、ｎ＝３の場合の画面レイアウトの例を、図９（ｃ）に、ｎ＝５の場合の画面レイアウトの例を示す。なお、以上では最大画像表示枚数ｎに応じて画面レイアウトを決定しているが、図９（ａ）〜（ｃ）に示す画像レイアウトを、各クラスタのクラスタサイズに応じて使い分けても良い。例えば、最大画像表示枚数ｎ＝５である場合に、クラスタサイズが２のクラスタについては、図９（ａ）に示す画面レイアウトを用いて画像を表示し、クラスタサイズが３のクラスタについては、図９（ｂ）に示す画面レイアウトを用いて画像を表示し、クラスタサイズが４及び５のクラスタについては、図９（ｃ）に示す画面レイアウトを用いて画像を表示する。このようにクラスタサイズに応じて画面レイアウトを変えて画像を表示することにより、画像表示部１１４への効率的な画像表示が可能となる。ここで、画像の表示方法は、選択されたレイアウトに定義されている形式（大きさや位置）に従う。

（クラスタリング処理）
ここで、時間分類処理実行部１０９が、撮影時刻情報（絶対時刻）を基に行うクラスタリング処理（ステップＳ３２０）の手順に関して、図５のフローチャートを基に説明する。時間分類処理実行部１０４は、ＣＰＵ１０２から撮影時刻情報データセットを取得し（ステップＳ３２１）、これらに対して、凝集的クラスタリングの一種である階層的クラスタリングを実行する（ステップＳ３２２）。この階層的クラスタリングに関しては、従来公知の手法を用いることができる。階層的クラスタリングを行った結果、特徴量に対応した画像データに対して、図６に示すような系統図が作成される。

次に、生成するクラスタ数を決定する。まず、画像表示部１１４での最大表示画像枚数をｎとし、メモリカード１０５から読み出した画像枚数をｍとしたとき、生成するクラスタ数ｃを下記式（１）により決定する。ここで、ｃｅｉｌｉｎｇ（・）は切り上げ演算を意味する。この処理により、例えば、最大表示画像枚数ｎ＝２、画像枚数ｍ＝８の場合、クラスタ数ｃ＝４が算出される。

ｃ＝ｃｅｉｌｉｎｇ（ｍ／ｎ） （１）

このクラスタ数ｃを基に、得られるクラスタ数がｃとなるよう系統図を切断して、クラスタリング結果を得る。例えば、上述のように画像枚数ｍ＝８の場合に、ｃ＝４となるよう系統図を切断した時のクラスタリング結果を図７に示す（以上、ステップＳ３２３）。

ここで、図７において、｛0006.jpg，0007.jpg，0008.jpg｝からなるクラスタは、画像枚数すなわちクラスタサイズｋが、画像表示部１１４の最大表示画像枚数ｎ＝２を超えるクラスタサイズとなっている。時間分類処理実行部１０９では、生成したクラスタサイズｋが最大表示画像枚数ｎ以下か判断し（ステップＳ３２４）、当該クラスタサイズｋが最大表示画像枚数ｎを超えるクラスタに関しては、そのクラスタに対し、再度階層的クラスタリング（系統図の切断）を実施する（ステップＳ３２５）。その際の生成するクラスタ数ｃ_kは次式（２）で決定する。

ｃ_k＝ｃｅｉｌｉｎｇ（ｋ／ｎ） （２）

この図７に示す例の場合はｋ＝３、ｎ＝２であるため、ｃ_k＝ｃｅｉｌｉｎｇ（３／２）＝２となる。従って、４つのクラスタのうち、１つのクラスタが２つに分割されることになるので、この時点では、生成される全クラスタ数ｃは５となる。最終的に全てのクラスタのクラスタサイズがｎ以下になるまで、ステップＳ３２５の処理を繰り返す。図８に最終的に得られたクラスタリング結果の例を示す。ステップＳ３２４で生成した全クラスタのサイズｋが最大表示画像枚数ｎ以下であると判断されると、時間分類処理実行部１０９は、クラスタリング終了通知及びクラスタリング結果を制御部１０１に返す（ステップＳ３２６）。

（クラスタの結合処理）
なお、以上の実施形態では、クラスタリング処理において、クラスタサイズｋが最大表示画像枚数ｎ以下となるようクラスタリングを繰り返してクラスタを更に分割しているが、時間的に隣接するクラスタに属する画像のクラスタサイズが、ｎ／２等一定の閾値以下の場合、これらクラスタサイズが閾値以下の隣接するクラスタ同士をマージ（結合）して、クラスタサイズがｎに近いクラスタを生成するようにしても良い。この結合により、画像表示部１１４に画像数の少ない画面が多く表示されることがなく、画面数を少なくしてレイアウト性に優れたものとすることができ、またユーザが閲覧し易くなる。なお、当該クラスタと、その両隣のクラスタのクラスタサイズが閾値以下の場合のように、クラスタサイズが閾値以下のクラスタが３つ以上続く場合は、時間的に最も近いクラスタ同士を結合する

さらに、本実施形態ではクラスタリング手法として階層的クラスタリングを用いたが、クラスタリング手法としては、生成するクラスタの個数を制御できるものであれば従来公知の何れの手法を用いても良く、例えば階層的クラスタリングの代わりにＫ−ｍｅａｎｓクラスタリングや自己組織化マップ等のアルゴリズムを用いても良い。

以上より、従来は撮影間隔に関して固定閾値を持つことが前提であったため、様々なシチュエーションにより変化する撮影間隔に対応することが難しかったが、本実施形態の撮像装置１００によれば、撮影時刻の粗密に応じて画像データをクラスタリングすることができる。このとき、クラスタサイズに関しての制限が無い場合では、例えばクラスタリング結果を１画面に表示することを考えた際に、せっかく時間に対応したクラスタリング（すなわち、撮影イベントに応じた画像データ毎にグルーピングしたクラスタリング）を行ったとしても、その結果を画像表示する際に、画像出力デバイスの同時出力可能な画像枚数により制約されてしまうため、クラスタリング結果を無視した画像表示がなされてしまうことが考えられる。しかし、本実施形態の画像評価装置においては、クラスタサイズが画面の最大表示枚数以下になるよう、クラスタリングを繰り返すことにより、或いは、最大表示画像枚数に近くなるように時間的に隣接するクラスタを結合することにより、撮影時間の近い同一イベントを表す画像集合を一度に表示することが可能となる。

（時間帯と関連付けられたシーン分類処理）
制御部１０１は、シーン分類開始スイッチ１１２が選択されたか否かを判断し（ステップＳ２０５）、このシーン分類開始スイッチ１１２が選択されたと判断すると、ＣＰＵ１０２に対し、シーン分類処理開始命令を発行する（ステップＳ２０８）。一方、制御部１０１は、ステップＳ２０７でシーン分類処理スイッチ１１２が選択されていないと判断すると、電源切断処理に移行する。以下に、図１０のフローチャートを合わせて用いてシーン分類処理について説明する。

ＣＰＵ１０２は、このシーン分類開始命令を受信すると、メモリカード１０５に格納された画像データに関連付けられて撮影時刻（ローカル）カラム１０５ｃに記憶されている撮影時刻情報（ローカル時刻）をファイル名１０５ａに記憶されている画像データのファイル名（例えば、0001.jpgなど）と対応づけて、全データ分読み出す（ステップＳ４００）。ここでも、この画像データのファイル名と対応づけられた撮影時刻情報（ローカル時刻）の全体を「撮影時刻情報データセット」と呼ぶ。また、この撮影時刻情報データセット、以下で説明するシーン分類における演算結果、及びシーン分類結果などの各種データは、作業領域１１３に一時的に記憶され、これらを各部が使用することにより、各部間のデータの受け渡しが行われる。

次に、ＣＰＵ１０２は、この撮影時刻情報データセットをシーン分類処理実行部１１１に渡すとともに、シーン分類実行命令をシーン分類処理実行部１１１に対して発行する（ステップＳ４１０）。そして、シーン分類処理実行部１１１は、与えられた撮影時刻情報データセットを基にシーン分類処理を実行する。ここで、シーン分類とは、図１１に示すような時間帯１１５ａとシーン１１５ｂとを対応付けたテーブル（以下、「シーンテーブル１１５」と呼ぶ）を用いて、この撮像装置１００で撮影した画像データの撮影時刻（ローカル）を元に、シーンに応じて分類する処理を意味する。なお、シーンテーブル１１５は、例えば、データベース１０８に予め記憶されている。

シーン分類処理実行部１１１は、撮影時刻情報データセットに含まれる画像データ毎の撮影時刻情報（ローカル時刻）とシーンテーブル１１５の時簡帯１１５ａとを比較し、当該撮影時刻情報（ローカル時刻）がどのシーン１１５ｂに該当するのかを特定し（ステップＳ４２０）、メモリカード１０５の各画像データに対してこれらの画像データ毎に、特定されたシーンを対応付けてシーンカラム１０５ｅに記憶する（ステップＳ４３０）。そして、ＣＰＵ１０２は、以上のシーン分類処理（ステップＳ４００〜Ｓ４３０）が終了した後、その旨を制御部１０１に通知する。制御部１０１はＣＰＵ１０２からシーン分類処理終了の通知を受け取った段階で、メモリカード１０５にアクセスして撮影時刻情報（ローカル時刻）を含む画像データと、シーンとを全て読み込み、画像表示部１１４に対して各シーン毎に、同一シーンに分類された画像集合を順次表示するよう命令及び各画像データを送信する（ステップＳ４４０）。画像表示部１１４は、制御部１０１からシーン分類結果表示の命令及び画像データを受け取ると、予め決められた表示形式（画面レイアウト）に従ってクラスタリング結果であるところの各画像集合を、順次表示する（ステップＳ４５０）。表示の方法は、上述の時間分類処理の場合と同様である。以上が、画像評価装置１００によるシーン分類処理の動作である。

以上より、この撮像装置１００においては、画像データが撮影された絶対時刻による撮影時刻に加えて、ローカル時刻による撮影時刻が記録されているため、このローカル時刻による撮影時刻を用いてシーン分類することができ、画像データの撮影時刻と画像データの内容を一致させることができる。

（電源切断処理）
最後に、この撮像装置１００の制御部１０１は、図示しない電源スイッチが押下されたか否かを判断し（ステップＳ２０９）、電源スイッチが押下された場合は、全ての処理を終了させた後、この撮像装置１００の動作を停止させ、電源スイッチが押下されていない場合は、ステップＳ２００に戻り、上記の処理を繰り返す。

（２台以上の撮像装置で撮影された画像データに対する処理）
撮像装置１００を以上のように構成すると、異なる撮像装置１００で撮影された画像データが１つのメモリカード１０５にマージされていたとしても、これらの画像データには、それぞれの撮像装置１００により記録された絶対時刻による撮影時間とローカル時刻による撮影時間とが記憶されているため、上述の時間分類処理及びシーン分類処理を実行すると、所望の実行結果を得ることができる。

［第２の実施形態］
上述の第１の実施形態に係る撮像装置１００では、絶対時刻を取得するためにＧＰＳレシーバ１０６によりＧＰＳ衛星からの電波を受信して地理・時刻情報を取得する方法について説明したが、図１２に示すように、この第２の実施形態に係る撮像装置１００′では、このＧＰＳ衛星からの電波を用いずに絶対時刻（基準時刻）とローカル時刻を管理する場合について説明する。なお、以降の説明において、第１の実施形態に係る撮像装置１００と同一の構成要素については同一の符号を付し、その詳細な説明は省略する。

この撮像装置１００′は、電源が投入されると、制御部１０１は、工場出荷後、利用者が初回電源投入時（若しくは利用者の操作により、図示しない工場出荷時初期化操作が行われたとき）であるか否かを判断し（ステップＳ４００）、初回電源投入時でないと判断すると次のステップ（Ｓ４０２）に移行し、初回電源投入時であると判断すると、タイムカウンタ１０７′の内部に持つカウンタを０に初期化して計時を開始する（ステップＳ４０１）。また、制御部１０１は、利用者により日付設定が選択されたか否かを随時判断し（ステップＳ４０２）、日付設定が選択されていないと判断すると次のステップ（Ｓ４０４）に移行し、日付設定が選択されたと判断すると、日付設定が選択されたタイミングでのタイムカウンタ１０７′のカウンタ値をこのタイムカウンタ１０７′内に保持する（ステップＳ４０３）。

次に、制御部１０１は、レリーズボタン１０４が押下されたか否かを判断し（ステップＳ４０４）、押下されていないと判断したときは次のステップ（Ｓ４０６）に移行し、押下されたと判断すると、撮影処理を実行する（ステップＳ４０５）。この撮影処理において、制御部１０１は、第１の実施形態と同様に撮像部１０３により被写体の像を画像データとして取得してメモリカード１０５に記録する。そして、制御部１０１は、タイムカウンタ１０７′に絶対時刻及びローカル時刻を要求する。タイムカウンタ１０７′は、絶対時刻及びローカル時刻の要求を受けると、現在のカウンタ値から日時設定時にこのタイムカウンタ１０７′に保持した値を引いた値をローカル時刻として出力し、また、カウンタ値を絶対時刻として出力する。そのため、制御部１０１は、このタイムカウンタ１０７′から得た絶対時刻及びローカル時刻を、レリーズボタン１０４が押下されたときの撮影時刻としてメモリカード１０５の撮影時刻（絶対）カラム１０５ｂ及び撮影時刻（ローカル）カラム１０５ｃに記録する。なお、以降の処理（ステップＳ４０６〜Ｓ４１０）は、上述の第１の実施形態におけるステップＳ２０５〜Ｓ２０９と同じである。このように、タイムカウンタ１０７′に一つのカウンタと、日付設定時の値を記憶する記憶部を設けることにより、絶対時刻とローカル時刻を生成することができ、画像データをメモリカード１０５に記録するときに、合わせて記録することができる。これにより、第１の実施形態と同様に、この画像データに対して時間分類処理及びシーン分類処理を実行しても所望の実行結果を得ることができる。

なお、初回電源投入時（若しくは工場出荷時初期化操作が行われたとき）以降、利用者により撮像装置１００′の電源がオフされても、タイムカウンタ１０７′は計時処理を中断することなく続ける。また、図示しない撮像装置１００′のバッテリーの残量が無くなる、若しくは、バッテリーが撮像装置１００′から取り外される等しても、この撮像装置１００′内部にある図示しない予備バッテリーに自動的に電源ラインが切り替わり、この予備バッテリーから電源供給を受けてタイムカウンタ１０７′は計時処理を続けるものとする。

また、上述の２つの実施形態の他、撮像装置がインターネット等のネットワークに接続されている場合には、ネットワークタイムプロトコル（ＮＴＰ）を用いてサーバから時刻情報を取得し、これを絶対時刻として利用しても良い。

第１の実施形態に係る撮像装置の構成を表すブロック図である。 上記撮像装置の動作を説明するフローチャートである。 メモリカードにおいて画像データを管理するためのデータ構造を示す説明図である。 上記撮像装置で行われる時間分類処理の手順を表すフローチャートである。 時間分類処理実行部におけるクラスタリング処理手順を表すフローチャートである。 階層的クラスタリングの結果得られる系統図を表す模式図である。 クラスタサイズｃ＝４で系統図を切断した結果を表す模式図である。 最終的に得られたクラスタリング結果の例を表す模式図である。 画像表示用の画面レイアウトに従って画像表示部に表示される画面の例を示す模式図であって、（ａ）は２枚の画像表示用の画面であり、（ｂ）は３枚の画像表示用の画面であり、（ｃ）は５枚の画像表示用の画面である。 上記撮像装置で行われるシーン分類処理の手順を示すフローチャートである。 シーンテーブルのデータ構造を示す説明図である。 第２の実施形態に係る撮像装置の構成を表すブロック図である。 上記撮像装置の動作を説明するフローチャートである。

符号の説明

１００，１００′ 撮像装置 １０１ 制御部 １０３ 撮像部
１０５ メモリカード（記憶部） １０６ ＧＰＳレシーバ
１０７，１０７′ タイムカウンタ １０８ データベース
１０９ 時間分類処理実行部 １１１ シーン分類処理実行部
１１４ 画像表示部

Claims (12)

1. 光学系及び撮像素子を有し、前記光学系で結像された被写体の像を前記撮像素子により検出して画像データを出力する撮像部と、
   前記画像データを記憶する記憶部と、
   基準となる基準時刻を計時して、当該基準時刻と利用者により設定されたタイムゾーンにおけるローカル時刻とを出力するタイムカウンタと、
   前記撮像部を制御して前記被写体を撮影して前記画像データを取得し、当該画像データの撮影時の前記基準時刻及び前記ローカル時刻を前記タイムカウンタから取得して、前記画像データとともに前記記憶部に記憶する制御部と、を有する撮像装置。
2. 前記タイムカウンタは、前記基準時刻及び前記ローカル時刻の各々を計時するように構成された請求項１に記載の撮像装置。
3. 前記タイムカウンタは、前記基準時刻に対する前記ローカル時刻の差を記憶し、前記基準時刻と前記差とから前記ローカル時刻を生成して出力するように構成された請求項１に記載の撮像装置。
4. ＧＰＳ衛星からの電波を受信して地理・時刻情報を出力するＧＰＳレシーバを有し、
   前記制御部は、前記地理・時刻情報に含まれる時刻情報を用いて前記タイムカウンタの前記基準時刻を設定するように構成された請求項１〜３いずれか一項に記載の撮像装置。
5. 前記記憶部から前記画像データ及び前記撮影時の基準時刻を読み出し、当該撮影時の基準時刻に基づいて、前記撮影時の基準時刻が近い画像から構成されるクラスタであって、所属する画像枚数が閾値以下となるクラスタを生成するクラスタリング処理を実行し、前記画像データに当該クラスタを関連付ける時間分類処理実行部を有する請求項１〜４いずれか一項に記載の撮像装置。
6. 前記記憶部から前記クラスタ毎に前記画像データを読み出して表示する画像表示部を有する請求項５に記載の撮像装置。
7. 前記時間分類処理実行部は、
   前記クラスタの各々に所属する画像枚数が、前記画像表示部に表示可能な最大表示画像枚数以下となるように、生成する前記クラスタの数を制御する請求項６に記載の撮像装置。
8. 前記時間分類処理実行部は、
   生成された前記クラスタのうち、所属する画像枚数が前記画像表示部に表示可能な最大表示画像枚数を超えたクラスタに対して、前記クラスタリング処理を再度実行して、当該クラスタを複数のクラスタに分割し、最終的に生成される全クラスタの所属画像枚数を、最大表示画像枚数以下とする請求項６または７に記載の撮像装置。
9. 前記時間分類処理実行部は、
   前記処理対象画像の枚数をｍとし、前記画像表示部に表示可能な最大表示画像枚数をｎとして、ｃｅｉｌｉｎｇ（・）を切り上げ演算処理としたとき、生成する前記クラスタの数ｃを、次式
   ｃ＝ｃｅｉｌｉｎｇ（ｍ／ｎ）
   により決定する請求項６〜８いずれか一項に記載の撮像装置。
10. 前記時間分類処理実行部は、
    所属する画像枚数が前記画像表示部に表示可能な最大表示画像枚数を超えたクラスタに対して前記クラスタリング処理を再度実行するときに、
    前記最大表示画像枚数を超えた前記クラスタに属する前記画像枚数をｋとし、前記画像表示部に表示可能な最大表示画像枚数をｎとして、ｃｅｉｌｉｎｇ（・）を切り上げ演算処理としたとき、当該クラスタを分割して生成するクラスタの数ｃ_kを、次式
    ｃ_k＝ｃｅｉｌｉｎｇ（ｋ／ｎ）
    により決定する請求項８または９に記載の撮像装置。
11. 前記時間分類処理実行部は、
    前記画像表示部に表示可能な最大表示画像枚数をｎとしたときに、前記クラスタリング処理の結果、所属する画像枚数がｎ／２以下の複数のクラスタが隣接するときに、所属する画像枚数がｎ以下となるように当該クラスタを結合して、１つのクラスタとする請求項６〜１０いずれか一項に記載の撮像装置。
12. 前記画像データが撮影された時間帯と、当該時間帯におけるシーンとが対応付けられたシーンテーブルを記憶するデータベースと、
    前記記憶部から前記画像データ及び前記撮影時のローカル時刻を読み出し、当該撮影時のローカル時刻に基づいて、前記シーンテーブルから前記シーンを決定して、前記画像データに当該シーンを関連付けるシーン分類処理実行部と、を有する請求項１〜１１いずれか一項に記載の撮像装置。

Images