JP2010061426A - 撮像装置およびキーワード作成プログラム - Google Patents

Abstract

【課題】画像ファイルに正確なキーワードを自動的に対応づけられるようにする。
【解決手段】被写体を撮像して画像データを生成するとともに、撮像時の音データを取得する。画像解析機能を用いて例えば画像データの色分布や輝度分布を調べ、これらとシーンとを対応づけたテーブルからシーン候補を抽出する。一方、音解析機能を用いて音データの周波数、波形等を調べ、それらとシーンとを対応づけたテーブルからシーン候補を抽出する。それぞれ抽出したシーン候補を対比し、共通のものをキーワードとする。
【選択図】図２

Description

本発明は、音データを利用して画像データに対するキーワードを生成する撮像装置およびキーワード作成プログラムに関する。

撮像によって画像データを取得するとともに、撮像時の周囲の音データを取得し、音データから音の内容を判断し、音の内容をキーワードとして画像データに付与することが可能な装置がある。例えば、撮像時に波の音を取得したときには、「波の音」をキーワードとして画像ファイルのメタデータ領域に付与する（例えば、特許文献１参照）。
付与されたキーワードは、例えば画像検索におけるタグとして利用される他、画像ファイルの分類にも利用される。

特開２００５−３４６４４０号公報（段落００５３等）

しかしながら、音データのみで音の内容を正確に特定するのは難しく、上記特許文献１の方法では、誤った情報がキーワードとして取得されるおそれがある。例えば、波の音は雑踏の音と非常に似通っており、海とは離れた街中で撮影した画像データに対し、「波の音」が付与されることがあり得る。

本発明に係る撮像装置は、被写体を撮像して画像データを生成する撮像手段と、撮像時の音データを取得する音取得手段と、生成された画像データと取得された音データとに基づいてキーワードを生成する生成手段とを具備することを特徴とする。
他の発明に係る撮像装置は、被写体を撮像して画像データを生成する撮像手段と、撮像時の音声データを取得する音声取得手段と、取得した音声データから音声の内容を認識する音声認識手段と、取得された音声データに対して声紋分析を行い、その分析結果と予め登録されている声紋情報とを比較して発声者を特定する発声者特定手段と、音声認識手段の認識結果と前記発声者特定手段の特定結果とに基づいてキーワードを生成する生成手段とを具備することを特徴とする撮像装置。
他の発明に係る撮像装置は、被写体を撮像して画像データを生成する撮像手段と、画像データ中における人物の顔の特徴を認識し、その認識結果と予め登録されている顔の特徴情報とを比較して人物を特定する顔特定手段と、撮像時の音声データを取得する音声取得手段と、取得した音声データから音声の内容を認識する音声認識手段と、顔特定手段の特定結果と音声認識手段の認識結果とに基づいてキーワードを生成する生成手段とを具備することを特徴とする。

本発明によれば、画像ファイルに正確なキーワードを自動的に対応づけることが可能となる。

図１〜図６により本発明の一実施形態を説明する。
図１は本実施形態におけるデジタルカメラの制御ブロック図である。撮影レンズ１を透過した被写体光束は、撮像素子２で撮像され、その撮像信号は画像処理部３に入力される。画像処理部３を構成する画像処理回路３ａは、入力された撮像信号に種々の処理を施して画像データを生成する。画像データは、表示回路３ｂによる処理を経て、カメラ背面などに設けられた液晶モニタ４に表示される。撮影モード設定時には、上記撮像および画像表示が繰り返され、いわゆるライブビュー表示（スルー画表示）が行われる。

撮像指示がなされると改めて撮像が行われ、生成された画像データは、記録／再生回路３ｃを介してメモリカード等の記録媒体５に画像ファイルとして記録される。一般に画像ファイルは、画像本体を構成するデータ（いわゆる画像データ）と、付加情報としてのメタデータとを組み合わせて作成される。

また、カメラにはマイク７およびスピーカ８が設けられ、撮像時にマイク７から入力された周囲の音を音データとして取得し、音データに基づいて作成された音ファイルを画像ファイルに対応づけて記録することができる。以下、音ファイルが対応づけられた画像ファイルを「音付き画像ファイル」と呼ぶ。

カメラを再生モードに設定すると、記録媒体５に記録された画像ファイルを記録／再生回路３ｃにて読み出し、画像処理回路３ａおよび表示回路３ｂによる処理を経て液晶モニタ４に画像として表示することができる。音付き画像ファイルについては、画像再生に同期して対応する音データをスピーカ８から再生することができる。

ＣＰＵ６は、操作部９からの入力に応答して画像処理部や不図示の回路を制御する。操作部９は、電源ボタンやレリーズボタン、再生操作や情報入力等で用いる各種操作部材等を含む。

ところで、画像ファイルの検索や分類を支援するために、各画像ファイルに対してキーワード（タグ）を対応づけて記憶することが行われている。対応づけは、例えば各画像ファイルのメタデータ領域に、文字情報としてのキーワードを記述することでなされる（一般には、画像ファイルにキーワードを埋め込むといわれる）。本実施形態のカメラは、音付き画像ファイルに対し、画像データと音データとを解析して自動的にキーワードを生成し、そのキーワードを画像ファイルに埋め込むことが可能となっている。

この自動キーワード生成を実現するために、カメラは、画像解析機能を用いて例えば画像データの色分布や輝度分布を調べ、これらとシーンとを対応づけたテーブルからシーン候補を抽出する。一方、音解析機能を用いて音データの周波数、波形等を調べ、それらとシーンとを対応づけたテーブルからシーン候補を抽出する。それぞれ抽出したシーン候補を対比し、共通のものをキーワードとする。

一例として、海水浴で撮影した音付き画像ファイルがあるとする。画像解析においては、画像中にブルー系の占める割合が多いため、シーン候補として「青空」，「海」などが抽出される。一方、音解析によれば、音の周波数や波形から、シーン候補として「雑踏」，「海」（波の音）などが抽出される。この場合、両抽出候補において「海」が共通するため、最終的にキーワードは「海」となる。

他の例として、打ち上げ花火を撮影した音付き画像があるとする。画像解析によれば、全体として暗い中に明るい点が複数あることから、シーン候補として「夜景」，「花火」が抽出される。音解析によれば、爆音から「爆発」，「花火」などが抽出される。したがって、キーワードは「花火」となる。

このように、画像データと音データの双方からキーワードを作成するようにしたことで、音データのみから作成する場合と比べて正確なキーワードが得られる。

なお、多くのシーンに対応させるには、上記テーブル中の情報が充実している必要がある。例えばカメラメーカーが、Ｗｅｂサイトなどで新たな情報を随時公開し、これをユーザがダウンロードしてテーブルに追加したり変更できるようにすることが望ましい。

キーワードの生成および画像ファイルへの埋め込みは、撮影時に自動的に行われるようにしてもよいし、既に撮影された音付き画像ファイルに対しても行えるようにしてもよい。前者の場合は、撮像モードとして「自動キーワード付与モード」を設ければよい。

図２は自動キーワード付与モード設定時の処理手順の一例を示している。レリーズボタンが全押し操作されるとＣＰＵ６がこのプログラムを起動し、ステップＳ１で撮像および録音を行い、画像データおよび音データをそれぞれ取得する。ステップＳ２，Ｓ３で画像解析および音解析をそれぞれ行い、ステップＳ４において、音データから音声ファイルを生成する。ステップＳ５では、ステップＳ２，Ｓ３での解析結果に基づいて上述したようにキーワードを抽出する。ステップＳ６では、抽出されたキーワードをメタデータ領域に記述し、そのメタデータと画像データとを組み合わせて画像ファイルを生成する。ステップＳ７では、画像ファイルと音ファイルとを対応づけて記録媒体５に記録する。

ここで、画像ファイルと音ファイルとを記録する際に、自動的にキーワードにちなんだ名前のフォルダに格納されるようにしてもよい。例えば、抽出されたキーワードが「海」であった場合、記憶媒体５に「海」という名のフォルダが存在しなければそれを作成し、その「海」フォルダにファイルを格納する。以降、「海」がキーワードとして抽出されたファイルは、「海」フォルダに格納される。これによりファイルの分類が自動化できる。

上記自動キーワード付与モードでは、画像データと音データとでキーワードを生成したが、人物撮影の場合に被写体である人物に言葉を発してもらい、その言葉からキーワードを抽出してファイルに付与することが考えられる。これによって正確なキーワードが得られる。以下、これを可能とするモードを「音声キーワード付与モード」と呼ぶ。

カメラは、音声認識機能、話者認識機能および顔認識機能を備えている。音声認識機能は、人の発声した音声データを解析して発声内容を認識する機能である。話者認識は、音声データから音声（声紋等）の特徴を抽出し、データベースから音声を発した人物を検索する機能である。カメラにはこの種のデータベースが設けられ、複数人分の人物情報と音声特徴とを対応づけて登録できるようになっている。顔認識機能は、画像データ中の人物の顔の位置および大きさを検出するもので、一般的には顔部分にピントや露出を合わせるのに用いられる。

図３は音声キーワード付与モード設定時の処理手順を示している。レリーズボタンが全押し操作されるとＣＰＵ６がこのプログラムを起動し、ステップＳ１１で撮像および録音を行い、画像データおよび音声データをそれぞれ取得する。なお、撮影者は、撮像に先立って被写体である人物にキーワードを発声するよう要請しておく。カメラが音声によりキーワードの発声を要請するようにしてもよい。被写体人物は、日付や撮影場所、自分が今何をやっているかなどを発声すればよい。

ステップＳ１２では顔認識を行い、ステップＳ１３で顔が認識されたか否かを判定する。肯定されるとステップＳ１４に進み、キーワードの１つとして「ポートレート」を設定する。このモードでは、通常顔が認識される筈であるが、万一認識されない場合はステップＳ２１に進む。

ステップＳ１５では、音声認識を行い、ステップＳ１６で認識に成功したと判定されると、ステップＳ１７で音声認識の結果に基づいてキーワードを抽出する。ステップＳ１８では話者認識を行って音声を発声した人物を特定する。換言すれば、被写体人物が誰であるかを特定する。ステップＳ１９で特定に成功したと判定されると、ステップＳ２０で人物情報をキーワードとする。人物情報は上記データベースに登録されているもので、例えばその人物の名前等である。

ステップＳ２１では音声データに基づいて音声ファイルを生成し、ステップＳ２２では、ステップＳ１４，Ｓ１７，Ｓ２０等で取得したキーワードをメタデータ領域に記述し、そのメタデータと画像データとを組み合わせて画像ファイルを生成する。なお、画像データ中に顔が認識されない場合はキーワードを取得できないが、この場合は図２に示した方法でキーワードを取得してもよい。

画像ファイルに埋め込まれたキーワードは、上述したように検索用のタグとして用いたり、画像ファイルの分類に利用される他、画像再生時のコメントやタイトルとして文字表示することができる。図４はその表示例を示し、（ａ）はいわゆる吹き出しの中に文字表示を行った例を示している。キーワードである「６月１０日」および「苺の収穫」は、いずれも撮像時に画像中の人物が発した言葉である。図４（ｂ）はタイトルとして文字表示を行った例を示す。なお、文字表示における文字数、フォント、文字色、背景色は、ユーザが好みに応じて選択できるようにすることが望ましい。

図５，図６は会話中の複数の人物を撮像・録音したときの画像表示例を示している。かかるケースでは、発声者と発声内容との対応、つまりいずれの人物がいずれの言葉を発したかを上記音声認識と話者認識によって認識し、またカメラ内蔵の時計から時刻を取得することで、誰がいつ何を言ったかをカメラが自動的に把握することができる。把握した情報は、画像ファイルと対応づけられて記録され、画像ファイルを再生したときに、会話内容を議事録風に表示することができる。図５は会話を時系列に並べた例を示し、図６は人物ごとにグループ化した例を示している。両表示形態を簡単な操作にて切換えられるようにすることが望ましい。

また、上記人物と会話の対応づけに加え、画像中の各人物がそれぞれ誰であるかが分かれば、画像中のいずれの人物がいずれの言葉を発したか特定することができる。画像中の人物の特定は、顔認識によって各人の顔の特徴情報を抽出し、それに基づいてデータベース検索を行うことで実現できる。カメラにこの種のデータベースを設け、複数人分の人物情報と顔の特徴情報とを対応づけて登録できるようにすればよい。

そして、例えば画像中の最も左に位置する人物が「Ａ」であることが判明し、一方、上記音声認識と話者認識により、「ＸＸＸＸＸＸ」と言ったのが「Ａ」であることが判明すれば、画像中の最も左に位置する人物Ａが「ＸＸＸＸＸＸ」と言った、ということが把握できる。かかる対応関係を画像ファイルに対応させて記録しておけば、例えば図４（ａ）に示したような吹き出しを用いた画像表示の際に、一番左の人物が「ＸＸＸＸＸＸ」と言い、中央の人物が「ＹＹＹ」と言ったことが分かるように、各吹き出しの位置や向きを設定することができる。吹き出し中の表示を、例えば「Ａ：ＸＸＸＸＸＸ」や、「Ｂ：ＹＹＹ」のようにしてもよい。

なお、図４〜図６のような表示は、例えば画像ファイルを外部装置（例えば、パーソナルコンピュータ）に取り込んだときに、予めインストールされたプログラムにより実現されるようにしてもよい。また、上記キーワードの作成も外部装置で行えるようにしてもよい。この場合は、外部装置に組み込まれたプログラムが、音付き画像ファイルまたは音声付き画像ファイルを例えばカメラから入力し、メタデータ部から読み込んだ情報に基づいて上述と同様にキーワードを作成するようにすればよい。

以上は静止画ファイルにて説明したが、動画ファイルでもよい。

本発明の一実施形態におけるカメラの制御ブロック図。 自動キーワード付与モード設定時の処理手順の一例を示すフローチャート。 音声キーワード付与モード設定時の処理手順の一例を示すフローチャート。 音声キーワード付与モードで撮像を行った画像の表示例を示す図。 音声キーワード付与モードで撮像を行った画像の他の表示例を示す図。 音声キーワード付与モードで撮像を行った画像の他の表示例を示す図。

符号の説明

２ 撮像素子
３ 画像処理部
４ 液晶モニタ
６ ＣＰＵ
７ マイク
８ スピーカ

Claims (6)

1. 被写体を撮像して画像データを生成する撮像手段と、
   撮像時の音データを取得する音取得手段と、
   前記生成された画像データと前記取得された音データとに基づいてキーワードを生成する生成手段とを具備することを特徴とする撮像装置。
2. 被写体を撮像して画像データを生成する撮像手段と、
   撮像時の音声データを取得する音声取得手段と、
   前記取得した音声データから音声の内容を認識する音声認識手段と、
   前記取得された音声データに対して話者認識を行って話者を特定する話者特定手段と、
   前記音声認識手段の認識結果と前記話者特定手段の特定結果とに基づいてキーワードを生成する生成手段とを具備することを特徴とする撮像装置。
3. 前記生成されたキーワードを前記画像データに対応づけて記録する記録手段を更に備えることを特徴とする請求項１または２に記載の撮像装置。
4. 前記画像データから人物の顔領域を認識するとともに、その人物を特定する人物特定手段と、
   前記音声認識手段の認識結果と、前記話者特定手段および前記人物特定手段の特定結果とに基づいて、画像データ中のいずれの人物がいずれの音声を発したかを対応づける対応づけ手段とを更に備えることを特徴とする請求項２に記載の撮像装置。
5. コンピュータを、
   画像データ、およびその画像データを撮像したときの音データを入力する入力手段と、
   前記画像データと前記音データとに基づいてキーワードを生成する生成手段として機能させるためのキーワード作成プログラム。
6. コンピュータを、
   画像データ、およびその画像データを撮像したときの音声データを入力する入力手段と、
   前記入力された音声データから音声の内容を認識する音声認識手段と、
   前記入力された音声データに対して話者認識を行って話者を特定する話者特定手段と、
   前記音声認識手段の認識結果と前記話者特定手段の特定結果とに基づいてキーワードを生成する生成手段として機能させるためのキーワード作成プログラム。

Images