JP2006238357A - 出力装置、出力方法、プログラム、及び音声提供システム - Google Patents

Abstract

【課題】撮像した場所に関連する音声を容易に得ることができる出力装置、出力方法、プログラム、及び音声提供システムを提供すること。
【解決手段】撮像された画像と、当該画像が撮像された位置とを対応づけて格納する画像格納部と、画像格納部が格納する複数の画像のそれぞれが撮像された複数の撮像位置を含む撮像領域を判断する撮像領域判断部と、撮像領域判断部が判断した撮像領域の広さに応じて音声データベースが格納する音声を取得する音声取得部と、画像格納部が格納する複数の画像とともに、音声取得部が取得した音声を出力する出力部とを備える。
【選択図】図２

Description

本発明は、出力装置、出力方法、プログラム、及び音声提供システムに関する。特に本発明は、画像及び音声を出力する出力装置及び出力方法、並びに出力装置用のプログラム、並びに出力装置を備える音声提供システムに関する。

従来、静止画だけでなく動画もメモリカードに記録することができるデジタルスチルカメラがある。このようなデジタルスチルカメラでは、静止画や動画の撮影記録時にマイクロホンで検出した音声を画像に対応させて記録できる（例えば、特許文献１参照。）。また、デジタルスチルカメラで撮影した静止画や動画を表示しながら、画像に対応させて記録された音声を再生することができる電子フォトスタンドが知られている。
特開平７−１５４７３４号公報

このような電子フォトスタンドによって、撮影した画像を、撮影記録時に録音された音声とともに鑑賞することができる。しかし、例えば観光地で撮像した画像を鑑賞するときには、撮影記録時に録音された周囲の音声よりも、訪れた観光地の説明等の、観光地に関する音声とともに画像を鑑賞した方がより楽しい場合がある。また、ユーザにとっては画像と音声の編集等の煩雑な作業をすることなく、撮影した画像と観光地に関する音声とを簡単に鑑賞することができることが望ましい。

そこで本発明は、上記の課題を解決することができる出力装置、出力方法、プログラム、及び音声提供システムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。

本発明の第１の形態における出力装置は、撮像された画像と、当該画像が撮像された位置とを対応づけて格納する画像格納部と、画像格納部が格納する複数の画像のそれぞれが撮像された複数の撮像位置を含む撮像領域を判断する撮像領域判断部と、撮像領域判断部が判断した撮像領域の広さに応じて音声データベースが格納する音声を取得する音声取得部と、画像格納部が格納する複数の画像とともに、音声取得部が取得した音声を出力する出力部とを備える。

画像格納部が格納する画像から、ユーザの指示入力に基づいて複数の画像を選択する画像選択部をさらに備え、撮像領域判断部は、画像選択部が選択した複数の画像のそれぞれが撮像された複数の位置を含む撮像領域を判断し、出力部は、画像選択部が選択した複数の画像とともに、音声取得部が取得した音声を出力してよい。

音声取得部は、撮像領域判断部が判断した撮像領域がより狭い場合に、撮像領域判断部が判断した撮像領域についてのより詳しい説明の音声を取得してよい。

撮像領域判断部が判断した撮像領域内における、画像格納部が格納する複数の画像のそれぞれが撮像された複数の位置の分布を算出する撮像位置分布算出部をさらに備え、音声取得部は、撮像位置分布算出部が算出した分布の偏りが予め定められた偏りより大きい部分領域についての説明の音声を取得してよい。

撮像領域判断部が判断した撮像領域に含まれる複数の部分領域毎に、画像格納部が格納する複数の画像のそれぞれが撮像された撮像枚数を算出する撮像枚数算出部をさらに備え、音声取得部は、撮像枚数算出部が算出した撮像枚数がより多い場合に、音声データベースが格納する部分領域についての詳しさが異なる複数の説明のうちのより詳しい説明の音声を取得してよい。

画像格納部は、撮像された画像に対応づけて、当該画像が撮像された時刻をさらに格納し、当該出力装置は、画像格納部が格納する複数の画像のそれぞれが撮像された複数の時刻を含む撮像期間を判断する撮像期間判断部をさらに備え、音声取得部は、撮像期間判断部が判断した撮像期間の長さにさらに応じて音声データベースが格納する音声を取得してよい。

音声取得部は、撮像期間判断部が判断した撮像期間がより長い場合に、撮像領域判断部が判断した撮像領域についてのより詳しい説明の音声を取得してよい。

本発明の第２の形態における出力方法は、撮像された画像と、当該画像が撮像された位置とを対応づけて格納する画像格納段階と、画像格納段階において格納される複数の画像のそれぞれが撮像された複数の撮像位置を含む撮像領域を判断する撮像領域判断段階と、撮像領域判断段階において判断された撮像領域の広さに応じて音声データベースが格納する音声を取得する音声取得段階と、画像格納段階において格納される複数の画像とともに、音声取得段階において取得された音声を出力する出力段階とを備える。

本発明の第３の形態によると、画像を出力する出力装置用のプログラムであって、出力装置を、撮像された画像と、当該画像が撮像された位置とを対応づけて格納する画像格納部、画像格納部が格納する複数の画像のそれぞれが撮像された複数の撮像位置を含む撮像領域を判断する撮像領域判断部、撮像領域判断部が判断した撮像領域の広さに応じて音声データベースが格納する音声を取得する音声取得部、画像格納部が格納する複数の画像とともに、音声取得部が取得した音声を出力する出力部として機能させる。

本発明の第４の形態によると、画像を出力する出力装置と、音声データベースとを備える音声提供システムであって、出力装置は、撮像された画像と、当該画像が撮像された位置とを対応づけて格納する画像格納部と、画像格納部が格納する複数の画像のそれぞれが撮像された複数の撮像位置を含む撮像領域を判断する撮像領域判断部と、撮像領域判断部が判断した撮像領域の広さに応じて音声データベースが格納する音声を取得する音声取得部と、画像格納部が格納する複数の画像とともに、音声取得部が取得した音声を出力する出力部とを有する。

なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた発明となりうる。

本発明によれば、撮像した場所に関連する音声を容易に得ることができる出力装置、出力方法、プログラム、及び音声提供システムを提供することができる。

以下、発明の実施形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本発明の一実施形態に係る音声提供システムの一例を示す。音声提供システムは、撮像装置１００、出力装置１４０、音声データベース１７０、及び音楽データベース１７２を有する。この例では、撮像装置１００は、観光地において記念写真を撮像する。撮像装置１００は、撮像装置１００が撮像した画像及び撮像したときの撮像位置を、インターネット等の通信回線１５０を通じて出力装置１４０に送信する。

出力装置１４０は、撮像装置１００から受け取った撮像位置に関する音声データ、例えば観光地の特色を説明する音声データを音声データベース１７０から取得して、撮像装置１００から受け取った画像とともに出力する。なお、撮像装置１００は、撮像装置１００の周囲の音声を録音しておき、出力装置１４０は、撮像装置１００で録音された音声を受け取ってもよい。そして出力装置１４０は、当該音声の中から音楽を抽出して、抽出した音楽と同じ音楽を音楽データベース１７２から取得して、画像とともに出力してもよい。なお、出力装置１４０は、音声データベース１７０から取得した音声データと、音楽データベース１７２から取得した音楽とを同時に出力してもよい。

出力装置１４０は、例えば、ＨＤＴＶ、電子フォトスタンド、コンピュータ等の、画像及び音声を出力する装置であってよい。また、出力装置１４０は、音声を文字として出力してもよい。例えば、出力装置１４０は、液晶等の表示デバイスに画像を表示するときに、音声データベース１７０から取得した音声及び／又は音楽データベース１７２から取得した音楽データに含まれる歌詞等を文字として表示デバイスに表示させてよい。なお、出力装置１４０は、画像を表示させる表示デバイスに文字を表示させてよく、画像を表示させる表示デバイスとは別の表示デバイスに文字を表示させてもよい。他にも、出力装置１４０は、プリンタ等の画像を印刷する印刷装置であってもよく、画像を印刷するとともに音声を文字として印刷してもよい。

撮像装置１００は、例えば、デジタルスチルカメラ、カメラ付携帯電話等であってよい。また、撮像装置１００が画像及び音声データを記録媒体に記録して、出力装置１４０は当該記録媒体から画像及び音声データを受け取ってもよい。また、撮像装置１００は、画像及び音声データを、通信回線１５０に接続されたサーバの、ユーザ１８０毎にそれぞれ設けられたディレクトリ、例えば撮像装置１００と関連付けられたディレクトリに格納してもよい。そして出力装置１４０は、ユーザ１８０毎にサーバに格納された画像及び音声データを受け取ってもよい。

以上説明した出力装置１４０によれば、撮像装置１００で撮像した画像を、撮像した場所に関する音声とともにユーザ１８０に提供することができる。このため、ユーザ１８０は、観光地等の特色等を思い出しながら、楽しく画像を鑑賞することができる。また、撮像装置１００で撮像したときに周囲で流れていた音楽をユーザ１８０に提供することができる。このため、ユーザ１８０は、観光地等を訪れたときに流行していた音楽を聴きながら、楽しく画像を鑑賞することができる。

図２は、出力装置１４０のブロック構成の一例を示す。出力装置１４０は、画像格納部２１０、画像選択部２７８、撮像領域判断部２８２、撮像期間判断部２８４、撮像位置分布算出部２８６、撮像枚数算出部２８８、出力部２２４、及び音声取得部２６２を備える。

画像格納部２１０は、撮像された画像と、当該画像が撮像された位置とを対応づけて格納する。例えば、撮像装置１００は、画像を撮像したときの撮像装置１００の位置における緯度及び経度情報をＧＰＳ衛星から受信する。そして、画像格納部２１０は、撮像装置１００から受け取った画像を、撮像装置１００が検出した緯度及び経度情報と対応づけて格納する。

画像選択部２７８は、画像格納部２１０が格納する画像から、ユーザ１８０の指示入力に基づいて複数の画像を選択する。撮像領域判断部２８２は、画像格納部２１０が格納する複数の画像のそれぞれが撮像された複数の撮像位置を含む撮像領域を判断する。

具体的には、撮像領域判断部２８２は、画像選択部２７８が選択した複数の画像のそれぞれが撮像された複数の位置を含む撮像領域を判断する。例えば、撮像領域判断部２８２は、画像格納部２１０が格納する複数の画像のそれぞれが撮像された複数の撮像位置を含む撮像領域の地理的な範囲、例えば緯度及び経度の範囲を判断してよい。

撮像位置分布算出部２８６は、撮像領域判断部２８２が判断した撮像領域内における、画像格納部２１０が格納する複数の画像のそれぞれが撮像された複数の位置の分布を算出する。撮像枚数算出部２８８は、撮像領域判断部２８２が判断した撮像領域に含まれる複数の部分領域毎に、画像格納部２１０が格納する複数の画像のそれぞれが撮像された撮像枚数を算出する。

音声取得部２６２は、撮像領域判断部２８２が判断した撮像領域の広さに応じて音声データベース１７０が格納する音声を取得する。具体的には、音声取得部２６２は、撮像領域判断部２８２が判断した撮像領域がより狭い場合に、撮像領域判断部２８２が判断した撮像領域についてのより詳しい説明の音声を取得する。

より具体的には、音声取得部２６２は、撮像位置分布算出部２８６が算出した分布の偏りが予め定められた偏りより大きい部分領域についての説明の音声を取得する。また、音声取得部２６２は、撮像枚数算出部２８８が算出した撮像枚数がより多い場合に、音声データベース１７０が格納する部分領域についての詳しさが異なる複数の説明のうちのより詳しい説明の音声を取得する。

出力部２２４は、画像格納部２１０が格納する複数の画像とともに、音声取得部２６２が取得した音声を出力する。具体的には、出力部２２４は、画像選択部２７８が選択した複数の画像とともに、音声取得部２６２が取得した音声を出力する。

画像格納部２１０は、撮像された画像に対応づけて、当該画像が撮像された時刻をさらに格納する。撮像期間判断部２８４は、画像格納部２１０が格納する複数の画像のそれぞれが撮像された複数の時刻を含む撮像期間を判断する。具体的には、撮像期間判断部２８４は、画像選択部２７８が選択した複数の画像が撮像された複数の時刻を含む撮像期間を判断する。

そして、音声取得部２６２は、撮像期間判断部２８４が判断した撮像期間の長さにさらに応じて音声データベース１７０が格納する音声を取得する。具体的には、音声取得部２６２は、撮像期間判断部２８４が判断した撮像期間がより長い場合に、撮像領域判断部２８２が判断した撮像領域についてのより詳しい説明の音声を取得する。

図３は、音声データベース１７０が格納するデータの一例をテーブル形式で示す。音声データベース１７０は、領域に対応づけて、領域の位置する範囲を示す位置範囲及び領域についての音声データを格納する。位置範囲は、例えば、領域が含まれる領域の起点となる緯度及び経度、並びに、終点となる緯度及び経度を含んでよい。なお、位置範囲には、領域の位置する複数の範囲を含んでよい。音声データは、例えば、各領域についての詳しさの異なる複数の音声データ、例えば概要説明、詳細説明の音声データを含んでよい。また、音声データには、各領域に関するニュース等を含んでもよい。

例えば、日本についての概要説明データとは、日本全体の特色、人口、面積等を説明する音声データであってよい。また、日本についての詳細を説明する音声データとは、日本に含まれる各地域の特色、人口、面積等を説明する音声データであってよく、日本の歴史等を説明する音声データであってもよい。

図４は、画像が撮像された位置の分布の一例を示す。図４の例では、画像格納部２１０は、長崎、広島、京都、静岡、東京、及び北海道で撮像した、それぞれ１０枚、９枚、１０枚、７枚、８枚、及び６枚の画像を格納している。撮像領域判断部２８２は、例えば、予め定めた緯度及び経度範囲毎の部分領域に区切り、画像が撮像された位置を含む部分領域を判断する。撮像枚数算出部２８８は、部分領域のそれぞれで撮像された画像の枚数を算出する。そして、撮像位置分布算出部２８６は、画像が撮像された位置が含まれる部分領域の分布を判断する。

そして、音声取得部２６２は、撮像位置が広い範囲に分布しているか否かを判断する。例えば、音声取得部２６２は、長崎で撮像した画像が画像選択部２７８によって選択されたときには、撮像位置が狭い範囲に分布していると判断して、日本をより詳しく説明する音声データとして、例えば長崎を説明する音声データを音声データベース１７０から取得する。また、長崎、広島、京都、静岡、東京、及び北海道で撮像した画像が画像選択部２７８によって選択された場合には、撮像位置がより広い範囲に分布していると判断して、撮像領域についての概要を説明する音声データとして、例えば日本を説明する音声データを音声データベース１７０から取得する。

なお、撮像枚数算出部２８８によって算出される枚数がより多い場合には、音声取得部２６２は、それぞれの撮像領域についてのより詳しい説明の音声データを音声データベース１７０から取得し、枚数がより少ない場合は、それぞれの撮像領域についてのより概要を説明する音声データを音声データベース１７０から取得してよい。

また、音声取得部２６２は、選択された枚数に対する、特定の部分領域で撮像された画像の枚数の比率を計算して、当該比率が予め定めた比率よりも大きい場合に、当該特定の部分領域について説明する音声データを音声データベース１７０から取得する。例えば、画像格納部２１０が、長崎、広島、京都、東京、及び北海道で撮像した、それぞれ６枚、７枚、３０枚、４枚、３枚の合計５０枚の画像を格納しており、半数以上の３０枚が京都で撮像された画像である場合には、音声取得部２６２は、京都を説明する音声データを音声データベース１７０から取得する。このため、出力装置１４０は、ユーザ１８０が特に多く撮像した場所について説明する音声をユーザ１８０に提供することができる。

図５は、画像が撮像された時刻の分布の一例を示す。撮像期間判断部２８４は、画像が撮像された時間範囲を、部分領域毎に判断する。例えば、撮像期間判断部２８４は、長崎、広島、京都、静岡、東京、及び北海道のそれぞれを含む部分領域で撮像された時間範囲（ｔ１〜ｔ１０、ｔ１１〜ｔ１９、ｔ２０〜ｔ２９、ｔ３０〜ｔ３６、ｔ３７〜ｔ４４、及びｔ４５〜ｔ５０）を判断する。

そして、音声取得部２６２は、撮像期間の長さを判断する。例えば、音声取得部２６２は、長崎で撮像した画像が画像選択部２７８によって選択されたときには、長崎で撮像された期間（ｔ１〜ｔ１０）がより短いと判断して、長崎を説明する音声データを音声データベース１７０から取得する。また、長崎、広島、京都、静岡、東京、及び北海道で撮像した画像が画像選択部２７８によって選択された場合には、撮像された期間（ｔ１〜ｔ５０）がより長いと判断して、撮像領域についての詳しい説明の音声データとして、例えば日本の詳しい説明の音声データを音声データベース１７０から取得する。

そして、音声取得部２６２は、選択された画像が撮像された期間に対する、特定の部分領域で撮像された期間の比率を計算して、当該比率が予め定めた比率よりも大きい場合に、当該特定の部分領域について説明する音声データを音声データベース１７０から取得する。例えば、画像格納部２１０が、長崎、広島、京都、東京、及び北海道で撮像した画像を格納している場合に、京都で撮像された期間（ｔ６４〜ｔ９３）が、選択された画像が撮像された期間の合計（ｔ５１〜ｔ５６、ｔ５７〜ｔ６３、ｔ６４〜ｔ９３、ｔ９４〜ｔ９７、ｔ９８〜ｔ１０の合計期間）の半分の期間以上である場合に、音声取得部２６２は京都について説明する音声データを音声データベース１７０から取得する。このため、出力装置１４０は、ユーザ１８０が特に長く滞在して撮像した場所について説明する音声をユーザ１８０に提供することができる。

図６は、撮像装置６００のブロック構成の一例を示す。撮像装置６００は、図１で説明した撮像装置１００の他の例であって、特に撮像された画像とともに録音された音声から音楽を抽出して格納する機能を有する。撮像装置６００は、モード設定部６９２、撮像部６０２、表示部６７０、データ格納部６９８、録音部６５０、音楽抽出部６９４、及び音楽取得部６９６を備える。

撮像部６０２は、画像を撮像する。撮像部６０２は、具体的には、被写体からの光をＣＣＤ等の撮像デバイスで受光して、被写体を撮像する。なお、撮像部６０２は所定の時間間隔で連続的に被写体を撮像してもよい。そして、撮像部６０２は、連続的に撮像して得られる所定の個数の画像を保持してもよい。そして、撮像部６０２は、撮像部６０２が保持している画像のうち、撮像を指示された時刻に最も近いタイミングで撮像された画像を撮像画像としてもよい。

表示部６７０は、撮像部６０２が有する受光素子により受光した光の画像を表示する。モード設定部６９２は、表示部６７０が画像を表示している状態の動作モードである撮像モード、又は表示部６７０が画像を表示していない状態の動作モードである非撮像モードに当該撮像装置を設定する。

録音部６５０は、撮像部６０２の周囲の音声を録音する。なお、録音部６５０は、モード設定部６９２が撮像モードに設定している場合、及びモード設定部６９２が非撮像モードに設定している場合の双方において、撮像部６０２の周囲の音声を録音する。

音楽抽出部６９４は、録音部６５０が録音した音声から音楽を抽出する。具体的には、音楽抽出部６９４は、音声の周波数スペクトルに基づいて基本周波数を抽出して、音階を決定する。そして、音楽抽出部６９４は、決定した音階に基づいて、リズム、テンポ、調性等の音楽の特徴量を判断して、音符データを抽出する。また、音楽抽出部６９４は、更に、音符データに基づいて音楽のコード進行を抽出してもよい。

なお、音楽抽出部６９４は、撮像部６０２が画像を撮像した時刻から予め設定された時間内に、録音部６５０が録音した音声から音楽を抽出する。具体的には、音楽抽出部６９４は、モード設定部６９２が撮像モードに設定している時間を含み、モード設定部６９２が撮像モードに設定している時間より長い、予め設定された時間内に、録音部６５０が録音した音声から音楽を抽出する。

音楽データベース１７２は、時代別に複数の音楽を格納する。また、音楽データベース１７２は、ジャンル別に複数の音楽を格納する。具体的には、音楽データベース１７２は、音楽データに対応づけて、音楽のジャンル及び時代を格納する。また、音楽データベース１７２は、音楽データに対応づけて、音符データ、リズム、テンポ、調性、及びコード進行等の、音楽の特徴量を格納してよい。

音楽取得部６９６は、音楽データベース１７２から、音楽抽出部６９４が抽出した音楽と同一の音楽を取得する。具体的には、音楽取得部６９６は、音楽抽出部６９４が抽出した音符データと一致する音符データを有する音楽を音楽データベース１７２から取得する。

また、音楽取得部６９６は、複数の音楽を格納する音楽データベース１７２から、音楽抽出部６９４が抽出した音楽と同一の種類の音楽を取得する。具体的には、音楽取得部６９６は、音楽データベース１７２から、音楽抽出部６９４が抽出した音楽と同じ時代の音楽を取得する。また、音楽取得部６９６は、音楽データベース１７２から、音楽抽出部６９４が抽出した音楽と同じジャンルの音楽を取得する。具体的には、音楽取得部６９６は、音楽抽出部６９４が抽出したリズム、テンポ、調性、及びコード進行等の特徴量に基づいて音楽のジャンル及び／又は時代を特定して、特定したジャンル及び／又は時代の音楽を音楽データベース１７２から取得する。

データ格納部６９８は、音楽取得部６９６が取得した音楽と撮像部６０２が撮像した画像とを同期して出力させるべく対応づけて格納する。以上説明した撮像装置６００によれば、撮像装置６００によって撮像したときに撮像装置６００の周囲を流れていたＢＧＭと同じ音楽を、画像とともにユーザ１８０に提供することができる。

図７は、音楽データベース１７２が格納するデータの一例をテーブル形式示す。音楽データベース１７２は、音楽データに対応づけて、時代、音楽が属するジャンル、音楽が有するリズム、音楽が有するテンポ、音楽が有する調性、音楽が有するコード進行、音楽の楽譜を示す音符データを格納する。なお、音楽データベース１７２が格納する時代とは、音楽が作成された時代、音楽が発表された時代、音楽が流行した時代等であってよい。

図８は、撮像装置６００が録音する音声と時間範囲の一例を示す。撮像装置６００は、動作モードとして、撮像モード、出力モード、及び待機モードを有する。撮像モードとは、撮像装置６００が撮像及び／又は録音することのできる動作モードであってよい。また、出力モードは、例えば、撮像装置６００が画像及び／又は音声を出力することのできる動作モードであってよい。なお、非撮像モードは、出力モード及び待機モードを含む。そして、撮像装置６００は、撮像モードに設定されている期間（ｔ１〜ｔ３）、出力モードに設定されている期間（ｔ３〜ｔ４）、及び待機モードに設定されている期間（ｔ０〜ｔ１及びｔ４〜ｔ５）における撮像装置６００の周囲の音声を録音する。

なお、撮像装置６００は、起動された直後には撮像装置６００は待機モードに設定される。撮像装置６００は、動作モードが待機モード又は出力モードに設定されている場合に、ユーザ１８０によって撮像動作又は録音動作に関する操作がなされた場合に撮像モードに遷移する。撮像動作に関する操作は、例えば、画像を撮像する操作、シャッタスピード、焦点距離等の、撮像条件を調整する操作等を含む。また、録音動作に関する操作は、例えば、音声を録音する操作、録音感度の調整等の、録音条件を調整する操作等を含む。また、撮像装置６００は、動作モードが待機モード又は撮像モードに設定されている場合に、ユーザ１８０によって撮像装置６００の出力動作に関する操作がなされた場合に、出力モードに遷移する。出力動作に関する操作は、例えば、画像を出力する操作、出力する画像を選択する操作、出力速度の調節等の、出力条件を調整する操作等を含む。なお、撮像装置６００は、撮像装置６００が撮像モード又は出力モードに設定されている場合に、ユーザ１８０による撮像装置６００の操作が所定の期間操作されなかったことを条件として、待機モードに遷移してよい。

音楽抽出部６９４は、撮像時刻ｔ２から予め定めた時間だけ前又は後の時間範囲において、録音部６５０で録音された音声から音楽を抽出する。例えば、撮像装置６００がユーザ１８０から時刻ｔ２におおいて撮像するよう指示された場合に、音楽抽出部６９４は、撮像時刻ｔ２を含む撮像モードに設定されていた期間（ｔ１〜ｔ３）を含む、待機モード又は出力モードに設定されていた期間、例えば期間（ｔ０〜ｔ５）において録音された音声から音楽を抽出する。

なお、音楽抽出部６９４は、撮像時刻ｔ２を含む、期間（ｔ０〜ｔ５）において録音部６５０によって録音された音声のうち、撮像時刻ｔ２の最も近い時刻で録音された音声から音楽を抽出してよい。また、音楽抽出部６９４は、最も音量の大きい音量の音声の中から音楽を抽出してよい。

図９は、音楽を取得する手順の一例を示す。音楽抽出部６９４は、録音部６５０が録音した音声から撮像した時刻を含む期間の音声を抽出する（Ｓ９１２）。そして、音楽抽出部６９４は、Ｓ９１２で抽出した期間の音声から、音楽の特徴量を抽出する（Ｓ９１４）。音楽の特徴量とは、例えば音符データ、リズム、テンポ、調性、コード進行等であってよい。

そして、音楽取得部６９６は、音楽抽出部６９４が抽出した音符データと一致する音楽を音楽データベース１７２の中から検索する（Ｓ９１６）。そして、音楽抽出部６９４は、抽出した音符データと一致する音楽が音楽データベース１７２に格納されているか否かを判断する（Ｓ９１８）。音楽取得部６９６は、Ｓ９１８において、一致する音楽があると判断した場合には、音楽データベース１７２の中から一致する音楽を取得する（Ｓ９２０）。

音楽取得部６９６は、Ｓ９１８において一致する音楽がないと判断した場合には、音楽抽出部６９４がＳ９１４で抽出した音楽の特徴量に基づいて、Ｓ９１２で抽出した音楽と同じジャンル及び／又は年代を特定する（Ｓ９２２）。例えば、音楽取得部６９６は、音楽データベース１７２に格納された音楽の中で、最も類似する特徴量を持つ音楽を最も多く含むジャンル及び／又は時代を特定する。そして、音楽取得部６９６は、Ｓ９２２で特定したジャンル及び／又は年代の音楽を、音楽データベース１７２に格納された音楽の中から取得する（Ｓ９２４）。

なお、音楽取得部６９６は、Ｓ９１８で同一の音楽と判断された音楽が音楽データベース１７２から複数検索された場合は、検索された複数の音楽を音楽データベース１７２から取得してユーザ１８０に選択させてもよい。また、音楽取得部６９６は、Ｓ９２４においても、音楽データベース１７２から取得した同じジャンル及び／又は年代の音楽を複数取得して、ユーザ１８０に選択させてもよい。

図１０は、出力装置１０４０のブロック構成の一例を示す。出力装置１０４０は、音声提供システムが有する出力装置１４０の他の一例であってよい。なお、撮像装置１００は、撮像した画像及び撮像したときの周囲の音声の他に、周囲の音声を録音した時刻も出力装置１０４０に送信する。

出力装置１０４０は、画像格納部１０１０、出力部１０２４、音楽取得部１０９６、音楽抽出部１０９４、音声格納部１０２０、許容時間設定部１０４３、出力時刻検出部１０４４、出力要求取得部１０４８を備える。

画像格納部１０１０は、撮像装置１００によって撮像された画像を格納する。また、画像格納部１０１０は、画像に対応づけて当該画像が撮像された撮像時刻を格納する。

音声格納部１０２０は、撮像装置１００によって録音された音声を格納する。音声格納部１０２０は、音声に対応づけて当該音声の録音時刻を格納する。具体的には、音声格納部１０２０は、撮像装置１００の周囲の音声を格納する。なお、録音時刻とは、音声の録音を開始した時刻であってよく、録音を終了した時刻であってよい。

音楽抽出部１０９４は、音声格納部１０２０が格納する音声から音楽を抽出する。音楽取得部１０９６は、複数の音楽を格納する音楽データベース１７２から、音楽抽出部１０９４が抽出した音楽と同一の種類の音楽を取得する。なお、音楽取得部１０９６が音声を取得する具体的な動作は、図９で説明した音楽取得部６９６の動作と同一であるので、説明を省略する。

出力要求取得部１０４８は、画像格納部１０１０が格納する画像の出力要求を取得する。許容時間設定部１０４３は、出力要求取得部１０４８が出力要求を取得した時刻と、画像格納部１０１０が格納する画像の撮像時刻との差がより大きい場合に、音声を抽出する期間である許容時間をより長く設定する。そして、音楽抽出部１０９４は、画像が撮像された時刻から予め設定された許容時間内に録音された音声から音楽を抽出する。出力部１０２４は、音楽取得部１０９６が取得した音楽と画像格納部１０１０が格納する画像とを同期して出力する。

本実施形態の出力装置１０４０によれば、撮像した画像を、当該画像を撮像したときに流れていた音楽、例えば撮像当時に流行していた音楽とともにユーザ１８０に提供することができる。

図１１は、許容時間設定部１０４３が設定する許容時間の一例を示す。例えば、ユーザ１８０から、時刻ｔ１２で撮像された画像を出力する指示を時刻ｔ１３において受け付けた場合に、許容時間設定部１０４３は、出力を指示された時刻と出力される画像が撮像された時刻との差（ｔ１３−ｔ１２）に基づいて、音楽抽出部１０９４に音楽を抽出する音声をさせる許容範囲Δｔ５２を決定する。そして、音楽抽出部１０９４は、音声格納部１０２０に格納されている音声のうち、時刻ｔ１２からΔｔ５２だけ前又は後の時間範囲（時刻ｔ１２―Δｔ５２〜時刻ｔ１２＋Δｔ５２）に録音された音声の中から音楽を抽出する。

なお、音楽抽出部１０９４は、時刻ｔ１２から許容範囲Δｔ５２だけ前の時刻から時刻ｔ１２までの間に録音された音声の中から音声を抽出してもよいし、時刻ｔ１２から許容範囲Δｔ５２だけ後の時刻までの間に録音された音声の中から音声を抽出してもよい。

また、許容時間設定部１０４３は、画像格納部１０１０が格納する撮像画像が撮像された時刻と、出力する指示を受け付けた時刻との差が大きいほど、許容時間をより大きく設定する。図１１の例では、許容時間設定部１０４３は、時刻ｔ１２よりも前の時刻ｔ１１に撮像された画像を出力するよう時刻ｔ１３において指示された場合には、許容範囲Δｔ５２に比べて時間的により長い許容範囲Δｔ５１を設定する。そして、音楽抽出部１０９４は、時刻（ｔ１１−Δｔ５１）から時刻（ｔ１１＋Δｔ５０）までの時間範囲内で録音された音声の中から音楽を抽出する。

なお、許容時間設定部１０４３は、撮像された時刻と出力を指示された時刻との間の時間を予め定められた数で割って得られた期間を許容時間として設定してよい。この場合、音楽抽出部１０９４は、例えば１０日前に撮像した画像を出力するときには、撮像時刻の前後１日の間に録音された音声から音楽を抽出する。また、音楽抽出部１０９４は、１０年前に撮像した画像を出力するときには、撮像時刻の前後１年の間に録音された音声の中から音楽を抽出する。

以上説明した出力装置１０４０によれば、例えば観光地からの帰りの列車内を流れていたＢＧＭと同じ音楽とともに画像を鑑賞することができる。また、出力装置１０４０は、より過去に撮像された画像を出力するときには、撮像された時刻を含むより広い時間範囲で録音された音声の中から音楽を選択するので、ユーザ１８０は撮像当時に最も流行していた音楽を思い出しながら楽しく画像を鑑賞することができる。

図１２は、出力装置１４０、撮像装置６００、及び出力装置１０４０に係るコンピュータ１５００のハードウェア構成の一例を示す。コンピュータ１５００は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有するレガシー入出力部とを備える。

ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５、及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、及びＲＡＭ１５２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、コンピュータ１５００内のＣＰＵ１５０５が使用するプログラム、及びデータを格納する。通信インターフェイス１５３０は、ネットワークを介して出力装置１４０、撮像装置６００、又は出力装置１０４０と通信し、出力装置１４０、撮像装置６００、又は出力装置１０４０にプログラム、及びデータを提供する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。

また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、コンピュータ１５００が起動時に実行するブート・プログラムや、コンピュータ１５００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０や、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。

ＲＡＭ１５２０を介して通信インターフェイス１５３０に提供されるプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介して通信インターフェイス１５３０に提供され、ネットワークを介して出力装置１４０、撮像装置６００、又は出力装置１０４０に送信される。出力装置１４０、撮像装置６００、又は出力装置１０４０に送信されたプログラムは、出力装置１４０、撮像装置６００、又は出力装置１０４０においてインストールされて実行される。

出力装置１４０にインストールされて実行されるプログラムは、出力装置１４０を図１から図５において説明した出力装置１４０として機能させる。また、撮像装置６００にインストールされて実行されるプログラムは、撮像装置６００を、図６から図９において説明した撮像装置６００として機能させる。また、出力装置１０４０にインストールされて実行されるプログラムは、出力装置１０４０を、図１０及び図１１において説明した出力装置１０４０として機能させる。

以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤやＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１５００に提供してもよい。

以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることができる。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

音声提供システムの一例を示す図である。 出力装置１４０のブロック構成の一例を示す図である。 音声データベース１７０が格納するデータの一例をテーブル形式で示す図である。 画像が撮像された位置の分布の一例を示す図である。 画像が撮像された時刻の分布の一例を示す図である。 撮像装置６００のブロック構成の一例を示す図である。 音楽データベース１７２が格納するデータの一例をテーブル形式示す図である。 撮像装置６００が録音する音声と時間範囲の一例を示す図である。 音楽を取得する手順の一例を示す図である。 出力装置１０４０のブロック構成の一例を示す図である。 許容時間の一例を示す図である。 コンピュータ１５００のハードウェア構成の一例を示す図である。

符号の説明

１００ 撮像装置
１４０ 出力装置
１５０ 通信回線
１７０ 音声データベース
１７２ 音楽データベース
１８０ ユーザ
２１０ 画像格納部
２２４ 出力部
２６２ 音声取得部
２７８ 画像選択部
２８２ 撮像領域判断部
２８４ 撮像期間判断部
２８６ 撮像位置分布算出部
２８８ 撮像枚数算出部
６００ 撮像装置
６０２ 撮像部
６５０ 録音部
６７０ 表示部
６９２ モード設定部
６９４ 音楽抽出部
６９６ 音楽取得部
６９８ データ格納部
１０１０ 画像格納部
１０２０ 音声格納部
１０２４ 出力部
１０４０ 出力装置
１０４３ 許容時間設定部
１０４８ 出力要求取得部
１０９４ 音楽抽出部
１０９６ 音楽取得部
１０４４ 出力時刻検出部

Claims (10)

1. 撮像された画像と、当該画像が撮像された位置とを対応づけて格納する画像格納部と、
   前記画像格納部が格納する複数の画像のそれぞれが撮像された複数の撮像位置を含む撮像領域を判断する撮像領域判断部と、
   前記撮像領域判断部が判断した撮像領域の広さに応じて音声データベースが格納する音声を取得する音声取得部と、
   前記画像格納部が格納する複数の画像とともに、前記音声取得部が取得した音声を出力する出力部と
   を備える出力装置。
2. 前記画像格納部が格納する画像から、ユーザの指示入力に基づいて複数の画像を選択する画像選択部
   をさらに備え、
   前記撮像領域判断部は、前記画像選択部が選択した複数の画像のそれぞれが撮像された複数の位置を含む撮像領域を判断し、
   前記出力部は、前記画像選択部が選択した複数の画像とともに、前記音声取得部が取得した音声を出力する
   請求項１に記載の出力装置。
3. 前記音声取得部は、前記撮像領域判断部が判断した撮像領域がより狭い場合に、前記撮像領域判断部が判断した撮像領域についてのより詳しい説明の音声を取得する
   請求項１に記載の出力装置。
4. 前記撮像領域判断部が判断した撮像領域内における、前記画像格納部が格納する複数の画像のそれぞれが撮像された複数の位置の分布を算出する撮像位置分布算出部
   をさらに備え、
   前記音声取得部は、前記撮像位置分布算出部が算出した分布の偏りが予め定められた偏りより大きい部分領域についての説明の音声を取得する
   請求項３に記載の出力装置。
5. 前記撮像領域判断部が判断した撮像領域に含まれる複数の部分領域毎に、前記画像格納部が格納する複数の画像のそれぞれが撮像された撮像枚数を算出する撮像枚数算出部
   をさらに備え、
   前記音声取得部は、前記撮像枚数算出部が算出した撮像枚数がより多い場合に、前記音声データベースが格納する部分領域についての詳しさが異なる複数の説明のうちのより詳しい説明の音声を取得する
   請求項４に記載の出力装置。
6. 前記画像格納部は、撮像された画像に対応づけて、当該画像が撮像された時刻をさらに格納し、
   当該出力装置は、
   前記画像格納部が格納する複数の画像のそれぞれが撮像された複数の時刻を含む撮像期間を判断する撮像期間判断部
   をさらに備え、
   前記音声取得部は、前記撮像期間判断部が判断した撮像期間の長さにさらに応じて音声データベースが格納する音声を取得する
   請求項１に記載の出力装置。
7. 音声取得部は、前記撮像期間判断部が判断した撮像期間がより長い場合に、前記撮像領域判断部が判断した撮像領域についてのより詳しい説明の音声を取得する
   請求項６に記載の出力装置。
8. 撮像された画像と、当該画像が撮像された位置とを対応づけて格納する画像格納段階と、
   前記画像格納段階において格納される複数の画像のそれぞれが撮像された複数の撮像位置を含む撮像領域を判断する撮像領域判断段階と、
   前記撮像領域判断段階において判断された撮像領域の広さに応じて音声データベースが格納する音声を取得する音声取得段階と、
   前記画像格納段階において格納される複数の画像とともに、前記音声取得段階において取得された音声を出力する出力段階と
   を備える出力方法。
9. 画像を出力する出力装置用のプログラムであって、前記出力装置を、
   撮像された画像と、当該画像が撮像された位置とを対応づけて格納する画像格納部、
   前記画像格納部が格納する複数の画像のそれぞれが撮像された複数の撮像位置を含む撮像領域を判断する撮像領域判断部、
   前記撮像領域判断部が判断した撮像領域の広さに応じて音声データベースが格納する音声を取得する音声取得部、
   前記画像格納部が格納する複数の画像とともに、前記音声取得部が取得した音声を出力する出力部
   として機能させるプログラム。
10. 画像を出力する出力装置と、
    音声データベースと
    を備える音声提供システムであって、
    前記出力装置は、
    撮像された画像と、当該画像が撮像された位置とを対応づけて格納する画像格納部と、
    前記画像格納部が格納する複数の画像のそれぞれが撮像された複数の撮像位置を含む撮像領域を判断する撮像領域判断部と、
    前記撮像領域判断部が判断した撮像領域の広さに応じて前記音声データベースが格納する音声を取得する音声取得部と、
    前記画像格納部が格納する複数の画像とともに、前記音声取得部が取得した音声を出力する出力部と
    を有する音声提供システム。

Images