JP2005346259A - 情報処理装置及び情報処理方法 - Google Patents

Abstract

【課題】 デジタルカメラなどで画像に音声を付与し、付与した音声に対して音声認識を適用することで画像検索機能を提供するシステムにおいて、音声認識を行う画像をあらかじめユーザが指定しておくことで、不必要な音声認識を行わずに済み、誤認識・誤検索を削減できるため、ユーザにとって利用しやすい画像検索環境を提供する。
【解決手段】 データに関連付ける音情報を取得し、取得した音情報を音声認識の対象とするか否かを設定し、音声認識の対象とするよう設定された場合に、前記データ及び前記音情報を関連付けて記憶する。
【選択図】 図３

Description

本発明は、取得した音情報とデータを関連付けて記憶する情報処理装置に関する。

現在多くのデジタルカメラには、撮影した画像に音声情報を入力する機能が搭載されている。そして、画像に添付した音声情報を用いることで、画像の効果的な整理機能や所望の画像を探し出す検索機能を提供するなど様々な提案がされている。例えば、デジタルカメラで撮った画像に音声を付与して、音声情報を利用してデジタルカメラ上で画像の検索や整理を行う手段が特許文献１で提案されている。また、特許文献２では編集装置上で画像に付与された音声情報を認識して、音声認識した結果を用いて画像の閲覧や整理に加えて画像処理も行う手段が提案されている。
特開平９−１３５４１７号公報 特開２００３−１１１００９号公報

上記従来技術では、撮影した画像に付与するすべての音声情報を対象にして音声認識を行い、検索や整理や画像処理などが実施されるが、画像に付与する音は音声ばかりとは限らず、撮影場所の周囲音や撮影画像に合った効果音など音声認識の必要のない音のデータも含まれることが想定される。一般に音声以外の周囲音を音声認識した場合、認識結果は予想できず画像の検索、整理のために音声認識結果を用いるのは難しい。そのような音声認識の必要がないデータは、あらかじめ音声認識による検索対象から外して保持することで、無用な音声認識を行わずに済み、データ検索機能の高速化を図ることができる。

上記課題を解決するために、本発明は、データに関連付ける音情報を取得する取得手段と、前記取得手段で取得した音情報をデータ検索に利用するか否かを設定する設定手段と、前記設定手段でデータ検索に利用するよう設定された場合に、前記データ及び前記音情報を関連付けて記憶する記憶手段とを備えたことを特徴とする。

また本発明は、データに関連付ける音情報を取得する取得手段と、前記取得手段で取得した音情報を音声認識の対象とするか否かを設定する設定手段と、前記設定手段で音声認識の対象とするよう設定された場合に、前記データ及び前記音情報を関連付けて記憶する記憶手段とを備えたことを特徴とする。

また本発明は、データに関連付ける音情報を取得する取得手段と、前記取得手段で取得した音情報を音分類の対象とするか否かを設定する設定手段と、前記設定手段で音分類の対象とするよう設定された場合に、前記データ及び前記音情報を関連付けて記憶する記憶手段とを有することを特徴とする。

また本発明は、データ、該データに関連付けられた音情報及び該音情報をデータ検索に利用するか否かを設定した設定情報とを受信する受信手段と、前記受信手段で受信した設定情報がデータ検索に利用する設定となっている設定情報に対応する音情報に関連付けられているデータのみを、該音情報に基づいて検索する検索手段とを備えたことを特徴とする。

また本発明は、データ、該データに関連付けられた音情報及び該音情報を音声認識の対象とするか否かを設定した設定情報とを受信する受信手段と、前記受信手段で受信した設定情報が音声認識の対象とする設定となっている場合に、前記音情報を音声認識する音声認識手段と、前記音声認識手段で認識された結果を前記データに関連付けて記憶する記憶手段とを備えたことを特徴とする情報処理装置。

また本発明は、データ、該データに関連付けられた音情報及び該音情報を音分類の対象とするか否かを設定した設定情報を受信する受信手段と、前記受信手段で受信した設定情報が音分類の対象とする設定となっている場合に、前記音情報を音の属性に分類する分類手段と、前記分類手段において分類された音の属性を文字列として、前記音情報に関連付けられた前記データに関連付けて記憶する記憶手段とを備えたことを特徴とする。

例えば音声認識を利用した画像検索システムにおいて、音声認識する必要のない音が関連付けられた画像をあらかじめ省くことができ、検索の高速化を図ることができる。

以下、本発明の一実施形態について、添付図面を参照して説明する。

本実施例では、画像をデータとして扱う例をあげ、取得した画像に音声情報を関連付けて記憶する画像検索装置を例にあげて、本発明の情報処理装置について説明する。

図１は本発明を適用した画像検索装置の構成を示すブロック図である。１０１はマイクロフォンなどの音入力部、１０２はボタンやキーボードなどの入力部、１０３はＣＰＵやメモリ（ＲＡＭ、ＲＯＭ）などを含む制御部、１０４はレンズやＣＭＯＳセンサーなどを含む光学機器またはスキャナーなどの画像入力部、１０５はディスプレイや液晶画面などの情報表示部、１０６はＣＦカードやＳＤメモリまたはハードディスクなどの外部記憶部、１０７は上記の各部を接続するバスである。

図２は本実施例における音声認識を利用した画像検索処理を実現する制御プログラムのモジュール構成を示すブロック図である。

画像入力モジュール２０１は、画像入力部１０４を介して画像の入力処理を行い、入力した画像をデータに変換して制御部１０３へ入力する。同様に録音モジュール２０２は、音入力部１０１を介して音をデータに変換して制御部１０３へ入力する。付加情報入力モジュール２０３は、入力部１０２を介して入力されるユーザの設定情報や画像入力機器が出力する画像に関連した付加情報をデータに変換して制御部１０３へ入力する。そして、画像データ生成モジュール２０４において、各モジュールが出力した各々のデータを画像データという枠組みで互いに関連付けて外部記憶部１０６に保存する。

音声認識モジュール２０５は、制御部１０３上で動作し画像データ生成モジュール２０４で生成した画像データを読み込み、画像に関連付けられた音が音声認識の対象であるか否かなどの設定情報を付加情報から獲得し、音声認識の対象となる音を音声認識して認識結果を画像データに関連付けて外部記憶部１０６に保存する。画像検索モジュール２０６は、得られた音声認識結果と入力部１０２を介してユーザが入力するキーワードとのマッチングを行い、情報表示部１０５を介して検索結果をユーザに表示する。

図３は本実施形態において音声認識を利用した画像検索を実現する処理を示すフローチャートである。まず、ステップＳ３０１において、画像入力モジュール２０１を実行することにより画像を入力し、画像をデータとして取得する。

次に分岐ステップＳ３０２において、取得した画像に対して音を録音する場合は録音モジュール２０２を実行することにより録音を開始し、録音しない場合はＳ３０６へ進む。また、ここで録音するかどうかの設定は画像の取得前に事前に行ってもよい。

続いてステップＳ３０３において、録音した音をデータに変換して取得する。そして分岐ステップＳ３０４において、録音した音を音声認識の対象とする場合はＳ３０５に進み、録音した音を音声認識の対象としない場合はＳ３０６へ進む。ステップＳ３０５では、ユーザが入力部１０２を介して、録音した音を音声認識の対象とするか否かの設定情報を付加情報として入力しＳ３０７に進む。

ステップＳ３０７において、付加情報入力モジュールを実行し、機器内部で出力する画像に関する付加情報やユーザが設定する付加情報などを取得し、ステップＳ３０７へ進む。ステップＳ３０７において、画像データ出力モジュール２０４を実行することにより、入力した画像と音と付加情報を互いに関連付け画像データとして出力し、画像データを外部記憶部１０６に保存する。

分岐ステップＳ３０８では、前ステップで出力した画像データを読み込み、画像に関連付けられた音が認識対象であればＳ３０９に進み、音声認識の対象ではなければ、画像データは画像検索の対象とならず終了する。ステップＳ３０９において、音声認識モジュール２０５を実行することにより画像に関連付けられた音を音声認識し、認識結果を画像データに関連付けて保存する。最後にステップＳ３１０において、画像検索モジュール２０６を実行することにより前ステップで得た音声認識結果を使用して画像検索を行い、ユーザに対して検索結果を表示して終了する。

これら一連の処理をすべてデジタルカメラやスキャナー機能を備えた画像取得機器などで行ってもよいし、Ｓ３０８以降をパソコンなどの別の情報処理装置で行ってもよい。

図１１は環境音認識を利用した音分類を実現する処理を示すフローチャートである。上記図３で示したフローチャートにおいて認識を分類に置き換え、音声認識を環境音認識に置き換えたものであり、音分類および環境音認識に関しては実施例２で詳細に示す。

次にＳ３０２〜Ｓ３０５で示した音を音声認識の対象とするか否かを設定する方法の一例を示す。図４は本実施形態を適用したデジタルカメラの概観構成例を示す斜視図である。

図４Ａおよび図４Ｂはデジタルカメラの筐体４０１を後面から見たものである。４０２はマイクロフォン、４０３は液晶画面、４０４はシャッターボタン、４０５および４０６はボタンを示す。本実施形態において、例えば４０５のボタンを「音声メモボタン」、４０６のボタンを「録音ボタン」のように動作機能をボタンに割り当てると、４０５を押下することにより音声認識用の録音を行い、４０６を押下することにより音声認識をしない音の録音を行うことができる。また別の例として、図４Ｂのように例えば単一のボタン４０７を「音声認識ボタン」として割り当てることにより、ボタン４０７を押下すれば画像を音声認識の対象とすることができる。更に、単一ボタン４０７を半押ししている最中は音声認識の対象としない音を録音することができる機能を割り当てることもできる。ここでボタンの半押しとは、完全にボタンを押下しない程度の力でボタンを押下し、ある一定の状態でボタンを押下し続けることのできる状態のことをいう。

このように、本実施形態によれば、画像に音を関連付けた時にその音を音声認識の対象とするかどうかをユーザが行うことができ、図３で示したシステムにおいてユーザが録音した音を音声認識による検索対象とするかどうかを任意に決めることができる。こうすることにより、例えば音声認識を利用した画像検索装置において、音声認識する必要のない音が関連付けられた画像をあらかじめ省くことができ、検索の高速化を図ることができる。

実施例１は、画像に関連付けた音を認識対象としないものについては特に処理を行わない場合を述べたが、本実施形態では音声認識の対象としない音を分析し、画像に関連付けた音を分類し音属性を付与して保存する手法を示す。

図５は本実施形態における音声認識を利用した画像検索処理を実現する制御プログラムのモジュール構成を示すブロック図である。本実施形態のモジュール構成は図２で示すモジュール構成に環境音認識モジュール５０１を更に加えた構成となる。そのため図２と同一のモジュールには同一の番号をふる。

環境音認識モジュール５０１は、音声認識の対象としない音を分析し、音に対して例えば「水の音」「風の音」などの音属性を付与し、画像データに音属性を関連付けるモジュールである。

図６は本実施形態において音声認識を利用した画像検索を実現する処理を示すフローチャートである。まず、ステップＳ６０１において、画像入力モジュール２０１を実行することにより画像を入力し、画像をデータとして取得する。次に分岐ステップＳ６０２において、取得した画像に対して音を録音する場合は録音モジュール２０２を実行することにより録音を開始し、録音しない場合はＳ６０６へ進む。また、ここで録音するかどうかの設定は画像の取得前に事前に行ってもよい。続いてステップＳ６０３において、録音した音をデータに変換して取得する。そして分岐ステップＳ６０４において、録音した音を音声認識の対象とする場合はＳ６０５に進み、録音した音を音声認識の対象としない場合はＳ６０６へ進む。ステップＳ６０５では、ユーザが情報入力装置１０２を介して、録音した音を音声認識の対象とするか否かの設定情報を付加情報として入力しＳ６０７に進む。ステップＳ６０７において、付加情報入力モジュールを実行し、機器内部で出力する画像に関する付加情報やユーザが設定する付加情報などを取得し、ステップＳ６０７へ進む。ステップＳ６０７において、画像データ出力モジュール２０４を実行することにより、入力した画像と音と付加情報を互いに関連付け画像データとして出力し、画像データを外部記憶装置１０６に保存する。

分岐ステップＳ６０８では、前ステップで出力した画像データを読み込み、画像に関連付けられた音が存在しなければ、画像データは画像検索の対象とならず終了し、音が画像に関連付けられていればＳ６０９に進む。分岐ステップＳ６０９では、画像に関連付けられた付加情報を読み込み、画像に関連付けられた音が認識対象であればＳ６１０に進み、音声認識の対象ではなければＳ６１１に進む。Ｓ６１０において、音声認識モジュール２０５を実行することにより画像に関連付けられた音を音声認識し、認識結果を画像データに関連付けて保存する。ステップＳ６１１では、環境音認識モジュール５０１を実行することにより音声認識の対象としない画像に関連付けられた音を分析して分類を行い、分類名を音属性として画像データに関連付けて保存する。音を分析して分類する方法は、例えば「水の音」や「風の音」など様々な環境音を考慮して環境音ごとに音響モデルを作成し、音声認識と同様に音の特徴量とモデルとのマッチングを行い、高い尤度を出した音響モデルの環境音を分類名とする。最後にステップＳ６１２において、画像検索モジュール２０６を実行することにより、前ステップで得た音声認識結果や環境音認識結果を使用して画像検索を行い、ユーザに対して検索結果を表示して終了する。

これら一連の処理はすべてデジタルカメラやスキャナ機能を備えた画像取得装置などで行ってもよいし、Ｓ６０８以降をパソコンなどの別の情報処理装置で行ってもよい。

このように、本実施形態によれば、画像に音を関連付けた時にその音を音声認識の対象とするかどうかの設定をユーザが指定することができ、また音声認識の対象としない音に対しても音属性を付与することで検索対象とすることができる。これにより、音を関連付けたれたすべての画像が検索対象となり、かつ検索に不必要な音声認識を省略することができるため、音声認識を利用した画像検索装置の利便性が向上するとともに検索の高速化を期待できる。

上記実施例１及び２は、ユーザがボタンなどを操作して画像に関連付けて付与する音を任意に音声認識の対象とすることについて述べたが、本実施形態では音／音声識別を行うことで音声認識の対象とする音を自動的に識別して保持する手法を示す。

図７は本実施形態における音声認識を利用した画像検索処理を実現する制御プログラムのモジュール構成を示すブロック図である。

本実施形態のモジュール構成は図２で示すモジュール構成に音／音声識別モジュール７０１を更に加えた構成となる。音／音声識別モジュール７０１は、画像に関連付けられた音情報が音声であるか否かを自動で識別し、識別結果を付加情報として画像に関連付けて出力するモジュールである。

図８は本実施形態において音声認識を利用した画像検索を実現する処理を示すフローチャートである。まず、ステップＳ８０１において、画像入力モジュール２０１を実行することにより画像を入力し、画像をデータとして取得する。次に分岐ステップＳ８０２において、取得した画像に対して音を録音する場合は録音モジュール２０２を実行することにより録音を開始し、録音しない場合はＳ８０４へ進む。また、ここで録音するかどうかの設定は画像の取得前に事前に行ってもよい。続いてステップＳ８０３において、録音した音をデータに変換して取得する。ステップＳ８０４において、付加情報入力モジュールを実行し、機器内部で出力する画像に関する付加情報やユーザが設定する付加情報などを取得し、ステップＳ８０５へ進む。ステップＳ８０５において、画像データ出力モジュール２０４を実行することにより、入力した画像と音と付加情報を互いに関連付け画像データとして出力し、画像データを外部記憶装置１０６に保存する。

分岐ステップＳ８０６では、前ステップで出力した画像データを読み込み、画像に関連付けられた音が存在しなければ、画像データは画像検索の対象とならず終了し、音が画像に関連付けられていればＳ８０７に進む。そしてステップＳ８０７において、音／音声識別モジュール７０１を実行することにより画像に関連付けられた音が音声であるか否かを識別しＳ８０８に進む。音声であるか否かを自動で識別する手段として、例えば様々な音声を用いて作成した音声音響モデルと環境音だけ使用して作成した環境音響モデルを使用して画像に関連付けられた音に対して音声認識を行い、音声音響モデルの尤度が環境音響モデルの尤度より高ければ音声として識別する。あるいは、例えば撮影機器の設定状態（例えば、赤目補正モードや人物撮影モードなど）から画像に人物が写っていると明らかに判別できる場合や、画像認識により撮影した画像に人物が写っている場合は、画像に関連付けられた音を音声と識別する。

そして分岐ステップＳ８０８において、前ステップによる結果から音声認識の対象とするか否かを自動的に識別し、音声以外と識別された音が関係付けられた画像データは画像検索の対象をならず終了し、音声と識別された場合はＳ８０９に進む。ステップＳ８０９において、音声認識モジュール２０５を実行することにより画像に関連付けられた音を音声認識し、認識結果を画像データに関連付けて保存する。最後にステップＳ８１０において、画像検索モジュール２０６を実行することにより、前ステップで得た音声認識結果や環境音認識結果を使用して画像検索を行い、ユーザに対して検索結果を表示して終了する。

これら一連の処理はすべてデジタルカメラやスキャナー機能を備えた画像取得機器などで行ってもよいし、Ｓ８０６以降をパソコンなどの別の情報処理機器で行ってもよい。

このように、本実施形態によれば、画像に音を関連付けた際に、その音を自動的に音声認識の対象とするか否かを識別することができ、音声認識を利用した画像検索装置において検索対象となる画像を自動的に選別することができる。これにより、例えば音声認識に関連するユーザの機器操作における負担が軽減され、システムが自動的に音声認識する必要のない画像を省き、音声認識を利用した画像検索装置の利便性が大幅に向上することを期待できる。

上記の実施例３は、画像に関連付けて付与する音に対して音／音声識別を行うことで自動的に音声認識の対象とすることについて述べたが、本実施形態では更に音声認識の対象としない音に対して環境音分析を行い、画像に関連付けて付与した音を分類し音属性を付与して保存する手法を示す。

図９は本実施形態における音声認識を利用した画像検索処理を実現する制御プログラムのモジュール構成を示すブロック図である。本実施形態のモジュール構成は図７で示すモジュール構成に図５で記載した環境音認識モジュール５０１を更に加えた構成となる。

図１０は本実施形態において音声認識を利用した画像検索を実現する処理を示すフローチャートである。まず、ステップＳ１００１において、画像入力モジュール２０１を実行することにより画像を入力し、画像をデータとして取得する。次に分岐ステップＳ１００２において、取得した画像に対して音を録音する場合は録音モジュール２０２を実行することにより録音を開始し、録音しない場合はＳ１００４へ進む。また、ここで録音するかどうかの設定は画像の取得前に事前に行ってもよい。続いてステップＳ１００３において、録音した音をデータに変換して取得する。ステップＳ１００４において、付加情報入力モジュールを実行し、機器内部で出力する画像に関する付加情報やユーザが設定する付加情報などを取得し、ステップＳ１００５へ進む。ステップＳ１００５において、画像データ出力モジュール２０４を実行することにより、入力した画像と音と付加情報を互いに関連付け画像データとして出力し、画像データを外部記憶装置１０６に保存する。

分岐ステップＳ１００６では、前ステップで出力した画像データを読み込み、画像に関連付けられた音が存在しなければ、画像データは画像検索の対象とならず終了し、音が画像に関連付けられていればＳ１００７に進む。そしてステップＳ１００７において、音／音声識別モジュール７０１を実行することにより画像に関連付けられた音が音声であるか否かを識別しＳ１００８に進む。音声であるか否かを自動で識別する手段として、例えば様々な音声を用いて作成した音声音響モデルと環境音だけ使用して作成した環境音響モデルを使用して画像に関連付けられた音に対して音声認識を行い、音声音響モデルの尤度が環境音響モデルの尤度より高ければ音声として識別する。あるいは、例えば撮影機器の設定状態（例えば、赤目補正モードや人物撮影モードなど）から画像に人物が写っていると明らかに判別できる場合や、画像認識により撮影した画像に人物が写っている場合は画像に関連付けられた音を音声と識別する。

そして分岐ステップＳ１００８において、前ステップによる結果から音声認識の対象とするか否かを自動的に識別し、音声以外と識別された場合はＳ１０１０へ進み、音声と識別された場合はＳ１００９に進む。ステップＳ１００９において、音声認識モジュール２０５を実行することにより画像に関連付けられた音を音声認識し、認識結果を画像データに関連付けて保存する。そしてステップＳ１０１０において、環境音認識モジュール５０１を実行することにより音声認識の対象としない画像に関連付けられた音を分析して分類を行い、分類名を音属性として画像データに関連付けて保存する。音を分析して分類する方法は、例えば水の音や風の音など様々な環境音を考慮して環境音ごとに音響モデルを作成し、音声認識と同様に音の特徴量とモデルとのマッチングを行い、高い尤度を出した音響モデルの環境音を分類名することができる。最後にステップＳ１０１１において、画像検索モジュール２０６を実行することにより、前ステップで得た音声認識結果や環境音認識結果を使用して画像検索を行い、ユーザに対して検索結果を表示して終了する。

これら一連の処理はすべてデジタルカメラやスキャナー機能を備えた画像取得機器などで行ってもよいし、Ｓ１００６以降をパソコンなどの別の情報処理機器で行ってもよい。

このように、本実施形態によれば画像に音を関連付けた際に、その音を自動的に音声認識の対象とするか否かを識別することができ、音声認識を利用した画像検索装置において検索対象となる画像を自動的に選別することができ、また音声認識に使用しない音に対しても音属性を付与することで検索対象とすることができる。こうすることにより、音声認識に関連するユーザの機器操作における負担が軽減され、システムが自動的に音声認識する必要のない画像を省き、かつ音が関係付けられた画像すべてを検索対象とすることができるため、音声認識を利用した画像検索装置の利便性が大幅に向上することを期待できる。

上記実施例４において、音／音声識別モジュール７０１と環境音認識モジュール５０１を個別のモジュールとして図９に示したが、これらのモジュールは個別のモジュールである必要はなく、音声か否かを識別すると同時に、画像に関連付けられた音を環境音認識することもできる。例えば、図１０におけるステップＳ１０１０をステップＳ１００７に組み込み、音声音響モデルと複数の環境音モデルを使って音声認識を行うことで、音／音声識別および環境音認識を同時に行うことができる。

上記の実施例１から５は画像に関して述べてきたが、音を関連付けて保存するデータは画像だけに限らずドキュメントやビデオなど、あらゆるデジタルコンテンツに対して本発明を適用した検索システムを構築できるものとする。

なお、本発明の目的は、前述した実施例の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。

この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。

また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

実施例の画像検索装置の構成を示すブロック図 実施例の画像検索処理を実現する制御プログラムのモジュール構成を示すブロック図 実施例の画像検索を実現する処理を示すフローチャート 本発明を適用したデジタルカメラの概観構成例を示す斜視図 画像に関連付けた音を音声認識の対象として保存する処理と、音声認識の対象としない音を分析し音属性を付与して保存する処理を備えた画像検索処理を実現する制御プログラムのモジュール構成を示すブロック図 画像に関連付けた音を音声認識の対象として保存する処理と、音声認識の対象としない音を分析し音属性を付与して保存する処理を備えた画像検索を実現する処理を示すフローチャート 画像に関連付けられた音が音声であるか否かを自動で識別する処理を備えた画像検索処理を実現する制御プログラムのモジュール構成を示すブロック図 画像に関連付けられた音が音声であるか否かを自動で識別する処理を備えた画像検索を実現する処理を示すフローチャート 画像に関連付けられた音が音声であるか否かを自動で識別する処理と、音声認識の対象としない音を分析し音属性を付与して保存する処理を備えた画像検索処理を実現する制御プログラムのモジュール構成を示すブロック図 画像に関連付けられた音が音声であるか否かを自動で識別する処理と、音声認識の対象としない音を分析し音属性を付与して保存する処理を備えた画像検索を実現する処理を示すフローチャート 環境音認識を利用した音分類を実現する処理を示すフローチャート

Claims (18)

1. データに関連付ける音情報を取得する取得手段と、
   前記取得手段で取得した音情報をデータ検索に利用するか否かを設定する設定手段と、
   前記設定手段でデータ検索に利用するよう設定された場合に、前記データ及び前記音情報を関連付けて記憶する記憶手段とを備えたことを特徴とする情報処理装置。
2. データに関連付ける音情報を取得する取得手段と、
   前記取得手段で取得した音情報を音声認識の対象とするか否かを設定する設定手段と、
   前記設定手段で音声認識の対象とするよう設定された場合に、前記データ及び前記音情報を関連付けて記憶する記憶手段とを備えたことを特徴とする情報処理装置。
3. 前記取得手段で取得した音情報が音声であるかを識別する識別手段を更に備え、
   前記設定手段は、前記識別手段で前記音情報が音声であると識別された場合に前記音情報を音声認識の対象とするよう設定することを特徴とする請求項２記載の情報処理装置。
4. 前記識別手段で前記音情報が音声でないと識別された場合に、前記音情報を音分類の対象として設定する第２設定手段を更に備えたことを特徴とする請求項３記載の情報処理装置。
5. データに関連付ける音情報を取得する取得手段と、
   前記取得手段で取得した音情報を音分類の対象とするか否かを設定する設定手段と、
   前記設定手段で音分類の対象とするよう設定された場合、前記データ及び前記音情報を関連付けて記憶する記憶手段とを有することを特徴とする情報処理装置。
6. データ、該データに関連付けられた音情報及び該音情報をデータ検索に利用するか否かを設定した設定情報とを受信する受信手段と、
   前記受信手段で受信した設定情報がデータ検索に利用する設定となっている設定情報に対応する音情報に関連付けられているデータのみを、該音情報に基づいて検索する検索手段とを備えたことを特徴とする情報処理装置。
7. データ、該データに関連付けられた音情報及び該音情報を音声認識の対象とするか否かを設定した設定情報とを受信する受信手段と、
   前記受信手段で受信した設定情報が音声認識の対象とする設定となっている場合に、前記音情報を音声認識する音声認識手段と、
   前記音声認識手段で認識された結果を前記データに関連付けて記憶する記憶手段とを備えたことを特徴とする情報処理装置。
8. データ、該データに関連付けられた音情報及び該音情報を音分類の対象とするか否かを設定した設定情報を受信する受信手段と、
   前記受信手段で受信した設定情報が音分類の対象とする設定となっている場合に、前記音情報を音の属性に分類する分類手段と、
   前記分類手段において分類された音の属性を文字列として、前記音情報に関連付けられた前記データに関連付けて記憶する記憶手段とを備えたことを特徴とする情報処理装置。
9. データに関連付ける音情報を取得する取得ステップと、
   前記取得ステップで取得した音情報をデータ検索に利用するか否かを設定する設定ステップと、
   前記設定ステップでデータ検索に利用するよう設定された場合、前記データ及び前記音情報を関連付けて記憶する記憶ステップとを備えたことを特徴とする情報処理方法。
10. データに関連付ける音情報を取得する取得ステップと、
    前記取得ステップで取得した音情報を音声認識の対象とするか否かを設定する設定ステップと、
    前記設定ステップで音声認識の対象とするよう設定された場合、前記データ及び前記音情報を関連付けて記憶する記憶ステップとを備えたことを特徴とする情報処理方法。
11. 前記取得ステップで取得した音情報が音声であるかを識別する識別ステップを更に備え、
    前記設定ステップは、前記識別ステップで前記音情報が音声であると識別された場合に前記音情報を音声認識の対象とするよう設定することを特徴とする請求項１０記載の情報処理方法。
12. 前記識別ステップで前記音情報が音声でないと識別された場合に、前記音情報を音分類の対象として設定する第２設定ステップを更に備えたことを特徴とする請求項１１記載の情報処理方法。
13. データに関連付ける音情報を取得する取得ステップと、
    前記取得ステップで取得した音情報を音分類の対象とするか否かを設定する設定ステップと、
    前記設定ステップで音分類の対象とするよう設定された場合、前記データ及び前記音情報を関連付けて記憶する記憶ステップとを有することを特徴とする情報処理方法。
14. データ、該データに関連付けられた音情報及び該音情報をデータ検索に利用するか否かを設定した設定情報とを受信する受信ステップと、
    前記受信ステップで受信した設定情報がデータ検索に利用する設定となっている設定情報に対応する音情報に関連付けられているデータのみを、該音情報に基づいて検索する検索ステップとを備えたことを特徴とする情報処理方法。
15. データ、該データに関連付けられた音情報及び該音情報を音声認識の対象とするか否かを設定した設定情報とを受信する受信ステップと、
    前記受信ステップで受信した設定情報が音声認識の対象とする設定となっている場合に、前記音情報を音声認識する音声認識ステップと、
    前記音声認識ステップで認識された結果を前記データに関連付けて記憶する記憶ステップとを備えたことを特徴とする情報処理方法。
16. データ、該データに関連付けられた音情報及び該音情報を音分類の対象とするか否かを設定した設定情報を受信する受信ステップと、
    前記受信ステップで受信した設定情報が音分類の対象とする設定となっている場合に、前記音情報を音の属性に分類する分類ステップと、
    前記分類ステップにおいて分類された音の属性を文字列として、前記音情報に関連付けられた前記データに関連付けて記憶する記憶ステップとを備えたことを特徴とする情報処理方法。
17. 請求項９から請求項１６に記載の情報処理方法をコンピュータに実行させるための制御プログラム。
18. 請求項１７に記載の制御プログラムを格納したコンピュータ読み取り可能な記憶媒体。

Images