JP2004363871A - データ保存装置とその方法、及びそのプログラムとそのプログラムを記録した記録媒体 - Google Patents
データ保存装置とその方法、及びそのプログラムとそのプログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP2004363871A JP2004363871A JP2003159117A JP2003159117A JP2004363871A JP 2004363871 A JP2004363871 A JP 2004363871A JP 2003159117 A JP2003159117 A JP 2003159117A JP 2003159117 A JP2003159117 A JP 2003159117A JP 2004363871 A JP2004363871 A JP 2004363871A
- Authority
- JP
- Japan
- Prior art keywords
- data
- data storage
- electronic data
- recognition
- storage device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Storing Facsimile Image Data (AREA)
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】大量の画像、映像等の電子データの中からでも目的の電子データを簡易に検索でき、かつインデクス付加による利用者の負担を軽減する。
【解決手段】電子データ取得手段１が取得した電子データの取得時の位置、時刻を位置情報取得手段２と時刻情報取得手段３で取得する。一方、認識手段９は電子データに対して認識処理を行う。データ記録手段４は、電子データを位置情報、及び／又は時刻情報、及び／又は認識手段９による認識結果と関連付け、この関連付けられた電子データと、位置情報、及び／又は時刻情報、及び／又は認識結果とをデータ保存手段で保存する。検索項目指定手段８は、利用者の指定したインデクスに基づき検索項目を決定する。検索手段７は、検索項目指定手段８により決定された検索項目に基づきデータ保存手段５から上記保存された電子データの検索を行う。
【選択図】 図１
【解決手段】電子データ取得手段１が取得した電子データの取得時の位置、時刻を位置情報取得手段２と時刻情報取得手段３で取得する。一方、認識手段９は電子データに対して認識処理を行う。データ記録手段４は、電子データを位置情報、及び／又は時刻情報、及び／又は認識手段９による認識結果と関連付け、この関連付けられた電子データと、位置情報、及び／又は時刻情報、及び／又は認識結果とをデータ保存手段で保存する。検索項目指定手段８は、利用者の指定したインデクスに基づき検索項目を決定する。検索手段７は、検索項目指定手段８により決定された検索項目に基づきデータ保存手段５から上記保存された電子データの検索を行う。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、撮影した画像、映像等の電子データを利用し易い形式で保存するデータ保存装置、及びその方法とに関し、特に画像、映像等の電子データに含まれる文字、物体、顔、音声によるキーワードなどのオブジェクトを認識することで、データ保存の際にインデクスとしてそれらの情報を付加するデータ保存装置、及びその方法に関する。
【０００２】
【従来の技術】
画像、映像、音声の電子データを保存する際、インデクスデータとして時刻を自動的に付加したり、位置情報を付加したり、あるいは利用者によりその他のインデクスデータを付加したりする方法が使用されていた。特許文献１ではデータ保存時の位置、時刻情報を自動的に取得し、画像、映像等の電子データと関連付けて保存することで、画像データの利用や検索を容易にする手法である。
【０００３】
【特許文献１】
特開２００３−１１６０８１号公報「データ保存方法及び装置」
【０００４】
【発明が解決しようとする課題】
本発明は、上述した従来のシステムの利用面での欠点を補うために、撮影した画像、映像、音声の電子データから情報を抽出し、自動で撮影対象の情報をインデクスとして付加することにより、大量の画像、映像等の電子データの中からでも目的の電子データを簡易に検索することができ、且つインデクス付加による利用者の負担を軽減するデータ保存装置及び方法を提供することを目的とする。
【０００５】
【課題を解決するための手段】
本発明での上記の目的を達成するための一手段は、画像、映像、音声のうち少なくとも１つからなる電子データを保存、利用するためのデータ保存装置であって、前記電子データを取得する電子データ取得手段と、前記電子データ取得時の位置を取得する位置情報取得手段と、前記電子データ取得時の時刻を取得する時刻情報取得手段と、前記電子データに対して認識処理を行う認識手段と、前記電子データを前記位置情報取得手段により取得した位置情報、及び／又は前記時刻情報取得手段により取得した時刻情報、及び／又は前記認識手段により認識された認識結果と関連付けるデータ記録手段と、前記データ記録手段により関連付けられた前記電子データと、前記位置情報取得手段により取得した位置情報、及び／又は前記時刻情報取得手段により取得した時刻情報、及び／又は前記認識手段により認識された認識結果とを保存するデータ保存手段とを備えることを特徴とするデータ保存装置である。
【０００６】
あるいは、上記のデータ保存装置において、認識手段は、前記画像、映像データに対して文字認職処理を行うものであることを特徴とするデータ保存装置である。
【０００７】
あるいは、上記のデータ保存装置において、認識手段は、前記画像、映像データに対して顔認識処理を行うものであることを特徴とするデータ保存装置である。
【０００８】
あるいは、上記のデータ保存装置において、認識手段は、前記画像、映像データに対して物体認識処理を行うものであることを特徴とするデータ保存装置である。
【０００９】
あるいは、上記のデータ保存装置において、認識手段は、前記音声データに対して音声認識処理を行うものであることを特徴とするデータ保存装置である。
【００１０】
あるいは、上記のデータ保存装置において、データ保存手段は、通信ネットワークを介して通信ネットワーク上に設置した所定の記録装置に前記電子データを保存するものであることを特徴とするデータ保存装置である。
【００１１】
あるいは、上記のデータ保存装置において、前記通信ネットワーク上に設置した所定の記録装置に記録された前記電子データのデータ量を監視し、そのデータ量に応じて課金を行う課金手段を備えることを特徴とするデータ保存装置である。
【００１２】
あるいは、上記のデータ保存装置において、利用者の指定したインデクスに基づき検索項目を決定する検索項目指定手段と、前記検索項目指定手段により決定された検索項目に基づき前記電子データの検索を行う検索手段とを備えることを特徴とするデータ保存装置である。
【００１３】
あるいは、画像、映像、音声のうち少なくとも１つからなる電子データを保存、利用するためのデータ保存方法であって、前記電子データを取得する電子データ取得過程と、前記電子データ取得時の位置を取得する位置情報取得過程と、前記電子データ取得時の時刻を取得する時刻情報取得過程と、前記電子データに対して認識処理を行う認識過程と、前記電子データを前記位置情報取得過程により取得した位置情報、及び／又は前記時刻情報取得過程により取得した時刻情報、及び／又は前記認識過程により認識された認識結果と関連付けるデータ記録過程と、前記データ記録過程により関連付けられた前記電子データと、前記位置情報取得過程により取得した位置情報、及び／又は前記時刻情報取得過程により取得した時刻情報、及び／又は前記認識過程により認識された認識結果とを保存するデータ保存過程とを備えることを特徴とするデータ保存方法である。
【００１４】
あるいは、上記のデータ保存方法において、認識過程では、前記画像、映像データに対して文字認職処理を行うことを特徴とするデータ保存方法である。
【００１５】
あるいは、上記のデータ保存方法において、認識過程では、前記画像、映像データに対して顔認識処理を行うことを特徴とするデータ保存方法である。
【００１６】
あるいは、上記のデータ保存方法において、認識過程では、前記画像、映像データに対して物体認識処理を行うことを特徴とするデータ保存方法である。
【００１７】
あるいは、上記のデータ保存方法において、認識過程では、前記音声データに対して音声認識処理を行うことを特徴とするデータ保存方法である。
【００１８】
あるいは、上記のデータ保存方法において、データ保存過程では、通信ネットワークを介して通信ネットワーク上に設置した所定の記録装置に前記電子データを保存することを特徴とするデータ保存方法である。
【００１９】
あるいは、上記のデータ保存方法において、データ保存過程の後に、前記通信ネットワーク上に設置した所定の記録装置に記録された前記電子データのデータ量を監視し、そのデータ量に応じて課金を行う課金過程を備えることを特徴とするデータ保存方法である。
【００２０】
あるいは、上記のデータ保存方法において、利用者の指定したインデクスに基づき検索項目を決定する検索項目指定過程と、前記検索項目指定過程により決定された検索項目に基づき前記電子データの検索を行う検索過程とを備えることを特徴とするデータ保存方法である。
【００２１】
あるいは、上記のデータ保存方法における過程を、コンピュータに実行させるためのプログラムとしたことを特徴とするデータ保存プログラムである。
【００２２】
あるいは、上記のデータ保存方法における過程を、コンピュータに実行させるためのプログラムとし、該プログラムを、該コンピュータが読み取りできる記録媒体に記録したことを特徴とするデータ保存プログラムを記録した記録媒体である。
【００２３】
本発明では、撮影した画像、映像等の電子データにインデクスを付加するにあたって、
（１）画像、映像等の電子データから既存の認識技術を使用してオブジェクトを認識し、
（２）上記（１）による認識結果と、事前に作成しておいた辞書との関連付けを行うことで、
画像、映像、音声の電子データに自動でインデクスを付加し、利用者が必要とする画像、映像、音声の電子データを容易に探し出すことができるようにするとともに、インデクス付加による利用者の負担を軽減する。
【００２４】
【発明の実施の形態】
以下、本発明の実施の形態について図を用いて詳細に説明する。
【００２５】
［本発明の構成］
以下に説明する構成は、本発明の基本的な構成を実現するために、どのような機能手段や過程が必要であるかを示すものである。
【００２６】
本発明のデータ保存装置は、画像、映像、音声の電子データに対してインデクスを付加するために、
（１）画像、映像、音声の電子データを取得する、電子データ取得手段と、
（２）画像、映像、音声の電子データを取得する際に、同時に位置情報を取得する、位置情報取得手段と、
（３）画像、映像、音声の電子データを取得する際に、同時に時刻情報を取得する、時刻情報取得手段と、
（４）上記（２）、（３）から得られる結果以外の情報として、電子データから認識した情報をインデクスとして指定して付与する、インデクス付与手段（認識手段）と、
（５）画像、映像、音声の電子データと上記（２）〜（４）より得られたインデクスとを関連付けて保存する、データ保存手段と、
（６）データ保存手段により保存された電子データから、利用者の必要とする電子データ探し出す、検索手段と、
（７）検索手段により電子データを探し出すために必要な検索キーを入力する検索項目指定手段と、
（８）検索手段により得られた利用者に必要な情報を表示する、電子データ表示手段とを備えるように構成する。
【００２７】
これらの構成は、利用者の所有する端末にハードウェアとして組み込むか、あるいは、ソフトウェアとして実装する。
【００２８】
本発明の構成では、電子データ取得手段において取得した、前記画像、映像、音声の電子データに対して、既存の認識手法を適用して認識を行う認識手段を備え、認識結果をインデクスとしてデータ保存手段において前記画像、映像、音声の電子データと関連付けて保存する。
【００２９】
このとき、前記画像、映像データに対して文字認識手段による文字認識処理を行い、認識結果をインデクスデータとして使用することもある。あるいは、このとき、前記画像、映像データに対して顔認識手段による顔認識処理を行い、認識結果をインデクスデータとして使用することもある。あるいは、このとき、前記画像、映像データに対して物体認識手段による物体認識処理を行い、認識結果をインデクスデータとして使用することもある。さらに、このとき、前記音声データに対して音声認識手段による音声認識処理を行い、認識結果をインデクスデータとして使用することもある。
【００３０】
このように構成されるときに、利用者の所有する端末で取得した画像、映像、音声の電子データを通信ネットワークを介して通信ネットワーク上に設置した認識手段により認識した結果を、画像、映像、音声の電子データと関連付けて、利用者の端末に送り返すこともある。
【００３１】
さらに、利用者は、通信ネットワーク上に設置したデータ保存手段に自由にアクセスすることができ、必要に応じてデータ保存手段により保存された画像、映像、音声の電子データとそれに関連付けられた認識結果等を利用することができる。
【００３２】
以上のような構成により、利用者は必要な画像、映像、音声の電子データから必要な電子データを容易に探し出すことができるようになる。
【００３３】
［本発明の実施の形態］
次に、本発明によるデータ保存装置の具体的な装置構成とその方法の過程の実施形態例を説明する。
【００３４】
図１に本発明による装置構成の第１の実施形態例を図示する。図中、１は電子データ取得手段、２は位置情報取得手段、３は時刻情報取得手段、４はデータ記録手段、５はデータ保存手段、６は検索項目指定手段、７は検索手段、８は電子データ表示手段、９は認識手段であり、携帯端末を構成している。１０は課金手段である。
【００３５】
次に、これらの各処理手段の詳細な動作について説明する。なお、ここでの動作の説明では、通信ネットワークを介さずに、利用者の端末においてすべての処理を実現するものとし、通信ネットワークを介する場合については、別途説明する。
【００３６】
本実施形態例では、まず初めに携帯端末に付属の電子データ取得手段１において画像、映像等の電子データを取得する。電子データ取得手段１は、ディジタルカメラ、ディジタルビデオカメラ、ボイスレコーダを使用することとする。
【００３７】
前記電子データ取得手段１において前記画像、映像、音声の電子データを取得する際に、位置情報取得手段２において、前記画像、映像、音声の電子データ取得時の位置情報も同時に取得することもある。位置情報取得手段２としては、ＧＰＳ（グローバルポジショニングシステム）や、ＰＨＳ（パーソナルハンディフォンシステム）を使用することとする。
【００３８】
その他に、前記電子データ取得手段１において前記画像、映像、音声の電子データを取得する際に、時刻情報取得手段３において、前記画像、映像、音声の電子データ取得時の時刻情報も同時に取得することもある。時刻情報取得手段３としては、時計やカレンダーなど、既存の携帯端末付属のものを使用することとする。
【００３９】
次に、データ記録手段４において、前記画像、映像、音声の電子データと、前記位置情報、及び／又は前記時刻情報を関連付けし、データ保存手段５へと関連付けられた情報を転送する。その他に、データ記録手段４では前記画像、映像、音声の電子データの１以上を認識手段９へ送り、認識手段９において前記画像、映像、音声の電子データの１以上に対して認識処理を行い、前記画像、映像、音声の電子データと認識結果とを関連付け、データ保存手段５へと関連付けられた情報を転送することもある。
【００４０】
認識手段９はそれぞれソフトウェア、ハードウェアを問わず、既存の認識技術を使用し、対象の認識を行うものとする。具体的な認識手法としては、正規化された相互相関（正規化相関）を評価関数とした手法（長尾真：「ディジタル画像処理」ｐｐ３０６−３１０、近代科学社、１９９５年）などの公知技術を使用するものとする。このとき、認識手段９で使用する認識辞書は、通信ネットワークを介して、あるいは記録媒体を介して更新を行い、更新時に課金を行う課金手段１０を備える。データ保存手段５は、データ記録手段４から送られた前記画像、映像、音声の電子データと位置情報、時刻情報、文字認識結果、顔認識結果、物体認識結果、音声認識結果の組み合わせ、あるいは全てを保存する。
【００４１】
次に、データ保存手段５に保存されている情報を利用する処理について説明する。
【００４２】
先ず初めに、利用者は検索項目指定手段６において、どのような条件で前記画像、映像、音声の電子データを検索するのか、検索条件を指定し、指定された検索条件を検索手段７へ送る。検索条件の指定には、図２の画面１のように、検索条件をテキスト形式で入力するのか、あるいは位置情報を条件として、地図情報から検索を行うのか、あるいは時刻情報を検家条件として、カレンダーから検索を行うのかを指定する。
【００４３】
次に、利用者の指定した検索条件に合わせて、例えば、地図情報からの検索を行う場合は、図２の画面２に示したように、テキスト形式での入力による位置情報の絞り込み、絞り込まれた位置情報から地図を表示、表示された地図から詳細な位置情報の選択、というように、利用者の探し出す地域の地図を表示するなどして、正確な住所がわからなくても検索を行えるものとする。また、このとき地図上に前記画像、映像、音声の電子データと関連付けられた前記位置情報を地図上に重畳表示できるものとする。検索項目指定手段６における、カレンダーからの時刻情報の指定例を図３（ａ）に、地図からの位置情報の指定例を図３（ｂ）に示す。
【００４４】
このとき、カレンダーからの入力を行う場合は、カレンダーに記載されたデータの有無を表す表示がデータ有を示している場合、例えば画像、映像データが記録されている場合は、図３（ｃ）のように画像、映像を表示する。また、音声データが表示されている場合は、音声のインデクスをリスト表示し、それらのリストからインデクスを指定することで、リストの内容を出力することができるものとする。
【００４５】
検索手段７は、検索項目指定手段６において指定された検索条件に基づき、データ保存手段５に保存された電子データを検索し、その結果を電子データ表示手段８へ送る。このとき、電子データ表示手段８は、検索結果であるデータ保存手段５に保存された前記画像、映像、音声の電子データの他に、検索に使用した検索条件、検索結果の前記画像、映像、音声の電子データに関連付けられた、位置情報、時刻情報、文字認識結果、顔認識結果、物体認織結果、音声認識結果のいずれかを表示することができるもとする。また、電子データ表示手段８に表示する内容の選択は、検索項目指定手段６において検索条件を指定する際に指定できるものとする。
【００４６】
図４は、本実施形態例による装置の一構成例である。図中、ディジタルスチルカメラ、ディジタルビデオカメラ、ボイスレコーダの１以上のもの１１は電子データ取得手段１に相当し、ＧＰＳまたはＰＨＳ１２は位置情報取得手段２や時刻情報取得手段３に相当し、電子データ・位置データ等関連付け装置１３はデータ記録手段４に相当し、電子データ記録媒体１４はデータ保存手段５に相当し、電子データ検索装置１５は検索項目指定手段６、検索手段７に相当し、ディスプレイ１６は電子データ表示手段８に相当する。図中には前記画像、映像等の電子データから認識を行う認識手段９に相当するものが記載されていないが、認識手段９は利用者の携帯端末上の演算装置１７により実現できるものとする。
【００４７】
次に、通信ネットワークを介して本発明を実現するための第２の実施形態例について説明する。
【００４８】
図５は、通信ネットワークを介して実現する場合の第２の実施形態例の構成である。図中、電子データ取得手段１ａ、位置情報取得手段２ａ、時刻情報取得手段３ａ、検索項目指定手段６ａ、データ表示手段８ａは、それぞれ通信ネットワークを介さない図１の実施形態例の電子データ取得手段１、位置情報取得手段２、時刻情報取得手段３、検索項目指定手段６、電子データ表示手段８と同様の構成であるものとする。これらにより本実施形態例の携帯端末が構成されている。データ記録手段４ａ、データ保持手段５ａ、検索手段７ａ、認識手段９ａ、課金手段１０ａは、通信ネットワーク上に設置されて動作するものである。
【００４９】
利用者は、先ず初めに電子データ取得手段１ａにより、前記画像、映像、音声の電子データを取得する。前記電子データ取得手段１ａにおいて前記画像、映像、音声の電子データを取得する際に、位置情報取得手段２ａにおいて、前記画像、映像、音声の電子データ取得時の位置情報も同時に取得することもある。その他に、前記電子データ取得手段１ａにおいて前記画像、映像、音声の電子データを取得する際に、時刻情報取得手段３ａにおいて、前記画像、映像、音声の電子データ取得時の時刻情報も同時に取得することもある。
【００５０】
次に、通信ネットワークを介して前記画像、映像、音声の電子データを、通信ネットワーク上に設置したデータ記録手段４ａに送り、データ記録手段４ａにおいて、前記画像、映像、音声の電子データと、前記位置情報、及び／又は前記時刻情報を関連付けし、データ保存手段５ａへと関連付けられた情報を転送する。その他に、データ記録手段４ａでは前記画像、映像、音声の電子データを認識手段９ａへ送り、認識手段９ａにおいて前記画像、映像、音声の電子データの１以上に対して認識処理を行い、前記画像、映像、音声の電子データと認識結果とを関連付けを行いデータ保存手段５ａへと関連付けられた情報を転送することもある。
【００５１】
このとき、前記認識手段９ａは、課金手段１０ａにおいて、利用する前記画像、映像、音声の電子データのデータ量に応じて課金を行うこともある。さらに、データ保存手段５ａにおいて、前記画像、映像、音声の電子データと、それに関連付けられた情報のデータ量に応じて、課金手段１０ａにおいて課金を行うこともある。
【００５２】
次に、データ保存手段５ａに保存されている情報を利用する処理について説明する。
【００５３】
先ず初めに、利用者は検索項目指定手段６ａにおいて、どのような条件で前記画像、映像、音声の電子データを検索するのか、検索条件を指定し、指定された検索条件を検索手段７ａへ送る。検索手段７ａは、検索項目指定手段６ａにおいて指定された検索条件に基づき、データ保存手段５ａに保存された電子データを検索し、その結果を電子データ表示手段８ａへ送る。
【００５４】
図６は、本実施形態例を通信ネットワークを介して実現するための装置の一構成例である。
【００５５】
図中、ディジタルスチルカメラ、ディジタルビデオカメラ、ボイスレコーダ等の１以上のもの２１は電子データ取得手段１ａに相当し、ＧＰＳやＰＨＳ２２は位置情報取得手段２ａや時刻情報取得手段３ａに相当し、ディスプレイ２３は電子データ表示手段８ａに相当し、電子データ・位置データ等関連付け装置２４はデータ記録手段４ａに相当し、電子データ記録媒体２５はデータ保存手段５ａに相当し、電子データ検索装置２６は検索手段７ａに相当し、課金手段２７は課金手段１０ａに相当する。図４と同様に、図６には認識手段９ａが記載されていないが、通信ネットワークを介して本発明を実現する場合、認識手段は通信ネットワーク上に設置された認識用ＰＣ（パーソナルコンピュータ）２８等の計算機により実現することができる。携帯端末とこれらの装置や手段とは、通信ネットワーク２９を介して携帯端末側の通信装置３０とこれらの装置や手段側の通信装置３１とで接続される。
【００５６】
図７は、本発明の第１の実施形態例におけるデータ保存方法の処理の流れを表すフローチャートである。
【００５７】
図７では、通信ネットワークに接続せずに、利用者の所有する携帯端末上での処理の流れのみを示し、通信ネットワーク上に設置したデータ保存装置を利用する場合の処理の流れについては、図９に示す。
【００５８】
本実施形態例では、先ず初めに前記画像、映像、音声の電子データ取得するとともに、同時にその取得時の位置情報、時刻情報を取得し（ＳＴ１）、これらの取得情報を前記電子データと関連付けし（ＳＴ２）、関連付けられた電子データと取得情報とを保存する（ＳＴ３）。次いで、保存された電子データに対して、異なる検索条件での検索を容易にするために、前記電子データに対して認識処理を行い（ＳＴ４〜１３）、その結果も前記電子データと関連付けて（ＳＴ２）、保存する（ＳＴ３）。
【００５９】
図８は、第１の実施形態例におけるデータ検索方法の処理の流れを表すフローチャートである。図８では、通信ネットワークに接続せずに、利用者の所有する携帯端末上での処理の流れのみを示し、通信ネットワーク上に設置したデータ保存装置を利用する場合の処理の流れについては図１０に示す。
【００６０】
本実施形態例では、利用者は先ず初めに、位置情報、時刻情報、認識結果のいずれを検索項目として使用するのかを選択する（ＳＴ１４）。ここで選択された検索項目に従い、次いで、その項目の詳細な情報（検索キー）、例えば時刻情報の場合は、検索したい日付を入力として与え（ＳＴ１５）、記録されている情報の検索を行う（ＳＴ１６）。このとき、入力した日付と合致する日付（即ち、検索キーに合致もしくは類似する関連情報）に保存された前記電子データが存在する場合（ＳＴ１７）は、その結果を出力し（ＳＴ１８）、存在しない場合は、再度検索項目の指定、検索キー（日付など）を入力として与え、再度検索を行う（ＳＴ１９）。
【００６１】
図９は、通信ネットワークに接続されたデータ保存装置を使用する場合の本発明の第２の実施形態例のデータ保存方法の処理の流れを示すフローチャートである。
【００６２】
図７との相違点として、入力された前記電子データ、あるいは前記位置情報、時刻情報（ＳＴ２０）は、通信装置を介して通信ネットワークに接続されて（ＳＴ２１）、送信され（ＳＴ２２）、電子データとこれらの取得情報とが関連付けられて（ＳＴ２３）、通信ネットワーク上に設置されたデータ保存装置に記録される（ＳＴ２４）。また、保存された電子データに対して行う認識処理も、通信ネットワーク上に設置された認識装置（ＰＣにより構成）を用いて第１の実施形態例と同様に行う（ＳＴ２５〜３０）。
【００６３】
図１０は、通信ネットワークに接続されたデータ保存装置を使用する場合の第２の実施形態例のデータ検索方法の処理の流れを示すフローチャートである。
【００６４】
図８との相違点として、利用者の指定した検索項目（ＳＴ３５）、検索キー（ＳＴ３６）は、通信装置を介して通信ネットワークに接続されて（ＳＴ３７）、通信ネットワーク上に設置された検索装置に送信され（ＳＴ３８）、この検索装置を用いて、第１の実施形態例と同様に通信ネットワーク上に設置されたデータ保存装置から情報の検索を行う（ＳＴ３９〜４３）。検索された結果は、再度通信ネットワークを介して、利用者へと送信され（ＳＴ４１）、利用者の所有する携帯端末の表示装置に表示される。
【００６５】
なお、図１、図４、図５、および図６で示した装置における各部の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、図７〜図１０で示した処理の過程をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラム、あるいは、コンピュータにその処理の過程を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスクや、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、通信ネットワークを通して提供することも可能である。このように、記録媒体や通信ネットワークにより提供されたプログラムをコンピュータにインストールすることで、本発明が実施可能となる。なお、プログラムを実行するコンピュータが機能や処理の過程とともに分かれて存在する場合には、その機能や処理の過程に従ってプログラムを分けて実行することは当然である。
【００６６】
【発明の効果】
本発明によれば、取得した電子データにインデクス情報を自動的に付加するため、利用者のデータ整理等にかかる労力が軽減され、保存されている情報の検索を容易に行うことが可能となる。また、データ保存において通信ネットワーク上のデータ保存手段を利用するため、容量の大きいデータ保存手段を持ち歩かずとも多くの電子データを保存することが可能となる。
【図面の簡単な説明】
【図１】本発明による装置の第１の実施形態例を示す構成図
【図２】第１の実施形態例における検索項目指定手段の画面例を示す図
【図３】（ａ），（ｂ），（ｃ），（ｄ）は、第１の実施形態例における検索項目指定手段の別の画面例を示す図
【図４】第１の実施形態例による装置の一構成例を示す図
【図５】本発明による通信ネットワークを介した第２の実施形態例を示す構成図
【図６】第２の実施形態例による装置の一構成例を示す図
【図７】本発明の第１の実施形態例によるデータ保存における処理手順を示すフローチャート
【図８】第１の実施形態例によるデータ検索における処理手順を示すフローチャート
【図９】本発明の第２の実施形態例による通信ネットワークを介した場合のデータ保存における処理手順を示すフローチャート
【図１０】第２の実施形態例による通信ネットワークを介した場合のデータ検索における処理手順を示すフローチャート
【符号の説明】
１，１ａ…電子データ取得手段
２，２ａ…位置情報取得手段
３，３ａ…時刻情報取得手段
４，４ａ…データ記録手段
５，５ａ…データ保存手段
６，６ａ…検索項目指定手段
７，７ａ…検索手段
８，８ａ…電子データ表示手段
９，９ａ…認識手段
１０，１０ａ…課金手段
１１…ディジタルスチルカメラ、ディジタルビデオカメラ、ボイスレコーダ
１２…ＧＰＳ，ＰＨＳ
１３…電子データ・位置データ関連付け装置
１４…電子データ記録媒体
１５…電子データ検索装置
１６…ディスプレイ
１７…演算装置（認識手段）
２１…ディジタルスチルカメラ、ディジタルビデオカメラ、ボイスレコーダ
２２…ＧＰＳ，ＰＨＳ
２３…ディスプレイ
２４…電子データ・位置データ関連付け装置
２５…電子データ記録媒体
２６…電子データ検索装置
２７…課金手段
２８…認識用ＰＣ
２９…通信ネットワーク
３０…通信装置
３１…通信装置
【発明の属する技術分野】
本発明は、撮影した画像、映像等の電子データを利用し易い形式で保存するデータ保存装置、及びその方法とに関し、特に画像、映像等の電子データに含まれる文字、物体、顔、音声によるキーワードなどのオブジェクトを認識することで、データ保存の際にインデクスとしてそれらの情報を付加するデータ保存装置、及びその方法に関する。
【０００２】
【従来の技術】
画像、映像、音声の電子データを保存する際、インデクスデータとして時刻を自動的に付加したり、位置情報を付加したり、あるいは利用者によりその他のインデクスデータを付加したりする方法が使用されていた。特許文献１ではデータ保存時の位置、時刻情報を自動的に取得し、画像、映像等の電子データと関連付けて保存することで、画像データの利用や検索を容易にする手法である。
【０００３】
【特許文献１】
特開２００３−１１６０８１号公報「データ保存方法及び装置」
【０００４】
【発明が解決しようとする課題】
本発明は、上述した従来のシステムの利用面での欠点を補うために、撮影した画像、映像、音声の電子データから情報を抽出し、自動で撮影対象の情報をインデクスとして付加することにより、大量の画像、映像等の電子データの中からでも目的の電子データを簡易に検索することができ、且つインデクス付加による利用者の負担を軽減するデータ保存装置及び方法を提供することを目的とする。
【０００５】
【課題を解決するための手段】
本発明での上記の目的を達成するための一手段は、画像、映像、音声のうち少なくとも１つからなる電子データを保存、利用するためのデータ保存装置であって、前記電子データを取得する電子データ取得手段と、前記電子データ取得時の位置を取得する位置情報取得手段と、前記電子データ取得時の時刻を取得する時刻情報取得手段と、前記電子データに対して認識処理を行う認識手段と、前記電子データを前記位置情報取得手段により取得した位置情報、及び／又は前記時刻情報取得手段により取得した時刻情報、及び／又は前記認識手段により認識された認識結果と関連付けるデータ記録手段と、前記データ記録手段により関連付けられた前記電子データと、前記位置情報取得手段により取得した位置情報、及び／又は前記時刻情報取得手段により取得した時刻情報、及び／又は前記認識手段により認識された認識結果とを保存するデータ保存手段とを備えることを特徴とするデータ保存装置である。
【０００６】
あるいは、上記のデータ保存装置において、認識手段は、前記画像、映像データに対して文字認職処理を行うものであることを特徴とするデータ保存装置である。
【０００７】
あるいは、上記のデータ保存装置において、認識手段は、前記画像、映像データに対して顔認識処理を行うものであることを特徴とするデータ保存装置である。
【０００８】
あるいは、上記のデータ保存装置において、認識手段は、前記画像、映像データに対して物体認識処理を行うものであることを特徴とするデータ保存装置である。
【０００９】
あるいは、上記のデータ保存装置において、認識手段は、前記音声データに対して音声認識処理を行うものであることを特徴とするデータ保存装置である。
【００１０】
あるいは、上記のデータ保存装置において、データ保存手段は、通信ネットワークを介して通信ネットワーク上に設置した所定の記録装置に前記電子データを保存するものであることを特徴とするデータ保存装置である。
【００１１】
あるいは、上記のデータ保存装置において、前記通信ネットワーク上に設置した所定の記録装置に記録された前記電子データのデータ量を監視し、そのデータ量に応じて課金を行う課金手段を備えることを特徴とするデータ保存装置である。
【００１２】
あるいは、上記のデータ保存装置において、利用者の指定したインデクスに基づき検索項目を決定する検索項目指定手段と、前記検索項目指定手段により決定された検索項目に基づき前記電子データの検索を行う検索手段とを備えることを特徴とするデータ保存装置である。
【００１３】
あるいは、画像、映像、音声のうち少なくとも１つからなる電子データを保存、利用するためのデータ保存方法であって、前記電子データを取得する電子データ取得過程と、前記電子データ取得時の位置を取得する位置情報取得過程と、前記電子データ取得時の時刻を取得する時刻情報取得過程と、前記電子データに対して認識処理を行う認識過程と、前記電子データを前記位置情報取得過程により取得した位置情報、及び／又は前記時刻情報取得過程により取得した時刻情報、及び／又は前記認識過程により認識された認識結果と関連付けるデータ記録過程と、前記データ記録過程により関連付けられた前記電子データと、前記位置情報取得過程により取得した位置情報、及び／又は前記時刻情報取得過程により取得した時刻情報、及び／又は前記認識過程により認識された認識結果とを保存するデータ保存過程とを備えることを特徴とするデータ保存方法である。
【００１４】
あるいは、上記のデータ保存方法において、認識過程では、前記画像、映像データに対して文字認職処理を行うことを特徴とするデータ保存方法である。
【００１５】
あるいは、上記のデータ保存方法において、認識過程では、前記画像、映像データに対して顔認識処理を行うことを特徴とするデータ保存方法である。
【００１６】
あるいは、上記のデータ保存方法において、認識過程では、前記画像、映像データに対して物体認識処理を行うことを特徴とするデータ保存方法である。
【００１７】
あるいは、上記のデータ保存方法において、認識過程では、前記音声データに対して音声認識処理を行うことを特徴とするデータ保存方法である。
【００１８】
あるいは、上記のデータ保存方法において、データ保存過程では、通信ネットワークを介して通信ネットワーク上に設置した所定の記録装置に前記電子データを保存することを特徴とするデータ保存方法である。
【００１９】
あるいは、上記のデータ保存方法において、データ保存過程の後に、前記通信ネットワーク上に設置した所定の記録装置に記録された前記電子データのデータ量を監視し、そのデータ量に応じて課金を行う課金過程を備えることを特徴とするデータ保存方法である。
【００２０】
あるいは、上記のデータ保存方法において、利用者の指定したインデクスに基づき検索項目を決定する検索項目指定過程と、前記検索項目指定過程により決定された検索項目に基づき前記電子データの検索を行う検索過程とを備えることを特徴とするデータ保存方法である。
【００２１】
あるいは、上記のデータ保存方法における過程を、コンピュータに実行させるためのプログラムとしたことを特徴とするデータ保存プログラムである。
【００２２】
あるいは、上記のデータ保存方法における過程を、コンピュータに実行させるためのプログラムとし、該プログラムを、該コンピュータが読み取りできる記録媒体に記録したことを特徴とするデータ保存プログラムを記録した記録媒体である。
【００２３】
本発明では、撮影した画像、映像等の電子データにインデクスを付加するにあたって、
（１）画像、映像等の電子データから既存の認識技術を使用してオブジェクトを認識し、
（２）上記（１）による認識結果と、事前に作成しておいた辞書との関連付けを行うことで、
画像、映像、音声の電子データに自動でインデクスを付加し、利用者が必要とする画像、映像、音声の電子データを容易に探し出すことができるようにするとともに、インデクス付加による利用者の負担を軽減する。
【００２４】
【発明の実施の形態】
以下、本発明の実施の形態について図を用いて詳細に説明する。
【００２５】
［本発明の構成］
以下に説明する構成は、本発明の基本的な構成を実現するために、どのような機能手段や過程が必要であるかを示すものである。
【００２６】
本発明のデータ保存装置は、画像、映像、音声の電子データに対してインデクスを付加するために、
（１）画像、映像、音声の電子データを取得する、電子データ取得手段と、
（２）画像、映像、音声の電子データを取得する際に、同時に位置情報を取得する、位置情報取得手段と、
（３）画像、映像、音声の電子データを取得する際に、同時に時刻情報を取得する、時刻情報取得手段と、
（４）上記（２）、（３）から得られる結果以外の情報として、電子データから認識した情報をインデクスとして指定して付与する、インデクス付与手段（認識手段）と、
（５）画像、映像、音声の電子データと上記（２）〜（４）より得られたインデクスとを関連付けて保存する、データ保存手段と、
（６）データ保存手段により保存された電子データから、利用者の必要とする電子データ探し出す、検索手段と、
（７）検索手段により電子データを探し出すために必要な検索キーを入力する検索項目指定手段と、
（８）検索手段により得られた利用者に必要な情報を表示する、電子データ表示手段とを備えるように構成する。
【００２７】
これらの構成は、利用者の所有する端末にハードウェアとして組み込むか、あるいは、ソフトウェアとして実装する。
【００２８】
本発明の構成では、電子データ取得手段において取得した、前記画像、映像、音声の電子データに対して、既存の認識手法を適用して認識を行う認識手段を備え、認識結果をインデクスとしてデータ保存手段において前記画像、映像、音声の電子データと関連付けて保存する。
【００２９】
このとき、前記画像、映像データに対して文字認識手段による文字認識処理を行い、認識結果をインデクスデータとして使用することもある。あるいは、このとき、前記画像、映像データに対して顔認識手段による顔認識処理を行い、認識結果をインデクスデータとして使用することもある。あるいは、このとき、前記画像、映像データに対して物体認識手段による物体認識処理を行い、認識結果をインデクスデータとして使用することもある。さらに、このとき、前記音声データに対して音声認識手段による音声認識処理を行い、認識結果をインデクスデータとして使用することもある。
【００３０】
このように構成されるときに、利用者の所有する端末で取得した画像、映像、音声の電子データを通信ネットワークを介して通信ネットワーク上に設置した認識手段により認識した結果を、画像、映像、音声の電子データと関連付けて、利用者の端末に送り返すこともある。
【００３１】
さらに、利用者は、通信ネットワーク上に設置したデータ保存手段に自由にアクセスすることができ、必要に応じてデータ保存手段により保存された画像、映像、音声の電子データとそれに関連付けられた認識結果等を利用することができる。
【００３２】
以上のような構成により、利用者は必要な画像、映像、音声の電子データから必要な電子データを容易に探し出すことができるようになる。
【００３３】
［本発明の実施の形態］
次に、本発明によるデータ保存装置の具体的な装置構成とその方法の過程の実施形態例を説明する。
【００３４】
図１に本発明による装置構成の第１の実施形態例を図示する。図中、１は電子データ取得手段、２は位置情報取得手段、３は時刻情報取得手段、４はデータ記録手段、５はデータ保存手段、６は検索項目指定手段、７は検索手段、８は電子データ表示手段、９は認識手段であり、携帯端末を構成している。１０は課金手段である。
【００３５】
次に、これらの各処理手段の詳細な動作について説明する。なお、ここでの動作の説明では、通信ネットワークを介さずに、利用者の端末においてすべての処理を実現するものとし、通信ネットワークを介する場合については、別途説明する。
【００３６】
本実施形態例では、まず初めに携帯端末に付属の電子データ取得手段１において画像、映像等の電子データを取得する。電子データ取得手段１は、ディジタルカメラ、ディジタルビデオカメラ、ボイスレコーダを使用することとする。
【００３７】
前記電子データ取得手段１において前記画像、映像、音声の電子データを取得する際に、位置情報取得手段２において、前記画像、映像、音声の電子データ取得時の位置情報も同時に取得することもある。位置情報取得手段２としては、ＧＰＳ（グローバルポジショニングシステム）や、ＰＨＳ（パーソナルハンディフォンシステム）を使用することとする。
【００３８】
その他に、前記電子データ取得手段１において前記画像、映像、音声の電子データを取得する際に、時刻情報取得手段３において、前記画像、映像、音声の電子データ取得時の時刻情報も同時に取得することもある。時刻情報取得手段３としては、時計やカレンダーなど、既存の携帯端末付属のものを使用することとする。
【００３９】
次に、データ記録手段４において、前記画像、映像、音声の電子データと、前記位置情報、及び／又は前記時刻情報を関連付けし、データ保存手段５へと関連付けられた情報を転送する。その他に、データ記録手段４では前記画像、映像、音声の電子データの１以上を認識手段９へ送り、認識手段９において前記画像、映像、音声の電子データの１以上に対して認識処理を行い、前記画像、映像、音声の電子データと認識結果とを関連付け、データ保存手段５へと関連付けられた情報を転送することもある。
【００４０】
認識手段９はそれぞれソフトウェア、ハードウェアを問わず、既存の認識技術を使用し、対象の認識を行うものとする。具体的な認識手法としては、正規化された相互相関（正規化相関）を評価関数とした手法（長尾真：「ディジタル画像処理」ｐｐ３０６−３１０、近代科学社、１９９５年）などの公知技術を使用するものとする。このとき、認識手段９で使用する認識辞書は、通信ネットワークを介して、あるいは記録媒体を介して更新を行い、更新時に課金を行う課金手段１０を備える。データ保存手段５は、データ記録手段４から送られた前記画像、映像、音声の電子データと位置情報、時刻情報、文字認識結果、顔認識結果、物体認識結果、音声認識結果の組み合わせ、あるいは全てを保存する。
【００４１】
次に、データ保存手段５に保存されている情報を利用する処理について説明する。
【００４２】
先ず初めに、利用者は検索項目指定手段６において、どのような条件で前記画像、映像、音声の電子データを検索するのか、検索条件を指定し、指定された検索条件を検索手段７へ送る。検索条件の指定には、図２の画面１のように、検索条件をテキスト形式で入力するのか、あるいは位置情報を条件として、地図情報から検索を行うのか、あるいは時刻情報を検家条件として、カレンダーから検索を行うのかを指定する。
【００４３】
次に、利用者の指定した検索条件に合わせて、例えば、地図情報からの検索を行う場合は、図２の画面２に示したように、テキスト形式での入力による位置情報の絞り込み、絞り込まれた位置情報から地図を表示、表示された地図から詳細な位置情報の選択、というように、利用者の探し出す地域の地図を表示するなどして、正確な住所がわからなくても検索を行えるものとする。また、このとき地図上に前記画像、映像、音声の電子データと関連付けられた前記位置情報を地図上に重畳表示できるものとする。検索項目指定手段６における、カレンダーからの時刻情報の指定例を図３（ａ）に、地図からの位置情報の指定例を図３（ｂ）に示す。
【００４４】
このとき、カレンダーからの入力を行う場合は、カレンダーに記載されたデータの有無を表す表示がデータ有を示している場合、例えば画像、映像データが記録されている場合は、図３（ｃ）のように画像、映像を表示する。また、音声データが表示されている場合は、音声のインデクスをリスト表示し、それらのリストからインデクスを指定することで、リストの内容を出力することができるものとする。
【００４５】
検索手段７は、検索項目指定手段６において指定された検索条件に基づき、データ保存手段５に保存された電子データを検索し、その結果を電子データ表示手段８へ送る。このとき、電子データ表示手段８は、検索結果であるデータ保存手段５に保存された前記画像、映像、音声の電子データの他に、検索に使用した検索条件、検索結果の前記画像、映像、音声の電子データに関連付けられた、位置情報、時刻情報、文字認識結果、顔認識結果、物体認織結果、音声認識結果のいずれかを表示することができるもとする。また、電子データ表示手段８に表示する内容の選択は、検索項目指定手段６において検索条件を指定する際に指定できるものとする。
【００４６】
図４は、本実施形態例による装置の一構成例である。図中、ディジタルスチルカメラ、ディジタルビデオカメラ、ボイスレコーダの１以上のもの１１は電子データ取得手段１に相当し、ＧＰＳまたはＰＨＳ１２は位置情報取得手段２や時刻情報取得手段３に相当し、電子データ・位置データ等関連付け装置１３はデータ記録手段４に相当し、電子データ記録媒体１４はデータ保存手段５に相当し、電子データ検索装置１５は検索項目指定手段６、検索手段７に相当し、ディスプレイ１６は電子データ表示手段８に相当する。図中には前記画像、映像等の電子データから認識を行う認識手段９に相当するものが記載されていないが、認識手段９は利用者の携帯端末上の演算装置１７により実現できるものとする。
【００４７】
次に、通信ネットワークを介して本発明を実現するための第２の実施形態例について説明する。
【００４８】
図５は、通信ネットワークを介して実現する場合の第２の実施形態例の構成である。図中、電子データ取得手段１ａ、位置情報取得手段２ａ、時刻情報取得手段３ａ、検索項目指定手段６ａ、データ表示手段８ａは、それぞれ通信ネットワークを介さない図１の実施形態例の電子データ取得手段１、位置情報取得手段２、時刻情報取得手段３、検索項目指定手段６、電子データ表示手段８と同様の構成であるものとする。これらにより本実施形態例の携帯端末が構成されている。データ記録手段４ａ、データ保持手段５ａ、検索手段７ａ、認識手段９ａ、課金手段１０ａは、通信ネットワーク上に設置されて動作するものである。
【００４９】
利用者は、先ず初めに電子データ取得手段１ａにより、前記画像、映像、音声の電子データを取得する。前記電子データ取得手段１ａにおいて前記画像、映像、音声の電子データを取得する際に、位置情報取得手段２ａにおいて、前記画像、映像、音声の電子データ取得時の位置情報も同時に取得することもある。その他に、前記電子データ取得手段１ａにおいて前記画像、映像、音声の電子データを取得する際に、時刻情報取得手段３ａにおいて、前記画像、映像、音声の電子データ取得時の時刻情報も同時に取得することもある。
【００５０】
次に、通信ネットワークを介して前記画像、映像、音声の電子データを、通信ネットワーク上に設置したデータ記録手段４ａに送り、データ記録手段４ａにおいて、前記画像、映像、音声の電子データと、前記位置情報、及び／又は前記時刻情報を関連付けし、データ保存手段５ａへと関連付けられた情報を転送する。その他に、データ記録手段４ａでは前記画像、映像、音声の電子データを認識手段９ａへ送り、認識手段９ａにおいて前記画像、映像、音声の電子データの１以上に対して認識処理を行い、前記画像、映像、音声の電子データと認識結果とを関連付けを行いデータ保存手段５ａへと関連付けられた情報を転送することもある。
【００５１】
このとき、前記認識手段９ａは、課金手段１０ａにおいて、利用する前記画像、映像、音声の電子データのデータ量に応じて課金を行うこともある。さらに、データ保存手段５ａにおいて、前記画像、映像、音声の電子データと、それに関連付けられた情報のデータ量に応じて、課金手段１０ａにおいて課金を行うこともある。
【００５２】
次に、データ保存手段５ａに保存されている情報を利用する処理について説明する。
【００５３】
先ず初めに、利用者は検索項目指定手段６ａにおいて、どのような条件で前記画像、映像、音声の電子データを検索するのか、検索条件を指定し、指定された検索条件を検索手段７ａへ送る。検索手段７ａは、検索項目指定手段６ａにおいて指定された検索条件に基づき、データ保存手段５ａに保存された電子データを検索し、その結果を電子データ表示手段８ａへ送る。
【００５４】
図６は、本実施形態例を通信ネットワークを介して実現するための装置の一構成例である。
【００５５】
図中、ディジタルスチルカメラ、ディジタルビデオカメラ、ボイスレコーダ等の１以上のもの２１は電子データ取得手段１ａに相当し、ＧＰＳやＰＨＳ２２は位置情報取得手段２ａや時刻情報取得手段３ａに相当し、ディスプレイ２３は電子データ表示手段８ａに相当し、電子データ・位置データ等関連付け装置２４はデータ記録手段４ａに相当し、電子データ記録媒体２５はデータ保存手段５ａに相当し、電子データ検索装置２６は検索手段７ａに相当し、課金手段２７は課金手段１０ａに相当する。図４と同様に、図６には認識手段９ａが記載されていないが、通信ネットワークを介して本発明を実現する場合、認識手段は通信ネットワーク上に設置された認識用ＰＣ（パーソナルコンピュータ）２８等の計算機により実現することができる。携帯端末とこれらの装置や手段とは、通信ネットワーク２９を介して携帯端末側の通信装置３０とこれらの装置や手段側の通信装置３１とで接続される。
【００５６】
図７は、本発明の第１の実施形態例におけるデータ保存方法の処理の流れを表すフローチャートである。
【００５７】
図７では、通信ネットワークに接続せずに、利用者の所有する携帯端末上での処理の流れのみを示し、通信ネットワーク上に設置したデータ保存装置を利用する場合の処理の流れについては、図９に示す。
【００５８】
本実施形態例では、先ず初めに前記画像、映像、音声の電子データ取得するとともに、同時にその取得時の位置情報、時刻情報を取得し（ＳＴ１）、これらの取得情報を前記電子データと関連付けし（ＳＴ２）、関連付けられた電子データと取得情報とを保存する（ＳＴ３）。次いで、保存された電子データに対して、異なる検索条件での検索を容易にするために、前記電子データに対して認識処理を行い（ＳＴ４〜１３）、その結果も前記電子データと関連付けて（ＳＴ２）、保存する（ＳＴ３）。
【００５９】
図８は、第１の実施形態例におけるデータ検索方法の処理の流れを表すフローチャートである。図８では、通信ネットワークに接続せずに、利用者の所有する携帯端末上での処理の流れのみを示し、通信ネットワーク上に設置したデータ保存装置を利用する場合の処理の流れについては図１０に示す。
【００６０】
本実施形態例では、利用者は先ず初めに、位置情報、時刻情報、認識結果のいずれを検索項目として使用するのかを選択する（ＳＴ１４）。ここで選択された検索項目に従い、次いで、その項目の詳細な情報（検索キー）、例えば時刻情報の場合は、検索したい日付を入力として与え（ＳＴ１５）、記録されている情報の検索を行う（ＳＴ１６）。このとき、入力した日付と合致する日付（即ち、検索キーに合致もしくは類似する関連情報）に保存された前記電子データが存在する場合（ＳＴ１７）は、その結果を出力し（ＳＴ１８）、存在しない場合は、再度検索項目の指定、検索キー（日付など）を入力として与え、再度検索を行う（ＳＴ１９）。
【００６１】
図９は、通信ネットワークに接続されたデータ保存装置を使用する場合の本発明の第２の実施形態例のデータ保存方法の処理の流れを示すフローチャートである。
【００６２】
図７との相違点として、入力された前記電子データ、あるいは前記位置情報、時刻情報（ＳＴ２０）は、通信装置を介して通信ネットワークに接続されて（ＳＴ２１）、送信され（ＳＴ２２）、電子データとこれらの取得情報とが関連付けられて（ＳＴ２３）、通信ネットワーク上に設置されたデータ保存装置に記録される（ＳＴ２４）。また、保存された電子データに対して行う認識処理も、通信ネットワーク上に設置された認識装置（ＰＣにより構成）を用いて第１の実施形態例と同様に行う（ＳＴ２５〜３０）。
【００６３】
図１０は、通信ネットワークに接続されたデータ保存装置を使用する場合の第２の実施形態例のデータ検索方法の処理の流れを示すフローチャートである。
【００６４】
図８との相違点として、利用者の指定した検索項目（ＳＴ３５）、検索キー（ＳＴ３６）は、通信装置を介して通信ネットワークに接続されて（ＳＴ３７）、通信ネットワーク上に設置された検索装置に送信され（ＳＴ３８）、この検索装置を用いて、第１の実施形態例と同様に通信ネットワーク上に設置されたデータ保存装置から情報の検索を行う（ＳＴ３９〜４３）。検索された結果は、再度通信ネットワークを介して、利用者へと送信され（ＳＴ４１）、利用者の所有する携帯端末の表示装置に表示される。
【００６５】
なお、図１、図４、図５、および図６で示した装置における各部の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、図７〜図１０で示した処理の過程をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラム、あるいは、コンピュータにその処理の過程を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスクや、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、通信ネットワークを通して提供することも可能である。このように、記録媒体や通信ネットワークにより提供されたプログラムをコンピュータにインストールすることで、本発明が実施可能となる。なお、プログラムを実行するコンピュータが機能や処理の過程とともに分かれて存在する場合には、その機能や処理の過程に従ってプログラムを分けて実行することは当然である。
【００６６】
【発明の効果】
本発明によれば、取得した電子データにインデクス情報を自動的に付加するため、利用者のデータ整理等にかかる労力が軽減され、保存されている情報の検索を容易に行うことが可能となる。また、データ保存において通信ネットワーク上のデータ保存手段を利用するため、容量の大きいデータ保存手段を持ち歩かずとも多くの電子データを保存することが可能となる。
【図面の簡単な説明】
【図１】本発明による装置の第１の実施形態例を示す構成図
【図２】第１の実施形態例における検索項目指定手段の画面例を示す図
【図３】（ａ），（ｂ），（ｃ），（ｄ）は、第１の実施形態例における検索項目指定手段の別の画面例を示す図
【図４】第１の実施形態例による装置の一構成例を示す図
【図５】本発明による通信ネットワークを介した第２の実施形態例を示す構成図
【図６】第２の実施形態例による装置の一構成例を示す図
【図７】本発明の第１の実施形態例によるデータ保存における処理手順を示すフローチャート
【図８】第１の実施形態例によるデータ検索における処理手順を示すフローチャート
【図９】本発明の第２の実施形態例による通信ネットワークを介した場合のデータ保存における処理手順を示すフローチャート
【図１０】第２の実施形態例による通信ネットワークを介した場合のデータ検索における処理手順を示すフローチャート
【符号の説明】
１，１ａ…電子データ取得手段
２，２ａ…位置情報取得手段
３，３ａ…時刻情報取得手段
４，４ａ…データ記録手段
５，５ａ…データ保存手段
６，６ａ…検索項目指定手段
７，７ａ…検索手段
８，８ａ…電子データ表示手段
９，９ａ…認識手段
１０，１０ａ…課金手段
１１…ディジタルスチルカメラ、ディジタルビデオカメラ、ボイスレコーダ
１２…ＧＰＳ，ＰＨＳ
１３…電子データ・位置データ関連付け装置
１４…電子データ記録媒体
１５…電子データ検索装置
１６…ディスプレイ
１７…演算装置（認識手段）
２１…ディジタルスチルカメラ、ディジタルビデオカメラ、ボイスレコーダ
２２…ＧＰＳ，ＰＨＳ
２３…ディスプレイ
２４…電子データ・位置データ関連付け装置
２５…電子データ記録媒体
２６…電子データ検索装置
２７…課金手段
２８…認識用ＰＣ
２９…通信ネットワーク
３０…通信装置
３１…通信装置
Claims (18)
- 画像、映像、音声のうち少なくとも１つからなる電子データを保存、利用するためのデータ保存装置であって、
前記電子データを取得する電子データ取得手段と、
前記電子データ取得時の位置を取得する位置情報取得手段と、
前記電子データ取得時の時刻を取得する時刻情報取得手段と、
前記電子データに対して認識処理を行う認識手段と、
前記電子データを前記位置情報取得手段により取得した位置情報、及び／又は前記時刻情報取得手段により取得した時刻情報、及び／又は前記認識手段により認識された認識結果と関連付けるデータ記録手段と、
前記データ記録手段により関連付けられた前記電子データと、前記位置情報取得手段により取得した位置情報、及び／又は前記時刻情報取得手段により取得した時刻情報、及び／又は前記認識手段により認識された認識結果とを保存するデータ保存手段とを備える
ことを特徴とするデータ保存装置。 - 請求項１に記載のデータ保存装置において、
認識手段は、前記画像、映像データに対して文字認職処理を行うものである
ことを特徴とするデータ保存装置。 - 請求項１に記載のデータ保存装置において、
認識手段は、前記画像、映像データに対して顔認識処理を行うものである
ことを特徴とするデータ保存装置。 - 請求項１に記載のデータ保存装置において、
認識手段は、前記画像、映像データに対して物体認識処理を行うものである
ことを特徴とするデータ保存装置。 - 請求項１に記載のデータ保存装置において、
認識手段は、前記音声データに対して音声認識処理を行うものである
ことを特徴とするデータ保存装置。 - 請求項１ないし５のいずれかに記載のデータ保存装置において、
データ保存手段は、通信ネットワークを介して通信ネットワーク上に設置した所定の記録装置に前記電子データを保存するものである
ことを特徴とするデータ保存装置。 - 請求項６に記載のデータ保存装置において、
前記通信ネットワーク上に設置した所定の記録装置に記録された前記電子データのデータ量を監視し、そのデータ量に応じて課金を行う課金手段を備える
ことを特徴とするデータ保存装置。 - 請求項１ないし７のいずれかに記載のデータ保存装置において、
利用者の指定したインデクスに基づき検索項目を決定する検索項目指定手段と、
前記検索項目指定手段により決定された検索項目に基づき前記電子データの検索を行う検索手段とを備える
ことを特徴とするデータ保存装置。 - 画像、映像、音声のうち少なくとも１つからなる電子データを保存、利用するためのデータ保存方法であって、
前記電子データを取得する電子データ取得過程と、
前記電子データ取得時の位置を取得する位置情報取得過程と、
前記電子データ取得時の時刻を取得する時刻情報取得過程と、
前記電子データに対して認識処理を行う認識過程と、
前記電子データを前記位置情報取得過程により取得した位置情報、及び／又は前記時刻情報取得過程により取得した時刻情報、及び／又は前記認識過程により認識された認識結果と関連付けるデータ記録過程と、
前記データ記録過程により関連付けられた前記電子データと、前記位置情報取得過程により取得した位置情報、及び／又は前記時刻情報取得過程により取得した時刻情報、及び／又は前記認識過程により認識された認識結果とを保存するデータ保存過程とを備える
ことを特徴とするデータ保存方法。 - 請求項９に記載のデータ保存方法において、
認識過程では、前記画像、映像データに対して文字認職処理を行う
ことを特徴とするデータ保存方法。 - 請求項９に記載のデータ保存方法において、
認識過程では、前記画像、映像データに対して顔認識処理を行う
ことを特徴とするデータ保存方法。 - 請求項９に記載のデータ保存方法において、
認識過程では、前記画像、映像データに対して物体認識処理を行う
ことを特徴とするデータ保存方法。 - 請求項９に記載のデータ保存方法において、
認識過程では、前記音声データに対して音声認識処理を行う
ことを特徴とするデータ保存方法。 - 請求項９ないし１３のいずれかに記載のデータ保存方法において、
データ保存過程では、通信ネットワークを介して通信ネットワーク上に設置した所定の記録装置に前記電子データを保存する
ことを特徴とするデータ保存方法。 - 請求項１４に記載のデータ保存方法において、
データ保存過程の後に、前記通信ネットワーク上に設置した所定の記録装置に記録された前記電子データのデータ量を監視し、そのデータ量に応じて課金を行う課金過程を備える
ことを特徴とするデータ保存方法。 - 請求項９ないし１５のいずれかに記載のデータ保存方法において、
利用者の指定したインデクスに基づき検索項目を決定する検索項目指定過程と、
前記検索項目指定過程により決定された検索項目に基づき前記電子データの検索を行う検索過程とを備える
ことを特徴とするデータ保存方法。 - 請求項９ないし１６のいずれかに記載のデータ保存方法における過程を、コンピュータに実行させるためのプログラムとした
ことを特徴とするデータ保存プログラム。 - 請求項９ないし１６のいずれかに記載のデータ保存方法における過程を、コンピュータに実行させるためのプログラムとし、
該プログラムを、該コンピュータが読み取りできる記録媒体に記録した
ことを特徴とするデータ保存プログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003159117A JP2004363871A (ja) | 2003-06-04 | 2003-06-04 | データ保存装置とその方法、及びそのプログラムとそのプログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003159117A JP2004363871A (ja) | 2003-06-04 | 2003-06-04 | データ保存装置とその方法、及びそのプログラムとそのプログラムを記録した記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004363871A true JP2004363871A (ja) | 2004-12-24 |
Family
ID=34052266
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003159117A Pending JP2004363871A (ja) | 2003-06-04 | 2003-06-04 | データ保存装置とその方法、及びそのプログラムとそのプログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004363871A (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009225415A (ja) * | 2008-03-14 | 2009-10-01 | Avid Electronics Corp | 位置指示機能付きモバイルマルチメディア放送装置及びマルチメディアファイルの放送方法 |
| JP2010158038A (ja) * | 2010-02-04 | 2010-07-15 | Yasuaki Iwai | 車載画像記録装置 |
| JP2011090410A (ja) * | 2009-10-20 | 2011-05-06 | Canon Inc | 画像処理装置、画像処理システムおよび画像処理装置の制御方法 |
| JP2012504251A (ja) * | 2008-09-16 | 2012-02-16 | パーソニクス ホールディングス インコーポレイテッド | 音声ライブラリおよび方法 |
| JP2013178384A (ja) * | 2012-02-28 | 2013-09-09 | Nec Corp | 音声認識用辞書登録システム、音声認識システム、音声認識サービスシステム、方法およびプログラム |
| JP2018116572A (ja) * | 2017-01-19 | 2018-07-26 | 株式会社大林組 | 画像管理システム、画像管理方法、及び画像管理プログラム |
| JP2021135810A (ja) * | 2020-02-27 | 2021-09-13 | 東京瓦斯株式会社 | 文字入力支援制御装置、文字入力支援システム、文字入力支援プログラム |
-
2003
- 2003-06-04 JP JP2003159117A patent/JP2004363871A/ja active Pending
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009225415A (ja) * | 2008-03-14 | 2009-10-01 | Avid Electronics Corp | 位置指示機能付きモバイルマルチメディア放送装置及びマルチメディアファイルの放送方法 |
| JP2012504251A (ja) * | 2008-09-16 | 2012-02-16 | パーソニクス ホールディングス インコーポレイテッド | 音声ライブラリおよび方法 |
| JP2014222523A (ja) * | 2008-09-16 | 2014-11-27 | パーソニクス ホールディングス インコーポレイテッド | 音声ライブラリおよび方法 |
| US9253560B2 (en) | 2008-09-16 | 2016-02-02 | Personics Holdings, Llc | Sound library and method |
| JP2011090410A (ja) * | 2009-10-20 | 2011-05-06 | Canon Inc | 画像処理装置、画像処理システムおよび画像処理装置の制御方法 |
| US8526673B2 (en) | 2009-10-20 | 2013-09-03 | Canon Kabushiki Kaisha | Apparatus, system and method for recognizing objects in images using transmitted dictionary data |
| JP2010158038A (ja) * | 2010-02-04 | 2010-07-15 | Yasuaki Iwai | 車載画像記録装置 |
| JP4553272B2 (ja) * | 2010-02-04 | 2010-09-29 | 泰章 岩井 | 車載画像記録装置 |
| JP2013178384A (ja) * | 2012-02-28 | 2013-09-09 | Nec Corp | 音声認識用辞書登録システム、音声認識システム、音声認識サービスシステム、方法およびプログラム |
| JP2018116572A (ja) * | 2017-01-19 | 2018-07-26 | 株式会社大林組 | 画像管理システム、画像管理方法、及び画像管理プログラム |
| JP2021135810A (ja) * | 2020-02-27 | 2021-09-13 | 東京瓦斯株式会社 | 文字入力支援制御装置、文字入力支援システム、文字入力支援プログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101660271B1 (ko) | 메타데이터 태깅 시스템, 이미지 검색 방법, 디바이스 및 이에 적용되는 제스처 태깅방법 | |
| JP3982605B2 (ja) | 撮影画像管理装置、撮影画像管理方法及び撮影画像管理プログラム | |
| US20080270378A1 (en) | Method, Apparatus and Computer Program Product for Determining Relevance and/or Ambiguity in a Search System | |
| JP2004234228A (ja) | 画像検索装置、画像検索装置におけるキーワード付与方法、及びプログラム | |
| JP2008192055A (ja) | コンテンツ検索方法、およびコンテンツ検索装置 | |
| KR100733095B1 (ko) | 정보 처리 장치 및 정보 처리 방법 | |
| JP2003323440A (ja) | 携帯端末を用いた撮影画像の情報提供システム、撮影画像の情報提供方法、およびその方法をコンピュータに実行させるプログラム | |
| CN108702551B (zh) | 用于提供视频的概要信息的方法和装置 | |
| JP3915106B2 (ja) | 画像検索装置 | |
| JP2009200699A (ja) | 画像処理装置および画像処理方法 | |
| JP2004005314A (ja) | データ検索システム及び、それに関する、装置または方法または記録媒体またはプログラム | |
| JP2004363871A (ja) | データ保存装置とその方法、及びそのプログラムとそのプログラムを記録した記録媒体 | |
| JP2006186426A (ja) | 情報検索表示装置、情報検索表示方法および情報検索表示プログラム | |
| US20140221046A1 (en) | Electronic device for identifying a party | |
| JP2006163527A (ja) | 画像検索装置及び方法 | |
| US20020111940A1 (en) | Database system | |
| KR20040104574A (ko) | 화상 표시용 프로그램 및 그 프로그램이 기록된 정보 기록매체 | |
| JP2005107931A (ja) | 画像検索装置 | |
| JPH10289245A (ja) | 画像処理装置及びその制御方法 | |
| JP2003157268A (ja) | 電子機器及び電子機器制御プログラム | |
| JP4403364B2 (ja) | 情報記録制御装置および情報記録制御方法、記録媒体、並びにプログラム | |
| JP2011170743A (ja) | 通信装置、コンテンツ検索方法およびプログラム | |
| JP2009009182A (ja) | 地物画像データ表示装置及び地物画像データ表示プログラム | |
| JP2005086265A (ja) | 携帯端末装置，画像データファイル管理システム及び画像データファイル管理方法 | |
| JP2015201004A (ja) | 情報処理装置、情報処理方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050721 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070828 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20071218 |