JP5464786B2 - 情報処理装置、制御方法、及び制御プログラム - Google Patents

Description

本発明は、予めコンテンツと軌跡を対応付けて登録した辞書データを用いて、認識された軌跡からコンテンツを検索する情報処理装置に関する。

従来、コンテンツにメタデータを持たせ、メタデータからコンテンツを分類していた。

特許文献１の画像表示装置では、画像データのサムネイルデータから特徴量抽出条件にて各サムネールの特徴量を抽出し分類を行っていた。

また、特許文献２の情報処理装置では、検索キー生成部でストロークデータの入力時におけるペンの操作過程および操作結果から得られる作成日時、入力座標位置、表示面積、線の太さ、記入速度等を検索キーとして検索を行っていた。

また、特許文献３のペンベースコンピューターシステムでは、ファイル名として絵文字イメージを用いて検索を行っていた。
特開２００５−２３６６４６号公報 特開平１０−１７１８３５号公報 特開平０７−０７３１９０号公報

しかしながら、上記特許文献１は、全てが似通った特徴量になった場合、上手く分類されないという問題があった。又、画像による分類であると、ユーザの意図とは異なる分類になる事が多かった。

また、特許文献２は、入力座標位置や作成日時等の操作過程を記憶する必要があった。

また、特許文献３は、ファイル名としての絵文字イメージを全ファイルに対して検索するため処理時間がかかった。

また、これらの特許文献では、１つの分類に対するコンテンツの量が多量になった場合でも初期の分類のままであった。

本発明は、ユーザの意図する分類を簡単に行うことが可能な情報処理装置を提供することを目的とする。

上記課題を解決するために、本発明の情報処理装置は、軌跡と対応づけて１以上のコンテンツと該コンテンツに入力された軌跡の少なくとも位置または面積のいずれかの情報である軌跡情報が登録された辞書データを記録する記録手段と、コンテンツに対応付けて軌跡を入力する第１の入力手段と、前記第１の入力手段によって入力された軌跡と、前記辞書データに登録されている軌跡とを比較する比較手段と、前記比較手段による比較結果に基き、前記記録手段に記録された辞書データにデータを追加する追加手段と、軌跡を入力する第２の入力手段と、前記辞書データに記録されている軌跡から前記第２の入力手段によって入力された軌跡と形状が類似する軌跡を複数検出する検出手段と、前記第２の入力手段によって入力された軌跡と前記検出手段によって検出された軌跡の前記軌跡情報に基づいて該検出された軌跡に対応する複数のコンテンツをソートするソート手段と、前記ソート手段によるソートに基づいてコンテンツに対応するデータを表示する表示手段とを有することを特徴とする。

また、上記課題を解決するために、本発明の情報処理装置は、軌跡と１以上のコンテンツが対応付けて登録された辞書データを記録する記録手段と、コンテンツに対応付けて軌跡を入力する入力手段と、前記入力手段によって入力された軌跡と、前記辞書データに登録されている軌跡とを比較する比較手段と、前記比較手段による比較結果に基き、前記記録手段に記録された辞書データにデータを追加する追加手段と、を有し、前記追加手段は、前記入力手段によって入力された軌跡と、前記辞書データに登録されている軌跡の相違度が、予め定めた第１の閾値以上、予め定めた第２の閾値未満の場合、前記辞書データに既に登録されている軌跡の形状に、前記入力手段によって入力された軌跡を対応付けて追加登録することを特徴とする。

また、上記課題を解決するために、本発明の情報処理装置の制御方法は、第コンテンツに対応付けて軌跡を第１の入力手段が入力する第１の入力工程と、前記第１の入力工程で入力された軌跡と、前記軌跡と対応づけて１以上のコンテンツと該コンテンツに入力された軌跡の少なくとも位置または面積のいずれかの情報である軌跡情報が登録された辞書データに登録されている軌跡とを比較手段が比較する比較工程と、前記比較工程での比較結果に基き、前記辞書データにデータを追加手段が追加する追加工程と、軌跡を第２の入力手段が入力する第２の入力工程と、前記辞書データに記録されている軌跡から前記第２の入力工程で入力された軌跡と形状が類似する軌跡を検出手段が検出する検出工程と、前記第２の入力工程で入力された軌跡と前記検出工程で検出された軌跡の前記軌跡情報に基づいて該検出された軌跡に対応する複数のコンテンツをソート手段がソートするソート工程と、前記ソート工程によるソートに基づいてコンテンツに対応するデータを表示手段が表示する表示工程とを有することを特徴とする。また、上記課題を解決するために、本発明の情報処理装置の制御方法は、軌跡と１以上のコンテンツが対応付けて登録された辞書データを記録する記録手段に記録をする記録工程と、コンテンツに対応付けて軌跡を入力する入力工程と、前記入力工程で入力された軌跡と、前記辞書データに登録されている軌跡とを比較する比較工程と、前記比較工程による比較結果に基き、前記記録手段に記録された辞書データにデータを追加する追加工程と、を有し、前記追加工程は、前記入力工程で入力された軌跡と、前記辞書データに登録されている軌跡の相違度が、予め定めた第１の閾値以上、予め定めた第２の閾値未満の場合、前記辞書データに既に登録されている軌跡の形状に、前記入力手段によって入力された軌跡を対応付けて追加登録することを特徴とする。

本発明によれば、キー入力やメニューよる選択等の必要なしに、分類や種類を後から追加できるので、簡単にユーザの意図する分類が可能となる。

以下、添付の図面を参照して本発明の好適な実施形態について説明する。尚、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また本実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。

〈第１の実施形態〉
図１は、本発明の第１の実施形態に係る情報処理装置１０４の使用形態を表している。１０１はデジタルＴＶであり、液晶表示部、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤ、記録メディアを差し込むスロット、他のネットワーク接続機能をもったパーソナルコンピュータと接続するネットワークインターフェイス部とで構成されている。また、他のネットワーク上にある、静止画や動画のコンテンツデータを表示再生するソフトウェアが組込まれている。１０２は、ローカルエリアネットワークであり、それによりハードディスクレコーダー等の動画や静止画の記録蓄積装置等と接続する。１０３は、メディアサーバーで、ローカルエリアネットワーク１０２で情報処理装置１０４と接続されている。このメディアサーバー１０３には、静止画や、動画が記録されており、ローカルエリアネットワーク１０２を通して送られてくるデータの送信要求に応じて静止画等のデータをローカルエリアネットワーク１０２を通じて送出する。

情報処理装置１０４は、液晶表示部と、その上に取り付けられている透明抵抗膜方式等のデジタイザ、ＣＰＵ、メモリ、無線ＬＡＮチップ等で構成されている。１０５は、透明抵抗膜デジタイザ用のペンである。ペン１０５を利用して、液晶表示部に表示している静止画等に対して、軌跡を入力し、処理を実施する。

図２は第１の実施形態に係る情報処理装置１０４のブロック図である。２０１は、透明抵抗膜デジタイザで構成される位置座標入力部で、ペン等で表面上を押下されると、押下された位置のＸＹ位置座標データがシステムバス２０７経由でＣＰＵ２０３に送られる。

２０２は、液晶表示部で、液晶表示素子、液晶制御回路、表示メモリから構成され、システムバス２０７経由でＣＰＵ２０３に接続されている。ＣＰＵ２０３からの指示で、画像の表示が実行される。２０３は、ＣＰＵであり、システムバス２０７を介して、ＲＡＭ２０４、ＲＯＭ２０５、液晶表示部２０２等と接続されており、ＲＯＭ２０５に記憶されているプログラムによって処理動作を行う。以後のフローチャートの処理はこのＣＰＵ２０３によって実行される。２０４は、ＲＡＭであり、ワーク領域として使われる。２０５は、ＲＯＭであり、ここに以後に説明するコンテンツの分類軌跡作成処理手順等が記憶されている。２０６は一般的な情報機器で使用されるフラッシュメモリで、システムバス２０７経由でＣＰＵ２０３に接続しているため、ローカルな動画や静止画のコンテンツファイルや、設定情報等が記憶されている。２０７は、システムバスで、ＣＰＵ２０３、ＲＯＭ２０５、ＲＡＭ２０４や他のデバイス等とのデータのやり取りを行う。２０８は、無線ローカルエリアネットワークチップであり、それにより他のパーソナルコンピュータと通信を行う。尚、コンテンツの例として、以後、静止画を用いて説明するが、動画や音声やテキスト、またそれらを示すサムネールやフォルダ等でも構わない。

図３は、第１の実施形態に係る情報処理装置１０４の構成図である。３０１は、位置座標入力部で透明抵抗膜デジタイザ等で構成されている。ペンで書かれた軌跡等の位置座標データが検出され、図２のＣＰＵ２０３に送られて処理され、図２のＲＡＭ２０４内の特定領域に記憶される。３０３は、軌跡認識処理手段であり、位置座標入力部３０１から送られてくる軌跡データの形状特徴と軌跡分類辞書３０４に登録されている辞書内の軌跡特徴データとマッチング処理を行ってその候補辞書データと類似度を出力する。

３０４は、軌跡分類辞書であり、軌跡の特徴データ、その軌跡が書かれたコンテンツのファイル情報等が記録されている。３０５は、新規登録判定手段であり、軌跡認識処理手段３０３の認識結果に応じて、入力された軌跡を新規登録するか、既存辞書データに情報を追加するかの決定を行う。３０６は、既存軌跡分類情報追加手段であり、既存の軌跡分類辞書データに現在のコンテンツのファイル情報と入力軌跡の位置情報を記録する処理を行う。３０７は、新規軌跡辞書作成手段であり、入力された軌跡の特徴データを辞書データとして、軌跡分類辞書３０４に登録する処理を行う。３０８は、コンテンツデータ選択手段であり、コンテンツのファイルを画面上に表示させる選択指示処理を行う。３０２は、液晶表示部であり、コンテンツデータ選択手段３０８で選択されたコンテンツを表示したり、入力された軌跡を描画したりする。

図４は、コンテンツ選択画面の例である。４０１は、コンテンツの一覧表示領域である。４０２はスクロールバーで、位置座標入力手段で操作する事により画面をスクロールさせる。４０３は、選択されているコンテンツを表している。選択された状態で、決定すると、そのコンテンツを全画面表示する。

図５は、選択されたコンテンツの全画面表示例である。５０１がコンテンツを表し、５０２は、コンテンツ上に記入された軌跡を表している。図１のペン１０５で、コンテンツ上に自由に軌跡を入力することができる。この記入された軌跡自体は、コンテンツとは別データであるので、表示させたり、隠したりすることができる。

図６は、本実施形態の軌跡分類辞書のデータ構造を表した構造図である。

一つの軌跡の辞書データは、軌跡特徴データ６０１と複数の軌跡画面位置情報とファイル情報６０２〜６０４で構成されている。

例えば、「〇」を表す軌跡６０５の軌跡特徴データ、「〇」が書かれた「０１．ｊｐｇ」ファイル上での軌跡の入力位置の座標データ、「〇」が書かれた「０２．ｊｐｇ」ファイル上での軌跡の入力位置の座標データの樣に構成さている。

書かれたファイルが１つだけだと、例えば、「△」軌跡の特徴データの樣に、「△」が書かれた「０４．ｊｐｇ」ファイル上での軌跡の入力位置の座標データの樣になっている。

この軌跡分類辞書３０４のデータ構造から判るように、ユーザ入力した任意の種類の軌跡の形状が記憶されている。

図７は、コンテンツへの軌跡入力処理を表したフローチャートである。この処理は、コンテンツ上に軌跡が入力され、その軌跡の入力が確定したら開始される。例えばペン１０５での軌跡入力後、決定キー（不図示）が押されたら開始される。

ステップ７０１で、ＣＰＵ２０３は、コンテンツへの軌跡入力処理を開始する。辞書データの記憶バッファ等が初期化される。ステップ７０２で、ＣＰＵ２０３は、現在表示されているコンテンツのファイル名を記憶する処理を行う。例えば、図５の例だと花の写真（０６．ｊｐｇ）のファイル名を記憶する。又此処では、ローカルファイルで説明するが、ネットワーク上のコンテンツであれば例えば、ネットワーク上のファイル名（例えば、￥￥ｎｅｔ．ｃｏｍ￥￥ｖｉｄｅｏ￥０６．ｊｐｇ）を記憶する。ステップ７０３で、ＣＰＵ２０３は、画面上に入力された軌跡のＸＹ位置座標データ列を作業バッファに記憶する。ステップ７０４で、ＣＰＵ２０３は、記憶した軌跡データ列から軌跡の特徴データを抽出する処理を行う。従来からある軌跡の認識アルゴリズムを適応すればいい。ユーザが記入した手書きを登録し、そのユーザが使用するので、高い認識率が予想される。例えば、入力された軌跡を２５６＊２５６に正規化し、１筆の軌跡を２０等分し、例えばその位置座標を記憶する。

ステップ７０５で、ＣＰＵ２０３は、辞書データの形状特徴データをバッファに読み込む処理を行う。図６の例だと、軌跡特徴データ６０１、「〇」、「△」、「∠」、「☆」が読み込まれる。ステップ７０６において、ＣＰＵ２０３は、入力データの特徴データと同一形状の辞書データがあるかをチェックする。同一形状の辞書データがある場合は（ステップ７０６においてＹＥＳ）、処理はステップ７０７に進み、同一形状の辞書データが存在しない場合は（ステップ７０６においてＮＯ）、処理はステップ７０８に進む。この判断は、入力データの特徴データと各辞書データの特徴データとマッチング処理を行い、特徴同士のデータの差分を抽出し、一番少ない差分が“０”に近ければ、同一形状の辞書データがあると判断し、ある閾値以上であれば、同一形状の辞書データはないと判断する。ステップ７０７で、ＣＰＵ２０３は、マッチした特徴データに軌跡画面位置情報とファイル情報を追加する処理を行う。例えば、図５の軌跡５０２例だと、「〇」の形状であるので、図６の辞書データの「〇」形状６０５のデータにマッチングする。そこで、軌跡「〇」が書かれたファイル「０２．ｊｐｇ」ファイル上での軌跡の入力位置の座標データの後に、ファイル名「０６．ｊｐｇ」と入力軌跡の外接枠の最大最小のＸＹ座標データを辞書データに追加する。

ステップ７０８において、ＣＰＵ２０３は、特徴データを追加するメッセージを表示する処理を行う。これは、軌跡の記入に失敗したのに気付かずに登録してしまうとまずいので、メッセージを表示する。例えば”新規軌跡を登録します。よろしければＯＫを押して、そうでなければキャンセルを押してください。”のような表示を行う。又システム設定で表示を今後しないような設定ができる。ステップ７０９において、ＣＰＵ２０３は、形状特徴データを辞書データに追加する処理を行う。ＣＰＵ２０３は、ステップ７０４で抽出した特徴データを図３の軌跡分類辞書３０４に追加する。例えば、辞書データが図６の樣な状態だと、辞書データの終端である「☆」の形状データの後ろに、入力特徴データを追加する。そのデータが辞書データの終端になる。

ステップ７１０において、ＣＰＵ２０３は、上記ステップで追加した辞書データに軌跡画面位置情報とファイル情報を追加する処理を行う。例えば、図５の花の写真「０６．ｊｐｇ」上に「３」の形状の軌跡を入力すると、「☆」の形状特徴データの後ろに、「３」の形状特徴データが登録され、ファイル名「０６．ｊｐｇ」と入力軌跡の外接枠の最大最小のＸＹ座標データが登録される。ステップ７１１において、ＣＰＵ２０３は、コンテンツへの軌跡入力処理を終了する。

図８は、検索時の軌跡入力画面である。図９は検索結果の表示画面である。図８の８０１が検索時の軌跡入力ウィンドウである。中止キー８０２が押下されると、この軌跡による検索処理を中止する。クリアキー８０３が押下されると、軌跡入力領域８０５に書かれている軌跡が消去される。検索開始キー８０４の押下で、軌跡入力領域８０５に書かれている軌跡を元に検索を開始する。検索開始キー８０４が押されると図１０のフローチャートで表した処理が開始される。

図１０は、軌跡による検索処理を表したフローチャートである。ステップ１００１において、ＣＰＵ２０３は、入力軌跡による検索処理を開始する。バッファ等の確保、初期化を行う。ステップ１００２において、ＣＰＵ２０３は、入力された軌跡のＸＹ位置座標データを読み込む処理を行う。図８の軌跡入力領域８０５内に書かれた軌跡データをバッファに読み込む。ステップ１００３において、ＣＰＵ２０３は、読み込んだ軌跡データの形状特徴データを抽出する処理を行う。軌跡データのＸＹ位置座標値を２５６＊２５６に正規化し、１筆の軌跡を２０等分しその等分した場所の位置座標をデータ列として記憶する。

ステップ１００４において、ＣＰＵ２０３は、辞書データを作業バッファ領域に読み込む処理を行う。例えば、辞書データが図６の例の場合、軌跡特徴データ６０１、「〇」、「△」、「∠」、「☆」が読み込まれる。ステップ１００５において、ＣＰＵ２０３は、形状特徴が一番類似しているものを検出する処理を行う。入力軌跡データから抽出した特徴データのＸＹ位置データと辞書データのＸＹ位置データとの距離差を計算し、一番距離差が小さい辞書データが一番形状が類似しているとする。入力データが、図８の軌跡入力領域８０５に書かれている軌跡８０５の樣な「〇」であれば、辞書データの軌跡６０５「〇」が一番類似している。

ステップ１００６において、ＣＰＵ２０３は、一致した形状データの軌跡画面ＸＹ位置座標情報とファイル情報をバッファに読み込む処理を行う。図６の辞書データの場合、「〇」が書かれたファイル「０１．ｊｐｇ」ファイル上での軌跡の入力位置の座標データと、「〇」が書かれたファイル「０２．ｊｐｇ」ファイル上での軌跡の入力位置の座標データが読み込まれる。ステップ１００７において、ＣＰＵ２０３は、入力軌跡の外接枠の面積Ｓを計算する処理を次式にて行う。

Ｓ＝ｄｘ＊ｄｙ （ｘｍａｘ−ｘｍｉｎ＝ｄｘ，ｙｍａｘ−ｙｍｍｉｎ＝ｄｙ）（式１）
ステップ１００８において、ＣＰＵ２０３は、辞書データの軌跡面積の、入力軌跡の外接枠の面積Ｓに近い順にファイル情報をソートする処理を行う。例えば、面積の大きさを大、中、小の三段階とし、入力軌跡の軌跡面積が大なら、大、中、小の順にする。ステップ１００９において、ＣＰＵ２０３は、同一面積の辞書データでは、入力軌跡の外接枠の中心と辞書データの外接枠の中心とを比較し、距離の近い順に並べる処理を行う。例えば、入力軌跡データが、左上隅に書かれたとして、辞書データが中央、右下隅、左上隅に存在する場合、ソートされて、左上隅、中央、右下隅の辞書データの順になる。ステップ１０１０において、ＣＰＵ２０３は、ソートした辞書データのファイル名からファイルデータを読み込む処理を行う。例えば、ソートした結果が、図９に示す０１．ｊｐｇ，０２．ｊｐｇ，０６．ｊｐｇなら、そのファイルを読み込む。ステップ１０１１において、ＣＰＵ２０３は、読み込んだファイルからサムネール画像を作成し表示する処理を行う。例えば、０１．ｊｐｇ，０２．ｊｐｇ，０６．ｊｐｇなら、そのファイルからサムネール画像を作成し、図９に示すように０１．ｊｐｇ ９０２，０２．ｊｐｇ ９０３，０６．ｊｐｇ ９０４と順に表示する。そして画像上に軌跡を表示する。ステップ１０１２において、処理を終了する。

この樣に処理を構成することにより、静止画等のコンテンツデータを任意の形状で任意の種類の軌跡で分類することができる情報処理装置を実現できる。これにより、キー入力やメニューよる選択等の必要なしに、分類や種類を後から追加できるので、簡単にユーザの意図する分類が可能となる。また、分類したコンテンツを、辞書データを用いて、入力された軌跡を認識しながら検索するので、コンテンツを全て検索するより高速に処理を行うことが可能となる。

〈第２の実施形態〉
第１の実施形態では、入力軌跡データと辞書データとの判定基準は閾値が１種類で、新規登録か既存軌跡辞書にデータ追加かの２者択一であった。しかし、ユーザによっては、登録した辞書データの軌跡の形状が不安定な場合もあり、入力軌跡データと辞書データとの一致度が低い場合もあるのでそれを改善する処理も考えられる。そこで、判定基準の閾値を２種類定め、一致度が閾値の“１”未満の時は、既存軌跡辞書データにデータ追加とし、一致度が閾値の“１”以上で閾値の“２”未満の時は、既存の形状データに同一形状の別データを追加する構成とする。図１の使用形態及び図２のブロック図は第１の実施形態で説明したものと同様であるので省略する。

図１１は、本発明の第２の実施形態に係る情報処理装置１０４の構成図である。１１０１〜１１０８は第１の実施形態の図３の構成図の３０１〜３０８と類似であるので説明を省略する。１１０９は既存軌跡別形状情報追加手段であり、既存の形状データに類似形状の別データを追加する物である。

図１２は、入力軌跡データの軌跡の形状と辞書データの軌跡の形状の例を表した図である。１２０１と１２０４は入力軌跡データの軌跡の例で、１２０２と１２０３は辞書データの軌跡の例である。

図１３は、辞書データの例であり、図１４は、図の１３の辞書データに軌跡形状データ１つが追加された例である。

図１５は、第２の実施形態のコンテンツへの軌跡入力処理を表したフローチャートである。フローチャートに沿って処理を説明する。

第１の実施形態の図７の７０１〜７０５は図１５の１５０１〜１５０５と、７０７は１５１１と、７０８〜７１０は１５１２〜１５１４と同一の処理であるので説明は省く。

ステップ１５０６において、ＣＰＵ２０３は、入力軌跡の特徴データに一番近い辞書データを検出する処理を行う。単純な例で説明すると、ＣＰＵ２０３は、図１２の「辞書データ１」１２０２と「入力データ１」１２０１とマッチングを行い、（正規化した軌跡の特徴点同士の距離差を加算したものを相違度とする。）相違度を計算し記憶する。次に「辞書データ２」１２０３と「入力データ１」１２０１とマッチングを行い、相違度を計算し記憶する。「辞書データ１」１２０２の相違度と「辞書データ２」１２０３の相違度と比較し、相違度が小さい方を入力軌跡の特徴データに一番近い辞書データに決定する。
ステップ１５０７において、ＣＰＵ２０３は、入力軌跡の特徴データに一番近い辞書データの相違度ＤＳＴを決定する。

ステップ１５０８において、ＣＰＵ２０３は、ステップ１５０７で決定した相違度ＤＳＴと閾値“１”（ＭｉｎｉＤｓｔ１）と比較し、閾値“１”未満であれば（ステップ１５０８においてＹＥＳ）、処理は、ステップ１５１１に進む。閾値“１”以上であれば（ステップ１５０８においてＮＯ）、処理はステップ１５０９に進む。図１２に示すように、「入力データ１」１２０１と「辞書データ１」１２０２の場合であると、形状は大体同じでこの場合だと相違度は閾値“１”未満となり、ステップ１５１１の処理が適応される。ステップ１５０９において、ステップ１５０７で決定した相違度ＤＳＴと閾値“２”（ＭｉｎｉＤｓｔ２）と比較し、閾値“２”未満であれば（ステップ１５０９においてＹＥＳ）、処理はステップ１５１０に進み、閾値“２”以上であれば（ステップ１５０９においてＮＯ）、処理はステップ１５１２に進む。例えば、「入力データ２」１２０４と「辞書データ１」１２０２との相違度を計算すると、「入力データ１」１２０１との相違度に比べて大きな相違度になる。その場合、閾値“１”以上で閾値“２“未満となり、ステップ１５１０の処理が適応される。

Ｓ１５１０において、入力形状特徴データをマッチした辞書データに追加する処理を行う。図１２、図１３、図１４の例で説明すると、追加される前の辞書データは図３のように、一つの形状データと、「３」が書かれたファイル「０１．ｊｐｇ」ファイル上での軌跡の入力位置の座標データ、「３」が書かれたファイル「０２．ｊｐｇ」ファイル上での軌跡の入力位置の座標データとで構成されている。

そこで入力データとして、図１２の「入力データ２」１２０４の軌跡が入力され、「入力データ２」１２０４と「辞書データ１」１２０２との相違度が閾値“１”以上閾値“２”未満になる。そして、「入力データ２」１２０４の入力形状特徴データを、「辞書データ１」１２０２の辞書の形状データの後ろに追加する。図１４は追加変更された辞書を示す。図１４に示す辞書は、「辞書データ１」１２０１の形状特徴データ１４０１、今回追加された「入力データ２」１２０４から作られた形状特徴データ１４０２、「３」が書かれたファイル「０１．ｊｐｇ」ファイル上での軌跡の入力位置の座標データ１４０３、「３」が書かれたファイル「０２．ｊｐｇ」ファイル上での軌跡の入力位置の座標データ１４０４、「３」が書かれた今回追加の「０３．ｊｐｇ」ファイル上での軌跡の入力位置の座標データ１４０５で構成される。

以上説明したように、登録した辞書データの軌跡の形状が不安定な場合には、形状データを追加していくことによって、分類、検索の効率を上げることが実現できる。

〈第３の実施形態〉
第１の実施形態、第２の実施形態では、コンテンツに自由な形状の軌跡を入力して、分類、検索が出来る情報処理装置を説明したが、ＴＶ等でコンテンツを見ながら分類、検索する時の入力手段として音声の応用も考えられる。第１の実施形態の構成の位置座標入力部と軌跡分類辞書を音声入力手段と音声分類辞書の構成に変更すれば良い。図１の使用形態及び図２のブロック図は、位置座標入力部２０１を音声入力部に置き換えた以外は本実施形態に適用できる。

図１６は、第３の実施形態に係る情報処理装置の構成図である。１６０２は音声入力部で、マイクとＡＤコンバーターで構成されていて、入力された音声がデジタルデータとして取り込まれる。１６０３は、音声マッチング処理手段で、入力された音声データの特徴と辞書データの特徴とマッチングを行う。このマッチングアルゴリズムは従来の音声認識で用いられる一般的な物でいい。１６０４は音声分類辞書であり、登録された音声特徴データ、その時のコンテンツデータのファイル名で構成されている。１６０５は新規登録判定手段であり、入力された音声データに一致する音声データが登録されていれば、既存音声分類情報追加手段１６０６を呼び、辞書に登録されていなければ、新規音声辞書作成手段１６０７を呼ぶ処理を行う。１６０６は、既存音声分類情報追加手段であり、現在のコンテンツ情報をマッチングした音声データに追加する処理を行う。１６０７は、新規音声辞書作成手段で、今回入力された音声データの特徴を音声分類辞書１６０４に追加する処理を行う。１６０８は、コンテンツデータ選択指示手段であり、コンテンツのファイルを液晶表示部１６０１の画面上に表示させる選択指示処理を行う。

図１７は、音声分類辞書１６０４のデータ構成を表した図である。一つの音声辞書データは、音声特徴データ１７０１、各コンテンツに対して入力時の音声の音量とコンテンツのファイル名１７０２〜１７０４で構成されている。例えば、花の写真に、「はな」の音声を入力すると、「はな」の音声特徴と、「１３．ｊｐｇ（花が写っている写真のファイル名）」が記録される。

図１８がコンテンツへの音声分類情報入力処理を表したフローチャートである。コンテンツを表示して、そこでマイクに向って、開始ボタンを押し、例えば「みけ」と発話し、記録決定ボタンを押し、音声データがデジタルかされてからこの処理が呼ばれる。ステップ１８０１において、ＣＰＵ２０３は、コンテンツへの音声入力処理を開始する。記憶バッファ等の領域を確保する。ステップ１８０２において、ＣＰＵ２０３は、コンテンツのファイル名を記憶する。現在表示されているコンテンツのファイル名を記憶する処理である。今、「１３．ｊｐｇ」（花の写真）を表示しているならそのファイル名「１３．ｊｐｇ」を記憶する。

ステップ１８０３において、ＣＰＵ２０３は、入力音声データをバッファに読み込む処理を行う。ステップ１８０４において、入力音声データの特徴抽出処理を行う。例えば、特開２００５−１７５８３９号公報に記載されている樣に音声データから特徴パラメータ列に変換する。ステップ１８０５おいて、図１７に表した辞書データをバッファに読み込む処理を行う。ステップ１８０６において、ＣＰＵ２０３は、入力音声データに類似する辞書音声データが存在するかをチェックする。存在する場合は（ステップ１８０６においてＹＥＳ）、処理はステップ１８０７に進み、存在しない場合は（ステップ１８０６においてＮＯ）、処理はステップ１８０８に進む。ＣＰＵ２０３は、入力された音声の特徴パラメータ列と登録されている音声の特徴パラメータ列とマッチングを行い、一番類似度が高い辞書データの類似度が、閾値以上であれば辞書データと同一とする。

ステップ１８０７において、ＣＰＵ２０３は、マッチした音声辞書データに入力音声の音量の値、コンテンツのファイル名を追加する。例えば、「１６．ｊｐｇ」ファイルを見ながら、「みけ」と音量２５デシベル（ｄｂ）で発声すると、図１７の辞書の「みけ」とマッチし、音声大きさ「３０ｄｂ」、「１２．ｊｐｇ」の後に「２５ｄｂ」、「１６．ｊｐｇ」が追加される。ステップ１８０８において、ＣＰＵ２０３は、新規音声データを追加するメッセージを表示する。「この音声を追加しますがいいですか、よければＯＫを押し、そうでなければキャンセルを押してください。」の様なメッセージを画面上に表示する。ＯＫが押されれば、ステップ１８０９に進み、キャンセルが押されたら、登録しないで、ステップ１８１１に進む。

ステップ１８０９において、ＣＰＵ２０３は、入力音声データの特徴パラメータを辞書データとして追加する処理を行う。もし、図１７の辞書の状態で、「うみ」と発声すると、図１７の辞書の音声特徴データ内には存在しない為、辞書データ「ふうけい」の後に、「うみ」の音声特徴データを追加する。

ステップ１８１０において、ＣＰＵ２０３は、新規音声辞書特徴データに音声の音量の値、コンテンツのファイル名を追加する。例えば、海の写真「１６．ｊｐｇ」に、３０ｄｂの音量で「うみ」と発声すると、図１７の辞書の音声特徴データ内には存在しない為、辞書データ「ふうけい」の後に、「うみ」の音声特徴データを追加し、その音声特徴データの後ろに、「３０ｄｂ」、「１６．ｊｐｇ」を追加する。以上の処理により、音声分類辞書１６０４が作られる。

図１９は、音声入力によるコンテンツ検索処理を表したフローチャートである。検索メニューから、音声入力を選択し、検索したいコンテンツの音声を発声すると、このコンテンツ検索処理が開始される。
ステップ１９０１において、ＣＰＵ２０３は、音声入力による検索処理を開始する。記憶バッファ等の領域を確保する。ステップ１９０２で、ＣＰＵ２０３は、検索キーとなる音声データをバッファに読み込む処理を行う。ステップ１９０３において、ＣＰＵ２０３は、読み込んだ音声データから特徴抽出処理を行う。例えば、特開２００５−１７５８３９号公報に記載されている樣に音声データから特徴パラメータ列に変換する。

ステップ１９０４において、ＣＰＵ２０３は、入力音声データの音量を決定する。例えば、２０ｄｂで発声したら、２０ｄｂに音量測定で決定する。ステップ１９０５において、ＣＰＵ２０３は、辞書データをバッファに読み込む処理を行う。例えば、図１７に表した辞書データをバッファに読み込む。ステップ１９０６において、ＣＰＵ２０３は、辞書データの音声特徴データと入力音声特徴データの類似度でソートする処理を行う。図１７の辞書データに対して、「ふうけい」と発声して検索すると、「ふうけい」、音声大きさ「２０ｄｂ」、「１５．ｊｐｇ」が一番になるようにソートされる。

ステップ１９０７において、ＣＰＵ２０３は、各辞書データの音量情報と入力音量情報との比較でソートする。例えば、発声「みけ」で音量３０ｄｂで検索すると、辞書の音声大きさ「３０ｄｂ」、「１２．ｊｐｇ」、音声大きさ「２０ｄｂ」、「１１．ｊｐｇ」の順にソートされる。ステップ１９０８において、ＣＰＵ２０３は、ソートされた検索結果のコンテンツのサムネールを表示する。例えば、辞書の音声大きさ「３０ｄｂ」、「１２．ｊｐｇ」、音声大きさ「２０ｄｂ」、「１１．ｊｐｇ」が検索結果であれば、ＣＰＵ２０３は、最初に「１２．ｊｐｇ」のファイルの画像データを読み込みサムネール画像を作成、検索結果の表示画面に表示する。次に、「１１．ｊｐｇ」のファイルの画像データを読み込みサムネール画像を作成、検索結果の表示画面に表示する。ステップ１９０９において、ＣＰＵ２０３は、音声入力による検索処理を終了する。

以上の様に構成することにより、コンテンツデータを音声で分類し、音声で高速に検索する情報処理装置を実現できる。音声自体は、使用するユーザの音声データを登録することにより実現するので、高い検索効率が実現できる。

以上、実施形態を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

尚、本発明は、ソフトウェアのプログラムをシステム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによって前述した実施形態の機能が達成される場合を含む。この場合、供給されるプログラムは実施形態で図に示したフローチャートに対応したプログラムである。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。

プログラムを供給するための記録媒体としては以下が挙げられる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などである。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムをハードディスク等の記録媒体にダウンロードすることが挙げられる。この場合、ダウンロードされるプログラムは、圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布するという形態をとることもできる。この場合、所定の条件をクリアしたユーザに、インターネットを介してホームページから暗号を解く鍵情報をダウンロードさせ、その鍵情報を使用して暗号化されたプログラムを実行し、プログラムをコンピュータにインストールさせるようにもできる。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどとの協働で実施形態の機能が実現されてもよい。この場合、ＯＳなどが、実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれて前述の実施形態の機能の一部或いは全てが実現されてもよい。この場合、機能拡張ボードや機能拡張ユニットにプログラムが書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行なう。

第１の実施形態の使用形態を表す図である。 第１の実施形態の情報処理装置のブロック図である。 第１の実施形態の情報処理装置の構成図である。 コンテンツ選択画面の例を示す図である。 選択されたコンテンツの全画面表示例を示す図である。 第１の実施形態の軌跡分類辞書のデータ構造を表した構造図である。 コンテンツへの軌跡入力処理を表したフローチャートである。 検索時の軌跡入力画面を示す図である。 検索結果の表示画面を示す図である。 軌跡による検索処理を表したフローチャートである。 第２の実施形態の構成図である。 入力軌跡の形状と辞書軌跡の形状の例を表した図である。 辞書データの例を示す図である。 追加変更された辞書を示す図である。 第２の実施形態のコンテンツへの軌跡入力処理を表したフローチャートである。 第３の実施形態の構成図である。 音声分類辞書１６０４のデータ構成を表した構造図である。 コンテンツへの音声分類情報入力処理を表したフローチャートである。 音声入力によるコンテンツ検索処理を表したフローチャートである。

符号の説明

１０１ デジタルＴＶ
１０２ ローカルエリアネットワーク
１０３ メディアサーバー
１０４ 情報処理装置
１０５ ペン

Claims (9)

1. 軌跡と対応づけて１以上のコンテンツと該コンテンツに入力された軌跡の少なくとも位置または面積のいずれかの情報である軌跡情報が登録された辞書データを記録する記録手段と、
   コンテンツに対応付けて軌跡を入力する第１の入力手段と、
   前記第１の入力手段によって入力された軌跡と、前記辞書データに登録されている軌跡とを比較する比較手段と、
   前記比較手段による比較結果に基き、前記記録手段に記録された辞書データにデータを追加する追加手段と、
   軌跡を入力する第２の入力手段と、
   前記辞書データに記録されている軌跡から前記第２の入力手段によって入力された軌跡と形状が類似する軌跡を検出する検出手段と、
   前記第２の入力手段によって入力された軌跡と前記検出手段によって検出された軌跡の前記軌跡情報に基づいて該検出された軌跡に対応する複数のコンテンツをソートするソート手段と、
   前記ソート手段によるソートに基づいてコンテンツに対応するデータを表示する表示手段と
   を有することを特徴とする情報処理装置。
2. 前記比較手段による比較の結果、前記第１の入力手段で入力された軌跡が、前記辞書データに既に登録されていると判断された場合、前記追加手段は、前記辞書データに該軌跡に対応するコンテンツの情報を追加することを特徴とする請求項１記載の情報処理装置。
3. 前記比較手段による比較の結果、前記第１の入力手段で入力された軌跡が、前記辞書データに登録されていないと判断された場合、前記追加手段は、前記辞書データに該軌跡を新規の軌跡として追加することを特徴とする請求項１記載の情報処理装置。
4. 前記ソート手段は、前記第２の入力手段によって入力された軌跡の面積と、前記検出手段によって検出された軌跡の面積が同一の場合、前記第２の入力手段によって入力された軌跡の位置と、前記検出手段によって検出された軌跡の位置の近い順にソートすることを特徴とする請求項１記載の情報処理装置。
5. 軌跡と１以上のコンテンツが対応付けて登録された辞書データを記録する記録手段と、コンテンツに対応付けて軌跡を入力する入力手段と、
   前記入力手段によって入力された軌跡と、前記辞書データに登録されている軌跡とを比較する比較手段と、
   前記比較手段による比較結果に基き、前記記録手段に記録された辞書データにデータを追加する追加手段と、
   を有し、
   前記追加手段は、前記入力手段によって入力された軌跡と、前記辞書データに登録されている軌跡の相違度が、予め定めた第１の閾値以上、予め定めた第２の閾値未満の場合、前記辞書データに既に登録されている軌跡の形状に、前記入力手段によって入力された軌跡を対応付けて追加登録することを特徴とする情報処理装置。
6. コンテンツに対応付けて軌跡を第１の入力手段が入力する第１の入力工程と、
   前記第１の入力工程で入力された軌跡と、前記軌跡と対応づけて１以上のコンテンツと
   該コンテンツに入力された軌跡の少なくとも位置または面積のいずれかの情報である軌跡情報が登録された辞書データに登録されている軌跡とを比較手段が比較する比較工程と、前記比較工程での比較結果に基き、前記辞書データにデータを追加手段が追加する追
   加工程と、
   軌跡を第２の入力手段が入力する第２の入力工程と、
   前記辞書データに記録されている軌跡から前記第２の入力工程で入力された軌跡と形状が類似する軌跡を検出手段が検出する検出工程と、
   前記第２の入力工程で入力された軌跡と前記検出工程で検出された軌跡の前記軌跡情報に基づいて該検出された軌跡に対応する複数のコンテンツをソート手段がソートするソート工程と、
   前記ソート工程によるソートに基づいてコンテンツに対応するデータを表示手段が表示する表示工程と
   を有することを特徴とする情報処理装置の制御方法。
7. 請求項６に記載の方法をコンピュータに実行させるための制御プログラム。
8. 軌跡と１以上のコンテンツが対応付けて登録された辞書データを記録する記録手段に記録をする記録工程と、
   コンテンツに対応付けて軌跡を入力する入力工程と、
   前記入力工程で入力された軌跡と、前記辞書データに登録されている軌跡とを比較する比較工程と、
   前記比較工程による比較結果に基き、前記記録手段に記録された辞書データにデータを追加する追加工程と、を有し、
   前記追加工程は、前記入力工程で入力された軌跡と、前記辞書データに登録されている軌跡の相違度が、予め定めた第１の閾値以上、予め定めた第２の閾値未満の場合、前記辞書データに既に登録されている軌跡の形状に、前記入力手段によって入力された軌跡を対応付けて追加登録することを特徴とする情報処理装置の制御方法。
9. 請求項８に記載の方法をコンピュータに実行させるための制御プログラム。

Images