JP4300938B2

JP4300938B2 - メディア認識サイト検索方法およびシステム

Info

Publication number: JP4300938B2
Application number: JP2003302302A
Authority: JP
Inventors: 康幸大木; 一正岩崎
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2003-08-27
Filing date: 2003-08-27
Publication date: 2009-07-22
Anticipated expiration: 2023-08-27
Also published as: EP1513077A2; US20050050020A1; JP2005071195A; EP1513077A3

Description

本発明は、映像データなどのメディアを認識するメディア認識サイトを検索するシステムに関し、特に、ユーザの希望に合致する認識を行うメディア認識サイトを検索するシステムに関する。

現在、映像や音声などのメディアデータを認識するメディア認識ネットワークシステムが存在する。このシステムでは、メディアデータを所有する各エンドユーザが、ネットワーク上に配置されたメディアデータ認識処理用コンピュータ（以下、メディア認識サイトと呼ぶ）に接続し、エンドユーザ側からメディア認識サイトへメディアデータを送信する。メディア認識サイトからはその認識結果メタデータが返信される（特許文献１参照）。

また、ネットワーク上に配置された各種処理サービスを検索する手法としては、Ｗｅｂサービスの検索ディレクトリＵＤＤＩ（http://www.uddi.org）がある。ＵＤＤＩでは、検索条件として、Ｗｅｂサービスの各種分類情報とともに、Ｗｅｂサービスの入力データと出力データの形式（データ型）を指定する。Ｗｅｂサービスを利用したいユーザは、Ｗｅｂサービスの種別情報と共に入力データの型と出力データの型を指定してＷｅｂサービスのサイトアドレスを入手し、その後サイトへの接続を行う。

上記メディア認識ネットワークシステムにおいて、ユーザがメディア認識サイトの検索を行う場合、検索条件となる認識サイトの入力の型として、認識対象となるメディアデータの種別（映像、音声、３Ｄ）や、そのフォーマット（画像の幅高さ、圧縮方式、色数、音声チャネル数）を指定する。同様に認識サイトの出力の型として、出力されるメタデータの型を指定する。

特開平１０−２８２９８９号公報

上記メディア認識ネットワークシステムにおいて、メディア認識サイトをその入出力データ型だけで検索する場合には、ユーザが本当に希望するメディア認識サイトを検索・選定できない可能性がある。その理由は、メディア認識方法が同じで、かつ認識精度が高いメディア認識サイトを選び出せたとしても、ユーザが認識したい認識対象が、メディア認識サイトの認識結果と合致しない場合があるからである。たとえば、映像中の物体動き追尾を用いてサッカー番組におけるサッカーボールの動きを追いかける場合、ある動き追尾認識サイトはサッカーボールを正しく追尾するのに対し、別の動き追尾認識サイトはサッカー選手を追尾してしまう場合がある。どちらの動き追尾認識サイトも入出力データ型が「映像，動き情報」と同じであり、どちらも独自のアルゴリズムにより高精度の動き追尾を行うのであるが、一方の動き追尾サイトはユーザが希望していないサッカー選手の動き追尾情報を返信してしまう。

本発明の目的は、メディアデータの検索条件をもとに、ユーザの希望に添うメディア認識サイトを検索するメディア認識サイト検索システムを提供することにある。

上記目的を達成するために本発明は、ユーザ端末は、予め記憶されたサンプル映像をもとにして、検索条件入力ツールを用いて、メディア認識サイトを検索する基準となる第一のメディア特徴量（正解特徴量）を作成する。メディア認識サーバは、サンプル画像を認識処理し、その認識結果である第二のメディア特徴量をユーザ端末に送信する。ユーザ端末は、作成した正解特徴量とメディア認識サーバ１５０の認識結果であるメディア特徴量とを比較し、ユーザが希望する認識処理を行うメディア認識サイトを選択する。

本発明によれば、多数のメディア認識サイトの中から、ユーザの希望に沿ったメディア認識処理を行うサイトを選び出すことができる。

本発明における最良の実施形態を図面を用いて説明する。

本実施形態においては、次のような動作シナリオを想定している。あるユーザが、サッカーの試合の分析をするために、自分が所有するあるサッカー映像を分析したいとする。映像の分析は、まずサッカーボールの動きの情報をまとめる処理を行い、次に各選手の詳細な動きを分析する処理を行う。このシナリオのうち、特にサッカーボールの動きを分析する処理について、本実施形態の認識サイト検索システムを用いて具体的に説明していく。

まず図１を用いて、本発明の一実施形態であるメディア認識サイト検索システムのシステム構成を説明する。本システムは、ユーザ側に設置され、ユーザが操作するユーザ端末１１０と、映像や音声などのメディアデータを受け取り、その内容を分析・認識しその結果をメディア特徴量として返信するメディア認識サーバが複数個１５０，１６０，１７０と、メディア認識サイトの検索を支援する検索条件入力ツール取得サーバ１４０で構成され、上記サーバや端末がネットワーク１３０に接続されている。図１では、メディア認識サーバＡ１５０およびメディア認識サーバＢ１６０は、映像中の動いている物体を発見・追尾する動き追尾認識機能を持ち、メディア認識サーバＣ１７０は、音声を入力としてその発話内容を認識しテキストデータに変換する音声認識機能を持つものとする。

ユーザ端末１１０は、プログラムコードである検索条件入力ツール１１１を実行する。ユーザの操作によって、ユーザ端末１１０は、この検索条件入力ツール１１１を用いてメディア認識サイトの検索・選定の処理を行う。このプログラムコードは、これを実行するツール実行装置１１３を備える。なおこのプログラムコードにはＣＰＵ依存型のネイティブコードなどを用いてもよい。検索条件入力ツール１１１は必要に応じてキーボードやマウスなどの入力装置１１８とユーザ操作結果を表示するディスプレイ装置１１７を備える。

ユーザ端末１１０は、ＴＣＰ／ＩＰネットワーク接続等により外部装置と情報の送受信を行うネットワーク装置１１２、各種データを蓄積するハードディスク装置１１６、メディア特徴量比較装置１１４、およびこれらユーザ端末１１０内の各装置を制御するユーザ端末制御装置１１５から構成される。ユーザ端末制御装置１１５は、ＣＰＵとメモリを備える一般的なコンピュータ装置であって、図２に示すユーザ端末側の処理フローを示すプログラムを備える。なお本実施形態では、ハードディスク装置１１６に、認識サイトの検索に用いる一時的な映像であるサンプル映像１１９、実際に分析したい映像が録画されている実映像１２０、および、ユーザが希望するメタデータの正解値である正解特徴量１２１が記録されている。なお本実施形態では映像を用いたが、音声認識サイトの検索の場合は音声データを、顔認識サイトの検索の場合は写真データを記録することになる。

検索条件入力ツール取得サーバ１４０は、複数の検索条件入力ツール１４３，１４４等を記憶装置１４２内に保持することにより、ネット上にどのようなメディア認識サイトがあるのかといった認識方式のカテゴリを分類して管理するサーバである。検索条件入力ツール取得サーバ１４０は、主にユーザ端末１１０からアクセスされる。なお検索条件入力ツール取得サーバ１４０もネットワーク装置１４１を備える。

メディア認識サーバ１５０、１６０、１７０は、ネットワーク経由でメディアデータを受信し、メディア認識装置１５３を用いて、受信したメディアデータを認識し、その認識結果であるメディア特徴量を返信する。このためメディア認識サーバ１５０、１６０、１７０は、ネットワーク接続を行うネットワーク装置１５１を有する。

さらに、メディア認識サーバ１５０、１６０、１７０は、メディア認識サイトを検索する検索条件が、自身のメディア認識装置１５３と合致するか否かを調べる検索条件照合処理装置１５２と、メディア認識サーバ内の各装置を制御する認識サイト制御装置１５４を備える。認識サイト制御装置１５４は、ユーザ端末制御装置１１５と同様にコンピュータとプログラムから構成される。メディア認識サーバ１６０と１７０は、メディア認識サーバ１５０と同様の構成である。

メディア認識装置１５３が行う認識処理は、映像中で動いている物体を自動追尾する認識処理、映像中のある色の部分を抽出して指し示す認識処理、および、音声を入力としてその発言内容を認識しテキストとして返す音声認識処理などが考えられる。これら処理を行うためには、公知のメディア認識製品（音声認識ソフトウェアや映像認識ソフトウェア）を用いることとし、ここでは詳細な説明は省略する。本実施形態においては、その認識処理がどのような形式のメディアデータを入力とし、どのような形式のメディア特徴量を出力するのかがポイントである。

なお、本実施例では、サンプル映像１１９、実映像１２０、メディア特徴量比較装置１１４、およびツール実行装置１１３をユーザ端末１１０の中に配置したが、これらをネットワーク上の別のサイト（コンピュータやサーバ）上に配置してもよい。たとえば、映像（一般にはメディアデータ）そのものは別のサイトに保存されていて、ユーザ端末１１０上ではその置き場所を示すＵＲＬだけを記録し、ユーザ端末１１０やメディア認識サーバ１５０が必要な時にそのＵＲＬを元に映像の実データをダウンロードまたはストリーミングにより入手すれば、本実施例と同様の動作を実現することができる。同様に、検索条件入力ツール１１１とツール実行装置１１３も、ユーザ端末１１０ではなく別の検索条件入力ツール取得サーバ１４０上に配置されて、必要に応じて、検索条件入力ツール１１１とツール実行装置１１３が、ネットワーク経由でユーザ端末１１０内のディスプレイ装置１１７、入力装置１１８、ハードディスク装置１１６をアクセスするようにしてもよい。メディア特徴量比較装置１１４についても、ユーザ端末１１０上に配置したが、実際は様々なメディア特徴量に対する類似度比較処理を行わなければならないため、類似度比較サーバなどを別途設けて、このサーバが代理で認識処理する構成でもよい。

ここで、メディア認識サイトの検索を行う場合の、入出力データ型の指定について説明する。入出力データ型の指定には、ISOのMPEG-7(ISO/IEC 15938)に定められるマルチメディアコンテンツのため情報記述方式を利用できる。MPEG-7ではW3C XML Schemaを元にした型定義言語を用いて、メディア情報記述のための様々な標準型を規定している。たとえば、映像の種別やフォーマットを記述する型として“mpeg7:MediaFormatType”（または<MediaFormat>タグ）というXML型を用意し、詳細なフォーマット情報を記述可能である。同様に、メタデータの型として、映像に関するもの（色，形，動き追尾情報）や音に関するもの（音声認識結果テキスト）など、様々な標準型を用意している。たとえば、動き追尾情報には“mpeg7:MovingRegionType”(または<MovingRegion>タグ)という型があり、物体の形状やその時間的な動き情報（映像内の座標位置x,yと映像時刻tのリスト）を一括して記述できる。なお、メタデータと呼ばれるメディアデータの関連情報のうち、特に二つのメタデータ間の類似度合いを数学的に計算できるものを、メディア特徴量（または単に特徴量）と呼ぶ。

次に図２の全体処理フローと、図３，図４のユーザ端末のインタフェース画面を用いて、本発明の実施例の流れを説明する。

図２は、メディア認識サーバの検索・選定の処理を示す。

まずユーザ端末１１０は、検索条件入力ツール取得サーバ１４０に接続する（ステップ２１１）。ユーザ端末１１０のディスプレイ装置１１７は、図３に示す認識種別メニュー画面３１０を表示する（ステップ２１２）。認識種別メニュー画面３１０において、ユーザによってメディア認識の種別が選択されると、ユーザ端末１１０は、その情報が検索条件入力ツール取得サーバ１４０に送信し、検索条件入力ツール取得サーバ１４０の記憶装置１４２に格納された検索条件入力ツールであって、選択されたメディア認識種別に対応する検索条件入力ツールが、ユーザ端末１１０にダウンロードされる（ステップ２１３）。図３に示す例では「動き追尾」ボタン３１２が選択されたので、「動き追尾」の検索条件入力ツール１４４がユーザ端末１１０にダウンロードされる。

次に、ユーザ端末１１０は、ダウンロードされた検索条件入力ツール１４４を実行し、ユーザの操作によってユーザ端末１１０内に正解特徴量１２１を作成する（ステップ２２１）。本実施の形態では、正解特徴量は、サンプル映像において「ボールを追いかける」というものである。

ステップ２２１で正解特徴量１２１を作成すると、ユーザ端末１１０は、ネットワーク上の全メディア認識サイトに向けて検索条件データグラムを送信する（ステップ２３１）。検索条件データグラムには、メディア認識サイトの入力データ型、メディア認識サイトの出力データ型、サンプル用メディアデータ（ここではサンプル映像１１９）が含まれる。検索条件データグラムの詳細は後述する。

ステップ２３１にて検索条件データグラムがネットワーク上に配信されると、それを受信した各メディア認識サーバ１５０、１６０、１７０は、検索条件データグラムのうち入力データ型と出力データ型が、自己のメディア認識装置の仕様に合致するか否かを照合する（ステップ２４１Ａ，Ｂ，Ｃ）。この場合、メディア認識サーバＣ１７０は音声認識サーバのため、入力データ型が“映像”であるこのサンプルデータ（サンプル映像１１９）は、このサーバでは処理ができない（２４１Ｃ）。このように検索条件の照合がＮＯの場合、メディア認識サーバＣ１７０では、以降の認識処理、返信処理は行わない。

メディア認識サーバＡ１５０、Ｂ１６０は「動き追尾」の認識処理を行うサーバであり、検索条件の照合が成功する。この場合、検索条件データグラムに含まれるサンプル映像１１９を元に、各々のメディア認識装置１５３を用いて動き追尾処理を行う（ステップ２４２Ａ，Ｂ）。メディア認識サーバＡ１５０、Ｂ１６０は、動き追尾処理の結果（(x,y,t)の並び）を、MPEG-7特徴量＜MovingRegion＞の形式で記述し、メディア認識サイトＡ１５０，Ｂ１６０を識別するＵＲＬと共に、ユーザ端末１１０に返信する（２４３Ａ，Ｂ）。

次にユーザ端末１１０は、各メディア認識サイトから返信されたMPEG-7<MovingRegion>特徴量と、ユーザ端末１１０が持つ正解特徴量１２１ととの類似度を比較する（ステップ２５１）。ユーザ端末１１０は、比較の結果、正解特徴量１１６と一番類似する認識結果（特徴量）を出力する認識サイトを選ぶ。ステップ２５１の具体的な処理フローは図６に示す。ここでは、正解特徴量に一番類似している特徴量を返信したサイトとしてメディア認識サイトＡ１５０が選ばれたとする。

ステップ２２１において説明したように、今回の正解特徴量１２１は「ボールを追いかける」特徴量である。各メディア認識サイトから返信された特徴量の中で、この正解特徴量１２１に一番類似しているものを選ぶことは、数ある「動き追尾」を行う認識サイトのうち、一番ユーザの意図どおりにボールを追いかけている認識サイトを選ぶことである。このように正解特徴量とメディア認識サイトからの返信特徴量を比較することにより、ユーザの希望する最適なメディア認識サイトの検索・選定が可能になる。

次に、ユーザ端末１１０は、選定されたメディア認識サイトＡ１５０に選定通知を送信し、実映像１２０の配信接続依頼を発行する（ステップ２６１）。メディア認識サイトＡ１５０は、接続ＯＫを示すＡＣＫ信号をユーザ端末１１０に返信する（ステップ２６２）。ユーザ端末１１０は、ＡＣＫ信号を受信すると、実映像１２０をメディア認識サイトＡ１５０にストリーミング配信し（ステップ２６３）、メディア認識サイトＡ１５０は、受信した実映像１２０に対して順次動き追尾処理を行い、その認識結果をユーザ端末１１０に返信する（ステップ２６４）。このストリーミング配信は、ユーザ端末１１０が配信を打ち切るまで継続される。

なお、ステップ２３１において配信される検索条件データグラムに関して、入力データ型、出力データ型を検索条件データグラム上に表現する方法として、本実施形態では、MPEG-7記述形式を用いる。たとえば「352x240サイズ，2Mbps映像，音なし」を表す場合、次のように記述すればよい。
<MediaFormat xmlns=“http://www.mpeg7.org/2001/MPEG-7_Schema”>
<Format>
<VisualCoding>
<BitRate>2000000</BitRate>
<Frame width=“352” height=“240”/>
</VisualCoding>
</Format>
</MediaFormat>
同様に、動きの特徴量を出力型として表す場合、次のように記述すればよい。
<outputType xmlns:mpeg7=“http://www.mpeg7.org/2001/MPEG-7_Schema”
name=“mpeg7:MovingRegionType”/>
この場合、<outputType>は本実施例が定義したタグであり、この記述は「MPEG-7のうち<MovingRegion>等として記述される特徴量である“MovingRegionType”型」を表している。ここで、MovingRegionTypeの内容は、xmlns:mpeg7に示される場所にあるスキーマで定義されている。

ステップ２３１で送信されるサンプル映像１１９については、本実施形態では説明を分かりやすくするため、送信される検索条件データグラムに映像データ全てを追加している。別の構成としては、サンプル映像の置き場所のＵＲＬ等を検索条件データグラムに記述するに留め、送信された検索条件データグラムを受け取ったメディア検索サイトが、必要に応じてそのＵＲＬを経由してサンプル映像にアクセスする構成も考えられる。この構成の場合は、通信トラフィックが軽減できるため望ましい。同様に、検索条件データグラムの配信も、本実施形態ではネットワーク全域にマルチキャスト配信しているが、マルチキャスト範囲を絞り込むような中間的なセンタサーバ（検索条件のキャッシュ＆プロキシサーバ）を設け、そこに対して検索条件データグラムを送信する構成でもよい。この構成の方が、通信トラフィックが軽減できる（その代わりセンタサーバの処理負荷がかかる）。
図３は、図２のステップ２１２において表示される認識種別メニュー画面３１０を示す。認識種別メニュー画面３１０はＷｅｂＣＧＩなどで構築され、メディアの認識種別（音声認識、動き追尾、顔認識）に対応するダウンロードボタン３１１、３１２、３１３を含む。この認識種別はネットワーク上に多数存在するメディア認識サイトをその認識方法別に分類したものである。たとえば、同じ映像の物体の動き追尾認識機能でも、その実現方法としては、物体の特定の色を追いかけたり、映像の差分を元に物体の移動情報を抽出して追いかけたり、特定の物体の形をパターン化して追いかけたりするなど、様々である。本実施形態では、これら多様なメディア認識サイトをユーザに分かりやすく提示するため、これら全てを「動き追尾」に分類する。

図３に示す認識種別メニュー画面３１０を構築する場合、検索条件入力ツール取得サーバ１４０は、記録装置１４２内に検索条件入力ツールを格納するにあたって、認識種別の分類を管理する必要がある。本実施形態では、カテゴリ情報をメディア認識処理の（入力データ型，出力データ型）の組として管理している。例えば、動き追尾検索条件入力ツール１４４の場合、図２のステップ２３１で述べたように、入力データ型と出力データ型を、MPEG-7を使って（入力データ型＝映像，出力データ型＝動き情報）のように記述できる。同様に音声認識の場合は、入力データ型と出力データ型を（入力データ型＝音声，出力データ型＝テキスト）と記述できる。検索条件入力ツール取得サーバ１４０は、これらの入出力データ型の組に、「動き追尾」や「音声認識」などの認識種別名称と、その認識処理種別に対応する検索条件入力ツールのプログラムを含めてデータベースで管理する。これにより、検索条件入力ツール取得サーバ１４０は、その認識種別名称の一覧を、ＷｅｂＣＧＩ画面形式として認識種別メニュー画面３１０を構築することが可能である。なお、認識種別メニュー画面３１０において、認識種別の検索を行う構成でもよい。例えば、先のＤＢに認識種別ごとの概要説明文もあわせて格納してき、ＤＢの全文検索機能を用いて検索を行えば、よりユーザにわかりやすい認識種別メニュー画面を提供することができる。

図４は、図２のステップ２２１における検索条件入力ツール１４４（図２のステップ２１３で選択された図３の検索条件入力ツール１４４）を実行するときの画面を示す。図４の画面は、サンプル映像１１９であるサッカー番組の映像を開いて、映像の中のサッカーボールの動きを追いかけるような検索条件を設定する例を示す。このように、検索条件入力ツールは、ユーザ画面付きプログラムの形式をとっているので、様々なメディアの認識処理に特化したユーザ画面を提供することができる。このため、ユーザは認識技術についての深い知識を知ることなく、わかりやすい形で「動き追尾」を行う認識サイトの検索条件（つまり正解特徴量１２１）を入力できる。

図４のディスプレイ画面１１７について説明する。この画面は、数ある動き追尾認識サイトの中からユーザの希望に添った認識サイトを検索・選定する検索条件を入力する際に用いられる。具体的には、検索条件入力ツール１４４は、検索・選定用に用いるサンプル映像１１９を入力し、ユーザの操作によって、正解特徴量１２１を設定して出力する。本実施形態では、サンプル映像１１９としてサッカーの短編映像４１１が指定されている。サンプル映像１１９は、サッカー番組の実映像１２０とは別の短編映像であるが、実映像１２０を直接用いても、またはネットワークに接続されたファイルサーバの映像リストから入手してもよい。本実施形態では、手軽に検索条件（つまり正解特徴量）を入力できるようにサンプル映像を短編映像とし、また、正解特徴量をユーザから隠蔽する点を分かりやすく説明するために、そのユーザしか知らない（つまりネットワーク上に公開されていない）独自の映像をサンプル映像として用いる。サンプル映像１１９の現在の再生時刻の画面４１１には、サッカー選手４２３とサッカーボール４２１が表示されている。またこの画面には、ユーザが入力したサッカーボールの軌跡ライン４２２と、それに用いたマウスカーソル４１５が表示されている。この画面は、「私が期待しているメディア認識サイトの認識結果とは、サッカー選手の追尾ではなく、サッカーボールの追尾である」ことがユーザから入力されたことを表している。本ツールにより、サッカー選手の追尾とサッカーボールの追尾の区別といったユーザが希望する検索条件を、メディア認識サイトの検索・選定の際に容易に指定できる。

図４に示す画面の操作について説明する。画面１１７において、まず映像選択ボタン４１２を押してサンプル映像１１９を指定する。その後、映像操作パネル４１３を操作してサンプル映像１１９のサッカーボールが写っている先頭の時刻ｔ１を表示する。時刻ｔ１の表示画面４１１にて、サッカーボールの位置をマウスカーソルでクリックすると、その時刻ｔ１とマウスカーソル座標ｘ１，ｙ１が、正解特徴量の一要素（ｘ１、ｙ１、ｔ１）として追加される。同様に時刻を少し進めてサッカーボール位置をクリックすることを繰り返すと、時刻ｔ１から現在時刻ｔｎまでのサッカーボールの軌跡（ｘ１、ｙ１、ｔ１）（ｘ２、ｙ２、ｔ２）…を正解特徴量４２２として登録することができる。正解特徴量の座標データ４２２がある程度まとまったら、最後に正解保存＆サイト検索ボタン４１４を押すことにより、正解特徴量のデータ４２２（この場合座標データ）をユーザ端末１１０のハードディスク装置１１６の正解特徴量格納領域１２１に保存する。

図５は、図２のステップ２２１における動き追尾検索条件入力ツール１４４（図３）が行う処理フローを示す。まず、映像が未選択状態であるとしてｎｕｌｌに初期化される（ステップ５０１）。同様に、正解の特徴量の配列がクリアされ、その個数を示すＮも０に初期化される（ステップ５０２）。その後、画面表示が行われ（ステップ５０３）、ユーザ操作イベント待ちループ（ステップ５０４）に入る。

画面上でどのような操作が行われたかを判断し（ステップ５１０）、映像選択ボタン４１２（図４）が押下されたと判断した場合、使用する映像がユーザの指定した映像ファイル（サンプル映像）に初期化される（ステップ５２１）。ステップ５１０で映像操作パネル４１３が操作されたと判断した場合、ユーザが指定した操作に従って、映像の再生・停止・位置移動処理が行われる（ステップ５２３）。ステップ５１０でマウスがクリックされた場合は、正解を示す配列に（マウスのｘ座標、ｙ座標、映像の現在時刻）という組を正解の配列に追加したのち、その配列を時刻順にソートする（ステップ５２５）。ユーザがマウスをクリックするたびに、正解の（座標点、時刻）の組が追加される。本実施形態では簡単のため正解の配列の削除機能は説明していない。実際には、図面作成ソフトにおける折れ線の描画機能のように、折れ線の制御点の上にマウスカーソルを置き、[Ctrl]+クリックをすると、制御点を削除するような処理と同様の実装をすればよい。ステップ５１０で正解保存＆サイト検索ボタン４１４が押下されたと判断した場合は、まずユーザ端末１１０のハードディスク装置１１６に正解特徴量を保存する（ステップ５２７）。そして上記したように、検索条件データグラムを（入力データ型＝映像，出力データ型＝動き追尾特徴量“mpeg7:MovingRegionType”、サンプル用メディアデータ＝サンプル映像１１９）として作成する（ステップ５２８）。その後、メディア認識サイトの検索処理を実行する（ステップ５２９）。

なお、ユーザ操作を判断する処理（ステップ５１０）を終えた後は、正解の配列のデータを映像画面４１１上に動きの軌跡４２２として表示する。具体的には、まず正解の配列全てに対してループする（ステップ５１１）。ここで、二点間の線分を引くためループ開始値を２としている。ループの中では、過去から映像の現在時刻までの時間区間のみの正解特徴量を画面に描画する必要があるため、正解[k]の時刻を確認する（ステップ５３１）。もし正解の情報が映像の現在時刻より前の場合、そのｘｙ座標の組を用いて画面上に線分を表示する（ステップ５４１）。

図６は、図５のステップ５２９の処理を詳細に示すフローである。つまり、ユーザ端末１１０において、正解特徴量が指定された後に行われる処理フローである。検索処理５２９は、図２のフローのうち、ステップ２３１〜ステップ２６４までの処理を具体的に示したものである。本処理５２９の入力は、正解特徴量と、検索条件データグラムである。

まず、ユーザ端末１１０は、検索条件データグラムをネットワーク上にマルチキャストする（ステップ６１０）。次に返信データグラムを一定期間待ち、その一定時間の間にユーザ端末１１０に対して返信された返信データグラムを返信の配列に追加する（ステップ６１１）。次に、返信された特徴量の中から、一番正解特徴量に近い返信データグラムを探す。具体的には、まず最小類似度ｍｉｎを無限大に、最適な認識サイトＵＲＬをｎｕｌｌに初期化する（ステップ６１２）。次に全ての返信データに対してステップ６２０〜６３０のループを行う（ステップ６１３）。ステップ６１３では、まず返信データグラム[k]中の特徴量と、正解特徴量１２１の類似度を計算する。類似度計算の詳細は省略するが、本実施例のような(x,y,t)の配列からなる動き追尾特徴量ＡとＢがあった場合、例えば、簡単な類似度を計算するには次式を用いればよい。

ここで計算された類似度が、現在のｍｉｎより小さいかどうかを判断し（ステップ６２１）、小さい場合は、ステップ６２０で計算された類似度をｍｉｎに入力してｍｉｎを更新し、また認識サイトＵＲＬを返信データグラムに記録されている認識サイトのＵＲＬに更新する（ステップ６３０）。最後に、認識サイトＵＲＬがｎｕｌｌでないかどうかを判断し（ステップ６１４）、ｎｕｌｌでない場合、最適な認識サイトが検索・選定できたことを示す。そして、認識サイトＵＲＬに示されるメディア認識サイトに接続し（ステップ６４０）、実映像１２０の送信が終了するまでループし（ステップ６４１）、実映像１２０のデータをストリーミング送信してメディア認識サーバが認識処理を行い、その認識結果をユーザ端末１１０が受信する（ステップ６４２）という処理を繰り返す。

図７は、メディア認識サーバ１５０が実行される検索条件照合処理（図２のステップ２４１）の処理フローを示す図である。図２におけるステップ２４１Ｂ，Ｃでも同様の処理を行う。図７において示す検索条件照合処理（ステップ７０１）の入力パラメタは、受信元情報（ユーザ端末１１０のＩＰアドレスやＵＲＬなど）と、検索条件データグラムである。

まず、メディア認識サーバ１５０は、検索条件データグラムの中の入力データ型が「映像」であるか否かを判断する（ステップ７０２）。本実施形態のMPEG-7記述例の場合、<MediaFormat>のタグの中に<VideoCoding>タグが含まれていれば「映像」であると判断する。もし「映像」でない場合（「音声」などの場合）は、メディア認識サーバ１５０が処理できないデータなので検索条件処理７０１を終了する（ステップ７１０）。次に、メディア認識サーバ１５０は、検索条件の出力データ型が“mpeg7:MovingRegionType”であるか否かを確認する（ステップ７０３）。もし“mpeg7:MovingRegionType”ではない場合（例えば色情報“mpeg7:DominantColorType”などの場合）は、本メディア認識サイトでは処理できないデータなので、検索条件処理を終了する（ステップ７１１）。もし入力データ型も出力データ型も本サイトで処理可能な場合、検索条件データグラムに含まれるサンプル用メディアデータ（サンプル映像１１９）をもとに、メディア認識サーバ１５０は動き追尾認識処理を実行する（ステップ７０４）。そして、その結果を認識結果特徴量として図示しない記憶装置に保存し、認識結果特徴量と自身のメディア認識サイトのＵＲＬとを組にして返信データグラムにまとめ、それをユーザ端末１１０に返信する（ステップ７０５）。

以上が、本発明の一実施例における処理の全体フローである。このように、検索条件入力ツール取得サイト１４０、検索条件入力ツール１４３，１４４，１４５、正解特徴量１２１、サンプル映像１１９を活用することにより、多様の認識技術の中から分かりやすく認識技術を選びだし、かつ、ユーザの主観も含めた検索条件に合致したメディア認識サイトを検索・選定できるようになる。

本実施の形態では、検索条件入力ツールを用いて、サッカー選手かボールのどちらをユーザが欲しているかをインタラクティブに設定できるため、ユーザの主観に沿った検索条件を入力できる。また、そのユーザの入力した検索条件を正解特徴量としてユーザ端末に保存し、これとは別にメディア認識サイトに同一のサンプルメディアデータを認識させ、これらを類似比較させることによって、よりユーザの主観に近いメディア認識サイトを選び出すことができる。

本発明の一実施形態となるメディア認識サイト検索システムのシステム構成図を示す。本発明の一実施形態の全体処理フローを示す。認識種別メニュー画面例および検索条件入力ツール取得サーバ１４０が記憶する検索条件入力ツールを示す。検索条件入力ツール１１１の実行画面の画面例を示す。検索条件入力ツール１１１の検索条件入力処理フローを示す。ユーザ端末１１０におけるメディア認識サイト検索処理を示す処理フローである。メディア認識サーバにおける検索条件照合処理を示す処理フローである。

符号の説明

１１０：ユーザ端末、１１１：検索条件入力ツール、１１３：ツール実行装置、１１４：メディア特徴量比較装置、１１５：ユーザ端末制御装置、１１６：ハードディスク装置、１４０：検索条件入力ツール取得サーバ、１５０：メディア認識サーバ、

Claims

メディアデータを認識する複数のメディア認識サーバと、該メディア認識サーバとネットワークを介して接続されたユーザ端末を含むメディアデータ認識システムにおけるメディア認識サイト検索方法であって、
前記ユーザ端末は、予め当該ユーザ端末の記憶部に記憶されたサンプルデータおよび当該ユーザ端末の入力部を介した操作者からの前記サンプルデータに対する操作に従った入力の配列で示されるメディア認識サイトを検索する基準となる第一のメディア特徴量を、前記記憶部に格納されたプログラムで構成される検索条件入力ツールに従って、ツール実行部において作成し、
前記ユーザ端末は、該予め記憶されたサンプルデータ、前記メディア認識サーバにおけるデータの入力データ型および出力データ型を含む検索条件データグラムを前記複数のメディア認識サーバそれぞれに、ネットワーク部を介して送信し、
前記複数のメディア認識サーバのそれぞれは、前記送信された検索条件データグラムを当該メディア認識サーバのネットワーク部を介して受信し、
前記複数のメディア認識サーバのそれぞれは、前記受信された検索条件データグラムに含まれる入力データ型および出力データ型が、当該メディア認識サーバ装置の仕様に合致するかを、検索条件照合部を用いて判断し、
前記複数のメディア認識サーバのそれぞれは、前記仕様が合致すると判断した場合、当該メディア認識サーバのメディア認識部を用いて、前記送信されたサンプルデータに対して、当該メディア認識サーバで予め規定されている認識処理し、
前記メディア認識サーバのそれぞれは、該認識結果である第二のメディア特徴量および当該メディア認識サーバを識別する識別情報を、当該メディア認識サーバのネットワーク部を介して前記ユーザ端末に送信し、
前記ユーザ端末は、該送信された第二のメディア特徴量と、前記作成された第一の特徴量とを、当該第一および第二それぞれの特徴量を構成する配列についてメディア特徴量比較部を用いて比較し、
前記ユーザ端末は、該比較の結果、前記第一の特徴量に最も類似する第二の特徴量を送信したメディア認識サーバを、該ユーザ端末が有するメディアデータの認識を依頼するメディア認識サイトとして選択することを特徴とするメディア認識サイト検索方法。
前記ユーザ端末は、当該ユーザ端末のネットワーク部を介して、前記選択したメディア認識サイトに対し、該ユーザ端末が有するメディアデータの認識処理を依頼する依頼情報を送信し、
該ユーザ端末は、当該ユーザ端末のネットワーク部を介して、前記選択したメディア認識サイトから、前記依頼を受ける旨の情報を受信した場合は、前記ユーザ端末が有するメディアデータを、該メディア認識サイトに送信することを特徴とする請求項１記載のメディア認識サイト検索方法。
メディアデータを認識する複数のメディア認識サーバと、該メディア認識サーバとネットワークを介して接続されたユーザ端末を含むメディアデータ認識システムであって、
前記ユーザ端末は、
予め当該ユーザ端末の記憶部に記憶されたサンプルデータおよび当該ユーザ端末の入力部を介した操作者からの前記サンプルデータに対する操作に従った入力の配列で示されるメディア認識サイトを検索する基準となる第一のメディア特徴量を、前記記憶部に格納されたプログラムで構成される検索条件入力ツールに従って作成するツール実行部と、
該予め記憶されたサンプルデータ、前記メディア認識サーバにおけるデータの入力データ型および出力データ型を含む検索条件データグラムを前記複数のメディア認識サーバそれぞれへ送信するユーザ端末ネットワーク部とを有し、
前記複数のメディア認識サーバのそれぞれは、
前記送信された検索条件データグラムを受信するメディア認識サーバネットワーク部と、
前記受信された検索条件データグラムに含まれる入力データ型および出力データ型が、当該メディア認識サーバ装置の仕様に合致するかを判断する検索条件照合部とを有し、
前記仕様が合致すると判断した場合、前記送信されたサンプルデータに対して、当該メディア認識サーバで予め規定されている認識処理を行うメディア認識部と、
該認識結果である第二のメディア特徴量および当該メディア認識サーバを識別する識別情報を、前記ユーザ端末に送信するメディア認識サーバネットワーク部とを有し、
前記ユーザ端末は、
該送信された第二のメディア特徴量と、前記作成された第一の特徴量とを、当該第一および第二それぞれの特徴量を構成する配列について比較するメディア特徴量比較部をさらに有し、
前記ユーザ端末は、該比較の結果、前記第一の特徴量に最も類似する第二の特徴量を送信したメディア認識サーバを、該ユーザ端末が有するメディアデータの認識を依頼するメディア認識サイトとして選択することを特徴とするメディアデータ認識システム。
前記ユーザ端末は、当該ユーザ端末のネットワーク部を介して、前記選択したメディア認識サイトに対し、該ユーザ端末が有するメディアデータの認識処理を依頼する依頼情報を送信し、
該ユーザ端末は、当該ユーザ端末のネットワーク部を介して、前記選択したメディア認識サイトから、前記依頼を受ける旨の情報を受信した場合は、前記ユーザ端末が有するメディアデータを、該メディア認識サイトに送信することを特徴とする請求項３記載のメディアデータ認識システム。