JP2010519656A - リモートでのオブジェクト認識 - Google Patents

Abstract

本発明は、表示装置（３）とビデオキャプチャユニットとを有するワイヤレス携帯装置（１）を使用して、情報にアクセスする方法であって、リモートサーバ（６）が、ビデオ通話中に前記携帯装置によってキャプチャされたビデオ画像を受信するように、前記リモートサーバとのビデオ通話を確立するステップと、画像認識を行って、前記キャプチャされたビデオの少なくとも１つの第１のオブジェクト（４）を識別するステップと、前記携帯装置に送信するための信号を生成するステップであって、前記信号が、前記第１のオブジェクトに関する情報を含むステップとを含む方法に関する。

Description

本発明は、データにリモートアクセスするためのシステムおよび方法、特に、ハンドヘルド携帯装置を介してデータを取得するためのシステムおよび方法に関する。

ますます多くの情報がインターネット等のデータソースから自由に入手可能である。例えば、本、ＣＤ、ＤＶＤおよびビデオゲーム等の商品に関する多数のデータを入手することができる。さらに、データ入力方法はより進歩しており、データベースの編集がより容易になっている。

日常生活で個人がこのようなデータにアクセスしようとしたときに、問題が発生する。一例を挙げると、本屋に入店したとき、顧客が興味のある本を見つけた場合に、顧客は、価格が競争的であるかどうかを確認しようとし得る。インターネットには、価格の比較を可能にする競争的な本の価格を引用する多数のサイトが存在し、この場合、このことは、当該顧客にとって非常に有益であろう。さらに、インターネットは、本のレビュー、および同じ主題の代わりとなる本のリスト等のさらなる情報も提供することができる。しかし、必要とするときにこのデータにアクセスすることが困難であることがある。

携帯電話は、任意の位置から、例えば本屋からインターネットにアクセスするための１つの選択肢をこのような顧客に提供する。ＷＡＰ（ｗｉｒｅｌｅｓｓ ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｔｏｃｏｌ）等の技術を用いる現在の携帯電話はインターネットアクセスを多少制限することがあり、一方、３Ｇ（第３世代）等の新たなネットワーク標準は接続速度を向上させる。しかし、関連する大量のデータと、非常に小さな入力ヒューマンインタフェースおよび小さな表示装置を有する比較的小型の装置とにより、このようにして要求された情報を検索しようとするときに技術的問題が発生する。したがって、実際には、携帯電話を使用して公知の方法に従ってインターネットにアクセスすることは、上記問題に対して不満足な解決策である。

「皮質のような機構による、ロバストなオブジェクトの認識」（Ｒｏｂｕｓｔ Ｏｂｊｅｃｔ Ｒｅｃｏｇｎｉｔｉｏｎ ｗｉｔｈ Ｃｏｒｔｅｘ−Ｌｉｋｅ Ｍｅｃｈａｎｉｓｍｓ）（パターン分析および機械インテリジェンスに関するＩＥＥＥ会報、第２９巻、第３号、２００７年３月、Ｔ．セール（Ｔ．Ｓｅｒｒｅ）、Ｌ．ウォルフ（Ｌ．Ｗｏｌｆ）、Ｓ．ビレシ（Ｓ．Ｂｉｌｅｓｃｈｉ）、Ｍ．リーゼンフーバー（Ｍ．Ｒｉｅｓｅｎｈｕｂｅｒ）、およびＴ．ポッジョ（Ｔ．Ｐｏｇｇｉｏ）） 「単一のカメラによるリアルタイム同時ローカリゼーションおよびマッピング」（Ｒｅａｌ−ｔｉｍｅ Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ ｗｉｔｈ ａ Ｓｉｎｇｌｅ Ｃａｍｅｒａ）（２００３年のニースにおけるコンピュータビジョンに関する第９回目の国際会議の議事録、Ａ．Ｊ．デビソン（Ａ．Ｊ．Ｄａｖｉｓｏｎ）） 「カメラ電話に基づく動き検知：インタラクティブ技術、応用および性能研究」（Ｃａｍｅｒａ Ｐｈｏｎｅ Ｂａｓｅｄ Ｍｏｔｉｏｎ Ｓｅｎｓｉｎｇ：Ｉｎｔｅｒａｃｔｉｖｅ ｔｅｃｈｎｉｑｕｅｓ，Ａｐｐｌｉｃａｔｉｏｎｓ ａｎｄ Ｐｅｒｆｏｒｍａｎｃｅ Ｓｔｕｄｙ）（２００６年１０月のスイスのモントルーにおけるＡＣＭ ＵＩＳＴ２００６、Ｊ．ワン（Ｊ．Ｗａｎｇ）、Ｓ．ジャイ（Ｓ．Ｚｈａｉ）およびＪ．キャニー（Ｊ．Ｃａｎｎｙ））

本発明の目的は、ハンドヘルド携帯通信装置を介して情報にアクセスする改良された方法を提供することである。

本発明の第１の態様によれば、表示装置とビデオキャプチャユニットとを有するワイヤレス携帯装置を使用して、情報にアクセスする方法であって、リモートサーバが、ビデオ通話中に前記携帯装置によってキャプチャされたビデオ画像を受信するように、前記リモートサーバとのビデオ通話を確立するステップと、画像認識を行って、前記キャプチャされたビデオの少なくとも１つの第１のオブジェクトを識別するステップと、前記携帯装置に送信するための信号を生成するステップであって、前記信号が、前記第１のオブジェクトに関する情報を含むステップとを含む方法が提供される。

本発明の別の態様によれば、オブジェクトに関する情報にアクセスするための、ビデオキャプチャユニットを備えるワイヤレス携帯装置を使用する方法であって、該使用が、前記携帯装置を使用して携帯装置とリモートサーバとの間のビデオ通話を確立するステップと、前記ビデオキャプチャユニットをオブジェクトに向けるステップと、ビデオキャプチャユニットの視野内でオブジェクトの位置を変化させて、動きの方向に基づき、オブジェクトに関する特定の情報を選択するように、ビデオキャプチャユニットを動かすステップとを含む方法が提供される。

本発明の別の態様によれば、情報にアクセスするためのシステムであって、ビデオ画像をキャプチャするよう設計されたビデオキャプチャユニットを備えるワイヤレス携帯装置と、ビデオ通話中に前記携帯装置と通信することができるサーバとを備えるシステムであって、前記サーバが、１つ以上の前記ビデオ画像中のオブジェクトを識別するよう設計された画像認識ユニットと、前記オブジェクトに関するオブジェクト情報を含む信号を前記携帯装置に送信するよう設計された送信ユニットとを備えるシステムが提供される。

本発明の別の態様によれば、自動情報供給システムであって、ビデオ通話中にワイヤレス携帯装置と通信するように、および該携帯装置によってキャプチャされたビデオ画像を受信するよう設計されたビデオ通話ユニットと、１つ以上の前記ビデオ画像中のオブジェクトを識別するよう設計された画像認識ユニットと、前記ビデオ画像中のオブジェクトの動きを検出するよう設計された動き検出ユニットと、前記オブジェクトに関するオブジェクト情報を含む信号を前記携帯装置に送信するよう設計された送信ユニットとを備える自動情報供給システムが提供される。

本発明の別の態様によれば、表示装置とビデオキャプチャユニットとを有するワイヤレス携帯装置を使用して、３Ｄオブジェクトマップを作成する方法であって、リモートサーバが、ビデオ通話中に前記携帯装置によってキャプチャされたビデオ画像を受信するように、前記リモートサーバとのビデオ通話を確立するステップと、画像認識を行って、前記キャプチャされたビデオ画像中の複数のオブジェクトを識別するステップと、前記検出されたオブジェクトの動き検出を行うステップと、前記識別されたオブジェクトに基づき前記３Ｄオブジェクトマップを生成してメモリに記憶するステップとを含む方法が提供される。

本発明の別の態様によれば、３Ｄオブジェクトマップを生成するためのビデオキャプチャユニットを備えるワイヤレス携帯装置を使用する方法であって、リモートサーバとのビデオ通話を確立するステップであって、前記リモートサーバが、前記携帯装置によってキャプチャされたビデオ画像を受信するステップと、前記ビデオ通話中に、前記携帯装置を一連のオブジェクトに向けて、前記オブジェクトをキャプチャするステップと、前記リモートサーバから前記オブジェクトの３Ｄオブジェクトマップを受信するステップとを含む方法が提供される。

本発明の別の態様によれば、３Ｄオブジェクトマップを生成するためのサーバであって、ビデオ通話中にワイヤレス携帯装置と通信するように、および該携帯装置によってキャプチャされたビデオ画像を受信するよう設計されたビデオ通話ユニットと、１つ以上の前記ビデオ画像中のオブジェクトを識別するよう設計された画像認識ユニットと、前記ビデオ画像中のオブジェクトの動きを検出するよう設計された動作検出ユニットと、前記識別されたオブジェクトおよび前記オブジェクトの検出された動きに基づいて、３Ｄオブジェクトマップを生成するよう設計された生成ユニットと、前記３Ｄオブジェクトマップを前記携帯装置に送信するよう設計された送信ユニットとを備えるサーバが提供される。

本発明の別の態様によれば、ビデオキャプチャユニットと表示装置とを備えるワイヤレス携帯装置を使用して、第１のオブジェクトの場所を見つけ出す方法であって、リモートサーバが、ビデオ通話中に前記携帯装置によってキャプチャされたビデオ画像を受信するように、前記リモートサーバとのビデオ通話を確立するステップと、画像認識を行って、前記キャプチャされたビデオ中の少なくとも１つの第２のオブジェクトを識別するステップと、データベースから、前記第２のオブジェクトに対する前記第１のオブジェクトの位置を決定するステップと、前記携帯装置に送信するための信号を生成するステップであって、前記信号が前記第２のオブジェクトから前記第１のオブジェクトへの方向を含むステップとを含む方法が提供される。

本発明の別の態様によれば、第１のオブジェクトの場所を見つけ出すための、ビデオキャプチャユニットを備えるワイヤレス携帯装置を使用する方法であって、該使用が、前記携帯装置を使用して携帯装置とリモートサーバとの間のビデオ通話を確立するステップと、前記ビデオキャプチャユニットを第２のオブジェクトに向けるステップと、前記携帯装置によって、前記第２のオブジェクトから前記第１のオブジェクトへの方向を前記リモートサーバから受信するステップと、前記方向に従うステップとを含む方法が提供される。

本発明の別の態様によれば、第２のオブジェクトから第１のオブジェクトへの方向を提供するためのサーバであって、ビデオ通話中にワイヤレス携帯装置と通信するように、および該携帯装置によってキャプチャされたビデオ画像を受信するよう設計されたビデオ通話ユニットと、１つ以上の前記ビデオ画像中の前記第２のオブジェクトを識別するよう設計された画像認識ユニットと、前記第２のオブジェクトから前記第１のオブジェクトへの方向を決定するよう設計された方向決定ユニットと、前記方向を前記携帯装置に送信するよう設計された送信ユニットとを備えるサーバが提供される。

本発明の有利な実施形態は、本出願の従属請求項に記載されている。

本発明の第１の実施形態によるデータアクセスシステムの概略図である。 図１の携帯装置の表示装置のより詳細な図である。 特定の製品に関してインターネットから検索されたデータ記録例の図である。 本発明の実施形態に従って検索すべきデータを選択する方法の概略図である。 本発明に従って情報を選択するための方法における一連のステップを示すフローチャートである。 本発明の実施形態に従って、オブジェクトマップを作成し、移動部を編集する方法の概略図である。 本発明の実施形態に従って、特定のオブジェクトを発見する方法の図である。

図１は、情報アクセスシステムを示している。このシステムは、ビデオ通話機能を有する装置である携帯装置１を備える。例えば、携帯装置１は、第三者とのビデオ通話を確立することを可能にする３Ｇ（第３世代）標準の携帯電話である。代わりに、携帯装置１は、ビデオをキャプチャし、ワイヤレスでビデオストリームを送受信することができるＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ｏｒｇａｎｉｚｅｒ）、ラップトップ、携帯ゲーム機等であってもよい。

携帯装置１は、データを入力するかまたは装置を制御することを可能にするキーパッド２と、例えばＬＣＤ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）である表示装置３とを備える。携帯装置１は、デジタルビデオ画像をキャプチャすることを可能にする図１に示していないカメラも備え、好ましくは、サウンドをキャプチャするためのマイクロホンも備える。一般に、現在の携帯電話には、このようなカメラが設けられ、装置の任意の位置に取り付けられ、ユーザが、キャプチャされるビデオを表示装置で視るのと同時に、該ビデオをキャプチャすることを可能とする。

この実施形態によれば、携帯装置１を使用して、例えば店の商品であるオブジェクト４に関する情報を取得することが望ましい。

最初のステップにおいて、ユーザは、ビデオ通話の実行を開始し、携帯ユニット１のカメラをオブジェクト４に向ける。このようにして、携帯装置１のビデオ機能を使用してオブジェクト４が記録される。商品４は、パターン化された外面５を含み、当該商品が識別される。例えば、オブジェクト４が本である場合、外面５は、本のカバーであり、一般に、本の名称、著者の氏名、多くの場合、特有の画像またはデザインを含む。代わりに、オブジェクト４がスーパーマーケットの商品である場合、外面５は、パッケージであり、一般に、商標名、特有の色／パターン、および／または商品名を含む。

本実施例の目的では、オブジェクト４が、西洋人観光客が識別を望む、中国のスーパーマーケットの商品であることが前提とされる。

リモート画像認識サーバ６とのビデオ通話が確立される。例えば、ユーザには、サーバ６とのビデオ通話を確立するのに用いるための特定のダイアルアップ番号が与えられている。代わりに、このようなビデオ通話の確立は、携帯装置１により自動的に行ってもよく、例えば、ユーザが表示装置３の特定のアイコンを選択することによって開始してもよく、必要な接続パラメータは携帯装置１に予めプログラムされている。画像認識サーバは、例えばＰＣ、ラップトップ、または他のプロセッサである。

携帯装置１は、例えば、通信ハードウェア１０に接続された複数の送受信マスト８を備える移動通信ネットワークを介して通話を確立する。例えば、移動通信ネットワークは、３Ｇ標準によるＵＴＲＡＮシステム（ＵＭＴＳ ｔｅｒｅｓｔｒｉａｌ ｒａｄｉｏ ｔｅｌｅｐｈｏｎｙ ｓｙｓｔｅｍ）等のＵＭＴＳ（ｕｎｉｖｅｒｓａｌ ｍｏｂｉｌｅ ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ ｓｙｓｔｅｍ）ネットワークであってもよい。代わりに、ユーザが現在居る場所となっている店が、いずれかの携帯装置１がアクセスすることができる内部ＷＬＡＮ（ｗｉｒｅｌｅｓｓ ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）を有してもよい。このような場合、マスト８はＷＬＡＮアンテナであり、通信ハードウェア１０はＷＬＡＮサーバであろう。別の実施例として、携帯装置１はＷｉＦｉ（ｗｉｒｅｌｅｓｓ ｆｉｄｅｌｉｔｙ）機能を有することが可能であり、この場合、マスト８および通信ハードウェア１０は、それぞれＷｉＦｉアンテナであり、サーバまたはＰＣである。

通信ハードウェア１０は、画像認識サーバ６に接続される。図１に示すように、いくつかの実施形態では、通信ハードウェア１０はインターネット１２を介して画像認識サーバ６に接続される。しかし、例えば、ユーザが現在居る店内に、図１の情報アクセスシステム全体が設けられている場合、代替実施形態では、通信ハードウェア１０は画像認識サーバ６に直接接続される。代わりに、ＩＳＤＮ（Ｉｎｔｅｇｒａｔｅｄ Ｓｅｒｖｉｃｅｓ Ｄｉｇｉｔａｌ Ｎｅｔｗｏｒｋ）によって、通信ハードウェア１０を画像認識サーバ６に接続してもよい。いくつかの携帯電話サービスプロバイダは、ビデオ通話をＩＳＤＮネットワークの特定のラインにルーティングすることを許容している。

画像認識サーバ６は、携帯装置１からビデオストリームを受信し、画像の画像認識を行う。画像認識技術は、関連技術で知られており、一般に、１つまたは一連の画像中のオブジェクトを識別するリアルタイム視覚認識ソフトウェアを含む。画像認識サーバ６のリアルタイム視覚認識ソフトウェアは、ビデオ通話データを受信して復号化し、視野内の如何なる既知のオブジェクトを識別し、好ましくは、携帯装置１のカメラに対するオブジェクトの位置を算出する。この理由については以下により詳細に説明する。

携帯装置１のカメラに対するオブジェクトの位置を算出することによって、情報およびマーカを画像認識サーバ６でカメラ画像に選択的にオーバーレイして、携帯装置１の表示装置３に戻すことができる。このことは、仮想指標を加えることでオブジェクトを効果的に増強させる。このことの例は、オブジェクト４の印刷された有効期限等の特定の特徴の位置を示す点滅矢印または色付き矢印を付加することである。さらに、ユーザの好みに基づいて、オブジェクト４全体を表示装置３で実質的にリパッケージすることが可能になる。例えば、表示装置３は、あたかもユーザの栄養士が構成したかのように、特定の商品の正または負の効果を強調するパッケージを示すことが可能である。

例えば、この種の画像認識を行うための方法は（非特許文献１）により詳細に記載されている。（非特許文献１）は、法律に従って許容可能な範囲で参照により本明細書に組み込まれる。

例えば、オブジェクトはその一面のパターンに基づいて識別される。例えば、本実施例では、オブジェクト４の上面、特に、オブジェクト４の上面の領域１４が、画像認識サーバ６に認識される。領域１４は、例えばオブジェクトデータベース１５から既知である。オブジェクトデータベース１５は、画像認識サーバ６に結合され、オブジェクトの視覚シグネチャーを含む。各オブジェクトに対して、１つ以上のシグネチャーおよび画像を記憶し得る。シグネチャーは、装置をユニークに識別する当該装置の画像に存在する、ユニークなパターンである。オブジェクトが主たる面、例えば、本の前面カバー、またはＤＶＤの前面カバーを有する場合、オブジェクトデータベース１５は、例えばこの面の画像またはシグネチャーのみを記憶する。しかし、いくつかのオブジェクトは、異なる複数の面から区別が可能であり、この場合、オブジェクトの各面の画像またはシグネチャーをデータベース１５に記憶することが可能である。オブジェクトデータベース１５はサーバ６の内部または外部にあればよい。

いくつかの実施形態では、オブジェクトのシグネチャーをオブジェクトデータベース１５に局所的に記憶することが可能であり、さらに、オブジェクトに関する視覚データをインターネット１２から検索することが可能である。インターネットは、莫大な画像ソース、特に、商品の画像ソースを提供する。このようにして、インターネット１２を介して、当該商品の画像を含むリモートデータベース１６にアクセスすることが可能であり、例えば、これらの画像を用いて、画像を確認するか、またはデータベースを新たな装置の画像に更新することが可能である。

データベース１５のオブジェクト画像に関連して、またはリモートデータベース１６からアクセス可能に、オブジェクトに関するさらなる情報が提供される。例えば、食品である商品アイテムのために、商品名、価格情報、原材料、および／または他のデータを入手することができる。いくつかの場合には、オブジェクトデータベース１５は、オブジェクトに関するさらなるデータを検索することができるインターネット上のソースへの照会を含む。信号（ビデオストリームまたはビデオ通話と互換性のある任意の信号）を送信することによって、画像認識サーバ６が携帯装置１に応答し、この情報の少なくともあるものが提供される。例えば、応答は、ビデオ通話中に送信される音声メッセージの形態であることが可能であり、オブジェクトに関する情報が指示される。代替する実施形態では、信号は、サウンドを有するかまたは有しないビデオであり、信号は、携帯装置１から受信されるビデオストリームを含むことが可能であり、商品の識別および／またはその他の商品情報を示すメッセージが、スクリーンに重畳される。一例が図２に示されている。

図２は、携帯装置１の表示装置の部分、特に、ビデオ通話中に表示装置３に表示される商品データの一例を示している。本実施例では、表示装置３は主要部２０を表示し、その主要部２０に画像認識サーバ６から受信したビデオストリームが表示される。表示装置３の角部の小さな矩形２２は、携帯装置１によってキャプチャされている現在の画像を表示する。図示するように、画像認識サーバ６により提供されて領域２０に表示されたリターンビデオは、携帯装置１によりキャプチャされた元のビデオ画像の上に重畳されたテキスト「商品識別：ミルクキャラメル」を含む。表示装置２０のエッジの周りには別のテキストが重畳されており、このことについては本明細書中において後でより詳細に説明する。

図３は、インターネットで入手可能であるかまたはオブジェクトデータベース１５に記憶することが可能であるオブジェクトに関するデータレコードの一例を示している。このレコードは、オブジェクトから読み取られた画像、ラベル３０を含み、これは、画像認識の基準として使用することができる。画像認識技術は、この画像のほんの一部に基づいて、および画像を正面以外の角度から見たときでも、オブジェクトを認識することができる程度に十分に進歩している。

本実施例では、データレコードの情報は、商品の内容、この場合「ミルクキャラメル」を含む。この情報は、図２に示すように、例えば商品が肯定的に識別されることに応じてユーザに直接送信される。商品の重量（グラム）、いくつかの国々における商品の価格、原材料および栄養表示等の付加情報も提供することができる。この情報は次に説明するようにユーザが入手可能である。

再び図２を参照すると、上記したように、一実施形態では、画像認識サーバは、携帯装置に送信されて表示装置３に表示されたビデオストリームに、当該商品に関して入手可能なさらなる情報を示す見出しも重畳する。図２に示すように、本実施例では、４つの見出しが提供され、すなわち、スクリーンの底部には「価格」、スクリーンの頂部には「重量」、スクリーンの左側には「栄養」、そしてスクリーンの右側には「原材料」が提供される。入手可能な情報に応じて、種々の見出しを提供することができ、および／またはより多い数またはより少ない数の見出しを提供することが可能である。この情報は、ユーザが、表示装置２０に名称が表示される方向に携帯装置１を動かすまたは回転させることによって、取り出すことができる。

図４は、携帯装置１の表示装置の部分を示しており、それを動かすまたは回転させる効果を示している。特に、矢印Ａ、Ｂ、ＣおよびＤでそれぞれ示すように、携帯装置１を左側に、上方に、右側にまたは下方に動かすまたは回転させることにより、右側で、下方で、左側でまたは上方でそれぞれ、携帯装置のカメラによってキャプチャされた画像のオプティカルフローが生じる。各方向のこのオプティカルフローは、図４の矢印Ａ’、Ｂ’、Ｃ’およびＤ’でそれぞれ示されている。例えば、携帯装置を矢印Ａの方向に左側に動かすことにより、向かって右側に、つまり方向Ａ’に向かって、表示装置３の全てのオブジェクトが動くこととなる。

画像認識サーバ６によって、任意の方向へのオブジェクト４の動きを検出することができる。一連のビデオ画像からカメラの動きを検出するための技術が当該技術分野で知られている。例えば、（非特許文献２）はこのような技術を記載している。（非特許文献２）は、法律に従って許容可能な範囲で参照により本明細書に組み込まれる。さらに、（非特許文献３）もこのような技術を記載している。（非特許文献３）は、法律に従って許容可能な範囲で本明細書に組み込まれる。

オブジェクトの動きの方向を検出することによって、画像認識サーバ６は、対応する情報を供給することで応答する。再び、この情報は、携帯装置１によってキャプチャされるようなオブジェクトの画像の上に重畳することができる。

図５は、画像認識サーバ６によって行われるステップを示すフローチャートである。

最初のステップＳ０において、画像認識を開始する。この画像認識は、例えば、オブジェクトサーバ６によって、ビデオ通話を開始するための要求を受信し、および登録された携帯装置１から発せられるビデオストリームを受信することによって始動させることができる。画像認識サーバは、好ましくは、通話中の電話番号によって通話を行っている特定の携帯装置１を識別し、ユーザの許可レベルと、言語設定、警報トリガおよびログオプション等の選択設定とに従って自装置を設定する。画像認識が開始したとき、画像認識サーバは、例えば、携帯装置１から受信するビデオ画像の上にテキスト「オブジェクトの走査中」を重畳させたビデオストリームを携帯装置１に送信し得るか、またはより個人化されたメッセージを送信し得る。

次のステップＳ１において、画像認識サーバ６は、ビデオストリーム内のオブジェクトが識別されたかどうかを判定する。最初に、画像認識サーバ６は、リアルタイムの画像から画像特徴点を抽出し、抽出された特徴点をオブジェクトデータベース１５内のオブジェクトの特徴と照合することにより、画像内の既知のオブジェクトを識別する。オブジェクトが識別されなかった場合、ステップＳ１が繰り返される。オブジェクトが識別されるまで、画像認識が、例えばビデオストリームの連続フレーム間の時間遅延に対応する例えば１００ｍｓの間隔で繰り返されるように、画像認識の各テストの後には、例えば、短い遅延が存在する。オブジェクトが識別された場合、このオブジェクトはアクティブなオブジェクトになり、そして次のステップはＳ２である。

いくつかの場合、ビデオストリーム内には、識別される２つ以上のオブジェクトが存在し得る。この場合、例えば、ビデオ画像の中央に最も近接するオブジェクトが、ユーザが認識を望むオブジェクトであることに基づいて、本方法が続行される。そして、この画像がアクティブなオブジェクトになる。

ステップＳ２において、画像認識サーバ６はリターンビデオストリームを送信し、このリターンビデオストリームにおいて、商品の識別が、例えば商品の画像の上に重畳されて提供され、図２に示すように、ユーザの動作に基づいてユーザに提供し得るさらなる情報の選択肢が表示装置に提供される。上記したように、この情報は、例えばインターネットを介してアクセス可能なオブジェクトデータベース１５またはリモートデータベース１６から取得することが可能である。

次のステップＳ３において、オブジェクトの動きが検出されたかどうかを判定する。この判定は、以前の受信画像に対する特徴点のオプティカルフローを算出することによって行われる。次に、これらの動きを動きテンプレートと照合して、動きが左側、右側、上方または下方に向かうものであるかどうかを検出することができる。

オブジェクトの動きが検出されなかった場合、次のステップはＳ４である。ステップＳ４において、オブジェクトが依然として視野内に存在しているかどうかを検出する。オブジェクトがもはや視野内に存在していない場合、このことは、ユーザがもはやそのアクティブなオブジェクトの情報を受信することを望んでいないこと、またはそのアクティブなオブジェクトが、ユーザが識別を望むオブジェクトではなかったことを示し得る。この場合、次のステップはＳ１であり、このステップＳ１において、画像認識サーバが他のオブジェクトを検索する。しかし、オブジェクトが依然として視野内に存在している場合、次のステップにおいてＳ３を繰り返す。

ステップＳ３において動きが検出された場合、次のステップはＳ５である。ステップＳ５において、ビデオキャプチャ領域内のオブジェクトの動きに応じて、種々の情報が携帯装置に送信される。例えば、この情報は、ビデオストリームとして送信され、オブジェクトの画像の上に重畳されてもされなくてもよい。この情報が送信されると、オブジェクトのさらなる動きを検出するために、ステップＳ３に戻る。

いくつかの実施形態によれば、表示スクリーンの中央へのオブジェクトの再センタリングが動きとして検出されず、したがって、さらなる情報が提供されないが、その理由は、このことにより、さらなるオブジェクトの動きが検出される前にシステムをリセットする措置を行うことができるからである。

他の実施形態によれば、カメラ画像でオブジェクトが現在検出されていない場合、最後に検出されたオブジェクトに関するコンテンツを表示することができ、オブジェクトの動き追跡の代わりに、画像全体に関する標準的なオプティカルフローアルゴリズムを用いて、動きを追跡することができる。

ユーザはビデオ通話を終了することによって、画像認識プロセスをいつでも停止することができる。

図６は、３Ｄオブジェクトマップを作成し、携帯装置１の移動経路を記録する方法を示している。３Ｄオブジェクトマップは、例えば３Ｄ画像ファイルとして記憶され、識別されたオブジェクトへの参照と、それらのオブジェクトの互いの３Ｄ配置とを含む。この実施形態では、携帯装置１のカメラが一連のオブジェクトをキャプチャするように、携帯装置１を動かす。先の実施形態と同様に、ユーザは携帯装置１を使用して、そのビデオカメラによりキャプチャされたオブジェクトを識別することができる画像認識サーバとのビデオ通話を確立する。本実施例では、携帯装置１は、そのビデオカメラが一連のオブジェクト６１〜６６の画像をキャプチャするように経路６０に従う。各オブジェクトが携帯装置１のビデオカメラの視野を通過したとき、各オブジェクトは画像認識サーバ６によって、例えば、図１に示したオブジェクトデータベース１５またはリモートデータベース１６を用いて識別される。

携帯装置１のビデオウインドウを横切る各オブジェクトの移動を検出することによって、画像認識サーバは、３Ｄ空間内のオブジェクトの３Ｄオブジェクトマップを作成することができる。さらに、画像認識サーバは、携帯装置１が従う経路を測定することができる。

一実施形態では、図６の実施形態は、キャプチャされた画像からシーンの画像を生成するために用いられる。例えば、部屋を改装する前に、家具を配置しようする位置に、認識可能なシンボルが表面に印刷されたカードを配置し得る。これらのシンボルが画像認識サーバによって識別され、３Ｄオブジェクトマップが作成されたとき、シンボルは、サーバによってそのシンボルが表す家具の画像に置き換えられ、所定の位置にある家具がどのように見えるかの大体のイメージを提供することができる。シンボルが現在のカメラの視野中心の外側に存在していることをマップが示しているときに、シンボルが現在カメラの視野内に存在しないとしても、完全な３Ｄオブジェクトマップがサーバで作成されて追跡されているので、家具の一部を表示スクリーンに正確に表示することができる。

図７は、ある領域におけるオブジェクトの空間的関係がシステムに既知である場合に、図１の同じシステムを使用して特定のオブジェクトを追跡する方法を示している。例えば、大きな倉庫に入ったときに、技術者は特定のアイテムの場所を見つけ出したいと望むかもしれない。最初のステップにおいて、技術者は、画像認識サーバ６とのビデオ通話を開始し、技術者が見つけようとしている特定のアイテムを指示する。このことは、アイテムの名前または製造業者をタイピングすることによって、それを画像認識サーバ６に送信することができ、あるいはアイテムの名前または名称を携帯装置１に向けて発話することによって行うことが可能であり、その結果、音声認識により、技術者がどのアイテムを見つけようとしているかを画像認識サーバ６が判定することができる。

次に、ユーザは携帯装置１のカメラを向けて、倉庫のオブジェクトのビデオを記録し、ビデオが画像認識サーバ６に送信される。ビデオ画像中のオブジェクトを認識したときに、要求されたオブジェクトを見つけることができる方向を示す矢印を有するビデオストリームを携帯装置に送信して戻すことによって、画像認識サーバ６が応答する。このようにして、図７に見られるように、第１のオブジェクト７１が携帯装置１のビデオカメラによってキャプチャされたとき、要求されたオブジェクトの方向にユーザを向ける矢印が表示装置３に送信される。

矢印が正確に校正されるように、画像認識サーバには、携帯装置１の表示装置３およびカメラの特定の配向が既知であることが好ましい。

要求されたオブジェクトへの経路において、携帯装置は多数の他のオブジェクトを除外することができ、これらの多数の他のオブジェクトの各々は、画像認識サーバ６によって識別され、および要求されたオブジェクトの位置に対して多数の他のオブジェクトの位置を認識することによって、同様の方向を携帯装置１の表示装置３に提供することができる。このプロセスを用いて、サーバがそのロケーションマップを更新することもできる。要求されたオブジェクトが見つかったとき、このことを、表示装置によってユーザに知らせることができる。

ここまで、ユーザが、ビデオ通話機能を有する携帯装置で見たオブジェクトを識別することができ、携帯装置の動きによって、オブジェクトに関して提供されたさらなる情報を制御することができる方法およびシステムについて説明してきた。装置自体で画像認識を行うのではなく、サーバとのビデオリンクを維持して、この状態で、認識を行い、リアルタイムコンテンツを提供し、全てのインタラクティブセッションの記録を保持する。さらに、画像認識サーバは、オブジェクトを識別し、リターンビデオストリームの形態でオブジェクトの識別を携帯装置に提供し、オブジェクトの検出された動きに基づいて、オブジェクトに関するさらなる情報を提供することもできる。

画像認識サーバは、全ての着信ビデオシーケンスを記憶し、これにより、集中記憶システムとして使用することができる。検出された全てのアイテムおよびそれらの検出時間の構成リストを含む全ての相互作用について、ユーザがアクセス可能なログが提供される。これらのログは、自動化された在庫システムとして機能することができる。追加のアイテムが画像データベースに配置された後に、ログを再生成することができ、以前に記録された全てのビデオシーケンスでアイテムの質問を行うことが可能になり、検知セッションが行われた後でも、センサの機能が効果的に拡張される。

有利には、ユーザは３Ｇ携帯電話等の装置を使用して、オブジェクトに関する情報を迅速かつ容易に検索することができる。このようにして、本屋に入店したユーザは、特定の本に関する情報、例えば、インターネットで入手可能な情報に迅速にアクセスすることができる。さらに、外国人観光客は、外国語のパッケージを有する商品を識別することができ、キーパッドを使用してインターネットをナビゲートする困難性なしに、原材料または価格情報等のさらなる情報を検索することができる。

要求された情報を選択する方法はタッチレスであり、換言すれば、ユーザは携帯装置のキーにタッチする必要はなく、装置を動かせばよい。さらに、オブジェクトに関する情報にアクセスする全体の方法も、好ましくは、完全にまたはほぼ完全にタッチレスであり、例えば、ビデオ通話は音声コマンドによって確立されおよび終了する。

携帯装置の動きを検出することができる画像認識サーバを設けることによって、商品に関して受信されたさらなる情報の制御が、装置のボタンを使用するのではなく、装置全体を動かすことによって容易に実現される。このことは、キーパッドの操作が困難であると思われる関節炎等の障害を持つ人々にとって格別有用性であり得る。

図を参照して、本発明の多くの具体的実施形態について説明してきたが、多数の修正および変更を適用することができることが当業者には明らかであろう。

例えば、本発明の特定の用途について説明してきたが、当業者には明らかであろう本発明の代替用途がある。

画像認識サーバから受信された情報を制御するためのいくつかの種類の動作きについて説明してきたが、異なる動き、例えば、装置の前方へのまたは後方への動き、携帯装置の時計回りまたは反時計回りの回転、あるいは対角線方向の、例えば左上方への動きを認識することが可能である。さらに、アクセス可能であり得る情報は、任意の情報であることが可能であり、音声記録、さらなる画像またはビデオを含むことが可能である。

携帯装置から画像認識サーバに送信され、および画像認識サーバから携帯装置に戻されるビデオ通話のビデオが、画像だけでなくサウンドも含むことができることが理解されるであろう。

Claims (31)

1. 表示装置（３）とビデオキャプチャユニットとを有するワイヤレス携帯装置（１）を使用して、情報にアクセスする方法であって、
   リモートサーバ（６）が、ビデオ通話中に前記携帯装置によってキャプチャされたビデオ画像を受信するように、前記リモートサーバとの前記ビデオ通話を確立するステップと、
   画像認識を行って、前記キャプチャされたビデオの少なくとも１つの第１のオブジェクト（４、７１〜７６）を識別するステップと、
   前記携帯装置に送信するための信号を生成するステップであって、前記信号が、前記第１のオブジェクトに関する情報を含むステップと、
   を含む方法。
2. 前記情報が、前記ビデオ画像の前記第１のオブジェクトの動きに基づいて提供される請求項１に記載の方法。
3. 画像認識を行うステップが、複数のオブジェクトシグネチャーおよび／またはオブジェクト画像を含むオブジェクトデータベース（１５）にアクセスするステップと、前記ビデオ画像の特徴を前記オブジェクトシグネチャーおよび／またはオブジェクト画像と照合するステップとを含む請求項１または２に記載の方法。
4. 前記情報が少なくとも部分的にインターネットから検索される請求項１〜３のいずれか１項に記載の方法。
5. 前記方法が、前記信号を生成する前記ステップの前に、第２のオブジェクト（７４）の識別を前記リモートサーバ（６）に送信するステップをさらに含み、前記リモートサーバには、前記第１のオブジェクトに対する前記第２のオブジェクトの空間位置が既知であり、前記信号の前記情報が前記第１のオブジェクトから前記第２のオブジェクトへの方向を含む請求項１に記載の方法。
6. オブジェクト（４）に関する情報にアクセスするための、ビデオキャプチャユニットを備えるワイヤレス携帯装置（１）の使用であって、該使用が、
   前記携帯装置を使用して前記携帯装置とリモートサーバとの間のビデオ通話を確立するステップと、
   前記ビデオキャプチャユニットを前記オブジェクトに向けるステップと、
   前記ビデオキャプチャユニットの視野内で前記オブジェクトの位置を変化させて、前記動きの移動方向に基づき、前記オブジェクトに関する特定の情報を選択するように、前記ビデオキャプチャユニットを動かすステップと、
   を含むワイヤレス携帯装置（１）の使用。
7. 情報にアクセスするためのシステムであって、
   ビデオ画像をキャプチャするよう設計されたビデオキャプチャユニットを備えるワイヤレス携帯装置（１）と、
   ビデオ通話中に前記携帯装置と通信することができるサーバ（６）と、
   を備えるシステムであって、前記サーバが、
   １つ以上の前記ビデオ画像中のオブジェクトを識別するよう設計された画像認識ユニットと、
   前記オブジェクトに関するオブジェクト情報を含む信号を前記携帯装置に送信するよう設計された送信ユニットと、
   を備えるシステム。
8. 前記サーバが、前記ビデオ画像のオブジェクトの動きを検出するよう設計された動作検出ユニットをさらに備える請求項７に記載のシステム。
9. 前記サーバ（６）によってアクセス可能なオブジェクトデータベース（１５）をさらに含み、該オブジェクトデータベースが、前記オブジェクトを識別するために用いられるオブジェクト画像を含む請求項７または８に記載のシステム。
10. 前記ワイヤレス携帯装置と前記サーバとの間の通信を可能にするワイヤレス通信ネットワークをさらに備える請求項７〜９のいずれか１項に記載のシステム。
11. 前記サーバがインターネットを介して前記ワイヤレス通信ネットワークに接続される請求項１０に記載のシステム。
12. 前記サーバが、交換網を介して前記ワイヤレス通信ネットワークに接続される請求項１０に記載のシステム。
13. 自動情報供給システム（６、１５）であって、
    ビデオ通話中にワイヤレス携帯装置（１）と通信するように、および該携帯装置によってキャプチャされたビデオ画像を受信するよう設計されたビデオ通話ユニットと、
    １つ以上の前記ビデオ画像中のオブジェクトを識別するよう設計された画像認識ユニットと、
    前記ビデオ画像中のオブジェクトの動きを検出するよう設計された動作検出ユニットと、
    前記オブジェクトに関するオブジェクト情報を含む信号を前記携帯装置に送信するよう設計された送信ユニットと、
    を備える自動情報供給システム（６、１５）。
14. 記憶された複数のオブジェクトシグネチャーおよび／またはオブジェクト画像を含むオブジェクトデータベースをさらに含む請求項１３に記載の自動情報供給システム。
15. 前記オブジェクトデータベースが、前記オブジェクトに関する前記オブジェクト情報、および／または前記情報を検索し得るリモートデータベースへのリンクをさらに含む請求項１４に記載の自動情報供給システム。
16. 表示装置（３）とビデオキャプチャユニットとを有するワイヤレス携帯装置（１）を使用して、３Ｄオブジェクトマップを作成する方法であって、
    リモートサーバ（６）が、ビデオ通話中に前記携帯装置によってキャプチャされたビデオ画像を受信するように、前記リモートサーバとの前記ビデオ通話を確立するステップと、
    画像認識を行って、前記キャプチャされたビデオ画像中の複数のオブジェクト（６１〜６６）を識別するステップと、
    前記検出されたオブジェクトの動き検出を行うステップと、
    前記識別されたオブジェクトに基づき前記３Ｄオブジェクトマップを生成して、前記３Ｄオブジェクトマップをメモリに記憶するステップと、
    を含む方法。
17. 前記３Ｄオブジェクトマップが、少なくとも、前記認識された複数のオブジェクトへの参照と、前記オブジェクトのそれぞれの３Ｄ配置とを含む請求項１６に記載の方法。
18. 前記３Ｄオブジェクトマップを前記メモリから前記ワイヤレス携帯装置に送信するステップをさらに含む請求項１６または１７に記載の方法。
19. 前記３Ｄオブジェクトマップを生成する前記ステップが、前記マップ中の前記オブジェクトのキャプチャされた画像を、画像データベース（１５）に記憶されている予め登録された画像に置き換えるステップを含む請求項１６〜１８のいずれか１項に記載の方法。
20. 前記ビデオ通話中に前記携帯装置が従う経路（６０）を測定するステップをさらに含む請求項１６〜１９のいずれか１項に記載の方法。
21. ３Ｄオブジェクトマップを作成するためのビデオキャプチャユニットを備えるワイヤレス携帯装置（１）の使用であって、
    リモートサーバ（６）とのビデオ通話を確立するステップであって、前記リモートサーバが、前記携帯装置によってキャプチャされたビデオ画像を受信するステップと、
    前記ビデオ通話中に、前記携帯装置を一連のオブジェクトに向けて前記オブジェクトをキャプチャするステップと、
    前記リモートサーバから前記オブジェクトの３Ｄオブジェクトマップを受信するステップと、
    を含むワイヤレス携帯装置（１）の使用。
22. ３Ｄオブジェクトマップを作成するためのサーバ（６）であって、
    ビデオ通話中にワイヤレス携帯装置（１）と通信するように、および該携帯装置によってキャプチャされたビデオ画像を受信するよう設計されたビデオ通話ユニットと、
    １つ以上の前記ビデオ画像中のオブジェクトを識別するよう設計された画像認識ユニットと、
    前記ビデオ画像中のオブジェクトの動きを検出するよう設計された動作検出ユニットと、
    前記識別されたオブジェクトと、前記オブジェクトの前記検出された動きとに基づいて、３Ｄオブジェクトマップを生成するよう設計された生成ユニットと、
    前記３Ｄオブジェクトマップを前記携帯装置に送信するよう設計された送信ユニットと、
    を備えるサーバ（６）。
23. ビデオキャプチャユニットと表示装置（３）とを備えるワイヤレス携帯装置（１）を使用して、第１のオブジェクトの場所を見つけ出す方法であって、
    リモートサーバ（６）が、ビデオ通話中に前記携帯装置によってキャプチャされたビデオ画像を受信するように、前記リモートサーバとの前記ビデオ通話を確立するステップと、
    画像認識を行って、前記キャプチャされたビデオ中の少なくとも１つの第２のオブジェクト（７１〜７６）を識別するステップと、
    データベースから、前記第２のオブジェクトに対する前記第１のオブジェクトの位置を決定するステップと、
    前記携帯装置に送信するための信号を生成するステップであって、前記信号が前記第２のオブジェクトから前記第１のオブジェクトへの方向を含むステップと、
    を含む方法。
24. 前記方向が、前記表示装置に表示される方向指示を含む請求項２３に記載の方法。
25. 前記方向が、前記ワイヤレス携帯装置のスピーカによって出力される音声による方向指示を含む請求項２３または２４に記載の方法。
26. 画像認識を行って、前記キャプチャされたビデオ中のさらなるオブジェクト（７２〜７６）を識別するステップと、前記さらなるオブジェクトの１つが前記第１のオブジェクトとして識別された場合、前記携帯装置に送信するための信号を生成するステップであって、前記信号が、前記第１のオブジェクトの場所を今見つけ出したことの表示を含むステップとをさらに含む請求項２３〜２５のいずれか１項に記載の方法。
27. 前記さらなるオブジェクトの１つが、前記第１のオブジェクトとして識別されなかった場合、前記携帯装置に送信するための信号を生成するステップを含み、前記信号が、前記さらなるオブジェクトの前記１つから前記第１のオブジェクトへの方向を含む請求項２６に記載の方法。
28. 前記ワイヤレス携帯装置の前記表示装置の配向を決定するステップと、前記決定された配向に基づいて前記ワイヤレス携帯装置の表示装置に表示すべき視覚方向を含む前記信号を生成するステップと、をさらに含む請求項２３〜２７のいずれか１項に記載の方法。
29. 前記表示装置の前記配向が前記キャプチャされたビデオ画像に基づいて決定される請求項２８に記載の方法。
30. 第１のオブジェクト（７４）の場所を見つけ出すための、ビデオキャプチャユニットを備えるワイヤレス携帯装置（１）の使用であって、該使用が、
    前記携帯装置を使用して前記携帯装置とリモートサーバとの間のビデオ通話を確立するステップと、
    前記ビデオキャプチャユニットを第２のオブジェクトに向けるステップと、
    前記携帯装置によって、前記第２のオブジェクトから前記第１のオブジェクトへの方向を前記リモートサーバから受信するステップと、
    を含むワイヤレス携帯装置（１）の使用。
31. 第２のオブジェクト（７１〜７６）から第１のオブジェクト（７４）への方向を提供するためのサーバ（６）であって、
    ビデオ通話中にワイヤレス携帯装置（１）と通信するように、および該携帯装置によってキャプチャされたビデオ画像を受信するよう設計されたビデオ通話ユニットと、
    １つ以上の前記ビデオ画像中の前記第２のオブジェクトを識別するよう設計された画像認識ユニットと、
    前記第２のオブジェクトから前記第１のオブジェクトへの方向を決定するよう設計された方向決定ユニットと、
    前記方向を前記携帯装置に送信するよう設計された送信ユニットと、
    を備えるサーバ（６）。

Images