JP2013535733A

JP2013535733A - 検索のためのキーワードの取得

Info

Publication number: JP2013535733A
Application number: JP2013521265A
Authority: JP
Inventors: テックウィーフー
Original assignee: Koninklijke Philips NV; Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2010-07-26
Filing date: 2011-07-21
Publication date: 2013-09-12
Also published as: US20130124551A1; RU2013108254A; EP2599018A1; CN103004228A; BR112013001738A2; WO2012014130A1

Abstract

再生装置１００及び画像を再生するための対応する方法。該装置は、再生されている画像におけるオブジェクトを認識するステップ３２０と、該認識されたオブジェクトに関連付けられたキーワード４１０を取得するステップ３４０と、該キーワードに基づいて情報を検索するステップ３７０と、を実行するように構成されたコントローラ１１０を有する。

Description

本発明は、画像再生の分野に関し、更に詳細には、視聴者が画像を見ているときに検索のためのキーワードを取得することに関する。

ＤＶＤ又はBlurayのような光ディスク、ＴＶ放送又はオンラインビデオにより映画を見ている場合、視聴者は俳優についてより多くのことを調べたいと思うことがある。例えば、視聴者は、該俳優が出演している他の映画は何か、私生活についての情報、等を調べたいと考える。

殆どの既存の再生装置では、俳優についてより多くのことを調べるためには、視聴者はＥＰＧ（Electronic Program Guide）に伴う情報を呼び出す必要がある。斯かるサービスは、全ての種類のコンテンツに利用可能というわけではなく、提供される情報も一般に限られている。殆どの最新世代のＴＶ及びＢＤ（Bluray Disc）プレイヤにはインターネット接続機能が含まれており、再生装置自体によって情報の検索が実行され得る。しかしながら、最低限でも、リモートコントローラの数字キーパッドにおけるＴ９辞書のような編集を用いることにより、又はQWERTY型キーボードを用いることにより、探したい情報をキー入力する必要がある。後者の選択肢に関しては、パーソナルコンピュータに対する消費者向け電子装置の利点は、前者のくつろいだ体験である。それ故、消費者向け電子装置においてＰＣのような通常のキーボードを使用する必要がないことが好ましい。

図１は、Sony社により最近発表された機能「MovieIQ」のスナップショットを示す。MovieIQは、再生されている映画についての付加的な情報を提供する。しかしながら、当該情報は限られており、番組の間じゅう同一のままである。

米国特許出願公開US2008/0059526A1は、表示画面に対してコンテンツを再生するための再生手段と、表示されている画像に結び付けられている字幕からキーワードを抽出するための抽出手段と、該抽出手段により抽出されたキーワードを表示するためのキーワード表示手段と、該キーワード表示手段により表示されたキーワードから選択されたキーワードに基づいてコンテンツを検索するための検索手段と、を含む再生装置を開示している。

一般に、字幕は、例えば映画中の俳優により又は番組の司会者により発話される語のような、表示されている画像の内容に関連する何かを表す。しかしながら、字幕は一般に、俳優又は司会者自身に関する情報を有さない。

再生されている画像における例えば俳優のようなオブジェクトに関連する情報の検索を視聴者が容易に実行することを可能とすることが望ましい。

この問題に適切に対処するため、本発明の一態様によれば、画像を再生するための再生装置であって、再生されている画像におけるオブジェクトを認識するステップと、前記認識されたオブジェクトに関連付けられたキーワードを取得するステップと、前記キーワードに基づいて情報を検索するステップと、を実行するように構成されたコントローラを有する装置が提供される。該画像は、静止画像であっても良いし又はビデオのビデオフレームであっても良い。該オブジェクトは、俳優や司会者といった画像中に登場する人間であっても良いし、携帯電話やダイヤモンドの指輪等のような人間以外のオブジェクトであっても良い。画像中のオブジェクトの認識は、それ自体知られている画像認識手法により実行されても良い。オブジェクトに関連付けられた情報の検索は、インターネットを検索するための検索エンジンを用いること、該再生装置のメモリにローカルに保存されたデータを検索すること、等によって実行されても良い。

その結果、視聴者は、画像中のオブジェクトに関連付けられた情報を迅速に且つユーザフレンドリな態様で検索することが可能となる。

本発明の一実施例によれば、該コントローラは更に、複数のキーワードを取得し、これらキーワードのうちの１つをユーザが検索のために選択することを可能とするように構成される。キーワードのメニューリストを自動的に提示し、視聴者にこれらキーワードのうちの１つを選択する選択肢を提供することにより、消費者向け電子装置に非常に適切な態様で、即ち単にユーザのリモートコントローラを用いて選択肢を伴うメニューをスクロールさせ、確認ボタンにより所望の選択肢を選択することによって、検索動作が視聴者により実行され得る。消費者向け電子装置のユーザは、該ユーザの装置を制御するための選択肢のリストから選択を為すことに慣れており、コンテンツを見ているときに斯かる「くつろいだ」体験を期待している。

本発明の更なる実施例によれば、該コントローラは更に、再生されている画像中の複数のオブジェクトを認識し、該認識されたオブジェクトのそれぞれに関連付けられたキーワードを取得するように構成される。このようにして、視聴者は、該視聴者がより多くの情報を取得したいと欲する画像中の複数のオブジェクトのうちの１つを容易に選択することができる。該コントローラは更に、ハイライトされたキーワードに関連づけられた画像中のオブジェクトを指示する（ハイライトする）ように構成されても良い。このようにして、ハイライトされたキーワードがオブジェクト（例えば俳優）のどれに属するものかが視聴者に示される。このことは、画像中のオブジェクトについて知識を持たない又は殆ど知識を持たないユーザにとって、特に有用である。

更に、該コントローラは、再生されている画像がその一部であるような番組に関連付けられた１つ以上のキーワードを取得するように構成されても良い。例えば、画像中のキーワード又はテキストのリストに、番組のタイトルが含まれても良い。その結果、視聴者は該視聴者が選択し得る更なる有用なキーワードを提供される。

更なる実施例によれば、該コントローラは更に、例えば番組タイトルのような番組についての予備的な情報に基づいて、該番組の画像中のオブジェクトの画像データをダウンロードするように構成される。オブジェクト認識が開始する前に画像データをダウンロードすることにより、時間遅延に帰着し得る画像データのためのサーバへの問い合わせの必要なく、オブジェクト認識ステップが再生装置内でローカルに実行されることができる。

該画像データは、オブジェクトの少なくとも１つについて複数のアルバムを有しても良い。このことは、オブジェクト認識の改善された信頼性に帰着する。

再生される画像がビデオのビデオフレームである場合には、該コントローラは、情報を表示するときに、キーワードに基づいて取得された情報を表示し、該ビデオを一時停止させるように構成されても良い。このようにして視聴者は、該視聴者が視聴しているコンテンツを見逃すことなく、情報をチェックすることができる。

本発明の更なる態様によれば、
画像を再生するステップと、
再生されている画像中のオブジェクトを認識するステップと、
前記認識されたオブジェクトに関連付けられたキーワードを取得するステップと、
前記キーワードに基づいて情報を検索するステップと、
を有する方法が提供される。

好適には、本発明による方法はコンピュータプログラムにより実装される。該コンピュータプログラムはコンピュータ読み取り可能な媒体に実施化されても良く、又は担体媒体が該コンピュータプログラムを担持しても良い。

本発明のこれらの及び他の態様は、以下に説明される実施例を参照しながら説明され明らかとなるであろう。

付随する明細書とともに以下の図面を参照することにより、当業者に本発明がより理解され種々の目的及び利点がより明らかとなるであろう。

図面を通して、同様の参照番号は同様の要素を示す。

コンテンツの再生の間に情報を提供するための先行技術の機能のスナップショットを示す。本発明が実装され得る再生装置のブロック図を示す。本発明の実施例による再生されている画像中のオブジェクトに関連付けられた情報を検索するフロー図を示す。画像中に１つの認識されたオブジェクトがある場合の、本発明の実施例による画像上における、提案されるキーワードと共に為されるメニューの表示を示す。画像中に複数の認識されたオブジェクトがある場合の、画像上におけるメニューの表示を示す。キーワードの１つ及び対応するオブジェクトがハイライトされた、図５の表示を示す。キーワードの別の１つ及び対応するオブジェクトがハイライトされた、図５の表示を示す。画像上におけるオブジェクトの１つに関連付けられた取得された情報の表示を示す。

図２は、本発明が実装され得る、例えばインターネットアクセス機能を備えたＴＶのような、再生装置の例１００のブロック図を示す。本発明を理解するために重要な特徴のみが示されている。該装置は、関連するメモリ１２０を備えたコントローラ（プロセッサ）１１０と、ディスプレイ（例えばＴＶ画面）１３０と、視聴者が入力コマンドを供給することを可能とする入力装置１４０（リモートコントローラであっても良い）と、インターネットへの接続のためのルータ又はモデムのようなインタフェースユニット１５０と、を有する。該装置は更に、例えばケーブルＴＶネットワークから又はＤＶＢネットワークからのＴＶ番組の受信に関連する機能１６０と、大きな容量を持つメモリ１８０を有する。

以下に図３を参照しながら示される機能は好適には、プロセッサ１１０の関連するメモリ１２０にロードされた適切なコンピュータプログラム１７０により実装される。

図３に示されるように、視聴者は最初に、該視聴者のリモートコントローラ１４０を用いて、視聴するための番組（例えば映画）を選択する（ステップ３００）。再生装置側では、ビデオ再生の開始において、該映画についての情報が収集される（ステップ３０５）。当該情報は、該再生装置の（クライアントの）インターネット接続によりリモートのサーバからダウンロードされても良い。収集される情報は、これらに限定されるものではないが、映画のタイトル、ファイル名、メタデータ、ＤＶＢ−Ｔ番組情報からのタイトル及びその他の情報、ストリーミングビデオ、等を含む。

映画に出演している俳優の顔を認識するため、最低限１つの顔アルバムが必要とされる。しかしながら、同一の顔の複数の顔アルバムは、検出及び認識の精度を向上させる。顔アルバムの各々は、顔を認識するための情報を含む。

サーバは、顔のアルバムと該顔に関する関連付けられたメタデータとを含むデータベースを含む。該メタデータは、これらに限定されるものではないが、ショーのタイトル、例えばの俳優／女優、該俳優が出演している他のショー、ジャンル、等を含む。また、顔に関する関連付けられたメタデータは、ステップ３０５においてサーバからダウンロードされ、ローカルのメモリ１８０に保存される。例えば、映画のタイトルに基づいて、該映画に関連する顔のアルバムが取得され、該再生装置のローカルのメモリにダウンロードされる。

その間、該再生装置は、該映画の再生を開始する（ステップ３１０）。このとき、該ビデオを見ている間、ユーザがリモートコントローラ１４０上の指定された「情報取得」キーを押下したか否かがチェックされる（ステップ３１５）。そうである場合には、現在再生されているビデオフレームが解析される（ステップ３２０）。該分析は、ビデオフレーム中にいずれかの顔があるか否かを検出するサブステップ（サブステップ３２５）を含む。該サブステップは、顔検出アルゴリズムにより実行されても良い。斯かるアルゴリズムは周知であり、既存のアルゴリズムの技術的な概要及び説明については、http://en.wikipedia.org/wiki/Face_detection又は論文「Face Detection Technical Overview」（http://www.***.com.sg/search?q=face+detection+algorithm&ie=utf-8&oe=utf-8&aq=t&rls=org.mozilla:en-US:official&client=firefox-a.において入手可能）を参照されたい。

ビデオフレーム中にいずれかの顔がある場合には（サブステップ３３０でチェックされる）、ダウンロードされたアルバムの顔に基づいて、それ自体知られた顔認識アルゴリズムにより該ビデオフレームが処理される（サブステップ３３５）。顔認識の技術的な説明は、http://en.wikipedial.org/wiki/Facial_recognition_system及びhttp://www.biometrics.gov/Documents/FaceRec.pdfにおいて見出される。これに加え、該装置におけるテキスト検出エンジンにより、該ビデオフレーム中の他のテキストをも認識することも可能である。テキスト検出エンジンは周知であり、テキスト検出の技術的な説明については、http://en.wikipedia.org/wiki/Optical_character_recognition又はTappert, Charles C.らによる技術論文「The State of the Art in On-line Handwriting Recognition」（IEEE Transaction on Pattern Analysis and Machine Intelligence、Vol.12、No.8、1990年8月、787頁以降、http://users.erols.com/rwservices/pens/biblio90.html#Tappert90cを参照されたい。次いで、該認識されたオブジェクトに関連付けられたキーワードが取得される（ステップ３４０）。該キーワードは、例えば俳優の名前である。

次いで、視聴者は、これらキーワードのうちの１つを検索のために選択することを可能とされる（ステップ３４５）。当該ステップは、図４に示されるようなメニューリスト４００に、検出された顔に関連付けられたキーワード及び映画に関連する他の情報（例えばビデオ／映画のタイトル、場面情報等）を表示するサブステップを有する。図４においては、解析されたビデオフレーム中に１つの顔（１人の俳優）のみがある場合のメニューリストが示されている。該俳優に関連付けられたメニュー中に単一のキーワード４１０（該俳優の名前）があり、例えばのキーワード４２０がある。これらの他のキーワードは、再生されている画像がその一部である番組に関連付けられたもの（例えば番組のタイトル）であっても良く、又はテキスト検出エンジンにより該ビデオフレーム中に検出された他のテキストであっても良い。図５においては、解析されたビデオフレーム中に３人の俳優がいる場合のメニューリストが示されている。この場合には、メニューリストは３つのキーワード４１０を含み、それぞれが該３人の俳優のうちの１人に関連付けられている。

このとき、ユーザはメニューリストをスクロールすることを可能とされ（サブステップ３５５）、図６に示されるように、スクロール位置に対応するキーワードがハイライトされる（４４０）。該ハイライトされたキーワードに対応する俳優の顔も、例えば赤い四角によりハイライトされる（４５０）。図７に示されるように、ユーザが別のキーワードへとスクロールにより移動すると、当該キーワード及び対応する俳優の顔がハイライトされる。メニューのスクロール及び後続するキーワードの選択は、リモートコントローラ１４０の適切なキー（例えば上下キー及びＯＫキー）により実行される。メニューの最後の選択肢４３０は、ユーザがメニューリストにない語をキー入力することを可能とする。

ステップ３６５におけるキーワードをユーザが選択した場合、当該キーワードに基づいて検索が実行される（ステップ３７０）。当該検索は、再生装置１００における顔アルバムの顔に関連するローカルに保存されたメタデータにおけるものであっても良いし、又はそれ自体知られたインターネット検索エンジンを用いたインターネット検索であっても良い。映画は一時停止され（ステップ３７５）、検索により取得された情報が図８に示されるように画像上に表示される（ステップ３８０）。ユーザがビデオの再生を継続させるリモートコントローラ上のキーを押下すると（ステップ３８５）、フローはステップ３１０に戻り、再生が継続される。

本発明は図面及び以上の記述において説明され記載されたが、斯かる説明及び記載は説明するもの又は例示的なものであって限定するものではないとみなされるべきであり、本発明は開示された実施例に限定されるものではない。

この点に関し、再生装置とサーバとの間の通信リンクは、インターネット以外の手段を通したものであっても良いことは留意されるべきである。

更に、本発明は、例えばＴＶ司会者、スポーツ選手等のような人間のオブジェクト、又は新しい携帯電話、ダイヤモンドの指環等のような非人間のオブジェクトといった、映画中の俳優以外の種類のオブジェクトにも実装されることができる。この場合には、顔検出／認識の代わりに、オブジェクト認識アルゴリズムが利用されても良い。該システムは、オブジェクトに関する情報を伴うウェブサイトへのリンクを表示しても良い。

当然ながら、情報が表示されている間にも、ビデオを一時停止することなく再生し続けることも可能である。

本発明は、動画ビデオのみならず静止画像にも適用可能である。

図面、説明及び添付される請求項を読むことにより、請求される本発明を実施化する当業者によって、開示された実施例に対する他の変形が理解され実行され得る。請求項において、「有する（comprising）」なる語は他の要素又はステップを除外するものではなく、「１つの（a又はan）」なる不定冠詞は複数を除外するものではない。単一のプロセッサ又はその他のユニットが、請求項に列記された幾つかのアイテムの機能を実行しても良い。特定の手段が相互に異なる従属請求項に列挙されているという単なる事実は、これら手段の組み合わせが有利に利用されることができないことを示すものではない。請求項におけるいずれの参照記号も、請求の範囲を限定するものとして解釈されるべきではない。コンピュータプログラムは、他のハードウェアと共に又は他のハードウェアの一部として供給される光記憶媒体又は固体媒体のような適切な媒体上で保存／配布されても良いが、インターネット又はその他の有線若しくは無線通信システムを介してのような、他の形態で配布されても良い。

Claims

画像を再生するための再生装置であって、
再生されている画像におけるオブジェクトを認識するステップと、
前記認識されたオブジェクトに関連付けられたキーワードを取得するステップと、
前記キーワードに基づいて情報を検索するステップと、
を実行するように構成されたコントローラを有する再生装置。
前記コントローラは更に、
複数のキーワードを取得し、
ユーザが前記キーワードのうちの１つを検索のために選択することを可能とする
ように構成された、請求項１に記載の再生装置。
前記コントローラは更に、
前記再生されている画像における複数のオブジェクトを認識し、
前記認識されたオブジェクトのそれぞれに関連付けられたキーワードを取得することにより前記複数のキーワードを取得する
ように構成された、請求項２に記載の再生装置。
前記コントローラは更に、
ハイライトされたキーワードに関連付けられた前記画像におけるオブジェクトを示す
ように構成された、請求項３に記載の再生装置。
前記コントローラは更に、
前記再生されている画像がその一部である番組に関連付けられた１つ以上のキーワードを取得する
ように構成された、請求項２に記載の再生装置。
前記コントローラは更に、
前記番組についての予備的な情報に基づいて番組の画像におけるオブジェクトの画像データをダウンロードする
ように構成された、請求項１に記載の再生装置。
前記画像データは、前記オブジェクトの少なくとも１つについて複数のアルバムを有する、請求項６に記載の再生装置。
再生される前記画像はビデオの一部であり、前記コントローラは更に、
前記キーワードに基づいて取得された情報を表示し、
前記情報を表示するときに前記ビデオを一時停止する
ように構成された、請求項１に記載の再生装置。
画像を再生するステップと、
再生されている画像におけるオブジェクトを認識するステップと、
前記認識されたオブジェクトに関連付けられたキーワードを取得するステップと、
前記キーワードに基づいて情報を検索するステップと、
を有する方法。
コンピュータプログラムコード手段を有するコンピュータプログラムであって、前記コンピュータプログラムコード手段は、前記プログラムがコンピュータ、ディジタル信号プロセッサ、フィールドプログラマブルゲートアレイ、特定用途向け集積回路、マイクロプロセッサ、マイクロコントローラ、又は他のいずれかの形態のプログラム可能なハードウェア上で実行されるときに、請求項９に記載の方法のステップを実行するように構成された、コンピュータプログラム。