JP2008288694A - 情報処理装置および情報処理方法、並びにプログラム - Google Patents

情報処理装置および情報処理方法、並びにプログラム Download PDF

Info

Publication number
JP2008288694A
JP2008288694A JP2007129364A JP2007129364A JP2008288694A JP 2008288694 A JP2008288694 A JP 2008288694A JP 2007129364 A JP2007129364 A JP 2007129364A JP 2007129364 A JP2007129364 A JP 2007129364A JP 2008288694 A JP2008288694 A JP 2008288694A
Authority
JP
Japan
Prior art keywords
program
search request
program information
information
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007129364A
Other languages
English (en)
Other versions
JP4389964B2 (ja
Inventor
Toshiharu Yabe
俊治 矢部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007129364A priority Critical patent/JP4389964B2/ja
Priority to US12/119,755 priority patent/US8789125B2/en
Priority to CN2008100975928A priority patent/CN101308506B/zh
Publication of JP2008288694A publication Critical patent/JP2008288694A/ja
Application granted granted Critical
Publication of JP4389964B2 publication Critical patent/JP4389964B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection
    • H04N21/4828End-user interface for program selection for searching program descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4332Content storage operation, e.g. storage operation in response to a pause request, caching operations by placing content in organized collections, e.g. local EPG data repository
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7844Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334Recording operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • H04N21/8405Generation or processing of descriptive data, e.g. content descriptors represented by keywords

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Computer And Data Communications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

【課題】ユーザに所望のシーンを効率よく視聴させる。
【解決手段】受信部26は、番組から抽出された特徴量に基づいて、情報処理装置12に集積させることが割り当てられた番組情報を受信し、リスト記憶部28は、受信部26が受信した番組情報を記憶する。また、受信部26は、他の装置に入力された検索キーワードが特徴量として抽出された番組を特定する番組情報を要求する検索要求であって、検索キーワードに基づいて情報処理装置12が送信先とされた検索要求を受信する。そして、検索要求により要求された番組情報が、リスト記憶部28に記憶されていると判定された場合、送信部25は、検索要求により要求された番組情報を、検索要求を送信してきた他の装置に送信する。本発明は、例えば、番組情報を共有する情報処理システムに適用できる。
【選択図】図2

Description

本発明は、情報処理装置および情報処理方法、並びにプログラムに関し、特に、ユーザに所望のシーンを効率よく視聴させることができるようにした情報処理装置および情報処理方法、並びにプログラムに関する。
近年、デジタルテレビジョン放送による放送番組の多チャンネル化に伴い、ユーザ(視聴者)の視聴可能な番組数が増加している。
これに対し、ユーザが番組の視聴に費やすことができる視聴時間は限られている。従って、ユーザは、その限られた視聴時間中に、所望のシーン、例えば、お気に入りの出演者が出演しているシーンが放送されていれば、そのシーンが放送されているチャンネルを選択して、所望のシーンを効率よく視聴したいと考える。
しかしながら、放送中の番組は数多くあり、ユーザが、放送中の全ての番組の中から所望のシーンを探し出すことは、困難であった。
ここで、特許文献1には、映像から特徴量や属性情報を抽出し、これらの特徴量や属性情報を利用することで、映像を効率的に検索する検索システムが開示されている。
また、特許文献2には、ピアツーピアで構築されたネットワークにおいて、分散ハッシュテーブルによって定義された理論空間上に、オブジェクトからなるデータオーバレイをデータ構造として構築する方法が開示されている。
特開2006−18831号公報 特開2005−353039号公報
上述したように、ユーザが、放送中の数多くの番組の中から所望のシーンを探し出すことは困難であり、従って、所望のシーンを効率よく視聴することは困難であった。
本発明は、このような状況に鑑みてなされたものであり、ユーザに所望のシーンを効率よく視聴させることができるようにするものである。
本発明の一側面の情報処理装置は、ネットワークを介して接続される他の装置と、番組を特定する番組情報を共有する情報処理装置であって、前記番組から抽出された特徴量に基づいて、前記情報処理装置に集積させることが割り当てられた前記番組情報を受信する番組情報受信手段と、前記番組情報受信手段が受信した前記番組情報を記憶する番組情報記憶手段と、前記他の装置に入力された検索キーワードが前記特徴量として抽出された番組を特定する番組情報を要求し、前記検索キーワードに基づいて前記情報処理装置が送信先とされた検索要求を受信する検索要求受信手段と、前記検索要求受信手段が受信した前記検索要求により要求された番組情報が、前記番組情報記憶手段に記憶されているか否かを判定する判定手段と、前記判定手段により、前記検索要求により要求された番組情報が、前記番組情報記憶手段に記憶されていると判定された場合、前記検索要求により要求された番組情報を、前記検索要求を送信してきた前記他の装置に送信する送信手段とを備える。
本発明の一側面の情報処理方法またはプログラムは、ネットワークを介して接続される他の装置と、番組を特定する番組情報を共有する情報処理装置の情報処理方法、または、ネットワークを介して接続される他の装置と、番組を特定する番組情報を共有する情報処理装置の情報処理をコンピュータに実行させるプログラムであって、前記番組から抽出された特徴量に基づいて、前記情報処理装置に集積させることが割り当てられた前記番組情報を受信し、前記番組情報を記憶する番組情報記憶手段に、前記情報処理装置に集積させることが割り当てられた前記番組情報を記憶させ、前記他の装置に入力された検索キーワードが前記特徴量として抽出された番組を特定する番組情報を要求し、前記検索キーワードに基づいて前記情報処理装置が送信先とされた検索要求を受信し、前記検索要求により要求された番組情報が、前記番組情報記憶手段に記憶されているか否かを判定し、前記検索要求により要求された番組情報が、前記番組情報記憶手段に記憶されていると判定された場合、前記検索要求により要求された番組情報を、前記検索要求を送信してきた前記他の装置に送信するステップを含む。
本発明の一側面においては、番組から抽出された特徴量に基づいて、情報処理装置に集積させることが割り当てられた番組情報が受信され、その番組情報が、番組情報記憶手段に記憶される。また、他の装置に入力された検索キーワードが特徴量として抽出された番組を特定する番組情報を要求する検索要求であって、検索キーワードに基づいて情報処理装置が送信先とされた検索要求が受信されると、検索要求により要求された番組情報が、番組情報記憶手段に記憶されているか否かが判定される。そして、検索要求により要求された番組情報が、番組情報記憶手段に記憶されていると判定された場合、検索要求により要求された番組情報が、検索要求を送信してきた他の装置に送信される。
本発明の一側面によれば、ユーザに所望のシーンを効率よく視聴させることができる。
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
本発明の一側面の情報処理装置は、ネットワークを介して接続される他の装置と、番組を特定する番組情報を共有する情報処理装置であって、
前記番組から抽出された特徴量に基づいて、前記情報処理装置に集積させることが割り当てられた前記番組情報を受信する番組情報受信手段(例えば、図2の受信部26)と、
前記番組情報受信手段が受信した前記番組情報を記憶する番組情報記憶手段(例えば、図2のリスト記憶部28)と、
前記他の装置に入力された検索キーワードが前記特徴量として抽出された番組を特定する番組情報を要求し、前記検索キーワードに基づいて前記情報処理装置が送信先とされた検索要求を受信する検索要求受信手段(例えば、図2の受信部26)と、
前記検索要求受信手段が受信した前記検索要求により要求された番組情報が、前記番組情報記憶手段に記憶されているか否かを判定する判定手段(例えば、図4のステップS28の処理を実行する図2の制御部29)と、
前記判定手段により、前記検索要求により要求された番組情報が、前記番組情報記憶手段に記憶されていると判定された場合、前記検索要求により要求された番組情報を、前記検索要求を送信してきた前記他の装置に送信する送信手段(例えば、図2の送信部25)と
を備える。
また、本発明の一側面の情報処理装置は、
前記検索要求受信手段が受信した検索要求が登録される検索要求リストを記憶する検索要求リスト記憶手段(例えば、図2のリスト記憶部28)をさらに備え、
前記判定手段は、前記番組情報受信手段が受信した前記番組情報が、前記検索要求リストに既に登録されている検索要求において要求されているか否かをさらに判定し、
前記送信手段は、前記判定手段により、前記番組情報受信手段が受信した前記番組情報が、前記検索要求リストに既に登録されている検索要求において要求されていると判定された場合、前記検索要求において要求されている番組情報を、前記検索要求を送信してきた前記他の装置に送信することができる。
また、本発明の一側面の情報処理装置は、
前記検索要求には、前記番組情報の要求が有効である期限を指定するタイムアウト時刻が含まれており、
前記検索要求リスト記憶手段に記憶されている前記検索要求リストを参照し、前記タイムアウト時刻により指定された期限が経過した前記検索要求を、前記検索要求リストから削除する検索要求削除手段(例えば、図4のステップS22の処理を実行する図2のリスト管理部27)
をさらに備えることができる。
また、本発明の一側面の情報処理装置は、
前記検索要求リスト記憶手段に記憶されている前記検索要求リストに登録された検索要求の件数が、所定の上限値以上になったとき、前記検索要求リストから検索要求の一部を抜き出した代理転送リストを作成する代理転送リスト作成手段(例えば、図5のステップS42の処理を実行する図2のリスト管理部27)と、
前記検索要求リストに登録されている検索要求を送信してきた前記他の装置のうちの、いずれか1つの他の装置に、前記代理転送リストを送信する代理転送リスト送信手段(例えば、図5のステップS43の処理を実行する図2の送信部25)と
をさらに備えることができる。
また、本発明の一側面の情報処理装置は、
ユーザにより入力された検索キーワードを取得するキーワード取得手段(例えば、図2の操作部21)と、
前記キーワード取得手段が取得した前記検索キーワードを入力値としてハッシュ関数を演算し、ハッシュ値を出力する演算手段(例えば、図2の演算処理部24)と、
前記演算手段が出力したハッシュ値に基づいて、前記検索キーワードが特徴量として抽出された番組を特定する番組情報を集積することが割り当てられた装置を特定する特定手段(例えば、図6のステップS53の処理を実行する図2の制御部29)と
をさらに備え、
前記送信手段は、前記特定手段により特定された装置に、前記検索キーワードが特徴量として抽出された番組を特定する番組情報を要求する検索要求をさらに送信することができる。
また、本発明の一側面の情報処理装置は、
前記番組、および前記番組を特定する番組情報を受信する番組受信手段(例えば、図2のチューナ22)と、
前記番組受信手段が受信した番組から特徴量を抽出する特徴量抽出手段(例えば、図2の特徴量抽出部23)と、
前記特徴量抽出手段が抽出した特徴量を入力値としてハッシュ関数を演算し、ハッシュ値を出力する演算手段(例えば、図2の演算処理部24)と、
前記演算手段が出力したハッシュ値に基づいて、前記特徴量抽出手段が特徴量を抽出した前記番組を特定する番組情報を集積することが割り当てられた装置を特定する特定手段(例えば、図3のステップS15の処理を実行する図2の制御部29)と
をさらに備え、
前記送信手段は、前記特定手段により特定された装置に、前記特徴量抽出手段が特徴量を抽出した前記番組を特定する番組情報をさらに送信することができる。
本発明の一側面の情報処理方法またはプログラムは、ネットワークを介して接続される他の装置と、番組を特定する番組情報を共有する情報処理装置の情報処理方法、または、ネットワークを介して接続される他の装置と、番組を特定する番組情報を共有する情報処理装置の情報処理をコンピュータに実行させるプログラムであって、
前記番組から抽出された特徴量に基づいて、前記情報処理装置に集積させることが割り当てられた前記番組情報を受信し(例えば、図4のステップS21)、
前記番組情報を記憶する番組情報記憶手段に、前記情報処理装置に集積させることが割り当てられた前記番組情報を記憶させ(例えば、図4のステップS32)、
前記他の装置に入力された検索キーワードが前記特徴量として抽出された番組を特定する番組情報を要求し、前記検索キーワードに基づいて前記情報処理装置が送信先とされた検索要求を受信し(例えば、図4のステップS21)、
前記検索要求により要求された番組情報が、前記番組情報記憶手段に記憶されているか否かを判定し(例えば、図4のステップS28)、
前記検索要求により要求された番組情報が、前記番組情報記憶手段に記憶されていると判定された場合、前記検索要求により要求された番組情報を、前記検索要求を送信してきた前記他の装置に送信する(例えば、図4のステップS29)
ステップを含む。
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
図1は、本発明を適用した情報処理システム(システムとは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かは問わない)の一実施の形態の構成例を示す図である。
図1において、情報処理システムは、ネットワーク11、および5つの情報処理装置12A乃至12Eから構成される。
ネットワーク11は、Internetや、LAN(Local Area Network)、電話回線、CATV(cable television)などを含む各種のネットワークであり、ネットワーク11には、情報処理装置12A乃至12Eがそれぞれ接続されている。
情報処理装置12A乃至12Eは、それぞれのユーザにより選択(選局)されたチャンネルで放送されている番組を受信し、その番組を表示部(例えば、後述する図2の表示部32)に表示するとともに、それぞれが受信した番組から特徴量を抽出する処理を行う。
また、情報処理装置12A乃至12Eは、番組から抽出した特徴量と、その特徴量が抽出された番組を特定する番組情報とを含む特徴情報を、互いに送受信し、所定の特徴量が抽出された番組の番組情報を、その特徴量に基づいて特定される装置に集積させる。
例えば、情報処理装置12Aおよび12Bが受信している番組に、出演者Aが出演しているとき、情報処理装置12Aおよび12Bは、その番組から、出演者Aの名前を特徴量として抽出し、特徴量である出演者Aの名前を用いて、特徴情報の送信先となる装置を特定する。そして、例えば、特徴情報の送信先が情報処理装置12Cであった場合、情報処理装置12Aおよび12Bは、番組から抽出した特徴量と、その特徴量を抽出した番組の番組情報とを含む特徴情報を、情報処理装置12Cに送信する。これにより、情報処理装置12Cには、出演者Aが出演している番組の番組情報が集積される。
また、情報処理装置12A乃至12Eは、ユーザが、ある出演者が出演している番組を検索するために、その出演者の名前を検索キーワードとして入力すると、その出演者の名前に基づいて特定される装置に、その出演者が出演している番組の番組情報を要求する検索リクエストを送信する。
例えば、出演者Bが出演している番組の番組情報を集積している装置が、情報処理装置12Eであるときに、情報処理装置12Dのユーザが、出演者Bの名前を検索キーワードとして情報処理装置12Dに入力したとする。この場合、情報処理装置12Dは、出演者Bの名前を用いて、検索リクエストの送信先として特定される情報処理装置12Eに、出演者Bが出演している番組の番組情報を要求する検索リクエストを送信する。そして、情報処理装置12Eは、出演者Bが出演している番組の番組情報を記憶していれば、その番組情報を情報処理装置12Dに送信する。情報処理装置12Dは、情報処理装置12Eからの番組情報に基づいて、出演者Bが出演している番組のチャンネルをユーザに通知し、これにより、ユーザは、そのチャンネルを選択して、出演者Bが出演している番組を視聴することができる。
ここで、情報処理装置12A乃至12Eは、ネットワーク11に接続されている全ての装置について、それぞれの装置を特定するための情報(以下、装置ID(Identification)という)を記憶していなくても、DHT(Distributed Hash Table:分散ハッシュテーブル)アルゴリズムを用いることにより、所定の装置に特徴情報を集積させることができる。
情報処理装置12A乃至12Eは、ネットワーク11に接続する(以下、適宜、クラスタに参加するという)にあたり、DHTアルゴリズムに従って、特徴情報を伝送する経路を求めるときに参照されるルーティングテーブルを、それぞれ作成して記憶する。ルーティングテーブルには、クラスタに参加している装置のうちの、DHTアルゴリズムに従って求められる特定の装置の装置IDが登録されている。
例えば、DHTアルゴリズムにおいては、所定の装置のルーティングテーブルには、その装置の装置IDに近い装置IDが多く登録され、その装置の装置IDから遠い装置IDが少なく登録されるようになっており、所定の装置は、クラスタに参加するにあたり、クラスタに既に参加している特定の装置から、ルーティングテーブルに登録すべき装置IDを取得するようになっている。そして、クラスタに参加している各装置は、番組から抽出した特徴量を入力値としてハッシュ関数を演算してハッシュ値を算出し、ルーティングテーブルを参照して、特徴量から算出されたハッシュ値に最も近い装置IDの装置を、特徴情報の送信先として特定する。
また、特徴情報を受信した装置は、自身が記憶しているルーティングテーブルを参照し、自身の装置IDが、送信されてきた特徴情報に含まれる特徴量から算出されるハッシュ値に最も近ければ、その特徴情報を蓄積する。一方、自身の装置IDよりもハッシュ値に近い装置IDが、ルーティングテーブルに登録されていれば、その特徴情報を受信した装置は、ハッシュ値に最も近い装置IDの装置に、その特徴情報を転送する。
このように、DHTアルゴリズムを用いることで、特徴情報を伝送する経路が求められ、ある番組から特徴量が抽出されると、その番組の番組情報が、特徴量から求められたハッシュ値に最も近い装置IDの装置に集積される。
また、特徴情報を伝送する経路が求められるのと同様に、検索リクエストを伝送する経路も、DHTアルゴリズムを用いて求められる。例えば、ユーザが、検索キーワードとして出演者の名前を入力すると、検索リクエストが、DHTアルゴリズムを用いて求められた経路を介して、その出演者が出演している番組の番組情報が蓄積された装置に送信される。
例えば、情報処理装置12Aのユーザが入力した検索キーワードを入力値としてハッシュ関数が演算され、その結果得られたハッシュ値に最も近い装置IDが、情報処理装置12Aのルーティングテーブルに登録されていた情報処理装置12Bの装置IDであった場合、情報処理装置12Aは、情報処理装置12Bに検索リクエストを送信する。そして、情報処理装置12Bのルーティングテーブルに、情報処理装置12Aからの検索リクエストに含まれる検索キーワードから得られるハッシュ値に最も近い装置IDとして、情報処理装置12Dの装置IDが登録されていた場合、情報処理装置12Bは、情報処理装置12Dに検索リクエストを転送する。
ここで、情報処理装置12Dに蓄積される特徴情報は、この検索リクエストが伝送される経路と同様にして求められた経路を介して情報処理装置12Dに送信されてくるので、情報処理装置12Dには、情報処理装置12Aが送信した検索リクエストにより要求される番組情報が集積される。従って、情報処理装置12Dは、情報処理装置12Aが送信した検索リクエストに対するレスポンスとして、番組情報を送信することができる。
なお、情報処理装置12A乃至12Eは、ネットワーク的に近い装置(例えば、通信処理において通信遅延時間が短い装置)を特定する装置IDが登録された近隣装置テーブルを、それぞれ記憶することができる。そして、情報処理装置12A乃至12Eは、DHTアルゴリズムを用いるとともに、近隣装置テーブルを利用することで、通信に要する時間が短くなるような経路を求めて、特徴情報や検索リクエストの伝送を、より迅速に行うことができる。
ここで、情報処理装置12A乃至12Eの構成は、いずれも同一であり、以下、情報処理装置12A乃至12Eのそれぞれを個々に区別する必要がない場合、情報処理装置12と称する。
次に、図2は、図1の情報処理装置12の構成例を示すブロック図である。
図2において、情報処理装置12は、操作部21、チューナ22、特徴量抽出部23、演算処理部24、送信部25、受信部26、リスト管理部27、リスト記憶部28、および制御部29から構成される。また、情報処理装置12のチューナ22には、映像ケーブル31を介して、CRT(Cathode Ray Tube)やLCD(Liquid Crystal Display)などからなる表示部32が接続されている。
操作部21は、図示しないスイッチボタンなどで構成されており、ユーザによって操作され、ユーザの操作に対応した操作信号を、制御部29に供給する。
チューナ22には、図示せぬアンテナで受信された放送信号が供給される。チューナ22は、制御部29の制御に従い、そこに供給される放送信号から所望のチャンネルの放送信号を選択し、放送信号を復調する。そして、チューナ22は、放送信号を復調した結果得られる番組を、映像ケーブル31を介して表示部32に供給して表示させるとともに、特徴量抽出部23に供給する。また、チューナ22は、放送信号を復調することにより、番組を特定する番組情報を取得し、その番組情報を、制御部29に供給する。
特徴量抽出部23は、チューナ22から供給された番組を解析し、解析結果である特徴量を番組から抽出する。例えば、特徴量抽出部23は、番組の映像に重ね合わされているテロップを抜き出し、そのテロップをテキスト化したテキストデータや、番組に出演している出演者の顔を認識し、その顔に基づいて所定のデータベースを参照して得られる出演者の名前のテキストデータなどを、特徴量として番組から抽出する。そして、特徴量抽出部23は、番組から抽出した特徴量を、演算処理部24および制御部29に供給する。
演算処理部24は、特徴量抽出部23から供給された特徴量を入力値としてハッシュ関数を演算し、その結果得られたハッシュ値を、制御部29に供給する。
また、演算処理部24には、ユーザが操作部21を操作し、例えば、ある出演者の名前を検索キーワードとして情報処理装置12に入力すると、操作部21から制御部29を介して、その出演者の名前が供給される。この場合、演算処理部24は、ユーザにより入力された出演者の名前を入力値としてハッシュ関数を演算し、その結果得られたハッシュ値を、制御部29に供給する。
送信部25は、制御部29の制御に従い、例えば、チューナ22が受信している番組の番組情報と、その番組から特徴量抽出部23が抽出した特徴量とを含む特徴情報を、演算処理部24が算出したハッシュ値に応じて制御部29が送信先として特定した装置に、図1のネットワーク11を介して送信する。また、送信部25は、制御部29の制御に従い、例えば、ユーザが入力した出演者の名前から演算処理部24が算出したハッシュ値に応じて制御部29が送信先として特定した装置に、その出演者が出演している番組の番組情報を要求する検索リクエストを送信する。
ここで、送信部25が送信する特徴情報には、番組情報や特徴量の他、特徴情報を送信した情報処理装置12を特定する装置IDが含まれる。また、番組情報としては、番組を放送しているチャンネルを特定するチャンネルID、その番組の放送が開始された時刻を示す番組開始時刻、その他、ARIB(Association of Radio Industries and Businesses:社団法人電波産業会)の運用規格tr-b14や、標準規格STD-B10などの規格により定められている情報などが含まれる。また、特徴量としては、上述したように特徴量抽出部23が番組から抽出したテキストデータの他、番組の内容に応じて予め設定されている所定のIDや、番組から特徴量が抽出された区間を示す情報、または、抽出が開始された時刻を示す情報などが含まれる。
また、送信部25が送信する検索リクエストには、ユーザにより入力された検索キーワード、検索リクエストに対するレスポンスの送信先となる情報処理装置12の装置ID、または、検索リクエストによる番組情報の要求が有効である期限を指定するタイムアウト時刻が含まれる。なお、タイムアウト時刻は、情報処理装置12のユーザが、例えば、番組の視聴に費やすことができる視聴時間などに応じて、任意に設定することができる。具体的には、ユーザは、現在の時刻から1時間ほど番組を視聴しようと考えているときには、検索キーワードの入力とともに、1時間後の時刻を、タイムアウト時刻として設定することができる。または、情報処理装置12にデフォルトで設定されている時刻を、タイムアウト時刻として用いてもよい。
受信部26は、情報処理装置12を送信先として、他の装置から送信されてくる特徴情報や検索リクエストなどを受信して、制御部29に供給する。
リスト管理部27は、時刻を計時するタイマを内蔵しており、そのタイマや、制御部29の制御に従い、リスト記憶部28に記憶されているリストの作成または更新を行い、リストを管理する。
リスト記憶部28には、情報処理装置12に集積させることが割り当てられた特徴情報を登録する特徴情報リストや、他の装置から検索が要求された検索リクエストを登録する検索要求リストが記憶される。
特徴情報リストの各エントリ(レコード)には、番組から抽出された特徴量、その特徴量が抽出された番組の番組情報、および、その特徴情報を記憶しておく期間を示す生存期間などが登録される。ここで、生存期間は、リスト記憶部28に記憶されるデータが増え続け付ことを防ぐために設けられており、リスト記憶部28の記憶容量に応じて適宜設定される。
検索要求リストの各エントリには、情報処理装置12に送信されてきた検索リクエストに含まれている検索キーワード、検索リクエストに対するレスポンスの送信先を特定する装置ID、および、検索リクエストによる番組情報の要求が有効である期限を指定するタイムアウト時刻などが登録される。
制御部29は、メモリ30を内蔵しており、情報処理装置12を構成する各部を制御する。メモリ30には、図1のルーティングテーブルや近隣装置テーブルなどが記憶される。
例えば、制御部29には、チューナ22から、チューナ22が受信している番組の番組情報が供給される。そして、特徴量抽出部23が、チューナ22が受信している番組から抽出した特徴量を制御部29に供給し、演算処理部24が、その特徴量から算出したハッシュ値を制御部29に供給すると、制御部29は、メモリ30に記憶されているルーティングテーブルを参照し、演算処理部24が算出したハッシュ値に最も近い装置IDの装置を送信先として特定する。そして、制御部29は、送信部25を制御して、特徴量抽出部23が抽出した特徴量と、その特徴量が抽出された番組の番組情報とが含まれる特徴情報を、送信先として特定した装置に送信させる。
また、受信部26が、他の装置から送信されてきた特徴情報を受信して制御部29に供給すると、制御部29は、特徴情報をリスト管理部27に供給して、リスト記憶部28に記憶されている特徴情報リストに登録させる。
さらに、受信部26が、他の装置から送信されてきた検索リクエストを受信して制御部29に供給すると、制御部29は、リスト記憶部28に記憶されている特徴情報リストに、検索リクエストにより要求されている番組情報が登録されていれば、その番組情報を、リスト管理部27を介して読み出し、送信部25を制御して、検索リクエストを送信してきた装置に送信させる。一方、検索リクエストにより要求されている番組情報が登録されていなければ、その検索リクエストを、リスト記憶部28に記憶されている検索要求リストに登録させる。
また、操作部21が、ユーザが入力した検索キーワードを制御部29に供給し、演算処理部24が、ユーザが入力した検索キーワードから算出したハッシュ値を制御部29に供給すると、制御部29は、メモリ30に記憶されているルーティングテーブルを参照し、演算処理部24が算出したハッシュ値に最も近い装置IDの装置を送信先として特定する。そして、制御部29は、送信部25を制御して、検索キーワードに応じた番組の番組情報を要求する検索リクエストを、送信先として特定した装置に送信させる。
なお、制御部29は、情報処理装置12において、レスポンスを送信する処理が集中して、その処理にかかる負荷が大きくならないように、リスト記憶部28に記憶されている検索要求リストの登録件数が、所定の上限値以上になったとき、他の装置に、情報処理装置12を代理してレスポンスを返信する処理を行わせるようにすることができる。
例えば、制御部29は、リスト記憶部28に記憶されている検索要求リストの登録件数が、所定の上限値以上になったとき、リスト管理部27を制御して、検索要求リストに登録されている検索リクエストの一部を抜き出して代理転送リストを作成させ、送信部25を制御して、検索要求リストに登録されている所定の装置に代理転送リストを送信させる。そして、代理転送リストを受信した装置の装置IDは、情報処理装置12の検索要求リストに登録されているので、情報処理装置12に、検索リクエストにより要求されている番組情報が送信されてくると、情報処理装置12は、代理転送リストを受信した装置に、その番組情報をレスポンスとして送信し、その装置は、代理転送リストに登録されている装置に、情報処理装置12から送信されてきたレスポンスを転送する。
次に、図3は、図2の情報処理装置12が、特徴情報を送信する処理を説明するフローチャートである。
例えば、チューナ22が、あるチャンネルの放送信号を受信しており、そのチャンネルで番組の放送が開始されると、処理が開始され、ステップS11において、チューナ22は、特徴量抽出部23に、その番組の供給を開始する。
ステップS11の処理後、処理はステップS12に進み、特徴量抽出部23は、チューナ22から供給された番組から特徴量を抽出する処理を行う。番組から特徴量を抽出する処理は、例えば、番組の映像を構成するフレームごとに行われ、ある1つのフレームに対する処理が行われると、処理はステップS13に進む。
ステップS13において、特徴量抽出部23は、直前のステップS12における処理で、番組から特徴量が抽出されたか否かを判定する。
ステップS13において、特徴量抽出部23が、番組から特徴量が抽出されたと判定した場合、処理はステップS14に進み、一方、番組から特徴量が抽出されなかったと判定した場合、処理はステップS14およびS15をスキップして、ステップS16に進む。
ステップS14において、特徴量抽出部23は、直前のステップS12で番組から抽出した特徴量を、演算処理部24および制御部29に供給する。演算処理部24は、特徴量抽出部23から供給された特徴量を入力値としてハッシュ関数を演算し、その結果得られたハッシュ値を、制御部29に供給する。
ステップS14の処理後、処理はステップS15に進み、制御部29は、メモリ30に記憶されているルーティングテーブルを参照して、ステップS14で演算処理部24から供給されたハッシュ値に最も近い装置IDを検索し、その装置IDの装置を、特徴情報の送信先として特定する。そして、制御部29は、送信部25を制御して、ステップS14で特徴量抽出部23から供給された特徴量と、その特徴量が抽出された番組の番組情報とを含む特徴情報を、送信先として特定した装置に送信させる。
ステップS15の処理後、処理はステップS16に進み、制御部29は、ステップS11で放送が開始された番組の放送が終了したか否かを判定する。
ステップS16において、制御部29が、番組の放送が終了していないと判定した場合、処理はステップS12に戻り、特徴量抽出部23は、直前のステップS12において特徴量を抽出する処理の対象となったフレームの次のフレームに対して特徴量を抽出する処理を行い、以下、同様の処理が繰り返される。
一方、ステップS16において、制御部29が、番組の放送が終了したと判定した場合、処理は終了する。
次に、図4は、図2の情報処理装置12が、他の装置から送信されてきたデータ(リクエストまたはコマンドを含む)を受信したときの処理を説明するフローチャートである。
情報処理装置12が、図1のネットワーク11に接続されてクラスタに参加すると、処理が開始され、ステップS21において、情報処理装置12は、他の装置からデータが送信されてくるまで処理を待機する。そして、他の装置からデータが送信されてくると、受信部26が、そのデータを受信して制御部29に供給し、処理はステップS21からステップS22に進む。
ステップS22において、リスト管理部27は、リスト記憶部28に記憶されている検索要求リストに登録されているタイムアウト時刻に基づき、内蔵するタイマを参照して、現在の時刻より過去の時刻となっているタイムアウト時刻があれば、そのタイムアウト時刻が登録されているエントリを削除する。即ち、リスト管理部27は、番組情報の要求が有効である期限を経過した検索リクエストを削除し、検索要求リストを更新する。
ステップS22の処理後、処理はステップS23に進み、制御部29は、ステップS21で受信部26から供給されたデータ、即ち、他の装置から送信されてきたデータが、検索リクエストであるか否かを判定する。
ステップS23において、制御部29が、他の装置から送信されてきたデータは検索リクエストであると判定した場合、処理はステップS24に進む。
ステップS24において、制御部29は、リスト管理部27を制御して、他の装置から送信されてきた検索リクエストを、リスト記憶部28の検索要求リストに追加する。即ち、制御部29は、リスト管理部27を制御して、ステップS21で受信部26が受信した検索リクエストに含まれる、検索キーワード、装置ID、およびタイムアウト時刻を、リスト記憶部28の検索要求リストに新たに登録させる。
ステップS24の処理後、処理はステップS25に進み、制御部29は、リスト記憶部28に記憶されている検索要求リストに登録されている検索リクエストの件数が、所定の上限値以上になったか否かを判定する。
ステップS25において、制御部29が、検索要求リストに登録されている検索リクエストの件数が、所定の上限値以上になったと判定した場合、処理はステップS26に進み、代理転送処理(後述する図5の処理)が行われる。
ステップS26の代理転送処理では、リスト記憶部28に記憶されている検索要求リストの一部が抜き出されて代理転送リストが作成され、その代理転送リストが、他の情報処理装置12に送信される。ステップS26の代理転送処理の処理後、処理はステップS38に進む。
一方、ステップS25において、制御部29が、検索要求リストに登録されている検索リクエストの件数が、所定の上限値以上になっていない(未満である)と判定した場合、処理はステップS27に進む。
ステップS27において、リスト管理部27は、リスト記憶部28に記憶されている特徴情報リストに登録されている生存期間に基づき、内蔵するタイマを参照して、現在の時刻を経過している生存期間があれば、その生存期間が登録されているエントリを削除する。即ち、リスト管理部27は、生存期間が経過した特徴情報を削除し、特徴情報リストを更新する。
ステップS27の処理後、処理はステップS28に進み、制御部29は、ステップS21で受信部26が受信した検索リクエストにより要求された番組情報が、リスト記憶部28の特徴情報リストに登録されているか否かを判定する。
例えば、検索リクエストには、検索キーワードとして出演者の名前が含まれており、その出演者の名前が、特徴情報リストに登録されている特徴量と一致していれば、例えば、番組から抜き出されたテロップや、番組に出演している出演者の顔から認識された名前などと一致していれば、その特徴量が抽出された番組の番組情報が、検索リクエストにより要求された番組情報である。
従って、制御部29は、リスト管理部27を介してリスト記憶部28を参照し、検索リクエストに含まれる検索キーワードに一致する特徴量が、特徴情報リストに登録されていれば、検索リクエストにより要求された番組情報が、特徴情報リストに登録されていると判定する。一方、制御部29は、検索リクエストに含まれる検索キーワードに一致する特徴量が、特徴情報リストに登録されていなければ、検索リクエストにより要求された番組情報が、特徴情報リストに登録されていないと判定する。
ステップS28において、制御部29が、検索リクエストにより要求された番組情報がリスト記憶部28の特徴情報リストに登録されていると判定した場合、処理はステップS29に進み、一方、検索リクエストにより要求された番組情報がリスト記憶部28の特徴情報リストに登録されていないと判定した場合、処理はステップS29をスキップして、ステップS38に進む。
ステップS29において、制御部29は、リスト管理部27を介して、検索リクエストにより要求された番組情報を、リスト記憶部28から読み出す。そして、制御部29は、送信部25を制御して、リスト記憶部28から読み出した番組情報を、ステップS21で受信部26が受信した検索リクエストに対するレスポンスとして、検索リクエストを送信してきた装置、即ち、検索リクエストに含まれていた装置IDにより特定される装置に送信させる。ステップS29の処理後、処理はステップS38に進む。
一方、ステップS23において、制御部29が、他の装置から送信されてきたデータは検索リクエストでないと判定した場合、処理はステップS30に進み、制御部29は、他の装置から送信されてきたデータが、特徴情報であるか否かを判定する。
ステップS30において、制御部29が、他の装置から送信されてきたデータは、特徴情報であると判定した場合、処理はステップS31に進む。
ステップS31において、リスト管理部27は、ステップS27での処理と同様に、検索要求リストを更新し、処理はステップS32に進む。
ステップS32において、制御部29は、リスト管理部27を制御して、ステップS21で受信部26が受信した特徴情報を、リスト記憶部28に記憶されている特徴情報リストに登録させる。
ステップS32の処理後、処理はステップS33に進み、制御部29は、ステップS32でリスト記憶部28の特徴情報リストに登録された特徴情報に含まれる番組情報を要求する検索リクエストが、リスト記憶部28の検索要求リストに登録されているか否かを判定する。即ち、制御部29は、新たに特徴情報リストに登録した番組情報が、他の装置から既に要求されていた番組情報であるか否かを判定する。
ステップS33において、制御部29が、ステップS32でリスト記憶部28の特徴情報リストに登録された特徴情報に含まれる番組情報を要求する検索リクエストは、リスト記憶部28の検索要求リストに登録されていると判定した場合、処理はステップS34に進み、一方、リスト記憶部28の検索要求リストに登録されていないと判定した場合、処理はステップS34をスキップして、ステップS38に進む。
ステップS34において、制御部29は、送信部25を制御して、ステップS21で受信部26が受信した特徴情報を、その特徴情報を要求する検索リクエストに含まれる装置IDの装置に送信させ、処理はステップS38に進む。
一方、ステップS30において、制御部29が、他の装置から送信されてきたデータは、特徴情報でないと判定した場合、処理はステップS35に進み、制御部29は、他の装置から送信されてきたデータが、検索リクエストによる番組情報の要求のキャンセルを指示するコマンドである検索キャンセルコマンドであるか否かを判定する。
ステップS35において、制御部29が、他の装置から送信されてきたデータは、検索キャンセルコマンドであると判定した場合、処理はステップS36に進み、制御部29は、リスト管理部27を制御して、ステップS21で受信部26が受信した検索キャンセルコマンドに基づいて、番組情報の要求がキャンセルされた検索キーワードが登録されているエントリを、リスト記憶部28の検索要求リストから削除させる。ステップS36の処理後、処理はステップS38に進む。
一方、ステップS35において、制御部29が、他の装置から送信されてきたデータは、検索キャンセルコマンドでないと判定した場合、処理はステップS37に進む。
ここで、制御部29が、他の装置から送信されてきたデータは、検索キャンセルコマンドでないと判定した場合、即ち、制御部29が、他の装置から送信されてきたデータは、検索リクエスト、特徴情報、または検索キャンセルコマンドのいずれでもないと判定した場合、他の装置から送信されてきたデータは、他の装置において代理転送処理(後述する図5の処理)が行われることにより送信される代理転送リストである。
ステップS37において、制御部29は、リスト管理部27を制御し、ステップS21で受信部26が受信した代理転送リストを、リスト記憶部28に記憶させ、処理はステップS38に進む。
ステップS38において、制御部29は、クラスタへの参加を終了するか否かを判定する。例えば、ユーザが、図1のネットワーク11への接続を解除するように操作部21を操作すると、制御部29は、クラスタへの参加を終了すると判定する。
ステップS38において、制御部29が、クラスタへの参加を終了しない(クラスタに参加し続ける)と判定した場合、処理はステップS21に戻り、以下、同様の処理が繰り返される。
一方、ステップS38において、制御部29が、クラスタへの参加を終了すると判定した場合、処理は終了される。
次に、図5は、図4のステップS26における代理転送処理を説明するフローチャートである。
ステップS41において、リスト管理部27は、リスト記憶部28に記憶されている検索要求リストの各エントリを、タイムアウト時刻に従って並べたとしたときに、例えば、その並びの(ほぼ)中央に位置するエントリを選択する。
ステップS41の処理後、処理はステップS42に進み、リスト管理部27は、ステップS41で選択したエントリのタイムアウト時刻よりも、タイムアウト時刻までの時間が短いエントリを全て選択する。そして、リスト管理部27は、ステップS42で選択したエントリからなる代理転送リストを作成し、その代理転送リストを制御部29に供給する。また、リスト管理部27は、代理転送リストに登録したエントリを、リスト記憶部28の検索要求リストから削除し、処理はステップS43に進む。
ステップS43において、制御部29は、送信部25を制御して、ステップS42でリスト管理部27から供給された代理転送リストを、ステップS41でリスト管理部27が選択したエントリに登録されている装置IDの装置に送信させ、代理転送処理は終了する。
次に、図6は、図2の情報処理装置12が、検索リクエストを送信する処理を説明するフローチャートである。
ユーザが操作部21を操作して、例えば、出演者の名前を検索キーワードとして入力すると、処理が開始され、ステップS51において、操作部21は、検索キーワードの入力を受け付け(取得し)、その検索キーワードを制御部29に供給し、処理はステップS52に進む。
ステップS52において、制御部29は、ステップS51で操作部21から供給された検索キーワードを演算処理部24に供給する。演算処理部24は、制御部29から供給された検索キーワードを入力値としてハッシュ関数を演算し、その結果得られたハッシュ値を、制御部29に供給する。
ステップS52の処理後、処理はステップS53に進み、制御部29は、メモリ30に記憶されているルーティングテーブルを参照して、ステップS52で演算処理部24から供給されたハッシュ値に最も近い装置IDを検索し、その装置IDの装置を、検索リクエストの送信先として特定する。そして、制御部29は、送信部25を制御して、検索キーワードとして入力された名前の出演者が出演している番組の番組情報を要求する検索リクエストを、送信先として特定した装置に送信させる。
ステップS53の処理後、処理はステップS54に進み、制御部29は、ステップS53で送信した検索リクエストによる番組情報の要求をキャンセルするか否かを判定する。
例えば、ユーザが、検索リクエストを送信するときに入力した検索キーワードを指定して、番組情報の要求をキャンセルするように操作部21を操作した場合、制御部29は、ステップS53で送信した検索リクエストによる番組情報の要求をキャンセルすると判定する。
ステップS54において、制御部29が、番組情報の要求をキャンセルしないと判定した場合、処理はステップS55に進む。
ステップS55において、制御部29は、ステップS53で送信した検索リクエストに対するレスポンスが送信されてきたか否かを判定する。
ステップS55において、制御部29が、検索リクエストに対するレスポンスが送信されてきたと判定した場合、例えば、受信部26が、検索リクエストに対するレスポンスを受信して制御部29に供給した場合、処理はステップS56に進む。一方、制御部29が、レスポンスが送信されてきていないと判定した場合、処理はステップS56およびS57をスキップして、ステップS58に進む。
ステップS56において、制御部29は、受信部26から供給されたレスポンスである番組情報に基づいて、チューナ22および映像ケーブル31を介して、検索を要求した番組が放送されているチャンネルを表示部32に表示し、所望の番組が放送されていることをユーザに通知する。そして、例えば、制御部29は、その番組を視聴するか、視聴しないか、または、その番組を図示しない録画装置に録画させるかなどを、ユーザに選択させるためのGUI(Graphical User Interface)などを表示部32に表示し、ユーザの選択に応じた処理を行う。
ステップS56の処理後、処理はステップS57に進み、制御部29は、受信部26が受信したレスポンスである番組情報を要求する検索リクエストが登録されている代理転送リストが、リスト記憶部28に記憶されていれば、送信部25を制御して、その代理転送リストに登録されている装置IDにより特定される装置に、受信部26が受信したレスポンスを転送させ、処理はステップS58に進む。
ステップS58において、制御部29は、現在の時刻が、ステップS53で送信した検索リクエストに含まれていたタイムアウト時刻を経過したか否かを判定する。
ステップS58において、制御部29が、現在の時刻はタイムアウト時刻を経過していないと判定した場合、処理はステップS54に戻り、以下、同様の処理が繰り返される。
一方、ステップS54において、制御部29が、ステップS53で送信した検索リクエストによる番組情報の要求をキャンセルすると判定した場合、処理はステップS59に進む。
ステップS59において、制御部29は、ステップS53で送信した検索リクエストに対するレスポンスを、そのレスポンスを送信する装置に代理して送信するための代理転送リストが、リスト記憶部28に記憶されているか否かを判定する。
ステップS59において、制御部29が、代理転送リストがリスト記憶部28に記憶されていると判定した場合、処理はステップS60に進み、一方、代理転送リストがリスト記憶部28に記憶されていないと判定した場合、処理はステップS60およびS61をスキップして、ステップS62に進む。
ステップS60において、制御部29は、リスト管理部27を制御して、リスト記憶部28に記憶されている代理転送リストを読み出させる。そして、制御部29は、送信部25を制御し、リスト管理部27から読み出した代理転送リストに登録されているタイムアウト時刻のうちの、タイムアウト時刻までの時間が最も長いタイムアウト時刻のエントリに登録されている装置IDの装置に、代理転送リストを送信させる。
ステップS60の処理後、処理はステップS61に進み、制御部29は、送信部25を制御して、情報処理装置12に代理転送リストを送信してきた装置に対し、ステップS60で代理転送リストを送信した装置の検索リクエスト(即ち、代理転送リストに登録されていた、その装置の装置IDなどを含む検索リクエスト)を転送する。これにより、情報処理装置12に代理転送リストを送信してきた装置では、レスポンスの送信先を、情報処理装置12から、情報処理装置12が代理転送リストを送信した装置(即ち、代理転送リストが転送された装置)に変更することができる。ステップS61の処理後、処理はステップS62に進む。
ここで、情報処理装置12に代理転送リストを送信してきた装置は、ステップS53で検索リクエストを送信した装置である。即ち、ステップS53で検索リクエストを送信した装置では、その検索リクエストの登録件数が所定の上限値以上となったため、その装置の検索要求リストに登録されていた情報処理装置12に代理転送リストを送信しており、従って、リスト記憶部28に記憶されている代理転送リストは、ステップS53で検索リクエストを送信した装置から送信されてきたものである。
ステップS62において、ステップS53で検索リクエストを送信した装置に、その検索リクエストによる番組情報の要求のキャンセルを指示するコマンドを送信し、処理は終了される。
また、ステップS58において、制御部29が、現在の時刻はタイムアウト時刻を経過したと判定した場合、処理は終了される。
以上のように、情報処理装置12A乃至12Eが接続された情報処理システムでは、番組情報を共有することで、ある番組の番組情報を集積することが割り当てられた装置に、その番組の番組情報を要求する検索リクエストが送信され、その装置は、検索リクエストにより要求された番組情報を、検索リクエストを送信してきた装置に送信することができる。これにより、検索リクエストを送信した装置は、ユーザに、所望の番組が放送されているチャンネルを通知することができ、ユーザは、所望の番組を効率的に視聴することができる。
また、例えば、1台の装置で、多数のチャンネルで放送されている番組を解析して、所望の番組が放送されているチャンネルをユーザに通知する場合においては、多数の番組から特徴量を抽出する処理を行わなければならず、装置にかかる負荷が大きくなる。また、多数のチューナを備えなければならず、コストが高くなる。これに対し、情報処理装置12A乃至12Eからなる情報処理システムを構成する場合においては、1台の装置にかかる負荷は少なく、また、1台の装置は、少なくとも1つのチューナを備えるだけでよい。
なお、情報処理装置12A乃至12Eが接続された情報処理システムでは、番組情報の送受信をするだけでなく、例えば、番組そのものを配信するようにしてもよい。例えば、特徴情報を送信する装置は、特徴情報とともに装置IDを送信し、その特徴情報に含まれる番組情報を要求した装置は、特徴情報とともに装置IDを取得することができる。これにより、番組情報を要求した装置は、特徴量を抽出した装置と通信することができ、その装置に番組の配信を要求することができる。
また、番組から抽出する特徴量としては、番組に出演している出演者の名前の他、例えば、番組の盛り上がりの度合いを示す指数などを用いることができる。例えば、ユーザが、スポーツの盛り上がっているシーンを要求した場合には、その装置は、スポーツの種類や、番組の盛り上がりの度合いを示す指数を含む検索リクエストを送信する。そして、そのスポーツが放送されている番組から、所定の指数以上の盛り上がりを抽出した装置があれば、その装置から送信された番組情報が、スポーツの盛り上がっているシーンを要求したユーザの装置に送信されてくる。
なお、番組から特徴量を抽出する処理は、ユーザが番組の視聴を開始したときだけでなく、例えば、タイマ録画が開始されたときなど、チューナ22が番組を受信したときに、開始することができる。
また、DHTアルゴリズムにおいて用いるテーブルとしては、Chord(円状スキップリスト)やCAN(N次元トーラス)、または、その他の種類を用いることができる。
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
図7は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータにおいて、CPU(Central Processing Unit)101,ROM(Read Only Memory)102,RAM(Random Access Memory)103は、バス104により相互に接続されている。
バス104には、さらに、入出力インタフェース105が接続されている。入出力インタフェース105には、キーボード、マウス、マイクロホンなどよりなる入力部106、ディスプレイ、スピーカなどよりなる出力部107、ハードディスクや不揮発性のメモリなどよりなる記憶部108、ネットワークインタフェースなどよりなる通信部109、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア111を駆動するドライブ110が接続されている。
以上のように構成されるコンピュータでは、CPU101が、例えば、記憶部108に記憶されているプログラムを、入出力インタフェース105及びバス104を介して、RAM103にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ(CPU101)が実行するプログラムは、例えば、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等)、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア111に記録して、あるいは、ローカルエリアネットワーク、インタネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
そして、プログラムは、リムーバブルメディア111をドライブ110に装着することにより、入出力インタフェース105を介して、記憶部108にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部109で受信し、記憶部108にインストールすることができる。その他、プログラムは、ROM102や記憶部108に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含むものである。また、プログラムは、1のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
本発明を適用した情報処理システムの一実施の形態の構成例を示す図である。 情報処理装置12の構成例を示すブロック図である。 情報処理装置12が、特徴情報を送信する処理を説明するフローチャートである。 情報処理装置12が、他の装置から送信されてきたデータを受信したときの処理を説明するフローチャートである。 代理転送処理を説明するフローチャートである。 情報処理装置12が、検索リクエストを送信する処理を説明するフローチャートである。 パーソナルコンピュータの構成の例を示すブロック図である。
符号の説明
11 ネットワーク, 12A乃至12E 情報処理装置, 21 操作部, 22 チューナ, 23 特徴量抽出部, 24 演算処理部, 25 送信部, 26 受信部, 27 リスト管理部, 28 リスト記憶部, 29 制御部, 30 メモリ, 31 映像ケーブル, 32 表示部

Claims (9)

  1. ネットワークを介して接続される他の装置と、番組を特定する番組情報を共有する情報処理装置において、
    前記番組から抽出された特徴量に基づいて、前記情報処理装置に集積させることが割り当てられた前記番組情報を受信する番組情報受信手段と、
    前記番組情報受信手段が受信した前記番組情報を記憶する番組情報記憶手段と、
    前記他の装置に入力された検索キーワードが前記特徴量として抽出された番組を特定する番組情報を要求し、前記検索キーワードに基づいて前記情報処理装置が送信先とされた検索要求を受信する検索要求受信手段と、
    前記検索要求受信手段が受信した前記検索要求により要求された番組情報が、前記番組情報記憶手段に記憶されているか否かを判定する判定手段と、
    前記判定手段により、前記検索要求により要求された番組情報が、前記番組情報記憶手段に記憶されていると判定された場合、前記検索要求により要求された番組情報を、前記検索要求を送信してきた前記他の装置に送信する送信手段と
    を備える情報処理装置。
  2. 前記番組情報には、前記番組が放送されるチャンネルを示す情報、前記番組が放送される日時を示す情報、または前記番組情報を送信した装置を特定する情報が含まれる
    請求項1に記載の情報処理装置。
  3. 前記検索要求受信手段が受信した検索要求が登録される検索要求リストを記憶する検索要求リスト記憶手段をさらに備え、
    前記判定手段は、前記番組情報受信手段が受信した前記番組情報が、前記検索要求リストに既に登録されている検索要求において要求されているか否かをさらに判定し、
    前記送信手段は、前記判定手段により、前記番組情報受信手段が受信した前記番組情報が、前記検索要求リストに既に登録されている検索要求において要求されていると判定された場合、前記検索要求において要求されている番組情報を、前記検索要求を送信してきた前記他の装置に送信する
    請求項1に記載の情報処理装置。
  4. 前記検索要求には、前記番組情報の要求が有効である期限を指定するタイムアウト時刻が含まれており、
    前記検索要求リスト記憶手段に記憶されている前記検索要求リストを参照し、前記タイムアウト時刻により指定された期限が経過した前記検索要求を、前記検索要求リストから削除する検索要求削除手段
    をさらに備える請求項3に記載の情報処理装置。
  5. 前記検索要求リスト記憶手段に記憶されている前記検索要求リストに登録された検索要求の件数が、所定の上限値以上になったとき、前記検索要求リストから検索要求の一部を抜き出した代理転送リストを作成する代理転送リスト作成手段と、
    前記検索要求リストに登録されている検索要求を送信してきた前記他の装置のうちの、いずれか1つの他の装置に、前記代理転送リストを送信する代理転送リスト送信手段と
    をさらに備える請求項3に記載の情報処理装置。
  6. ユーザにより入力された検索キーワードを取得するキーワード取得手段と、
    前記キーワード取得手段が取得した前記検索キーワードを入力値としてハッシュ関数を演算し、ハッシュ値を出力する演算手段と、
    前記演算手段が出力したハッシュ値に基づいて、前記検索キーワードが特徴量として抽出された番組を特定する番組情報を集積することが割り当てられた装置を特定する特定手段と
    をさらに備え、
    前記送信手段は、前記特定手段により特定された装置に、前記検索キーワードが特徴量として抽出された番組を特定する番組情報を要求する検索要求をさらに送信する
    請求項1に記載の情報処理装置。
  7. 前記番組、および前記番組を特定する番組情報を受信する番組受信手段と、
    前記番組受信手段が受信した番組から特徴量を抽出する特徴量抽出手段と、
    前記特徴量抽出手段が抽出した特徴量を入力値としてハッシュ関数を演算し、ハッシュ値を出力する演算手段と、
    前記演算手段が出力したハッシュ値に基づいて、前記特徴量抽出手段が特徴量を抽出した前記番組を特定する番組情報を集積することが割り当てられた装置を特定する特定手段と
    をさらに備え、
    前記送信手段は、前記特定手段により特定された装置に、前記特徴量抽出手段が特徴量を抽出した前記番組を特定する番組情報をさらに送信する
    請求項1に記載の情報処理装置。
  8. ネットワークを介して接続される他の装置と、番組を特定する番組情報を共有する情報処理装置の情報処理方法において、
    前記番組から抽出された特徴量に基づいて、前記情報処理装置に集積させることが割り当てられた前記番組情報を受信し、
    前記番組情報を記憶する番組情報記憶手段に、前記情報処理装置に集積させることが割り当てられた前記番組情報を記憶させ、
    前記他の装置に入力された検索キーワードが前記特徴量として抽出された番組を特定する番組情報を要求し、前記検索キーワードに基づいて前記情報処理装置が送信先とされた検索要求を受信し、
    前記検索要求により要求された番組情報が、前記番組情報記憶手段に記憶されているか否かを判定し、
    前記検索要求により要求された番組情報が、前記番組情報記憶手段に記憶されていると判定された場合、前記検索要求により要求された番組情報を、前記検索要求を送信してきた前記他の装置に送信する
    ステップを含む情報処理方法。
  9. ネットワークを介して接続される他の装置と、番組を特定する番組情報を共有する情報処理装置の情報処理をコンピュータに実行させるプログラムにおいて、
    前記番組から抽出された特徴量に基づいて、前記情報処理装置に集積させることが割り当てられた前記番組情報を受信し、
    前記番組情報を記憶する番組情報記憶手段に、前記情報処理装置に集積させることが割り当てられた前記番組情報を記憶させ、
    前記他の装置に入力された検索キーワードが前記特徴量として抽出された番組を特定する番組情報を要求し、前記検索キーワードに基づいて前記情報処理装置が送信先とされた検索要求を受信し、
    前記検索要求により要求された番組情報が、前記番組情報記憶手段に記憶されているか否かを判定し、
    前記検索要求により要求された番組情報が、前記番組情報記憶手段に記憶されていると判定された場合、前記検索要求により要求された番組情報を、前記検索要求を送信してきた前記他の装置に送信する
    ステップを含む情報処理をコンピュータに実行させるプログラム。
JP2007129364A 2007-05-15 2007-05-15 情報処理装置および情報処理方法、並びにプログラム Expired - Fee Related JP4389964B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007129364A JP4389964B2 (ja) 2007-05-15 2007-05-15 情報処理装置および情報処理方法、並びにプログラム
US12/119,755 US8789125B2 (en) 2007-05-15 2008-05-13 Information processing device, information processing method and program
CN2008100975928A CN101308506B (zh) 2007-05-15 2008-05-15 信息处理设备、信息处理方法和程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007129364A JP4389964B2 (ja) 2007-05-15 2007-05-15 情報処理装置および情報処理方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2008288694A true JP2008288694A (ja) 2008-11-27
JP4389964B2 JP4389964B2 (ja) 2009-12-24

Family

ID=40028842

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007129364A Expired - Fee Related JP4389964B2 (ja) 2007-05-15 2007-05-15 情報処理装置および情報処理方法、並びにプログラム

Country Status (3)

Country Link
US (1) US8789125B2 (ja)
JP (1) JP4389964B2 (ja)
CN (1) CN101308506B (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012523060A (ja) * 2010-07-20 2012-09-27 エンパイア テクノロジー ディベロップメント エルエルシー 複数の装置からのコンテンツの出力
JP5105109B2 (ja) * 2007-11-22 2012-12-19 エンドレス株式会社 検索装置及び検索システム
JP2013077866A (ja) * 2011-09-29 2013-04-25 Toshiba Corp 画像情報処理装置及び画像情報処理方法
JP2014503918A (ja) * 2011-01-17 2014-02-13 アルカテル−ルーセント ピアツーピアネットワーク内のトラフィック位置特定
JP2020079982A (ja) * 2018-11-12 2020-05-28 株式会社日本経済新聞社 動画のためのタグ付け装置、方法、およびプログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5310324B2 (ja) * 2009-07-07 2013-10-09 株式会社リコー 情報処理装置、情報処理方法、及びプログラム
WO2013013381A1 (en) * 2011-07-25 2013-01-31 Nokia Corporation Method and apparatus for requesting and receiving content
US9953274B2 (en) * 2013-08-30 2018-04-24 Live Nation Entertainment, Inc. Biased ticket offers for actors identified using dynamic assessments of actors' attributes
CN105120338A (zh) * 2015-08-26 2015-12-02 无锡天脉聚源传媒科技有限公司 一种处理电视节目图片的方法和装置
JP5991793B1 (ja) * 2016-02-29 2016-09-14 株式会社unerry プログラム、情報処理装置およびシステム
JP7059773B2 (ja) * 2018-04-23 2022-04-26 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理プログラム及び情報処理システム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0528195A (ja) 1991-07-19 1993-02-05 Fujitsu Ltd 情報入手方法
JPH11259493A (ja) 1998-03-09 1999-09-24 Toshiba Corp 情報共有方法および情報共有システムおよび記録媒体
US6289346B1 (en) * 1998-03-12 2001-09-11 At&T Corp. Apparatus and method for a bookmarking system
US6865746B1 (en) * 1998-12-03 2005-03-08 United Video Properties, Inc. Electronic program guide with related-program search feature
JP3738631B2 (ja) 1999-09-27 2006-01-25 三菱電機株式会社 画像検索システムおよび画像検索方法
JP2006018831A (ja) 1999-09-27 2006-01-19 Mitsubishi Electric Corp 画像検索システムおよび画像検索方法
US6349340B1 (en) * 2000-01-13 2002-02-19 Exigent International, Inc. Data multicast channelization
US8285701B2 (en) * 2001-08-03 2012-10-09 Comcast Ip Holdings I, Llc Video and digital multimedia aggregator remote content crawler
US20030093794A1 (en) * 2001-11-13 2003-05-15 Koninklijke Philips Electronics N.V. Method and system for personal information retrieval, update and presentation
US20070027957A1 (en) 2003-04-29 2007-02-01 Koninklijke Philips Electronics N.V. Identical recordings on p2p network mapped onto single query result
JP4370850B2 (ja) 2003-08-07 2009-11-25 ソニー株式会社 情報処理装置および方法、プログラム、並びに記録媒体
US7418454B2 (en) 2004-04-16 2008-08-26 Microsoft Corporation Data overlay, self-organized metadata overlay, and application level multicasting
US7765549B1 (en) * 2004-06-30 2010-07-27 Affiliated Computer Services, Inc. Distributing batches of items in a workflow
JP4586446B2 (ja) 2004-07-21 2010-11-24 ソニー株式会社 コンテンツ記録再生装置、コンテンツ記録再生方法及びそのプログラム
JP4696498B2 (ja) 2004-08-20 2011-06-08 ブラザー工業株式会社 情報配信システム、ノード装置、所在情報検索方法、及び所在情報検索処理プログラム等
JP4779481B2 (ja) * 2005-07-19 2011-09-28 ソニー株式会社 情報処理装置および方法、並びにプログラム
US7503007B2 (en) * 2006-05-16 2009-03-10 International Business Machines Corporation Context enhanced messaging and collaboration system

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5105109B2 (ja) * 2007-11-22 2012-12-19 エンドレス株式会社 検索装置及び検索システム
JP2012523060A (ja) * 2010-07-20 2012-09-27 エンパイア テクノロジー ディベロップメント エルエルシー 複数の装置からのコンテンツの出力
US8868688B2 (en) 2010-07-20 2014-10-21 Empire Technology Development Llc Outputting content from multiple devices
JP2014503918A (ja) * 2011-01-17 2014-02-13 アルカテル−ルーセント ピアツーピアネットワーク内のトラフィック位置特定
JP2013077866A (ja) * 2011-09-29 2013-04-25 Toshiba Corp 画像情報処理装置及び画像情報処理方法
US8750579B2 (en) 2011-09-29 2014-06-10 Kabushiki Kaisha Toshiba Image information processing apparatus and image information processing method
JP2020079982A (ja) * 2018-11-12 2020-05-28 株式会社日本経済新聞社 動画のためのタグ付け装置、方法、およびプログラム

Also Published As

Publication number Publication date
US20080288988A1 (en) 2008-11-20
CN101308506A (zh) 2008-11-19
JP4389964B2 (ja) 2009-12-24
CN101308506B (zh) 2011-10-05
US8789125B2 (en) 2014-07-22

Similar Documents

Publication Publication Date Title
JP4389964B2 (ja) 情報処理装置および情報処理方法、並びにプログラム
KR100959732B1 (ko) 정보 처리 시스템, 정보 처리 장치 및 방법, 및 기록 매체
RU2491618C2 (ru) Методы потребления контента и метаданных
US8788567B2 (en) Information processing apparatus, information processing system, information processing method, and program
JP2009017259A (ja) 電子機器、コンテンツ再生方法及びプログラム
US10440415B2 (en) Display apparatus, image processing apparatus and control method for selecting and displaying related image content of primary image content
US9516363B2 (en) System, video display apparatus, content server, and information terminal device
JP2010010884A (ja) 情報処理装置、情報処理方法、プログラム、及び、情報処理システム
KR100972069B1 (ko) 정보 처리 시스템, 정보 처리 장치 및 방법, 기록 매체,및 프로그램
EP1641265A2 (en) Method and apparatus for storing digital broadcasting data
JP2005516491A (ja) Tv−anytimecridの改良された通信
US7992185B2 (en) Receiver and receiving method and program
US10194212B2 (en) Systems and methods for providing flexible access to scenes contained within a video content item
JP5074664B2 (ja) 放送受信装置およびその制御方法
JPWO2004091200A1 (ja) データ処理装置
EP1954037B1 (en) Method and apparatus for storing electronic program guide (EPG), and method and apparatus for providing EPG
WO2008013385A1 (en) System and method for continuous display of grouped multiple independent contents
JP2007156893A (ja) 情報処理装置、メタデータ管理サーバ、情報処理システムおよびメタデータ管理方法
CN103313092A (zh) 一种视频播放方法、设备及***
JP7058497B2 (ja) 配信状況提供装置及びプログラム
JP2010283517A (ja) 情報処理装置および方法、並びにプログラム
JP2005033253A (ja) 蓄積情報検索システム、端末装置およびサーバ装置
JP7321986B2 (ja) 受信装置および制御方法
WO2024007861A1 (zh) 接收装置及元数据生成***
US7712118B1 (en) Broadcast program retrieval apparatus

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090324

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090414

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090610

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090915

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090928

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121016

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121016

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131016

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees