JP2013197925A - 端末装置、中継装置、情報処理方法、プログラム、およびコンテンツ識別システム - Google Patents

端末装置、中継装置、情報処理方法、プログラム、およびコンテンツ識別システム Download PDF

Info

Publication number
JP2013197925A
JP2013197925A JP2012063374A JP2012063374A JP2013197925A JP 2013197925 A JP2013197925 A JP 2013197925A JP 2012063374 A JP2012063374 A JP 2012063374A JP 2012063374 A JP2012063374 A JP 2012063374A JP 2013197925 A JP2013197925 A JP 2013197925A
Authority
JP
Japan
Prior art keywords
content
acr
identification
response
query
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012063374A
Other languages
English (en)
Other versions
JP5896222B2 (ja
Inventor
Yasuaki Yamagishi
靖明 山岸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2012063374A priority Critical patent/JP5896222B2/ja
Priority to CN201380013759.7A priority patent/CN104205817B/zh
Priority to PCT/JP2013/056946 priority patent/WO2013141101A1/ja
Priority to US14/379,590 priority patent/US20150012937A1/en
Priority to EP13764853.1A priority patent/EP2830310A4/en
Publication of JP2013197925A publication Critical patent/JP2013197925A/ja
Application granted granted Critical
Publication of JP5896222B2 publication Critical patent/JP5896222B2/ja
Priority to US15/463,758 priority patent/US10313739B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/148—File search processing
    • G06F16/152—File search processing using file content signatures, e.g. hash values
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/437—Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8352—Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • H04W88/04—Terminal devices adapted for relaying to or from another terminal or user
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】端末装置に実装するACRクライアントの数を増やすことなく、複数のACRサーバを利用する。
【解決手段】本開示の第１の側面である端末装置は、中継装置を検出する検出部と、コンテンツを再生する再生部と、再生された前記コンテンツを、検出された前記中継装置に送信する送信部と、前記中継装置が前記コンテンツから前記コンテンツの特徴を表すシグニチャデータを抽出し、抽出した前記シグニチャデータを少なくとも含むクエリを生成し、生成した前記クエリを識別サーバ装置に送信して前記コンテンツの識別を依頼し、前記クエリに応じて前記識別サーバ装置から前記中継装置に返信された、前記コンテンツの識別結果に対応するレスポンスを取得する取得部とを備える。本開示の第１の側面である端末装置は、ＴＶ受像機などのコンテンツ再生装置に適用できる。
【選択図】図４

Description

本開示は、端末装置、中継装置、情報処理方法、プログラム、およびコンテンツ識別システムに関し、例えば、ユーザが視聴している任意のコンテンツを識別し、その識別結果に応じてコンテンツの進行に連動してアプリケーションプログラムを実行できるようにした端末装置、中継装置、情報処理方法、プログラム、およびコンテンツ識別システムに関する。
例えば、放送中のＴＶ番組（以下、単に番組と称する）に関連する情報（出演者、あらすじ、次回の予告など）や、番組には直接関係しないが視聴者にとって有益な情報（ニュース、天気予報、交通情報など）などを視聴者に提示することを考える。
これを実現するためには、専用のアプリケーションプログラム（以下、アプリケーションと略記する）を取得、起動させるためのコマンドを番組の進行に連動してＴＶ受像機などに対して送信すればよい。実際、既に日本や欧州などにおいては、ＴＶ放送信号におけるデータ放送用の帯域を利用して当該コマンドやアプリケーションを送信することにより、これが実現されている（例えば、特許文献１参照）。
一方、映像や楽曲などの任意のコンテンツを視聴している場合において、そのコンテンツが何であるのかを認識するACR(Automatic Content Recognition)と称される技術が存在する。
そこで昨今、ACR技術を利用して、端末装置にて再生されている任意のコンテンツを認識し、認識されたコンテンツに対応するアプリケーションをコンテンツの進行に合わせて実行させることが検討されている。
特開２００６−５０２３７号公報
ところで、ACR技術では、視聴している任意のコンテンツから抽出したシグニチャデータ（特徴量）と、ACRサーバに予め登録済みのコンテンツのシグニチャデータとを比較することによりコンテンツの識別が行なわれる。
なお、今後はACRサーバを提供する業者が複数表れるともに、登録されるコンテンツの多様化による分類などにより、ACRサーバが複数出現することが予想される。これにより、例えば、ACRサーバＡは映画の認識が得意、ACRサーバＢはミュージックビデオの認識が得意、ACRサーバＣはアニメーションの認識が得意などと、各ACRサーバによって認識する得意分野が分かれることになり、端末装置側がACRサーバを選択して利用することが考えられる。
図１は、端末装置にて再生されている任意のコンテンツを、複数のACRサーバを利用して認識させるためのシステム構成の一例を示している。
このシステムは、端末装置１と、端末装置１がインターネット１２を介して接続する複数のACRサーバ３１Ａ，３１Ｂ，３１Ｃから構成される。
端末装置１は、ACRクライアント２Ａ，２Ｂ，２Ｃを実装する。ACRクライアント２Ａ，２Ｂ，２Ｃは、それぞれACRサーバ３１Ａ，３１Ｂ，３１Ｃから提供されるものである。
ACRクライアント２Ａは、ACRサーバ３１Ａの独自のサービスを利用するためのプロトコルが内蔵されており、端末装置１にて再生した任意のコンテンツからACRサーバ３１Ａに適した抽出方法によりシグニチャデータを抽出してACRサーバ３１Ａに送信する。ACRクライアント２Ｂおよび２Ｃについても、ACRクライアント２Ａと同様である。
端末装置１は、３つのACRクライアント２Ａ乃至２Ｃを実装することにより、３つのACRサーバ３１Ａ乃至３１Ｃを利用することができる。当然、ACRサーバ３１が３つ以上存在し、端末装置１がそれらも利用するには、それらから提供されるACRクライアントも端末装置１に実装することになる。
しかしながら、端末装置１に実装するACRクライアント２の数を、利用するACRサーバ３１を増加させるたびに増やしていては、その実装やメンテナンスにコストがかかってしまう。したがって、端末装置１に実装するACRクライアント２の数を増やすことなく、複数のACRサーバ３１を利用できるようにすることが望ましい。
本開示はこのような状況に鑑みてなされたものであり、端末装置に実装するACRクライアントの数を増やすことなく、複数のACRサーバを利用できるようにするものである。
本開示の第１の側面である端末装置は、中継装置を検出する検出部と、コンテンツを再生する再生部と、再生された前記コンテンツを、検出された前記中継装置に送信する送信部と、前記中継装置が前記コンテンツから前記コンテンツの特徴を表すシグニチャデータを抽出し、抽出した前記シグニチャデータを少なくとも含むクエリを生成し、生成した前記クエリを識別サーバ装置に送信して前記コンテンツの識別を依頼し、前記クエリに応じて前記識別サーバ装置から前記中継装置に返信された、前記コンテンツの識別結果に対応するレスポンスを取得する取得部とを備える。
本開示の第１の側面である端末装置は、取得された前記レスポンスに基づき、再生された前記コンテンツに対応するアプリケーションを取得して実行するアプリケーション実行部をさらに備えることができる。
本開示の第１の側面である端末装置は、前記中継装置に対して前記識別サーバ装置の利用を依頼するための汎用依頼を生成する生成部をさらに備えることができ、前記送信部は、検出された前記中継装置に前記汎用依頼も送信することができる。
前記生成部は、前記中継装置が利用可能な複数の前記識別サーバ装置の中から利用するものを指定するための情報を含む前記汎用依頼を生成することができる。
前記取得部は、前記識別サーバ装置から返信された前記レスポンスを前記中継装置が所定のデータ形式に変換して所定のサーバに格納したものを、前記中継装置から通知される前記所定のサーバを表す情報に基づいて取得することができる。
本開示の第１の側面である情報処理方法は、端末装置の情報処理方法において、前記端末装置による、中継装置を検出する検出ステップと、コンテンツを再生する再生ステップと、再生された前記コンテンツを、検出された前記中継装置に送信する送信ステップと、前記中継装置が前記コンテンツから前記コンテンツの特徴を表すシグニチャデータを抽出し、抽出した前記シグニチャデータを少なくとも含むクエリを生成し、生成した前記クエリを識別サーバ装置に送信して前記コンテンツの識別を依頼し、前記クエリに応じて前記識別サーバ装置から前記中継装置に返信された、前記コンテンツの識別結果に対応するレスポンスを取得する取得ステップとを含む。
本開示の第１の側面であるプログラムは、コンピュータを、中継装置を検出する検出部と、コンテンツを再生する再生部と、再生された前記コンテンツを、検出された前記中継装置に送信する送信部と、前記中継装置が前記コンテンツから前記コンテンツの特徴を表すシグニチャデータを抽出し、抽出した前記シグニチャデータを少なくとも含むクエリを生成し、生成した前記クエリを識別サーバ装置に送信して前記コンテンツの識別を依頼し、前記クエリに応じて前記識別サーバ装置から前記中継装置に返信された、前記コンテンツの識別結果に対応するレスポンスを取得する取得部として機能させる。
本開示の第１の側面においては、中継装置が検出され、コンテンツが再生され、再生された前記コンテンツが、検出された前記中継装置に送信される。そして、前記中継装置が前記コンテンツから前記コンテンツの特徴を表すシグニチャデータを抽出し、抽出した前記シグニチャデータを少なくとも含むクエリを生成し、生成した前記クエリを識別サーバ装置に送信して前記コンテンツの識別を依頼し、前記クエリに応じて前記識別サーバ装置から前記中継装置に返信された、前記コンテンツの識別結果に対応するレスポンスが取得される。
本開示の第２の側面である中継装置は、使用可能な識別サーバ装置にそれぞれ対応する１以上の識別クライアントを実装した端末装置において、前記識別クライアントは、端末装置で再生されているコンテンツから前記コンテンツの特徴を表すシグニチャデータを抽出する抽出部と、前記識別サーバ装置に対して前記コンテンツの識別を依頼するための、抽出された前記シグニチャデータを少なくとも含むクエリを生成する生成部と、生成された前記クエリを対応する前記識別サーバ装置に送信し、前記クエリに応じて前記識別サーバ装置から返信された、前記コンテンツの識別結果に対応するレスポンスを受信する通信部と、前記識別サーバ装置から返信された前記レスポンスを前記端末装置に中継する中継部とを備える。
前記識別クライアントは、使用可能な複数の識別サーバ装置にそれぞれ対応する数だけ実装することができる。
本開示の第２の側面である中継装置は、使用可能な複数の識別サーバ装置を表す情報を前記端末装置に通知する通知部をさらに備えることができる。
前記中継部は、前記レスポンスを前記端末装置に適したデータ形式に変換して所定のサーバに格納し、前記所定のサーバを表す情報を前記端末装置に通知することができる。
本開示の第２の側面である情報処理方法は、使用可能な識別サーバ装置にそれぞれ対応する１以上の識別クライアントを実装した中継装置の情報処理方法において、前記識別クライアントによる、端末装置で再生されているコンテンツから前記コンテンツの特徴を表すシグニチャデータを抽出する抽出ステップと、前記識別サーバ装置に対して前記コンテンツの識別を依頼するための、抽出された前記シグニチャデータを少なくとも含むクエリを生成する生成ステップと、生成された前記クエリを対応する前記識別サーバ装置に送信し、前記クエリに応じて前記識別サーバ装置から返信された、前記コンテンツの識別結果に対応するレスポンスを受信する通信ステップと、前記識別サーバ装置から返信された前記レスポンスを前記端末装置に中継する中継ステップとを含む。
本開示の第２の側面であるプログラムは、コンピュータを、端末装置で再生されているコンテンツから前記コンテンツの特徴を表すシグニチャデータを抽出する抽出部と、識別サーバ装置に対して前記コンテンツの識別を依頼するための、抽出された前記シグニチャデータを少なくとも含むクエリを生成する生成部と、生成された前記クエリを対応する前記識別サーバ装置に送信し、前記クエリに応じて前記識別サーバ装置から返信された、前記コンテンツの識別結果に対応するレスポンスを受信する通信部と、前記識別サーバ装置から返信された前記レスポンスを前記端末装置に中継する中継部として機能させる。
本開示の第２の側面においては、認識クライアントにより、端末装置で再生されているコンテンツから前記コンテンツの特徴を表すシグニチャデータが抽出され、識別サーバ装置に対して前記コンテンツの識別を依頼するための、抽出された前記シグニチャデータを少なくとも含むクエリが生成されて前記識別サーバ装置に送信され、前記クエリに応じて前記識別サーバ装置から返信された、前記コンテンツの識別結果に対応するレスポンスが前記端末装置に中継される。
本開示の第３の側面であるコンテンツ識別システムは、端末装置と、中継装置と、識別サーバ装置からなるコンテンツ識別システムにおいて、前記端末装置が、前記中継装置を検出する検出部と、コンテンツを再生する再生部と、再生された前記コンテンツを、検出された前記中継装置に送信する送信部と、前記中継装置が前記コンテンツから前記コンテンツの特徴を表すシグニチャデータを抽出し、抽出した前記シグニチャデータを少なくとも含むクエリを生成し、生成した前記クエリを識別サーバ装置に送信して前記コンテンツの識別を依頼し、前記クエリに応じて前記識別サーバ装置から前記中継装置に返信された、前記コンテンツの識別結果に対応するレスポンスを取得する取得部とを備える。また、前記中継装置には、使用可能な識別サーバ装置にそれぞれ対応する１以上の識別クライアントが実装され、前記識別クライアントが、端末装置で再生されている前記コンテンツから前記コンテンツの特徴を表すシグニチャデータを抽出する抽出部と、識別サーバ装置に対して前記コンテンツの識別を依頼するための、抽出された前記シグニチャデータを少なくとも含むクエリを生成する生成部と、生成された前記クエリを対応する前記識別サーバ装置に送信し、前記クエリに応じて前記識別サーバ装置から返信された、前記コンテンツの識別結果に対応する前記レスポンスを受信する通信部と、前記識別サーバ装置から返信された前記レスポンスを前記端末装置に中継する中継部とを備える。さらに、前記サーバ装置が、コンテンツから抽出された前記コンテンツの特徴を表すシグニチャデータと、抽出元の前記コンテンツを表すコンテンツ識別子との対応関係を示すデータベースと、前記データベースを参照することにより、前記端末装置から送信された前記クエリに含まれるシグニチャデータの抽出元のコンテンツを識別し、識別結果に対応する前記レスポンスを生成するレスポンス生成部と、生成された前記レスポンスを前記中継装置に送信する送信部とを備える。
本開示の第３の側面においては、端末装置により、中継装置が検出され、コンテンツが再生され、再生された前記コンテンツが、検出された前記中継装置に送信される。そして、中継装置の認識クライアントにより、端末装置で再生されているコンテンツから前記コンテンツの特徴を表すシグニチャデータが抽出され、識別サーバ装置に対して前記コンテンツの識別を依頼するための、抽出された前記シグニチャデータを少なくとも含むクエリが生成されて前記識別サーバ装置に送信され、前記クエリに応じて前記識別サーバ装置から返信された、前記コンテンツの識別結果に対応するレスポンスが前記端末装置に中継される。
本開示の第１の側面によれば、中継装置を介することにより複数の識別サーバ装置を利用することができる。
本開示の第２側面によれば、端末装置に代わって複数の識別サーバ装置を利用することができる。
本開示の第３側面によれば、端末装置が中継装置を介することにより複数の識別サーバ装置を利用することができる。
複数のACRサーバを利用するために考えられるシステム構成の一例を示すブロック図である。 コンテンツ識別システムの構成例を示すブロック図である。 コンテンツ識別システムの主要部分を抽出したブロック図である。 汎用ACRクライアントの詳細な構成例を示すブロック図である。 ACRクライアントの詳細な構成例を示すブロック図である。 ACRサーバの構成例を示すブロック図である。 ACRケーパビリティのデータ構造を示す図である。 ACRクエリのデータ構造を示す図である。 ACRリファレンスデータのデータ構造を示す図である。 ACRレスポンスのデータ構造を示す図である。 コンテンツ識別システムの動作を説明するフローチャートである。 コンピュータの構成例を示すブロック図である。
以下、本開示を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。
［コンテンツ識別システムの構成例］
図２は、本開示のコンテンツ識別システムの実施の形態であるコンテンツ識別システム１０の構成例を示している。
このコンテンツ識別システム１０は、端末装置２０により再生されている任意のコンテンツが何であるのかを認識し、認識されたコンテンツに対応するアプリケーションをコンテンツの進行に連動して端末装置２０にて実行させるものである。
コンテンツの進行に連動して該アプリケーションが実行されることにより、ユーザが視聴中のコンテンツに関連する情報（出演者、あらすじ、次回の予告など）や、コンテンツには直接関係しないがユーザにとって有益な情報（ニュース、天気予報、交通情報など）などをコンテンツとともに画面上に表示させたり、視聴者が参加できるクイズ、投票などを実現したりすることができる。
なお、本実施の形態においてコンテンツとは、ＴＶ放送網、CATV網、IPTV網などを介して放送されているＴＶ番組に限らず、例えば、レコーダにより録画されて再生されたもの、プレーヤによりパッケージメディアから再生されたもの、インターネットを介して配信またはダウンロードされたものなどのあらゆるＡＶコンテンツを指すものとする。
コンテンツ識別システム１０は、端末装置２０、供給装置３０、およびACRゲートウェイ４０から構成される。
[端末装置２０の説明]
本開示の端末装置の実施の形態である端末装置２０は、ＴＶ受像機、パーソナルコンピュータ、タブレット型コンピュータ、スマートフォンなどのコンテンツ再生装置に内蔵されているものとする。
端末装置２０は、ＴＶ放送網、CATV網、IPTV網などを含むブロードキャストネットワーク１１や外部装置などから供給されるコンテンツを取得し、再生できる。また、端末装置２０は、インターネット１２を介して供給装置３０のアプリケーションサーバ３３にアクセスできる。さらに、端末装置２０は、ACRゲートウェイ４０に接続できる。
端末装置２０は、コンテンツレンダラ２１、汎用ACRクライアント２２、アプリケーションマネージャ２３、およびユーザインターフェース２４を有する。
コンテンツレンダラ２１は、コンテンツを取得、再生する機能を有する。また、コンテンツレンダラ２１は、端末装置２０が内蔵されているＴＶ受像機などのコンテンツ再生装置のディスプレイに表示される全てのコンテンツを分岐して汎用ACRクライアント２２に供給する。すなわち、端末装置２０が内蔵されているコンテンツ再生装置のチューナにて受信されるコンテンツ（番組）のみならず、コンテンツ再生装置の各種入力端子(HDMI端子など)に対して外部装置から入力されるコンテンツを分岐して汎用ACRクライアント２２に供給する。
汎用ACRクライアント２２は、端末装置２０がアクセス可能なACRゲートウェイ４０を検出して接続し、ACRゲートウェイ４０に対してコンテンツレンダラ２１より入力されるコンテンツを送信するとともに、ACRサーバ３１を利用してコンテンツの識別を行なうように指示するための汎用依頼を通知する。
また、汎用ACRクライアント２２は、ACRゲートウェイ４０から通知されるURL(Uniform Resource Locator)にアクセスすることにより、指示したコンテンツの識別結果を取得し、取得した識別結果を解析する。さらに、汎用ACRクライアント２２は、その解析結果に基づき、アプリケーションマネージャ２３に対して、再生中のコンテンツに対応するアプリケーションを取得させて、コンテンツの進行に連動して実行させる。
アプリケーションマネージャ２３は、汎用ACRクライアント２２からの制御に従い、再生中のコンテンツに対応するアプリケーションを、インターネット１２を介してアプリケーションサーバ３３から取得して実行する。また、アプリケーションマネージャ２３は、実行中のアプリケーションが利用する関連メタデータをアプリケーションサーバ３３から取得する。
ユーザインターフェース２４は、コンテンツの進行に連動して実行されたアプリケーションにより表示される各種の情報をＴＶ受像機などのディスプレイに表示させる。また、ユーザインターフェース２４は、実行中のアプリケーションに対するユーザの操作を受け付ける。
[供給装置３０の説明]
供給装置３０は、複数のACRサーバ３１、コンテンツサーバ３２、およびアプリケーションサーバ３３から構成される。本実施の形態では、複数のACRサーバ３１をACRサーバ３１Ａ，３１Ｂ，，３１Ｃとする。
ACRサーバ３１Ａは、端末装置２０側で視聴され得る様々なコンテンツを取得して登録する。具体的には、コンテンツの特徴量を表すシグニチャデータを抽出し、抽出したシグニチャデータに、コンテンツ識別子、アプリケーション識別子などを対応付けたACRリファレンスデータを予め生成してデータベース化する。
なお、シグニチャデータの抽出方法は既存の任意の方法を適用することができる。例えば、コンテンツに予め埋め込まれているウォータマークを抽出してシグニチャデータとしたり、フィンガプリントを算出し、それをシグニチャデータとしてもよい。
シグニチャデータとしてフィンガプリントを用いることにより、コンテンツの解像度、アスペクト比、ビットレート、符号化フォーマットなどが変換されたとしても、変換前と変換後とで同一のシグニチャデータを得ることができる。したがって、このシグニチャデータに基づいてコンテンツの認識を行った場合の認識精度を上げることができる。
また、ACRサーバ３１Ａは、ACRゲートウェイ４０のACRクライアント４１Ａ（図３）から送信されるACRクエリに応じて、コンテンツの識別を行ない、その識別結果としてのACRレスポンスを生成し、インターネット１２を介してACRクライアント４１Ａに返信する。
ACRサーバ３１Ｂおよび３１ＣについてもACRサーバ３１Ａと同様である。ただし、ACRサーバ３１Ａ乃至３１Ｃは、それぞれにおけるシグニチャデータの抽出方法を統一する必要はなく、それぞれの抽出方法は異なっていてかまわない。また、ACRサーバ３１Ａ乃至３１Ｃのそれぞれに異なるコンテンツを登録するようにしてもよいし、同じコンテンツがACRサーバ３１Ａ乃至３１Ｃに重複して登録されていてもよい。以下、ACRサーバ３１Ａ乃至３１Ｃを個々に区別する必要がない場合、単にACRサーバ３１と称する。
コンテンツサーバ３２は、ブロードキャストネットワーク１１を介してコンテンツを配信するとともに、配信するコンテンツをACRサーバ３１に供給する。
アプリケーションサーバ３３は、端末装置２０のアプリケーションマネージャ２３からの要求に応じ、インターネット１２を介してアプリケーションを供給する。
なお、供給装置３０を構成するACRサーバ３１、コンテンツサーバ３２、およびアプリケーションサーバ３３は、一箇所に集中して配置してもよいし、分散して配置してもよい。また、ACRサーバ３１、コンテンツサーバ３２、およびアプリケーションサーバ３３は、適宜組み合わせて構成するようにしてもよい。
[ACRゲートウェイ４０の説明]
図３は、コンテンツ識別システム１０の構成のうち、ACRに関わる部分の構成例を示している。
本開示の中継装置の実施の形態であるACRゲートウェイ４０は、ACRクライアント４１Ａ，４１Ｂ，４１Ｃ、および制御部４２を有する。
ACRクライアント４１Ａ乃至４１Ｃは、それぞれACRサーバ３１Ａ乃至３１Ｃから提供されてACRゲートウェイ４０に実装される。この場合、ACRゲートウェイ４０は、３つのACRサーバ３１Ａ乃至３１Ｃを利用することができることになる。
ACRクライアント４１Ａは、ACRサーバ３１Ａ独自のサービスを利用するためのプロトコルが内蔵されており、汎用ACRクライアント２２から送信されるコンテンツから、ACRサーバ３１Ａに適した抽出方法によりシグニチャデータを抽出し、インターネット１２を介してACRサーバ３１Ａに送信する。
ACRクライアント４１Ｂおよび４１Ｃについては、ACRクライアント４１Ａと同様であるので、その説明は省略する。以下、ACRクライアント４１Ａ乃至４１Ｃを個々に区別する必要がない場合、単にACRクライアント４１と称する。
制御部４２は、ACRゲートウェイ４０の機能を表すACRケーパビリティを汎用ACRクライアント２２に通知する。
なお、汎用ACRクライアント２２からACRゲートウェイ４０にコンテンツが送信されるに際しては、圧縮符号化や暗号化が解かれたRAWデータの状態とする。したがって、コンテンツのRAWデータが不正に流出してしまいことがないように、ACRゲートウェイ４０は、端末装置２０からのコンテンツをセキュアに送信可能な、端末装置２０が内蔵されたＴＶ受像機などが属するホームネットワークなどのLAN(Local Area Network)上のホームサーバなどに内蔵されているものとする。ただし、端末装置２０からのコンテンツのRAWデータをセキュアに送信可能な通信路を確保すれば、ACRゲートウェイ４０をインターネット１２上に設けてもよい。
また、端末装置２０とACRゲートウェイ４０との通信路のセキュリティの状態に応じ、コンテンツを圧縮符号化されたまま、あるいは暗号化されたままの状態でACRゲートウェイ４０に送信するようにしてもよい。
[汎用ACRクライアント２２の説明]
次に、図４は、端末装置２０の汎用ACRクライアント２２の詳細な構成例を示している。
汎用ACRクライアント２２は、通信部５１、ACRゲートウェイ検出部５２、汎用依頼生成部５３、および解析部５４を有する。
通信部５１は、汎用ACRクライアント２２とACRゲートウェイ４０との間で各種データの通信を実行する。具体的には、汎用ACRクライアント２２から汎用依頼とコンテンツのRAWデータをACRゲートウェイ４０に送信する。また、ACRゲートウェイ４０からのACRケーパビリティを受信する。さらに、ACRゲートウェイ４０がACRサーバ３１から取得したコンテンツの識別結果を参照できるURLを受信する。さらに通信部５１は、解析部５４の制御に従い、コンテンツの識別結果を保持する所定のサーバにアクセスする。
ACRゲートウェイ検出部５２は、通信部５１を介してACRゲートウェイ４０を検出し、その機能を示すACRケーパビリティを取得する。ACRゲートウェイ検出部５２による、ACRゲートウェイ４０の検出とACRケーパビリティの取得には、例えばUPnP(Universal Plug and Play)のSSDP(Simple Service Discovery Protocol)を用いることができる。
このACRケーパビリティには、ACRゲートウェイ４０が利用可能なACRサーバ３１を表すACRサーバ識別子や、汎用ACRクライアント２２からACRゲートウェイ４０に送信するコンテンツのデータ形式を表す汎用プロトコルが記述されている。なお、汎用プロトコルは通常１種類とするが、これを複数種類としてもよい。しかしながら、その数は少ないことが望ましい。ACRケーパビリティの詳細については、図７を参照して後述する。
汎用依頼生成部５３は、ACRゲートウェイ４０が利用可能なACDサーバ３１のうちのどれを利用するかを指定する情報を含む汎用依頼を生成して通信部５１に出力する。また、汎用依頼生成部５３は、コンテンツレンダラ２１から入力されるコンテンツのRAWデータをACRケーパビリティに対応させた状態で通信部５１に送信する。
解析部５４は、通信部５１を介してACRゲートウェイ４０から通知されたURLにアクセスし、そこに格納されているHTMLドキュメントに変換済みの関連メタデータを取得して解析する。そして、その解析結果に基づき、アプリケーションマネージャ２３に対して、再生中のコンテンツに対応するアプリケーションを取得させて、コンテンツの進行に連動して実行させる。
[ACRクライアント４１の詳細な構成例]
次に、図５は、ACRゲートウェイ４０に実装された各ACRクライアント４１の詳細な構成例を示している。
ACRクライアント４１は、通信部６１、シグニチャ抽出部６２、ACRクエリ生成部６３、およびACRレスポンス変換部６４から構成される。
通信部６１は、汎用ACRクライアント２２から送信されたコンテンツ（のRAWデータ）を受信してシグニチャ抽出部６２に出力する。また、通信部６１は、ACRクエリ生成部６３にて生成されたACRクエリを、インターネット１２を介して対応するACRサーバ３１に送信し、それに応じた当該ACRサーバ３１からのACRレスポンスをACRレスポンス変換部６４に出力する。
シグニチャ抽出部６２は、汎用ACRクライアント２２から送信されるコンテンツから、対応するACRサーバ３１と同じ抽出方法によりその特徴を表すシグニチャデータを抽出して、ACRクエリ生成部６３に出力する。
ACRクエリ生成部６３は、シグニチャ抽出部６２からシグニチャデータが入力される毎、そのシグニチャデータを含むACRクエリを生成する。ACRクエリのデータ構造については図８を参照して後述する。
ACRレスポンス変換部６４は、ACRサーバ３１ＡからのACRレスポンスを解析し、そこに含まれる関連メタデータなどをHTMLドキュメント（JavaScript（登録商標）などのクライアントサイドスクリプト）に変換して所定のサーバに格納する。さらに、ACRレスポンス変換部６４は、HTMLドキュメントを格納した所定のサーバを表すURLを通信部６１から汎用ACRクライアント２２に通知させる。なお、当該所定のサーバは、ACRゲートウェイ４０と同様、端末装置２０が属するLAN上のものを用いてもよいし、インターネット１２上のものを用いてもよい。
[ACRサーバ３１の構成例]
図６は、供給装置３０を構成するACRサーバ３１の詳細な構成例を示している。なお、ACRサーバ３１Ａは、インターネット１２を介してACRクライアント４１Ａと通信するものとする。ACRサーバ３１Ｂ，３１Ｃについても同様である。
ACRサーバ３１は、コンテンツ取得部７１、シグニチャ抽出部７２、ACRデータベース７３、通信部７４、およびACRレスポンス生成部７５から構成される。
コンテンツ取得部７１は、端末装置２０側で視聴され得る様々なコンテンツとそのメタデータをコンテンツサーバ３２などから取得し、取得したコンテンツをシグニチャ抽出部７２に供給する。
シグニチャ抽出部７２は、所定の抽出方法により、コンテンツ取得部７１からのコンテンツからその特徴を表すシグニチャデータを所定のサンプリング周期で抽出し、ACRデータベース７３に出力する。
ACRデータベース７３は、シグニチャ抽出部７２から入力される各シグニチャデータに対し、その抽出元のコンテンツを表すコンテンツ識別子、シグニチャデータの抽出タイミングを示すコンテンツ再生時刻、および、当該コンテンツに関連する関連メタデータ（連動して実行されるアプリケーションを表すアプリケーション識別子を含む）を対応付けることによりACRリファレンスデータを生成して保持する。なお、予め生成されているACRリファレンスデータを外部からACRデータベース７３に供給して保持させるようにしてもよい。ACRリファレンスデータのデータ構造については図９を参照して後述する。
通信部７４は、インターネット１２を介し、ACRゲートウェイ４０に実装されているACRクライアント４１のうちの対応するものから送信されるACRクエリを受信してACRレスポンス生成部７５に出力する。また、通信部７４は、ACRレスポンス生成部７５で生成されたACRレスポンスを、インターネット１２を介してACRゲートウェイ４０に実装されているACRクライアント４１のうちの対応するものに送信する。
ACRレスポンス生成部７５は、ACRデータベース７３のACRリファレンスデータを参照し、ACRゲートウェイ４０に実装されているACRクライアント４１のうちの対応するものから送信されるACRクエリに含まれるシグニチャデータの抽出元であったコンテンツを識別する。さらに、ACRレスポンス生成部７５は、識別結果を含むACRレスポンスを生成して通知部７４に出力する。ACRレスポンスのデータ構造については図１０を参照して後述する。
[ACRケーパビリティのデータ構造]
次に、図７は、ACRゲートウェイ４０から汎用ACRクライアント２２に通知されるACRケーパビリティのデータ構造を示している。
ACRケーパビリティ９０には、ACRゲートウェイ４０が利用可能なACRサーバ３１を表す対応可能サーバ識別子９１が記述される。いまの場合、ACRゲートウェイ４０は、ACRクライアント４１Ａ乃至４１Ｃを実装し、ACRサーバ３１Ａ乃至３１Ｃを利用可能なので、ACRケーパビリティ９０には、３つのACRサーバ３１Ａ乃至３１Ｃを表す対応可能サーバ識別子９１Ａ，９１Ｂ，９１Ｃが記述される。
さらに、ACRケーパビリティ９０には、汎用ACRクライアント２２からACRゲートウェイ４０に送信するコンテンツのデータ形式を表す汎用プロトコル９２が記述される。汎用プロトコル９２には、例えばデータブロック（フレーム）のサイズ、取得周期（フレームレート）、フレーム内の領域指定情報、データブロックと共に送信すべき付随情報（ローカルタイムスタンプ、ブロックサイズ、ブロック抽出周期など）が含まれる。
[ACRクエリのデータ構造]
図８は、ACRクライアント４１のACRクエリ生成部６３にて生成されるACRクエリのデータ構造を示している。
ACRクエリ１００には、ACRクエリ識別子１０１、抽出方法識別子１０２、サービス識別子１０３、シグニチャデータ１０４、抽出ローカルタイムスタンプ１０５、発信元アドレス１０６、および署名１０７が含まれる。
ACRクエリ識別子１０１は、当該ACRクエリ１００を特定するための情報である。抽出方法識別子１０２は、シグニチャデータ１０４を抽出する際に用いられた抽出方法を特定するための情報である。サービス識別子１０３は、シグニチャデータ１０４に基づいてコンテンツを識別するACRサーバ３１が複数存在したり、１つのACRサーバ３１が複数のACRサービスを提供したりしている場合において、当該ACRクエリ１００を処理させるACRサーバ３１やACRサービスを選択するための情報である。
シグニチャデータ１０４は、シグニチャ抽出部６２にてコンテンツから抽出されたものである。抽出ローカルタイムスタンプ１０５は、シグニチャ抽出部６２によってコンテンツからシグニチャデータ１０４が抽出されたタイミングを表すものである。
発信元アドレス１０６は、当該ACRクエリ１００を発信するACRゲートウェイ４０のインターネット１２上におけるアドレスであり、当該ACRクエリ１００に応じてACRサーバ３１が生成するACRレスポンスの返信先として利用される。署名１０７は、当該ACRクエリ１００がインターネット１２などの通信経路において改ざんされてしまうことを防止するためのものである。なお、ACRクエリ１００の全体を暗号化して送信することにより、その改ざんを防止するようにしてもよい。
[ACRリファレンスデータのデータ構造]
図９は、ACRサーバ３１のACRデータベース７３に保持されるACRリファレンスデータのデータ構造を示している。
ACRリファレンスデータ１１０は、シグニチャデータ１１１に、コンテンツ識別子１１２、再生時刻１１３、および関連メタデータ１１４が対応付けて構成される。
シグニチャデータ１１１は、シグニチャ抽出部７２にてコンテンツから抽出されたものである。コンテンツ識別子１１２は、当該シグニチャデータ１１１の抽出元のコンテンツを表すものである。再生時刻１１３は、コンテンツ識別子１１２が表すコンテンツから当該シグニチャデータ１１１が抽出されたときのコンテンツの進行タイミングを示すものであり、例えばコンテンツ識別子１１２が表すコンテンツの先頭からの経過時間によって表される。
関連メタデータ１１４は、コンテンツ識別子１１２が表すコンテンツに関連するメタデータであり、当該コンテンツの再生時刻１１３が示す進行タイミングに連動して実行すべきアプリケーションを表すアプリケーション識別子（当該アプリケーションの取得先を表す情報を含む）を含むものである。
[ACRレスポンスのデータ構造]
図１０は、ACRサーバ３１のACRレスポンス生成部７５にて生成されるACRレスポンスのデータ構造を示している。
なお、同図Ａは、ACRゲートウェイ４０のACRクライアント４１から送信されたACRクエリ１００のシグニチャデータ１０４と、ACRデータベース７３に登録済みのACRリファレンスデータ１１０のシグニチャデータ１１１とが同定できた場合、すなわち、端末装置２０にて視聴中のコンテンツを識別できた場合に生成されるACRレスポンスのデータ構造である。同図Ｂはコンテンツが識別できなかった場合に生成されるACRレスポンスのデータ構造である。
同図Ａに示されるように、コンテンツが識別できた場合に生成されるACRレスポンス１２０には、ACRクエリ識別子１２１、抽出方法識別子１２２、サービス識別子１２３、コンテンツ識別子１２４、再生時刻１２５、ローカルタイムスタンプ１２６、関連メタデータ１２７、発信元アドレス１２８、および署名１２９が含まれる。
同図Ｂに示されるように、コンテンツが識別できなかった場合に生成されるACRレスポンス１２０には、ACRクエリ識別子１２１、サービス識別子１２３、発信元アドレス１２８、署名１２９、および同定失敗フラグ１３０が含まれる。
ACRクエリ識別子１２１、抽出方法識別子１２２、サービス識別子１２３、およびローカルタイムスタンプ１２６は、当該ACRレスポンス１２０が生成されるトリガとなったACRクエリ１００のACRクエリ識別子１０１、抽出方法識別子１０２、サービス識別子１０３、および抽出ローカルタイムスタンプ１０５が流用される。
コンテンツ識別子１２４、再生時刻１２５、および関連メタデータ１２７は、同定されたシグニチャデータ１１１を含むACRリファレンスデータ１１０のコンテンツ識別子１１２、再生時刻１１３、および関連メタデータ１１４が流用される。
発信元アドレス１２８は、当該ACRレスポンス１２０を送信するACRサーバ３１Ａ乃至３１Ｃのインターネット１２上のアドレスである。署名１２９は、当該ACRレスポンス１２０が通信経路において改ざんされてしまうことを防止するためのものである。なお、ACRレスポンス１２０の全体を暗号化して送信することにより、その改ざんを防止するようにしてもよい。
同定失敗フラグ１３０は、ACRサーバ３１にて、ACRクエリ１００に含まれるシグニチャデータ１０４と、ACRデータベース７３に登録済みのACRリファレンスデータ１１０のシグニチャデータ１１１とが同定できなかったこと、すなわち、端末装置２０で視聴中のコンテンツを識別できなかったことを表すものである。
［コンテンツ識別システム１０による動作］
次に、コンテンツ識別システム１０の動作について説明する。図１１は、コンテンツ識別システム１０の動作を説明するフローチャートである。
なお、前提として、供給装置３０を構成する各ACRサーバ３１には既に、端末装置２０にて視聴され得るコンテンツが登録されている、すなわち、ACRサーバ３１のACRデータベース７３には、既に生成済みのACRリファレンスデータ１１０が保持されているものとする。
ステップＳ１において、端末装置２０の汎用ACRクライアント２２を構成するACRゲートウェイ検出部５２は、通信部５１を介してACRゲートウェイ４０を検出する。ステップＳ１１において、検出されたACRゲートウェイ４０の制御部４２は、ACRゲートウェイ４０の機能を示すACRケーパビリティ９０を汎用ACRクライアント２２に通知する。
端末装置２０が内蔵されているＴＶ受像機によりコンテンツが再生される、すなわち、ユーザがＴＶ受像機によりコンテンツを視聴すると、ステップＳ２において、端末装置２０のコンテンツレンダラ２１は、視聴中のコンテンツを分岐して汎用ACRクライアント２２に出力する。汎用ACRクライアント２２においては、汎用依頼生成部５３が汎用依頼を生成する。また、汎用依頼生成部５３が、ACRケーパビリティ９０の汎用プロトコル９２に従い、視聴中のコンテンツからRAWデータを抽出する。そして、通信部５１が視聴中のコンテンツのRAWデータと汎用依頼をACRゲートウェイ４０に送信する。
この汎用依頼に応じ、ステップＳ１２において、ACRゲートウェイ４０は、ACRクエリを生成してACRサーバ３１に送信する。具体的には、シグニチャ抽出部６２が、汎用ACRクライアント２２から通知されたコンテンツのRAWデータから、利用するACRサーバ３１に応じた抽出方式でシグニチャデータ１０４を抽出してACRクエリ生成部６３に出力する。そして、ACRクエリ生成部６３が、抽出されたシグニチャデータ１０４を含むACRクエリ１００を生成し、通信部４３が生成されたACRクエリ１００を、インターネット１２を介して利用するACRサーバ３１に送信する。
一方、供給装置３０のACRサーバ３１は、ステップＳ２１において、ACRゲートウェイ４０のACRクライアント４１から送信されたACRクエリ１００が通信部７４によって受信されるまで待機している。通信部７４によってACRクエリ１００が受信されると、処理はステップＳ２２に進められる。
ステップＳ２２において、ACRレスポンス生成部７５は、ACRデータベース７３に登録されているACRリファレンスデータ１１０のシグニチャデータ１１１と、受信されたACRクエリ１００に含まれるシグニチャデータ１０４とを比較することにより、シグニチャデータ１０４の抽出元であるコンテンツを識別する。そして、ACRレスポンス生成部７５は、コンテンツの識別結果に応じてACRレスポンス１２０を生成する。すなわち、ACRクエリ１００に含まれるシグニチャデータ１０４の抽出元のコンテンツを識別できた場合には図１０Ａに示されたACRレスポンス１２０を、識別できなかった場合には図１０Ｂに示されたACRレスポンス１２０を生成する。生成されたACRレスポンス１２０は、ACRレスポンス生成部７５から通信部７４に出力される。通信部７４は、生成されたACRレスポンス１２０を、インターネット１２を介してACRゲートウェイ４０に送信する。
このACRレスポンス１２０がACRゲートウェイ４０のACRクライアント４１により受信されると、ステップＳ１３において、ACRゲートウェイ４０のACRレスポンス変換部６４は、ACRレスポンス１２０を解析し、そこに含まれる関連メタデータ１２７などを、端末装置２０側でアクセス可能なHTMLドキュメントに変換して所定のサーバに格納する。さらに、ACRレスポンス変換部６４は、HTMLドキュメントを格納した所定のサーバを表すURLを通信部６１から汎用ACRクライアント２２に通知させる。
このURLの通知を受信した汎用ACRクライアント２２は、ステップＳ３において、解析部５４が通信部５１を介してACRゲートウェイ４０から通知されたURLにアクセスし、そこに格納されているHTMLドキュメントに変換済みの関連メタデータ１２７を取得して解析する。そして、この解析結果に基づき、アプリケーションマネージャ２３に対して、再生中のコンテンツに対応するアプリケーション識別子を通知する。アプリケーションマネージャ２３が、このアプリケーション識別子に基づいてアプリケーションサーバ３３にアクセスすると、ステップＳ２３において、アプリケーションサーバ３３は、アプリケーションマネージャ２３からの要求に応じ、アプリケーションを供給する。ステップＳ４において、アプリケーションマネージャ２３は、取得したアプリケーションをコンテンツの進行に連動して実行する。
なお、以上に説明した各ステップの処理は、端末装置２０にてコンテンツが視聴されている間、繰り返し実行される。これにより、視聴中のコンテンツの進行に連動したアプリケーションの動作が可能となる。
そして、連動させるアプリケーションの種類により、例えば、コンテンツに関連する情報を表示したり、視聴者参加型のクイズ、投票を実現したり、他のコンテンツを推薦したり、ダウンロードさせたりすることが実現される。
以上説明したように、複数のACRサーバ３１にそれぞれ対応した複数のACRクライアント４１をACRゲートウェイ４０に設けたことにより、端末装置２０は汎用ACRクライアント２２を有するのみで複数のACRサーバ３１を利用することができる。
ところで、上述した一連の処理を実行する端末装置２０、供給装置３０、ACRゲートウェイ４０は、それぞれハードウェアにより構成する他、コンピュータがソフトウェアを実行することにより実現することもできる。このコンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図１２は、上述したコンピュータのハードウェアの構成例を示すブロック図である。
このコンピュータ２００において、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、およびドライブ２１０が接続されている。
入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
以上のように構成されるコンピュータ２００では、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５およびバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ２００（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータ２００では、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
なお、コンピュータ２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
１０ コンテンツ識別システム， ２０ 端末装置， ２１ コンテンツレンダラ， ２２ 汎用ACRクライアント， ２３ アプリケーションマネージャ， ２４ ユーザインターフェース， ３０ 供給装置， ３１ ACRサーバ， ３２ コンテンツサーバ，３３ アプリケーションサーバ， ４０ ACRゲートウェイ， ４１ ACRクライアント， ４２ 制御部， ５１ 通信部， ５２ ACRゲートウェイ検出部， ５３ 汎用依頼生成部， ５４ 解析部， ６１ 通信部， ６２ シグニチャ抽出部， ６３ ACRクエリ生成部， ６４ ACRレスポンス解析部， ７１ コンテンツ取得部， ７２ シグニチャ抽出部， ７３ ACRデータベース， ７４ 通信部， ７５ ACRレスポンス生成部， ９０ ACRケーパビリティ， １００ ACRクエリ， １１０ ACRリファレンスデータ， １２０ ACRレスポンス， ２００ コンピュータ， ２０１ CPU

Claims (14)

  1. 中継装置を検出する検出部と、
    コンテンツを再生する再生部と、
    再生された前記コンテンツを、検出された前記中継装置に送信する送信部と、
    前記中継装置が前記コンテンツから前記コンテンツの特徴を表すシグニチャデータを抽出し、抽出した前記シグニチャデータを少なくとも含むクエリを生成し、生成した前記クエリを識別サーバ装置に送信して前記コンテンツの識別を依頼し、前記クエリに応じて前記識別サーバ装置から前記中継装置に返信された、前記コンテンツの識別結果に対応するレスポンスを取得する取得部と
    を備える端末装置。
  2. 取得された前記レスポンスに基づき、再生された前記コンテンツに対応するアプリケーションを取得して実行するアプリケーション実行部を
    さらに備える請求項１に記載の端末装置。
  3. 前記中継装置に対して前記識別サーバ装置の利用を依頼するための汎用依頼を生成する生成部を
    さらに備え、
    前記送信部は、検出された前記中継装置に前記汎用依頼も送信する
    請求項２に記載の端末装置。
  4. 前記生成部は、前記中継装置が利用可能な複数の前記識別サーバ装置の中から利用するものを指定するための情報を含む前記汎用依頼を生成する
    請求項３に記載の端末装置。
  5. 前記取得部は、前記識別サーバ装置から返信された前記レスポンスを前記中継装置が所定のデータ形式に変換して所定のサーバに格納したものを、前記中継装置から通知される前記所定のサーバを表す情報に基づいて取得する
    請求項２に記載の端末装置。
  6. 端末装置の情報処理方法において、
    前記端末装置による、
    中継装置を検出する検出ステップと、
    コンテンツを再生する再生ステップと、
    再生された前記コンテンツを、検出された前記中継装置に送信する送信ステップと、
    前記中継装置が前記コンテンツから前記コンテンツの特徴を表すシグニチャデータを抽出し、抽出した前記シグニチャデータを少なくとも含むクエリを生成し、生成した前記クエリを識別サーバ装置に送信して前記コンテンツの識別を依頼し、前記クエリに応じて前記識別サーバ装置から前記中継装置に返信された、前記コンテンツの識別結果に対応するレスポンスを取得する取得ステップと
    を含む情報処理方法。
  7. コンピュータを、
    中継装置を検出する検出部と、
    コンテンツを再生する再生部と、
    再生された前記コンテンツを、検出された前記中継装置に送信する送信部と、
    前記中継装置が前記コンテンツから前記コンテンツの特徴を表すシグニチャデータを抽出し、抽出した前記シグニチャデータを少なくとも含むクエリを生成し、生成した前記クエリを識別サーバ装置に送信して前記コンテンツの識別を依頼し、前記クエリに応じて前記識別サーバ装置から前記中継装置に返信された、前記コンテンツの識別結果に対応するレスポンスを取得する取得部と
    して機能させるプログラム。
  8. 使用可能な識別サーバ装置にそれぞれ対応する１以上の識別クライアントを実装した中継装置において、
    前記識別クライアントは、
    端末装置で再生されているコンテンツから前記コンテンツの特徴を表すシグニチャデータを抽出する抽出部と、
    前記識別サーバ装置に対して前記コンテンツの識別を依頼するための、抽出された前記シグニチャデータを少なくとも含むクエリを生成する生成部と、
    生成された前記クエリを対応する前記識別サーバ装置に送信し、前記クエリに応じて前記識別サーバ装置から返信された、前記コンテンツの識別結果に対応するレスポンスを受信する通信部と、
    前記識別サーバ装置から返信された前記レスポンスを前記端末装置に中継する中継部と
    を備える
    中継装置。
  9. 前記識別クライアントは、使用可能な複数の識別サーバ装置にそれぞれ対応する数だけ実装されている
    請求項８に記載の中継装置。
  10. 使用可能な複数の識別サーバ装置を表す情報を前記端末装置に通知する通知部を
    さらに備える請求項９に記載の中継装置。
  11. 前記中継部は、前記レスポンスを前記端末装置に適したデータ形式に変換して所定のサーバに格納し、前記所定のサーバを表す情報を前記端末装置に通知する
    請求項９に記載の中継装置。
  12. 使用可能な識別サーバ装置にそれぞれ対応する１以上の識別クライアントを実装した中継装置の情報処理方法において、
    前記識別クライアントによる、
    端末装置で再生されているコンテンツから前記コンテンツの特徴を表すシグニチャデータを抽出する抽出ステップと、
    前記識別サーバ装置に対して前記コンテンツの識別を依頼するための、抽出された前記シグニチャデータを少なくとも含むクエリを生成する生成ステップと、
    生成された前記クエリを対応する前記識別サーバ装置に送信し、前記クエリに応じて前記識別サーバ装置から返信された、前記コンテンツの識別結果に対応するレスポンスを受信する通信ステップと、
    前記識別サーバ装置から返信された前記レスポンスを前記端末装置に中継する中継ステップと
    を含む情報処理方法。
  13. コンピュータを、
    端末装置で再生されているコンテンツから前記コンテンツの特徴を表すシグニチャデータを抽出する抽出部と、
    識別サーバ装置に対して前記コンテンツの識別を依頼するための、抽出された前記シグニチャデータを少なくとも含むクエリを生成する生成部と、
    生成された前記クエリを対応する前記識別サーバ装置に送信し、前記クエリに応じて前記識別サーバ装置から返信された、前記コンテンツの識別結果に対応するレスポンスを受信する通信部と、
    前記識別サーバ装置から返信された前記レスポンスを前記端末装置に中継する中継部と
    して機能させるプログラム。
  14. 端末装置と、中継装置と、識別サーバ装置からなるコンテンツ識別システムにおいて、
    前記端末装置は、
    前記中継装置を検出する検出部と、
    コンテンツを再生する再生部と、
    再生された前記コンテンツを、検出された前記中継装置に送信する送信部と、
    前記中継装置が前記コンテンツから前記コンテンツの特徴を表すシグニチャデータを抽出し、抽出した前記シグニチャデータを少なくとも含むクエリを生成し、生成した前記クエリを識別サーバ装置に送信して前記コンテンツの識別を依頼し、前記クエリに応じて前記識別サーバ装置から前記中継装置に返信された、前記コンテンツの識別結果に対応するレスポンスを取得する取得部と
    を備え、
    前記中継装置は、使用可能な識別サーバ装置にそれぞれ対応する１以上の識別クライアントが実装され、
    前記識別クライアントは、
    端末装置で再生されている前記コンテンツから前記コンテンツの特徴を表すシグニチャデータを抽出する抽出部と、
    識別サーバ装置に対して前記コンテンツの識別を依頼するための、抽出された前記シグニチャデータを少なくとも含むクエリを生成する生成部と、
    生成された前記クエリを対応する前記識別サーバ装置に送信し、前記クエリに応じて前記識別サーバ装置から返信された、前記コンテンツの識別結果に対応する前記レスポンスを受信する通信部と、
    前記識別サーバ装置から返信された前記レスポンスを前記端末装置に中継する中継部と
    を備え、
    前記サーバ装置は、
    コンテンツから抽出された前記コンテンツの特徴を表すシグニチャデータと、抽出元の前記コンテンツを表すコンテンツ識別子との対応関係を示すデータベースと、
    前記データベースを参照することにより、前記端末装置から送信された前記クエリに含まれるシグニチャデータの抽出元のコンテンツを識別し、識別結果に対応する前記レスポンスを生成するレスポンス生成部と、
    生成された前記レスポンスを前記中継装置に送信する送信部と
    を備える
    コンテンツ識別システム。
JP2012063374A 2012-03-21 2012-03-21 端末装置、中継装置、情報処理方法、プログラム、およびコンテンツ識別システム Active JP5896222B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2012063374A JP5896222B2 (ja) 2012-03-21 2012-03-21 端末装置、中継装置、情報処理方法、プログラム、およびコンテンツ識別システム
CN201380013759.7A CN104205817B (zh) 2012-03-21 2013-03-13 终端装置、中继装置、信息处理方法、程序和内容辨识***
PCT/JP2013/056946 WO2013141101A1 (ja) 2012-03-21 2013-03-13 端末装置、中継装置、情報処理方法、プログラム、およびコンテンツ識別システム
US14/379,590 US20150012937A1 (en) 2012-03-21 2013-03-13 Terminal device, relay device, information processing method, program, and content identification system
EP13764853.1A EP2830310A4 (en) 2012-03-21 2013-03-13 Terminal device, relay device, information processing method, program and content identification system
US15/463,758 US10313739B2 (en) 2012-03-21 2017-03-20 Terminal device, relay device, information processing method, program, and content identification system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012063374A JP5896222B2 (ja) 2012-03-21 2012-03-21 端末装置、中継装置、情報処理方法、プログラム、およびコンテンツ識別システム

Publications (2)

Publication Number Publication Date
JP2013197925A true JP2013197925A (ja) 2013-09-30
JP5896222B2 JP5896222B2 (ja) 2016-03-30

Family

ID=49222561

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012063374A Active JP5896222B2 (ja) 2012-03-21 2012-03-21 端末装置、中継装置、情報処理方法、プログラム、およびコンテンツ識別システム

Country Status (5)

Country Link
US (2) US20150012937A1 (ja)
EP (1) EP2830310A4 (ja)
JP (1) JP5896222B2 (ja)
CN (1) CN104205817B (ja)
WO (1) WO2013141101A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2854414A4 (en) * 2012-05-23 2016-02-24 Sony Corp INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM
US9769503B2 (en) * 2012-11-14 2017-09-19 Saturn Licensing Llc Information processor, information processing method and program
CA2924036C (en) * 2014-08-01 2023-08-22 Sony Corporation Receiving device, receiving method, transmitting device, and transmitting method
US10574373B2 (en) * 2017-08-08 2020-02-25 Ibiquity Digital Corporation ACR-based radio metadata in the cloud
US11277461B2 (en) * 2019-12-18 2022-03-15 The Nielsen Company (Us), Llc Methods and apparatus to monitor streaming media

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011135477A (ja) * 2009-12-25 2011-07-07 Nippon Telegr & Teleph Corp <Ntt> モニタリング方法およびモニタリング装置
JP2012015980A (ja) * 2010-07-05 2012-01-19 Fujitsu Toshiba Mobile Communications Ltd 情報処理端末および情報システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7222071B2 (en) * 2002-09-27 2007-05-22 Arbitron Inc. Audio data receipt/exposure measurement with code monitoring and signature extraction
US20050044561A1 (en) * 2003-08-20 2005-02-24 Gotuit Audio, Inc. Methods and apparatus for identifying program segments by detecting duplicate signal patterns
JP4655534B2 (ja) 2004-08-04 2011-03-23 ソニー株式会社 端末装置およびデータ処理方法、プログラム並びに記録媒体
US9065683B2 (en) * 2005-11-23 2015-06-23 Mediaclaw, Inc. Content interactivity gateway
JP2007226286A (ja) * 2006-02-21 2007-09-06 Takuhiro Mizuno コンテンツ情報配信システム及びプログラム
CN101610152B (zh) * 2008-06-19 2012-02-01 华为技术有限公司 内容识别方法和***以及内容管理客户端和服务器
JP2011045082A (ja) * 2009-08-24 2011-03-03 Samsung Electronics Co Ltd コンテンツ再生のためのデバイス及びそのコンテンツ再生方法
US10264029B2 (en) * 2009-10-30 2019-04-16 Time Warner Cable Enterprises Llc Methods and apparatus for packetized content delivery over a content delivery network
CA2798093C (en) * 2010-05-04 2016-09-13 Avery Li-Chun Wang Methods and systems for processing a sample of a media stream
US20120020647A1 (en) * 2010-07-21 2012-01-26 Rovi Technologies Corporation Filtering repeated content

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011135477A (ja) * 2009-12-25 2011-07-07 Nippon Telegr & Teleph Corp <Ntt> モニタリング方法およびモニタリング装置
JP2012015980A (ja) * 2010-07-05 2012-01-19 Fujitsu Toshiba Mobile Communications Ltd 情報処理端末および情報システム

Also Published As

Publication number Publication date
JP5896222B2 (ja) 2016-03-30
EP2830310A1 (en) 2015-01-28
US20170286409A1 (en) 2017-10-05
CN104205817B (zh) 2019-05-14
WO2013141101A1 (ja) 2013-09-26
US10313739B2 (en) 2019-06-04
US20150012937A1 (en) 2015-01-08
CN104205817A (zh) 2014-12-10
EP2830310A4 (en) 2016-03-23

Similar Documents

Publication Publication Date Title
JP6219275B2 (ja) 端末装置、情報処理方法、プログラム、および連動アプリケーション供給システム
JP6219269B2 (ja) 端末装置、情報処理方法、プログラム、および連動アプリケーション供給システム
KR102233783B1 (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
JP6383658B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US10313739B2 (en) Terminal device, relay device, information processing method, program, and content identification system
KR102019286B1 (ko) 단말 장치, 서버 장치, 정보 처리 방법, 프로그램 및 연동 어플리케이션 공급 시스템
KR102110623B1 (ko) 송신 장치, 정보 처리 방법, 프로그램, 수신 장치 및 애플리케이션 연동 시스템
WO2014010469A1 (ja) 受信装置、情報処理方法、プログラム、送信装置、およびアプリケーション連動システム
JP6023518B2 (ja) 情報処理装置、情報処理方法、プログラム、およびコンテンツ共有システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160217

R151 Written notification of patent or utility model registration

Ref document number: 5896222

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250