JP5322550B2 - 番組推奨装置 - Google Patents

番組推奨装置 Download PDF

Info

Publication number
JP5322550B2
JP5322550B2 JP2008239468A JP2008239468A JP5322550B2 JP 5322550 B2 JP5322550 B2 JP 5322550B2 JP 2008239468 A JP2008239468 A JP 2008239468A JP 2008239468 A JP2008239468 A JP 2008239468A JP 5322550 B2 JP5322550 B2 JP 5322550B2
Authority
JP
Japan
Prior art keywords
scene
attribute
program
video
frequency distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008239468A
Other languages
English (en)
Other versions
JP2010074518A (ja
Inventor
恵明 楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2008239468A priority Critical patent/JP5322550B2/ja
Priority to US12/561,809 priority patent/US8798170B2/en
Priority to CN2009101705992A priority patent/CN101677376B/zh
Publication of JP2010074518A publication Critical patent/JP2010074518A/ja
Application granted granted Critical
Publication of JP5322550B2 publication Critical patent/JP5322550B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4147—PVR [Personal Video Recorder]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4667—Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4826—End-user interface for program selection using recommendation lists, e.g. of programs or channels sorted out according to their score
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H04N21/8405—Generation or processing of descriptive data, e.g. content descriptors represented by keywords

Description

本発明は、再生、配信、或いは録画する番組を推奨する番組推奨装置に関するものであり、番組属性などの番組情報を有しない番組であっても、番組の推奨を可能とするものである。
放送番組から、視聴者の嗜好に沿った番組を推薦する方法として、放送もしくはネットワークからＥＰＧ（Ｅｌｅｃｔｒｏｎｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ）を受信し、ＥＰＧ情報が有するカテゴリを使って、視聴者が視聴したいカテゴリの番組を推薦する方法が一般的になっている。さらに、視聴者が視聴を希望するカテゴリを、ＥＰＧ情報とは別に受信し、ＥＧＰのカテゴリに分類する方法がある（特許文献１参照）。また、視聴者の嗜好を分析するために、視聴者の番組選択などの操作履歴から嗜好を分析し、視聴傾向に基づいた番組表を生成するものがある（特許文献２）。さらには、視聴者の嗜好をより正確に判定するために、番組の開始、終了時の操作の有無を利用するものもある（特許文献３）。
特開２０００−１１５６４６号公報（段落００１５−００１６、図２） 特開２０００−１３７０８号公報（段落０００８、図２） 特開２００２−３６９０９０号公報（段落００３８、図１）
しかしながら、上記した従来の方法では、番組情報を有しない番組を推奨できないという問題があった。
そこで、本発明は、上記のような従来技術の問題を解決するためになされたものであり、その目的は、録画された番組が番組情報や属性情報を予め有していない場合であっても、ユーザーに嗜好や興味に応じて、録画された番組の中から再生すべき番組を推奨する番組推奨装置を提供することである。
この発明に係る番組推奨装置は、
映像音声コンテンツを記録する際に前記映像音声コンテンツの一部であるシーンを抽出するシーン抽出手段と、
記録されている前記映像音声コンテンツにつき、前記シーン抽出手段で抽出された前記シーンの属性を前記シーン毎に抽出し、前記シーン毎に抽出した前記シーンの属性の発生度数を計数し、抽出された各属性の度数を求める第１の度数分布取得手段と、
前記映像音声コンテンツの各シーンに対するユーザの再生もしくは配信もしくは編集の操作に応じて、再生もしくは配信もしくは編集されたシーン毎の属性情報を抽出するシーン属性抽出手段と、
前記シーン毎に抽出された前記シーンの属性の発生度数を再生もしくは配信もしくは編集された複数の映像音声コンテンツにわたり計数し、計数結果を、ユーザの嗜好を反映したシーン属性の度数分布として取得する第２の度数分布取得手段と、
前記第１及び第２の度数分布取得手段によって得られた度数分布を元に、録画もしくは再生する映像音声コンテンツを推奨する推奨番組選出手段とを備え、
前記推奨番組選出手段は、
前記第１の度数分布取得手段で取得した、前記映像音声コンテンツにおけるシーン属性の度数分布と、前記第２の度数分布取得手段で取得した、ユーザの嗜好を反映したシーン属性の度数分布との間の相関性に基づいて、録画もしくは再生する映像音声コンテンツを推奨する
ことを特徴とする。
本発明の番組推奨装置によれば、番組情報を有しない番組についても、シーン単位で番組属性を集計することによって、録画、再生もしくは配信する番組を推奨することができる。
実施の形態１．
図１は、本発明の実施の形態１による番組推奨装置を備えた記録再生装置１の構成を示すブロック図である。
図１を用いて、まず番組の記録および再生方法について説明する。記録再生装置１は、外部のアンテナ９１と、ネットワーク９２とに接続可能で、また必要に応じて外部アナログ入力部５に図示しないが別の映像再生装置を接続することができる。
アンテナ９１は、映像音声コンテンツを配信するデジタル放送、もしくはアナログ放送を受信することが可能である。
デジタル放送を受信する場合、ユーザーが指定したチャンネルにデジタルチューナ３によって選局が行われる。デジタルチューナ３は、放送波を復調し、指定されたチャンネルのトランスポートストリームを入力ストリーム制御部１３に送る。入力ストリーム制御部１３は、送られたトランスポートストリームの映像音声コンテンツを取り込んで、番組記憶部１４に記録する。
通常デジタル放送では、ＭＰＥＧ−２ビデオおよびＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）音声をＭＰＥＧ−２トランスポートストリームに多重している。ＭＰＥＧ−２ビデオでハイビジョン放送が伝送され、そのまま記録を行おうとすると、システムレートで２０Ｍｂｐｓ以上の記録レートが必要となり、ＨＤＤ等によって実現される番組記録部１４の容量を圧迫する。そこで、記録密度を上げるために、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４符号化によって、高圧縮を行う方法がある。本実施の形態では、番組記録部１４における録画可能時間をより長くするためＭＰＥＧ−２ビデオからＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４にリエンコード（再度符号化）するリエンコーダ１２を用意している。
ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４にリエンコードする場合には、デジタルチューナ３から出力されたトランスポートストリームを、リエンコーダ１２を経由して、入力ストリーム制御部１３に送る。以降の処理はＭＰＥＧ−２ビデオの場合と同様である。
アナログ放送の場合、ユーザーが指定したチャンネルにアナログチューナ４によって選局を行うと、指定されたチャンネルの映像信号が出力され、図示しないＡ／Ｄ変換部によるＡ／Ｄ変換の後、エンコーダ１１に入力され、例えばＭＰＥＧ−２に圧縮符号化、つまりビットストリーム化される。ビットストリーム化された後は入力ストリーム制御部１３に送られ、以降の処理は、デジタル放送の場合と同じである。
外部アナログ入力部５から入力された映像信号も、アナログ放送と同様にビットストリーム化され、入力ストリーム制御部１３に送られる。
入力ストリーム制御部１３は、番組記録部１４に対して、安定的な書き込みを実現するために、図示しないが内部に用意したバッファを備えており、入力ストリーム制御部１３に送られたビットストリームは、一旦内部バッファに記録され、番組記録部１４の書き込み要求が実行可能な状態になるまで、入力ストリーム制御部１３の上記バッファに保持されている。
番組記録部１４は例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）や、フラッシュメモリ、光ディスクドライブ、光磁気ディスクドライブ等を含み、特にメディア種類を問うものではない。
また、番組記録部１４には、放送番組であるコンテンツが圧縮されたストリーム以外に、ストリームに対応した再生制御情報が記録される。再生制御情報には、コンテンツのタイトル、時間長さ、記録開始時間、ストリームの符号化方式、さらにはエントリーと呼ばれる単位ごとに時間情報とストリーム先頭からの位置情報や、チャプターと呼ばれるスキップ操作によってジャンプする先の時間（先頭からのその点までの再生時間）およびアドレスを示す情報が記録されている。この再生制御情報のうち、タイトル、記録開始時間、時間長さ、符号化方式はユーザーのコンテンツ選択時に使用される。一方エントリー情報やチャプター情報は、コンテンツの再生や編集時に、ストリームを番組記録部１４から読み出したり、デコーダや編集手段に送りこむために使用される。
次に予約録画の動作について説明する。ユーザー等の要求にしたがって、任意の番組を予約録画に登録する場合、予約番組管理部１０が予約によって録画したい番組（予約番組）の有効無効の判断、他の予約番組との干渉の判断等の管理を行う。
予約番組管理部１０は、ユーザーから任意番組を予約録画する旨の要求があると、図示しないがＥＰＧ（Ｅｌｅｃｔｒｏｎｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ）等から、番組の開始、終了時間、チャンネル番号、ジャンル等の情報を取得し、同時刻帯に、他の予約番組がないか等をチェックし、問題なければ、スケジュール管理部９に対して、指定された番組の録画を指定時間に開始するようにスケジュール登録を行う。
予約録画するように指定された番組の開始時間の少し前（例えば５分前）になると、スケジュール管理部９の指示により、記録再生装置１の主電源が自動的に入れられ、スケジュール管理部９の指示に従って、録画動作が開始される。録画の動作については、前述したとおりである。なお、スケジュール管理部９自体は、録画再生装置１の主電源がオフの状態でも、別途電源供給を受けて動作を続ける。
次に、再生について説明する。ユーザーが例えば、図示しないリモコンによって記録再生装置１に対して、再生の要求を行うと、まず、リモコン受信部８１がリモコンの信号を受信し、その要求内容をユーザー操作受信部８２に送る。
ユーザー操作受信部８２は、リモコンのほかに、記録再生装置１の操作パネルからの要求や、後述のユーザーインターフェース画面を操作して入力される要求や、ネットワーク９２から要求も受けつけており、それらの信号と合わせて、リモコンからの要求をシステム制御部２に送る。
システム制御部２は、記録再生装置１が、「他の番組を再生していないか」、「再生を指定された番組が存在するか」、「記録再生装置１に異常はないか」等、状態遷移や装置の状態のチェックを行ったのち、再生可能な状態と判断すれば、再生を行なわせるための制御信号を装置に各部に送出する。この結果、番組記録部１４に記録されたビットストリームが出力ストリーム制御部１６に送られ、出力ビットストリーム制御部１６の内部に用意された、図示しない内部バッファに、ビットストリームが一旦書き込まれる。
再生デコーダ１７は、出力ストリーム制御部１６から映像および音声のビットストリームの供給を受け、ビットストリームのデコードと、デコードされた映像および音声の出力を行う。ここで、映像および音声を途切れなく再生を行うために、出力ストリーム制御部１６に内部バッファが設けられている。以下この内部バッファについて説明する。映像の出力のタイミングは、フレームレートと呼ばれる周期的なタイミングで出力され、ＮＴＳＣであれば、２９．９７Ｈｚのフレームレートで映像出力が行われる。ところが、ＭＰＥＧ−２やＭＰＥＧ−４／ＡＶＣなどの符号化では、ビットストリームは、秒単位のビット量が一定にならず、映像の複雑さに応じてビット量が変動する。また、映像と音声の再生出力タイミングは一致させることが必要で、そのために映像および音声デコーダのどちらかの動作のオン／オフを制御することが必要になる。そのために、番組記録部１４から読み込まれたビットストリームは同一速度でデコーダに入るのではなく、出画の状況によって動的にデコーダに読み込まれていく。一方、番組記録部１４を実現するデバイスとしてＨＤＤや光ディスクは、必要とされるデータを即座に出力することができない。このように再生時には、ビットストリームを一定の速度で番組記録部１４から出力することができない。そのために、ビットストリームを一時的に保持し、再生デコーダ１７のビットストリーム要求に応じてすぐにビットストリームを転送できるように出力ストリーム制御部１６内部にバッファが用意されている。
記録再生装置１はまた、復号された映像データを、例えばＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）に出力するための外部デジタル出力部８７を備え、出力デジタル出力端子８８からデジタル映像および音声の出力を行う。
さらに図示しないが、再生デコーダ１７を介さず、ビットストリームのまま、例えばネットワーク端子や、ＩＥＥＥ１３９４端子に出力することも可能である。
このようにして出力された映像信号及び音声信号は、例えば配信のために用いられる。
次に、録画時に、映像音声のビットストリームから映像音声の特徴量を抽出し、シーン属性を抽出する入力シーン解析部２０について説明する。入力ストリーム制御部１３は、番組記録部１４に安定して記録を行うために、ビットストリームが一時的に記録されている。通常映像情報を符号し、圧縮するＭＰＥＧ−２やＭＰＥＧ−４／ＡＶＣなどの圧縮符号化方式では、映像のフレームの相関性を利用して高い圧縮を行っているが、特殊再生時に復号化の再開用に、ストリームのところどころにフレーム内圧縮を行うフレーム（以下キーフレーム）が存在する。本実施の形態では、キーフレームごとに以下に説明するシーン解析を実施する。
入力ストリーム制御部１３は、キーフレームが検出されると入力ストリーム制御部１３が有するバッファ上のキーフレームの開始アドレスと、当該キーフレームおよび次のキーフレームまでのデータサイズ、キーフレームの時間情報を解析用デコーダ２１に送信する。
解析用デコーダ２１は、キーフレームの開始アドレスから復号化処理を開始し、フレームバッファ２６に復号化された映像データを保持させる。
特徴量抽出部２２は、フレームバッファ２６に保持されている映像データから映像情報ヒストグラムを作成する。
映像情報ヒストグラムは例えば映像データの輝度Ｙと、色差（Ｃｂ、Ｃｒ）を要素とする度数分布である。なお、ここでは、映像を特徴付けるものとして輝度と色差のヒストグラムを用いているが、ＲＧＢ等のほかの色表現空間を用いても良い。また、ヒストグラム以外に、動きベクトルや、フォーカス位置等のカメラパラメータを用いてもよい。
シーン抽出部２３は、映像音声コンテンツにおけるシーンチェンジを検出し、シーンチェンジから次のシーンチェンジまでを一つのシーンとして抽出する。
シーン抽出部２３は、映像の出力順で一つ前のフレームの映像情報ヒストグラムを内部に保持しており、新しく復号されたフレームの映像情報ヒストグラムと比較し、差異値ｄを求め、予め設定されている閾値と比較し、閾値を超える差異値であれば、シーンチェンジと判断することができる。
ここで、ｉ番目のフレームの映像情報ヒストグラムをＨｉ
Ｈｉ＝｛ｈｉ（１）、ｈｉ（２）、・・・、ｈｉ（Ｋ）｝
とすると、ｉ番目フレームの映像情報ヒストグラムＨｉと、１つ前のｉ−１番目フレームの映像情報ヒストグラムＨｉ−１との差異値ｄを以下の式で求める。なお、Ｋは、階級の総数（輝度についての階級の総数と、それぞれの色差Ｃｂ、Ｃｒについての階級の総数の合計）である。
Figure 0005322550
ここで、Ｎは１フレーム内の画素数である。但し、輝度Ｙを表す画素と、色差Ｃｂ、Ｃｒを表す画素を別々に数えるものとする。これによって、差異値ｄは０から２までの値をとり、ｉ番目のフレームの映像とｉ−１番目のフレームの映像が同じ映像であれば差異値ｄは０になり、ｉ番目のフレームの映像とｉ−１番目のフレームの映像の違いが大きければ差異値ｄは２に近づくことになる。
シーン抽出部２３で、シーンチェンジと判定されると、次のシーンチェンジ発生までが一つのシーンとして取り扱われる。シーンチェンジの判定に利用したキーフレームの映像を当該シーンの代表画像（以下、シーンサムネイル）とする。
属性リストメモリ２５には、シーンサムネイルの画像的な特徴情報からシーンの特性や傾向を判定するためのパターンデータが保持されている。例えば、映像情報ヒストグラムから緑の色が多く含まれていると判定されれば、自然や風景映像と判断したり、緑の色が多くて、かつ番組のＥＰＧによるジャンル情報がスポーツであれば、屋外スポーツであると判断したり、カメラパラメータのフォーカス位置に肌色が含まれていれば、人物と判断したりするためのパターンマッチングで用いられる情報（パターン情報）が記録されており、さらには、シーンチェンジの発生頻度を元に、カメラのパーン映像が多ければ、スポーツ映像と判断したりするためのパターン情報が記録されており、さらには顔検出機能等を利用して、顔が検出されれば会話と判断したりするためのパターン情報が記録されている。
より具体的には、例えば、シーンの属性として図２に示すもの（Ｃ１〜Ｃ１０）が予め設定されており、それぞれ図２の「判定基準」の欄に記載の条件を満たすかどうかなどのパターンマッチングにより、各シーンの属性の判定を行なう。
シーン属性選択部２４は、シーン抽出部２３で抽出されたシーンの属性をシーン毎に抽出し、抽出したシーンの属性が属性リストメモリ２５に記録されている上記の判定基準に照らし合わせて、上記判定基準を満たす割合が高い場合、言い換えると、映像と属性を対応付けるパターン情報に一致した場合（一致する度合い高い場合）には、その判断結果に基づき、シーンの属性を特定し、当該シーンについて特定された属性情報Ｃ１〜Ｃ１０を、シーンの時間情報（開始時間、終了時間、時間長）やアドレス情報（番組の先頭からの位置、バイト長さ）とともに、シーン属性データベース１５に記録する。
本解析処理を番組の開始から終了、もしくは任意区間について実行することで、当該期間（番組の開始から終了までの期間、又は任意区間）におけるシーンの属性の発生回数（度数）を計数し、番組全体もしくは任意区間における各シーンの度数分布であるシーン属性ヒストグラムを求めることができる。
シーン属性選択部２４は、さらに、複数のシーンの各々の属性の度数分布を累積することで、番組の属性を表す度数分布（ヒストグラム）を生成する。
このように、シーン属性選択部２４と、属性リストメモリ２５と、シーン属性データベース１５とで、記録されている映像音声コンテンツにつき、シーン毎に抽出したシーンの属性の発生回数（度数）を計数し、計数により求められた属性毎の度数を求める度数分布取得手段が構成されている。
図３に、番組をシーンに区切り、各シーンに属性が対応づけられた状態を模式的に示す。各シーンはシーンチェンジが発生するたびにシーンとして区切られるために、時間および位置が不規則に区切られる。区切られたシーンに対して、属性リストメモリ２５に一致する度合いの高いパターン（マッチングパターン）が存在した場合、図３のように属性Ｃ１からＣ６のように、シーンの属性が割り当てられる（対応付けられる）。このように、シーンごとの属性を割り当て、属性毎の割り当て回数を計数する処理を、継続的に実施すると図４に示すように、シーン属性ごとの度数分布であるシーン属性ヒストグラムを得ることができる。このシーン属性ヒストグラムは、番組全体、もしくは任意区間におけるシーンの特性の分布を示すものである。図４によれば、対象とした映像は、属性Ｃ４が多く、ついで属性Ｃ９やＣ５が多いことがわかる。一方で属性Ｃ６はほとんど発生していないこともわかる。このことから、図３に示す例では、激しい（つまり動きのある）シーンが多く、スポーツ関連の映像と認識されるシーンが多かったことが分かる。このように各シーンの属性の発生回数を計数することによって、シーン属性の度数分布を得ることができ、結果として、番組全体や任意区間の映像の傾向を把握することが可能となる。
また、例えば、スポーツ番組等に対して、映像もしくは音声を使って各シーンの盛り上がりを解析することもできる。例えば、映像信号では、輝度分布が高いレベルに集中している場合、映像の動きが激しい場合、単位時間当たりのシーン変化が多い場合には、音声信号では音声のパワー（ボリュームレベル）が大きい場合には、盛り上がったシーンであると判定する。そして、番組全体で盛り上がったシーンの多い場合には、このスポーツ番組は非常に面白い番組と推定することができる。
次に、再生時の処理について説明する。一般的にＤＶＤレコーダーやＨＤＤレコーダーでの再生は、番組を最初から最後まで停止やスキップや早送りをせずに再生する場合もあるが、一方で、不要なシーンをスキップしたり、好きなシーンだけを選択して再生することも多い。本実施の形態で示す記録再生装置１では、ユーザーが再生したシーンの頻度を、再生シーン解析部３０が解析し、この解析結果からユーザーの嗜好を推定することを行う。
再生時、出力ストリーム制御部１６のバッファに、一時的に復号前のビットストリームが保持される。録画動作と同様に、出力ストリーム制御部１６で、保持されているビットストリーム中に、キーフレームが検出されると、その時間情報およびアドレス情報がシーン時間情報抽出部３１に送られ、シーン時間情報抽出部３１でこれらの情報を元に、対応するシーンを求め、シーン属性抽出部３２でシーン属性データベース１５から当該シーンの属性情報を求める。
ユーザー嗜好データベース４３には、今までのユーザーの再生もしくは操作履歴によって生成され、どの属性情報がどの程度再生されたかを度数分布で表したユーザー視聴履歴ヒストグラム（その一例が図５に示されている）が記録されている。さらに、ユーザー視聴履歴ヒストグラムに基づいて生成されたユーザー嗜好ヒストグラムも記録されている。ユーザー嗜好ヒストグラムは、例えば、過去に録画、再生、編集した番組のジャンルに従って、ユーザー視聴履歴ヒストグラムの対応する属性の度数に加算することによって生成しても良い。さらに、ユーザー視聴履歴ヒストグラムをそのままユーザー嗜好ヒストグラムとして用いても良い。
ユーザー嗜好データベース更新部３３は、シーンが検出される都度、もしくは番組単位での再生処理が完了する都度、ユーザー嗜好データベース４３に記録されている視聴履歴ヒストグラムを更新する。これによって、再生や動作を行うたびに、ユーザー嗜好を随時反映することができる。
図６に特定区間を再生したときに生成されるシーン属性ヒストグラムを示す。図６で示される番組の特定区間では、シーン属性Ｃ４が他と比べて多く含まれていることが判る。
以上のうち、ユーザー嗜好ＤＢ更新部３３と、ユーザー嗜好データベース４３とで、再生もしくは配信されている映像音声コンテンツにつき、シーン毎に抽出されたシーンの属性の発生回数（度数）を計数し、計数により求められた属性毎の度数を求める度数分布取得手段が構成されている。
次に、ユーザーが次に視聴すべき番組を推薦するように要求した場合について説明する。リモコン受信部８１で受け取った、リモコンからのユーザー操作イベントとしての操作信号は、ユーザー操作受信部８２を経由してシステム制御部２に入力される。
システム制御部２は、番組推奨部４０内の推奨番組選出部４２に、ユーザーの嗜好にあった番組を推薦するように要求を出す。
推奨番組選出部４２は、ユーザーの操作履歴を示す視聴履歴ヒストグラム（図５）や、ユーザが視聴していた番組についての、特定区間のシーン属性のヒストグラム（図６）を元にして、推奨ヒストグラム（図７（ａ））を生成する。
推奨ヒストグラムとしては、ユーザーが視聴した番組についての、図６で示す特定区間のシーン属性のヒストグラムをそのまま利用しても良いし、複数の番組を再生したときのシーン属性ヒストグラムを元に、現在の記録再生装置の状態、例えば現在時刻や、番組記録部１４に記録されている番組の種類を加味したものを生成しても良い。
こうして生成された推奨ヒストグラム（図７（ａ））と、シーン属性データベース１５に記録されている各番組がそれぞれに有するシーン属性ヒストグラム（各番組のシーン毎のシーン属性の度数分布（図７（ｂ）、（ｃ）、（ｄ）））を比較し、相関性の高い番組を（例えば、相関性の高い順に）推奨する。
推奨結果は、例えば、出力ストリーム制御部１６に供給されて、映像情報と組み合わせられ、再生デコーダ１７を介してモニター９３に供給され、モニター９３に表示される。図７（ｂ）、（ｃ）、（ｄ）に示す例では、番組＃１、番組＃２、番組＃３のヒストグラムのうち、図７（ａ）のヒストグラムとの相関性が最も高い番組＃３が選択される。
なお、上記の例では、ヒストグラムの相関性を比較したため番組＃３が推奨順で一位となったが、番組の推奨順位を決定するための方法としては、ヒストグラムの相関性だけに制限するものではなく、例えば最も度数の高いシーンが共通する番組という判定基準を用いたのであれば、属性Ｃ４の度数が高い番組＃２が選択される。その他、統計的手法を用いたり、相関性を求めるために、順位相関係数等を用いても良い。
次に録画時における処理の流れについて図８を用いて説明する。録画が開始されると（Ｓ１０１）、入力ストリーム制御部１３に次々に録画用のビットストリームが送り込まれる。
入力ストリーム制御部１３は、録画ストリームの終端検出を行っており（Ｓ１０２）、終端が検出されない状態では継続的にキーフレームの抽出Ｓ１０３を行う。キーフレームが抽出されると、入力ストリーム制御部１３は、キーフレームの情報（キーフレームの開始アドレスと、キーフレームおよび次のキーフレームまでのデータサイズ、キーフレームの時間情報）を抽出する。次に解析用デコーダ２１が、キーフレームもしくは、キーフレームから次のキーフレームまでの任意のフレームをデコードし（Ｓ１０４）、特徴量抽出部２２が、ＹＣｂＣｒの映像情報ヒストグラムを生成する（Ｓ１０５）。
生成された映像情報ヒストグラムが先頭のフレームのものである場合を除き、シーン抽出部２３は、過去の（１フレーム前の）フレームの映像情報ヒストグラムと、最新の映像情報ヒストグラムと比較し（Ｓ１０６）、映像情報ヒストグラムの差異値が予め設定されている閾値を超えるか否かによってシーンチェンジか否かを判定し（Ｓ１０７）、シーンチェンジでないと判定すれば（Ｓ１０７でＮＯ）、ステップＳ１０２に戻り、シーンチェンジと判定すれば（Ｓ１０７でＹＥＳ）、ステップＳ１０８に進み、シーン属性選択部２４が、属性リストメモリ２５に用意されている映像情報ヒストグラムやシーンチェンジの発生頻度のパターン情報との一致の度合いに応じて、当該シーンの属性を判定する（Ｓ１０８）。即ち、属性リストメモリ２５に記憶されている属性のうち、一致の度合い（近似度）が所定値より高いものがあれば、その中で最も一致の度合い高いものを選択する。
次に、シーン属性選択部２４は、ステップＳ１０８において抽出されたシーン属性をシーンの情報（時間情報、アドレス情報）とともにシーン属性データベース１５に記録する（Ｓ１０９）。
上記の処理を入力ストリーム制御部１３において、録画ストリームの終端が検出されるまで実施し、終端を検出すると（Ｓ１０２でＹＥＳ）、シーン属性選択部２４は、番組もしくは録画した区間を通してのシーン属性ヒストグラムを生成する（Ｓ１１０）。このとき、シーン属性ヒストグラムの正規化や、度数が最小である、もしくはある閾値以下の度数を有する属性について、その度数を「０化」するなどの統計的処理や、ＥＰＧ情報など映像音声情報から得られる属性情報を使って度数分布を加工する等の処理を行っても良い。シーン属性選択部２４は、さらに、複数のシーンの各々の属性の度数分布を累積することで、番組の属性（若しくはその傾向）を表す度数分布（ヒストグラム）を生成する（Ｓ１１１）。
次に、再生時に実施するユーザーの嗜好解析処理について図９を用いて説明する。ユーザーの要求により指定番組の再生が開始すると（Ｓ２０１）、出力ストリーム制御部１６の内部バッファに、番組記録部１４から読み出されたビットストリームが一時的に蓄積される。一時的に蓄積されたビットストリームは、再生デコーダ１７からの要求により順次読み出されていく。出力ストリーム制御部１６は、再生ストリームの終端、および一時停止を検知するとともに、シーン境界を検出する（Ｓ２０３）。シーンの区切りは、シーン属性データベース１５に記録されている番組の各シーンの時間情報や、アドレス情報を使用することで判定することができる。また、チャプター区切りや、時間区切り、ＧＯＰ区切り等を利用してもよい。出力ストリーム制御部１６が、シーンチェンジと判定すると（Ｓ２０３でＹＥＳ）、その判定結果を受けて、シーン時間情報抽出部３１は、シーンの開始時間や時間長をシーン属性データベース１５より抽出し（Ｓ２０４）、シーン属性抽出部３２が、当該シーンの属性情報も抽出する（Ｓ２０５）。
次に、ステップＳ２０６では、ユーザー嗜好データベース更新部３３が、ユーザー嗜好データベース４３に記録されている、ユーザーが今までに再生したシーンの属性の度数分布（図５に例示される視聴履歴ヒストグラム）を読み出し、現に再生されている当該シーンの属性情報を、読み出された視聴履歴ヒストグラムの度数分布に加算する。
本処理を出力ストリーム制御部１６で再生ストリームの終端、もしくは停止が検出されるまで（Ｓ２０２）行い、終端が検出されれば（Ｓ２０２でＹＥＳ）、視聴履歴ヒストグラム（図５）の補正処理（Ｓ２０７）を行う。ここで言う「補正処理」は、ユーザー嗜好データベース４３に記憶されている視聴履歴ヒストグラムを、上記ステップＳ２０６の処理により得られた新たな視聴履歴ヒストグラムで書き換える（更新する）ことを意味する。
ステップＳ２０７の後に処理を終了する（Ｓ２０８）。
上記処理によって、ユーザーが再生したシーンや、特に繰り返し視聴したシーンに対応した属性の度数が上昇し、一方で、あまり見ないシーンの度数は増加しないので、ユーザーの嗜好を反映した属性のヒストグラムが生成可能である。
次に図１０を用いて、推奨番組を抽出する方法について示す。ユーザーから番組の推奨要求がユーザー操作受信部８２からシステム制御部２に伝えられると（Ｓ３０２）、システム制御部２はこれに基づいて、推奨番組選出部４２に番組の推奨を行なうように要求する。
推奨番組選択部４２は、ユーザー嗜好データベース４３から視聴履歴ヒストグラム（図５）を読み出す（Ｓ３０３）。推奨番組選出部４２は次に、シーン属性データベース１５から、録画されている番組のうち、後述のステップＳ３０５以降の処理をしていない番組を探し（Ｓ３０４）、対象となる番組が存在していれば、その番組の属性ヒストグラムを読み出す（Ｓ３０５）、次に読み出した各番組のシーン属性ヒストグラム（図４或いは図７（ｂ）、（ｃ）、（ｄ））と、視聴履歴ヒストグラム（図５）或いは推奨ヒストグラム（図７（ａ））の相関性を、推奨番組選出部４２内に設けられた相関性比較部により求め（Ｓ３０６）、この相関性を元に、各番組の順位付けを行う（Ｓ３０７）。本操作を録画されている番組全体に対して行い、新たな番組がなくなると（即ち、すべての録画されている番組についての処理が終わると）（Ｓ３０４でＮＯ）、ステップＳ３０７による順位付けを元に１つもしくは複数の推奨番組を決定する（Ｓ３０８）。推奨番組を表す情報は、例えば、出力ストリーム制御部１６に供給されて、映像情報と組合せられ、再生デコーダ１７を介してモニター９３に供給され、モニター９３に表示される。ステップＳ３０８の次に、処理を終了する（Ｓ３０９）。
次に、推奨番組選出部４２で利用されるユーザー嗜好データベース４３に記録されている視聴履歴ヒストグラム（図５）が、あるシーンが再生される毎に更新されるのではなく、１つの番組の再生が完了するまで更新されず、１つの番組の再生が完了したときに更新され、ユーザーがある番組を見終わった場合、その番組に類似する番組を推薦する機能について説明する。
ユーザーが任意の番組の再生を行っている間、あるシーンの再生が行われるたびに、当該シーンに対応する属性情報がシーン属性抽出部３２によって求められる。シーン属性抽出部３２ではさらに、各シーンの属性情報を累積する。この累積により、再生された番組のヒストグラムが生成される（図１１（ｂ））。このヒストグラムは、もっとも最近に再生された番組の属性の傾向を示すものである。一方、ユーザー嗜好データベース４３には、もっとも最近に再生された番組以外の、今までに再生された番組およびシーンの属性を累積した視聴履歴ヒストグラムが記録されている（図１１（ａ））。
ある番組の再生が終わった状態等のユーザーが記録再生装置内のある番組の印象が強く残っている状態を除けば、図１１（ａ）で示すような、視聴履歴に基づいたヒストグラムに沿って、ユーザーの嗜好傾向に近い番組を推奨すればいいが、ある番組の再生が終わった状態など、ある番組の印象が強く残っている（当該番組への意識がより強く残っている）場合は、直前に再生された番組に類似した番組を推奨する方が望ましい場合が多い。そこで、図１１（ｂ）で示すような最近の視聴番組から得られたヒストグラムと、それより前の視聴履歴によるヒストグラム（図１１（ａ））を合成した結果に基づいて、番組推奨を行うのが望ましい。そして、この合成を行なう場合において、最近の視聴番組から得られたヒストグラムに、より大きな重みを付けて合成したヒストグラム図１１（ｃ）のようなヒストグラムに対して相関性の高い番組を探すことで、ユーザーの嗜好（或いは視聴履歴）を加味しながらも、最近に再生された番組により近い番組を推奨することができる。このように複数のヒストグラムのパターンを用意し、それぞれに重みをつけながら合成することによって、推奨の仕方を調整することが可能である。
次に、ユーザーに提供するユーザーインターフェース画面の例について示す。このユーザーインターフェース画面は、ユーザインターフェース画面を用いて入力される操作信号は、ユーザー操作受信部８２に供給される。本装置には、ユーザーに番組を推薦する機能を起動するための専用ボタンとして例えば、図示しないメニュー画面や、他の処理を行なっているときに表示される画面に、図示しない「番組推薦」ボタンがあると仮定する。ここでは、ある番組の再生後に「番組推薦」ボタンを押した場合の例（図１２）と、再生途中に一時停止ボタンを押した状態で、「番組推薦」ボタンを押下した場合（図１３）について説明する。
ある番組を再生し終わった後に、自動的に、もしくは、ユーザーが「番組推薦」ボタンを押下すると、図１２で示す画面が現れる。この画面は、ユーザーに対して今見ている番組の次に再生を推奨する番組のリスト１１０１をメニュー形式で表示する画面である。図示のリスト１１０１には、３つの番組を表す文字情報１１０１ａ、１１０１ｂ、１１０１ｃが表示されている。各番組の文字情報には、タイトル、ジャンル、録画日を示す文字が含まれる。図示の例では、２番目の番組を表す文字情報１１０１ｂが枠線１１０２で囲まれており、これにより選択された状態であることが示されている。
例えば、シリアスな（深刻な或いは真面目な）ドラマを見ていたら、次も同じようなシリアスなドラマ番組を推奨したり、あるシリーズ番組を見ていれば、その次の回の番組を推奨する場合もある。これは、再生していた番組のシーン属性ヒストグラムを元に、相関性の高い番組を推奨する場合、つまり類似番組の推奨機能である。
次に、ある番組の再生中に一時停止をして、画面が静止している状態で「番組推薦」ボタンを押下する場合を図１３に示す。本例では、再生中のあるシーンが、背景が「空」１２０１であり、前景として木々１２０２が茂っているシーンであり、このシーンに対する「番組推薦」を行う場合である。このとき、本シーンの属性を有する、もしくは本シーンの属性の度数分布に最も近いシーンを有する他の番組（自身の番組であってもよい）をシーン属性データベース１５から、１つもしくは複数抽出し、それらの代表画像（サムネイル）を画面上に表示する。図１３では、画面の下部１２０３に、左から順に、「山」の風景、「川」の風景、「街路樹」の風景、「海辺」の風景、「草原」の風景などの外の風景が推奨されていることがわかる。それぞれの風景の下部の「Ｔ４」、「Ｔ１２」などは、各画像のタイトル番号を表し、「Ｃ７」、「Ｃ３」などは各画像のチャプター番号を表す。画面の右上隅の「Ｔ２，Ｃ１０」は主画面に表示されている画像のタイトル番号及びチャプター番号を表す。ユーザーはサムネイル１２０３ａ〜１２０３ｅの中からもっとも見たい番組をリモコンのカーソルキーを使って選択する（図１３ではサムネイル１２０３Ｃが枠線１２０４で囲まれており、これにより選択されていることが示されている）ことによって、類似シーンの再生を行うことができる。これは、現在再生しているまさにそのシーン、もしくは関連する前後シーンのシーン属性ヒストグラムから、一致、もしくは相関性の高いシーンのシーケンスを推奨するものである。
なお、以上説明した本実施の形態では、シーンの属性は予め設定されているものとしているが、動的に新規作成、削除等を行ってもかまわない。特にある属性値に度数が集中するような場合、度数の最大値を抑え、大きな度数を示す属性を複数の属性に細分するようにしてもよい。
なお、図２の属性Ｃ７、Ｃ８に関して説明したように、シーンの属性の判定は、映像を利用する方法に限定されず、音声情報（音量、周波数）等を用いてもよい。
また、本実施の形態では、録画時、および再生時に、映像を圧縮符号化したビットストリームのキーフレーム単位でシーン属性を解析したが、解析の単位は、指定もしくは任意時間単位や、チャプター単位や、その他のメタデータに依存した処理単位にしてもよい。また全てのフレーム単位に実施しても良い。
以上のように構成された実施の形態１の番組推奨装置では、シーン単位で属性を求めることができる。また、求めたシーン単位での属性情報を用いて、シーン単位で属性分類を行うことができる。
また、シーン単位での属性を累積することによって、番組全体もしくは番組の特定区間の属性や傾向を求めることができる。
また、映像もしくは音声情報からシーンの特徴を抽出することができるので、ＥＰＧのような番組自身とは別の情報を必要としない。よって、ＥＰＧ情報が受信できないような状態でも属性の分類が可能である。
また、ＥＰＧを利用した属性分類では、ＥＰＧ情報で決められた属性に分類することしかできないが、映像音声を直接解析する方法では、ＥＰＧ情報で設けられた属性以外の属性に分類することも可能である。例えば、静かな映像、自然風景が多く含まれた映像、ロック音楽が含まれた音声、子供の声等によって番組のシーンを分類することが可能である。さらには、ＥＰＧで決められた属性以外の属性も持つことが可能である。
また、複数シーンから構成される番組の属性が、各シーン属性を累積した度数分布で表現されるので、番組の属性を複数の属性のレベルで表現することができ、番組の属性を、ある属性を有するか否かの２値で表現する場合に比べ、より自由度の高い属性の表現が可能である。
また、番組の属性を度数分布で表現するので、複数の番組の比較を行う場合に、任意の属性を有するか否かではなく、それぞれの番組が有する任意の属性のレベルで比較することができ、従って、近似度合い或いは相関性を多段階に表現することができる。
また、複数番組の相関性を求める場合、それぞれの番組の度数分布の相関性を求めることによって、番組間の相関性を求めることが可能である。
また、ユーザーの嗜好を解析する場合に、番組単位で再生や編集の有無を元にユーザー嗜好を求めるのではなく、シーン単位でユーザー嗜好を求めるので、シーンの属性の累積度数を求めるに際し、例えばリピートされる（繰り返し再生される）シーンはユーザーが好むものであり、そのシーン属性を加算することとしたり、逆にスキップや早送りしたシーンは好まれないないと判断して、そのシーン属性の計数回数（度数）を減算することとしたり、またカットされたシーンの属性は好まれないので、そのシーンの属性の計数回数（度数）を減算することとするなどといった、シーン単位での判定と処理が可能となり、ユーザーの嗜好をより細やかに反映することができる。
また、ユーザーの嗜好を示すヒストグラムの生成において、最近に再生された番組によって生成されたヒストグラムと、それまでの再生によって生成されたヒストグラムを、それぞれに重みを乗じて加算することによって、推奨する番組の傾向を、ユーザーの嗜好の変化に対して敏感に反応させたり（即ち、嗜好の変化に迅速に、或いは最近の嗜好に対してより大きな重みを付けて変化させたり）、逆に鈍感にしたり（即ち、より長い期間にわたって蓄積した嗜好の傾向をより重視したり）といった調整が可能である。
また、録画時に番組の属性を解析し、再生時にユーザー嗜好を解析することによって、ユーザーに操作をさせずに番組の推奨を行うことができる。
また、シーンの属性値をヒストグラムに反映する場合に、各シーンの時間長さを考慮に入れ、例えば再生時間（秒数）に応じた度数を加える（例えば再生時間１秒につき度数１を加算する）を加えるなどの処理によって、さらにシーンの長さや再生時間までも考慮したユーザー嗜好を示すヒストグラムを生成することができる。
また、シーンの属性は、固定されるものでなく、ヒストグラムの度数の最大値を制限したい場合等において、ある属性を細分割したり（そのために、新たに属性を生成したり）、使われる頻度の少ない属性を結合して新たなシーン属性を生成したり、全く使われない属性があれば破棄するなどの処理を行なうことによって、より適切に実際の録画および再生番組の属性に沿った分類を行うことができる。
実施の形態２．
先の実施の形態１では、録画される番組のシーン毎の属性は、映像もしくは音声を解析することによって求めていたが、本実施の形態では、予め番組の各シーンに付与されているメタデータを解析することによって、シーン毎に属性を付与する点に相違がある。本実施の形態で示すメタデータとは、各シーン、もしくは番組の任意区間や特定フレームの特徴を示すキーワードや、ある意味をもった数値である。キーワードの例では、番組が野球であれば、「ホームラン」、「エラー」、「三振」や選手の名前などが挙げられる。また、ドラマ等であれば、登場人物の名前や、「公園」、「駅」といった一般的な場所を示したり「東京駅」といった特定の場所を示す情報や、「雨」、「晴天」といった天候を示すものであったり、いずれにしてもキーワードで表現されることが多い。また、数値の例で言えば、映像の特徴量を表現するために、ＲＧＢのＲ（赤）を２５６段階で表現する場合や、野球のスコアを示す場合がある。本実施の形態は、キーワードのみ、或いは数値のみに限定するものではないが、より抽象的であり、一意にシーンの特徴として取り扱うことが難しいキーワードを例にとって説明する。
図１４に実施の形態２の番組推奨装置を備えた記録再生装置１の構成を示す。図１４の記録再生装置１は、図１の記録再生装置と概して同じであるが、図１の入力シーン解析部２０の代わりに入力シーン解析部６０を備えている。この入力シーン解析部６０は、以下の点で入力シーン解析部２０と異なる。以下相違点を中心に説明をする。本実施の形態では放送波もしくはネットワーク９２から取り込まれた映像音声ストリームに、メタデータが重畳されていると仮定している。このメタデータは各シーンに付与乃至付加されたものであり、キーワードを示すデータを含む。
入力ストリーム制御部１３でメタデータが重畳されたストリームおよびパケットを検出すると、メタデータ抽出部６７において、メタデータが含まれるパケットを抽出するとともに、メタデータ自身の抽出を行う。
キーワード属性マップメモリ６５は、予めキーワードと、そのキーワードに対応して割り当てられる１つもしくは複数の属性情報の対応関係を示すキーワード／属性対応付けマップ（以下単に「対応付けマップ」と言うことがある）を格納している。
メタデータシーン属性マッチング部６８では、各シーンに付与されたメタデータから抽出したキーワードを、上記対応付けマップと照らし合わせ、抽出したキーワードが上記対応付けマップに含まれていれば、抽出したキーワードが付与されたシーンが、該マップで当該キーワードに対応付けられた属性を有するものと判断する。また、キーワード自体が含まれていなくても、キーワードの類語が上記対応付けマップに含まれている場合にも同様に扱う。各シーンは複数の属性を有すると判定されることもある。
図１５の表にキーワードと属性の対応関係を示す上記対応付けマップの具体的な例を示す。
図１５の表の左欄に番組の属性が記載され、右欄に各属性に割り当てられるキーワードが列挙されている。対応付けマップに記載されているキーワードには、複数の属性に対応するものもあれば、１つの属性にしか対応しないものも存在する。また、あるキーワードについては、この対応付けマップに載っていなくても、類語が載っていれば、当該キーワードが載っているのと同様に扱われる場合がある。
図１５は、例えば、あるシーンのメタデータから「雨」というキーワードが抽出されれば、当該シーンは、「映画」、「ドラマ」、「旅情」の属性を有するということを示している。
メタデータシーン属性マッチング部６８はさらに、抽出されたキーワードが人の名前を表す場合には、当該キーワードが付与されたシーンは、「映画」、「ドラマ」、「アニメ」という属性を有すると判断する。
次に図１５の対応付けマップを用いて、放送番組の各シーンに対して属性を割り当てる例を図１６（ａ）及び（ｂ）に示す。図１６（ａ）は、例えば放送波から受信した映像音声ストリームに対して、区切られたシーンと、シーン先頭の時刻、シーンに付加されたキーワードを示している。この各キーワードに対して図１５で示す対応付けマップに照らし合わせて、属性情報を割り当てると図１６（ｂ）になる。図１６（ｂ）において、図１６（ａ）のシーンＮｏ．１〜Ｎｏ．１２の各々に該当する属性については、「１」が記入され、対応しない属性には、何も記入されていない。各シーンに付けられた属性の数は０個のときもあり（例えばシーンＮｏ．１０）、１個のときもあり（シーンＮｏ．４、５）、２個以上のときもある。この対応付け（割り当て）を番組全域、もしくは特定区間に対して実施し、属性の度数を加算し、さらに正規化を行うと図１７に示すような、各属性を横軸に、度数を正規化した値を縦軸にとったグラフ（ヒストグラム）が生成される。この結果からすると、例示した番組は、ドラマ的なシーンが非常に多く、一方、スポーツやアニメの属性を有するシーンが非常に少ないということが確認できる。
このように、シーンに対して付与されたメタデータからシーンの属性を求め、各シーン属性の度数分布をとることで、番組の属性および属性の傾向を抽出することが可能となる。
メタデータシーン属性マッチング部６８で各シーンのシーン属性が検出されると、検出された各該シーンについての属性情報Ｃ１〜Ｃ１０が、シーンの時間情報（開始時間、終了時間、時間長）やアドレス情報（番組の先頭からの位置、バイト長さ）とともに、シーン属性データベース１５に記録される。
本解析処理を番組の開始から終了、もしくは任意区間について実行することで、当該期間（番組の開始から終了までの期間、又は任意区間）におけるシーンの属性の発生回数（度数）を計数し、番組全体もしくは任意区間における各シーンの度数分布であるシーン属性ヒストグラムを求めることができる。
メタデータシーン属性マッチング部６８はさらに、複数のシーンの各々の属性の度数分布を累積することで、番組の属性を表す度数分布（ヒストグラム）を生成する。
このように、メタデータシーン属性マッチング部６８と、キーワード属性マップメモリ６５と、シーン属性データベース１５とで、メタデータからシーン毎に抽出したシーンの属性の発生回数（度数）を計数し、計数により求められた属性毎の度数を求めるメタデータシーン属性度数分布取得手段が構成されている。
以降の、ユーザー嗜好を抽出する方法、および推奨番組を決定する方法については、実施の形態１と同様であるので、説明を省略する。
以上のように構成された実施の形態２の番組推奨装置では、映像もしくは音声情報に付与されたメタデータからシーン単位で属性を求めることができる。また、求めたシーン単位での属性情報を用いて、シーン単位で属性分類を行うことができる。よって、ＥＰＧ情報が受信できないような状態でも属性の分類が可能である。
また、ＥＰＧを利用した属性分類では、ＥＰＧ情報で決められた属性に分類することしかできないが、メタデータと対応付けマップによって、シーンの属性を求める方法であれば、ＥＰＧなどの与えられた情報、つまり与えられた属性の範囲を超えて、より詳細、より多岐に渡った属性を設定することが可能である。
また、ＥＰＧを利用する場合、番組単位で属性を決定するが、本実施の形態で示す方法によれば、シーン単位で属性を決めることができるので、シーン単位で属性の分類を行うことができ、シーン単位の検索を行うことができる。
また、番組自身である映像や音声の解析を必要としないため、映像や音声を直接解析する方法に比べ、処理負荷を低減することができる。
また、複数シーンから構成される番組の属性が、各シーン属性を累積した度数分布で表現されるので、番組の属性を複数の属性のレベルで表現することができ、番組の属性を、ある属性を有するか否かの２値で表現する場合に比べ、より自由度の高い属性の表現が可能である。
また、番組の属性を度数分布で表現するので、複数の番組の比較を行う場合に、任意の属性を有するか否かではなく、それぞれの番組が有する任意の属性のレベルで比較することができ、従って、近似度合い或いは相関性を多段階に表現することができる。
また、複数番組の相関性を求める場合、それぞれの番組の度数分布の相関性を求めることによって、番組間の相関性を求めることが可能である。
また、ユーザーの嗜好を解析する場合に、番組単位で再生や編集の有無を元にユーザー嗜好を求めるのではなく、シーン単位でユーザー嗜好を求めるので、例えばリピートされる（繰り返し再生される）シーンはユーザーが好むものであると判定するといった、シーン単位の処理が可能となり、よりユーザーの嗜好をより細やかに反映することができる。
また、ユーザーの嗜好を示すヒストグラムの生成において、最近に再生された番組によって生成されたヒストグラムと、それまでの再生によって生成されたヒストグラムを、それぞれに重みを乗じて加算することによって、推奨する番組の傾向を、ユーザーの嗜好の変化に対して敏感に反応させたり、逆に鈍感に反応させたりといった調整が可能である。
また、シーンの属性値をヒストグラムに反映する場合に、各シーンの時間長さを考慮に入れ、例えば再生時間（秒数）に応じた度数を加える（例えば再生時間１秒につき度数１を加算する）を加えるなどの処理によって、さらにシーンの長さや再生時間までも考慮したユーザー嗜好を示すヒストグラムを生成することができる。
なおまた、本実施の形態では、キーワードから番組属性を抽出する方法について示したが、番組の特性を示す数値、例えばＲＧＢ情報や、ハイライトシーンを示すレベル値等を用いてもよい。
実施の形態３．
先の実施の形態１では、録画された番組の中からユーザーの嗜好に沿った番組を推奨する機能を有しているが、本実施の形態では、未放送番組からユーザーの嗜好に沿った番組を推奨し、視聴予約や、録画予約に利用しようとするものである。
図１８に本実施の形態３の番組推奨装置を備えた記録再生装置１の構成を示す。図１８の記録再生装置は、図１の記録再生装置に対して、ＥＰＧ制御部５０が追加されており、さらに番組推奨部４０の構成に相違がある。
ＥＰＧ制御部５０は、ＥＧＰ取得部５３で放送波もしくはネットワーク９２からＥＰＧ情報を取得し、ＥＰＧデータベース５１に各番組のタイトル、時間情報、属性、出演者、解説などを記録する。
ＥＰＧ検索部５２は、ＥＰＧ情報に対する検索機能を提供し、キーワードを入力すれば、当該キーワードを含む番組を抽出したり、ジャンルを指定すれば、該当するジャンルを含む番組を推奨したりすることができる。ここで言うジャンルとは、ＥＰＧ情報に含まれる番組の属性情報であり、ＥＰＧのフォーマットによって一意に決まっているものである。
番組推奨部４０の推奨番組選出部４２は、ユーザー嗜好データベース４３に記録されたユーザー嗜好ヒストグラムを元に、未放送番組からユーザー嗜好に近い一つもしくは複数の番組を推奨する。
システム制御部２は、予約番組管理部１０を使って予約視聴や予約録画を自動的に行う機能をユーザーに提供したり、番組推奨部４０により推奨された番組を自動的に予約番組管理部１０に登録したり、さらには同番組の録画もしくは視聴を行うために、スケジュール管理部９に指定時間に録画もしくは視聴が開始されるように登録したりする。
次に動作について説明する。システム制御部２から、番組の推奨要求が与えられると、番組推奨部４０の推奨番組選出部４２は、ユーザー嗜好データベース４３から、ユーザーの操作、再生履歴（例えば、図５に示されるようなユーザー視聴履歴ヒストグラム）を元に生成されたユーザー嗜好ヒストグラム（図１９）を読み出す。
推奨番組選出部４２は、ＥＰＧ検索部５２を使って、ＥＰＧデータベース５１にアクセスし、ＥＰＧデータの検索を行うことができる。ユーザー嗜好ヒストグラムを使って、ＥＰＧデータから番組を推奨する方法としては、ユーザー嗜好ヒストグラムの度数分布が示す各属性の割合を元に、複数の推奨番組を決定する方法がある。
例えば、ユーザー嗜好ヒストグラムが図１９のような場合、度数分布が、映画：ドラマ：スポーツ：ドキュメンタリ：旅情：アニメ＝６０：８０：４０：５０：３０：２０の割合になっているので、推奨番組が同率の割合になるようにＥＰＧ検索部５２のジャンル検索機能を使って、推奨番組を決定することができる。また、別の例としては、ユーザー嗜好ヒストグラムが図１９の場合、もっとも頻度が高い属性がドラマであることから、ＥＰＧ検索部５２のジャンル検索機能を使って、ドラマ番組のみを選出することもできる。
以上のように構成された実施の形態３の番組推奨装置では、映像もしくは音声情報からシーンの特徴を抽出することができるので、シーン単位で属性の分類を行うことができ、シーン単位の検索を行うことができる。
また、複数シーンから構成される番組の属性は、各シーン属性を累積した度数分布で表現されるので、番組の属性を、ある属性を有するか否かの２値で表現することに比べ、番組の属性を複数の属性のレベルで表現できるので、より自由度の高い属性の表現が可能である。
また、複数番組の番組の相関性を求める場合、それぞれの番組の度数分布の相関性を求めることによって、番組間の相関性を求めることが可能である。
また、ユーザーの嗜好を解析する場合に、番組単位で再生や編集の有無を元にユーザー嗜好を求めることに比べ、シーン単位でユーザー嗜好を求めるので、例えばリピートされる（繰り返し再生される）シーンはユーザーがより好むシーンと判定するといった、シーン単位の処理が可能となり、よりユーザーの嗜好をより細やかに反映することができる。
実施の形態４．
先の実施の形態１では、録画された番組の中からユーザーの嗜好にそった番組を推奨する機能を有するが、本実施の形態では、ユーザーが番組編集を行った番組および番組の各シーンの属性を元に、ユーザーの嗜好を分析し、ユーザー嗜好に沿った番組を推奨し、視聴予約や、録画予約に利用しようとするものである。
図２０に本実施の形態３の番組推奨装置を備えた記録再生装置１を示す。図２０の記録再生装置１は、図１の記録再生装置１と概して同じであるが、以下の点で異なる。即ち、図１の再生シーン解析部３０の代わりに、編集シーン解析部７０が設けられており、この編集シーン解析部７０は、編集シーン時間情報抽出部７７と、編集シーン属性抽出部７６と、ユーザー嗜好ＤＢ更新部３３とを有する。
番組記録部１４に記録されているストリームに対して、編集対象となる番組もしくはシーンに対応するストリームを読み出す編集ストリーム制御部７４と、読み出したストリームをカット、結合、削除したり、任意の位置にチャプターを設定解除したりするストリーム編集部７５が設けられている。さらに、編集ストリーム制御部７４に読み出されたストリームについては、編集シーン時間情報抽出部７７によって、編集対象とされるシーンの時間情報を抽出し、その時間情報をもとに編集シーン属性抽出部７６がシーン属性データベース１５から編集対象シーンのシーン属性を求め、ユーザー嗜好ＤＢ更新部３３によってユーザー嗜好データベース４３の内容を更新する点にも相違がある。
まず、編集の方法について説明する。ここではユーザーが好みのシーンのみを残し、それ以外のシーンを削除するカット編集を例に取る。具体的には、再生時間が５分のコンテンツに対して、先頭から２分目と３分目にチャプターを設定し、その後、２分目から３分目の区間を残し、それ以外を削除するものとする。まず、ユーザーが図示しないユーザーインターフェース等を用いて操作信号を入力することにより、編集対象とするコンテンツを選択し、再生等によって内容を確認する。次に、再生制御情報を読み出し、チャプター情報が記録される領域にチャプター＃２を先頭から２分目の位置に設定し、チャプター＃３を先頭から３分目の位置に設定する。なお、ここではストリーム先頭には必ずチャプター（チャプター＃１）が付与されているものとしている。チャプターは実際にはストリーム自身に付与されるものでなく、ストリームと同時に記録される再生制御情報に記録される。チャプター情報として記録される情報は、チャプターの番号、チャプター位置の時間およびストリーム先頭からの位置情報等である。再生制御情報にチャプター情報を記録した後、チャプターが設定された位置における時間情報を編集シーン時間情報抽出部７７が読み出し、さらにその時間情報を元に、編集シーン属性抽出部７６がシーン属性データベースからシーン属性情報を読み出し、ユーザー嗜好データベース４３に記録されている該当シーンの属性と一致する属性の度数を増加させるようにユーザー嗜好ＤＢ更新部３３がユーザー嗜好データベース４３を更新する。
次に、カット編集する場合について説明する。カット編集の場合は、番組記録部１４に記録されているストリームに対して編集ストリーム制御部７４からストリームを一旦読み出し、編集ストリーム上で、先頭から２分目までのストリームを削除し、さらに先頭から３分目以降のストリームも削除する。これと同時に、再生制御情報の時間長さを１分に修正し、さらにエントリー情報を先頭から２分目から３分目までの区間のみ残し、それ以外は削除する。このようにしてストリームのカット編集が行われる。ここでは、一旦編集ストリーム制御部７４およびストリーム編集部７５によって番組記録部１４からストリームを読み出しているが、番組記録部１４上で直接編集を行っても良い。カット編集において残った区間の時間が編集シーン時間情報抽出部７７によって読み出され、さらにその時間情報を元に、編集シーン属性抽出部７６がシーン属性データベースからシーン属性情報を読み出し、ユーザー嗜好データベース４３に記録されている残ったシーンの属性と一致する属性の度数を増加させるようにユーザー嗜好ＤＢ更新部３３がユーザー嗜好データベース４３を更新する。また、残ったシーンの属性の度数を増加させるのとは逆に、削除したシーンに対応する属性の度数を減少させることを行っても良い。
上記に説明したとおり、チャプター編集やカット編集において対象となったシーンについて、その属性を求め、ユーザー嗜好データベースに記録されている対応する属性の度数を増加させるもしくは減少させる操作を行うことによりユーザー嗜好を反映させることができる。
ユーザーは編集機能によって番組単位の操作ではなく、さらに小さな単位であるシーンに対してさまざまな操作が可能となる。このシーンに対する編集操作によって、ユーザーの各シーンに対する嗜好を判定することができる。例えば、ある番組から気に入ったシーンのみを抽出し、１つの新たな番組にする操作や、元の番組とは別にお気に入りシーンだけを集めたプレイリストを作成する操作によって、ユーザーの気に入っているシーンを特定することができる。一方で、ある番組から不要なシーンを削除する行為によって、ユーザーが気に入らないシーンを特定することができる。また、ユーザーがあるシーンに対して簡単にアクセスできるように設定したチャプターによって、チャプターが設定された直後のシーンが非常に重要なシーンであると判定することができる。
特に編集操作は、録画や再生といった機能に比べて、一般的に高い頻度で行われる操作ではなく、ユーザーの強い意思の元に行われるため、ユーザーの意図や嗜好が強く反映されていると解釈してよく、本実施の形態で示されているユーザー嗜好データベース４３に編集対象となったシーンの情報を加味することは、ユーザー嗜好に反映することは、よりユーザー嗜好データベース４３の精度を上げるうえで非常に有用である。また、再生時に行われるユーザー操作もユーザー嗜好を反映したものであるが、早送りやスキップといった行為は一時的なもので、恒久的にストリームに記録される編集ほどユーザー嗜好を強く反映しているものではない。
以上のように構成された実施の形態４の番組推奨装置では、編集操作によってシーン単位でユーザーの嗜好を取得できる。
特に、通常頻繁に行われることが少ない編集操作によって、ユーザー嗜好を求めるので、高精度にユーザー嗜好を求めることができる。
また、編集操作ごとに重みをつけることも可能で、例えばチャプター設定を行ったシーンの属性については、度数を１つあげ、プレイリストにしたシーンの属性については度数を２つあげるといった、操作の種類によって上げる度数の値を変更することもできる。
本実施の形態では、シーンの属性は予め用意されているものとしているが、編集操作中に編集操作対象となっているシーンのシーン属性を解析してもよい。この場合、録画時にシーン属性の抽出を行う必要がない。
以上、本発明の記録再生装置について説明したが、本発明は記録機能がなく再生機能がある装置（再生装置）、記録機能があり再生機能のない装置（記録装置）にも適用可能である。また、記録機能がなく編集機能のみを有する装置にも適用可能である。
本発明の実施の形態１の番組推奨装置を備えた記録再生装置の構成を示すブロック図である。 実施の形態１で用いられるシーンの属性の一例及び対応する判定基準を示す表である。 実施の形態１において、シーン単位に属性を検出した結果の一例を示す図である。 実施の形態１において、検出されたシーン属性のヒストグラムである。 実施の形態１における、ユーザーの視聴履歴を表すヒストグラムである。 実施の形態１において、番組の特定区間を再生したときのシーン属性の出現の頻度を表すヒストグラムである。 （ａ）〜（ｄ）は、実施の形態１により、視聴履歴を元にして生成された推奨ヒストグラム、および複数の番組の各々のヒストグラムを示す図である。 実施の形態１の録画時におけるシーン属性抽出の処理手順を示すフローチャートである。 実施の形態１の再生時におけるシーン属性抽出の処理手順を示すフローチャートである。 実施の形態１の番組推奨の処理手順を示すフローチャートである。 （ａ）〜（ｃ）は、実施の形態１におけるヒストグラムの合成方法を示す図である。 実施の形態１におけるユーザーインターフェースの一例を示す図である。 実施の形態１におけるユーザーインターフェースの他の例を示す図である。 本発明の実施の形態２の番組推奨装置を備えた記録再生装置の構成を示すブロック図である。 実施の形態２で用いられる、キーワードと属性の対応関係の一例を示す図ある。 （ａ）及び（ｂ）は、実施の形態２における、各シーンへの属性の対応付けの結果の一例を示す図である。 実施の形態２において生成されるシーン属性ヒストグラムである。 本発明の実施の形態３の番組推奨装置を備えた記録再生装置の構成を示すブロック図である。 実施の形態３で用いられるユーザー嗜好ヒストグラムである。 本発明の実施の形態４の番組推奨装置を備えた記録再生装置の構成を示すブロック図である。
符号の説明
１ 記録再生装置、 ２ システム制御部、 ３ デジタルチューナ、 ４ アナログチューナ、 ５ 外部アナログ入力部、 １１ エンコーダ、 １２ リエンコーダ、 １３ 入力ストリーム制御部、 １４ 番組記録部、 １５ シーン属性データベース、 １６ 出力ストリーム制御部、 １７ 再生デコーダ、 １８ メタデータ記録部、 ２０ 入力シーン解析部、 ２１ 解析用デコーダ、 ２２ 特徴量抽出部、 ２３ シーン抽出部、 ２４ シーン属性選択部、 ２５ 属性リストメモリ、 ２６ フレームバッファ、 ３０ 再生シーン解析部、 ３１ シーン時間情報抽出部、 ３２ シーン属性抽出部、 ３３ ユーザー嗜好ＤＢ更新部、 ４０ 番組推奨部、 ４２ 推奨番組選出部、 ４３ ユーザー嗜好データベース、 ７４ 編集ストリーム制御、 ７５ ストリーム編集、 ７６ 編集シーン属性抽出、 ７７ 編集シーン時間情報抽出、 ５０ ＥＰＧ制御部、 ５１ ＥＰＧデータベース、 ５２ ＥＰＧ検索部、 ５３ ＥＰＧ取得部、 ６０ 入力シーン解析部、 ６７ メタデータ抽出部、 ６８ メタデータシーン属性マッチング部、 ８１ リモコン受信部、 ８２ ユーザー操作受信部、 ８７ 外部デジタル出力部、 ８８ 外部デジタル出力端子、 ９１ アンテナ、 ９２ ネットワーク、 ９３ モニター。

Claims (3)

  1. 映像音声コンテンツを記録する際に前記映像音声コンテンツの一部であるシーンを抽出するシーン抽出手段と、
    記録されている前記映像音声コンテンツにつき、前記シーン抽出手段で抽出された前記シーンの属性を前記シーン毎に抽出し、前記シーン毎に抽出した前記シーンの属性の発生度数を計数し、抽出された各属性の度数を求める第１の度数分布取得手段と、
    前記映像音声コンテンツの各シーンに対するユーザの再生もしくは配信もしくは編集の操作に応じて、再生もしくは配信もしくは編集されたシーン毎の属性情報を抽出するシーン属性抽出手段と、
    前記シーン毎に抽出された前記シーンの属性の発生度数を再生もしくは配信もしくは編集された複数の映像音声コンテンツにわたり計数し、計数結果を、ユーザの嗜好を反映したシーン属性の度数分布として取得する第２の度数分布取得手段と、
    前記第１及び第２の度数分布取得手段によって得られた度数分布を元に、録画もしくは再生する映像音声コンテンツを推奨する推奨番組選出手段とを備え、
    前記推奨番組選出手段は、
    前記第１の度数分布取得手段で取得した、前記映像音声コンテンツにおけるシーン属性の度数分布と、前記第２の度数分布取得手段で取得した、ユーザの嗜好を反映したシーン属性の度数分布との間の相関性に基づいて、録画もしくは再生する映像音声コンテンツを推奨する
    ことを特徴とする番組推奨装置。
  2. 映像音声コンテンツを記録する録画手段と、
    前記録画手段によって前記映像音声コンテンツが記録されるときに、記録されている前記映像音声コンテンツのシーン毎の属性を抽出する録画シーン属性抽出手段と、
    前記録画シーン属性抽出手段によって抽出されたシーンの属性の発生度数を計数し、抽出された各属性の度数を映像音声コンテンツ単位で求める録画シーン属性度数分布取得手段と、
    前記映像音声コンテンツを再生もしくは配信する再生手段と、
    前記再生手段によって前記映像音声コンテンツを再生もしくは配信するときに、再生もしくは配信されている前記映像音声コンテンツの前記シーン毎の属性を抽出する再生シーン属性抽出手段と、
    前記再生シーン属性抽出手段によって抽出されたシーンの属性の発生度数を計数し、抽出された各属性の度数を求める再生シーン属性度数分布取得手段と、
    前記録画シーン属性度数分布取得手段によって得られたシーン属性の度数分布を元に、次に再生する映像音声コンテンツを推奨する推奨番組選出手段とを備え、
    前記推奨番組選出手段は、
    前記録画シーン属性度数分布取得手段で取得した、前記映像音声コンテンツにおけるシーン属性の度数分布と、前記再生シーン属性度数分布取得手段で取得した、シーン属性の度数分布との間の相関性に基づいて、録画もしくは再生する映像音声コンテンツを推奨する
    ことを特徴とする番組推奨装置。
  3. 前記録画シーン属性抽出手段は、
    前記映像音声コンテンツの一部であるシーン毎の映像もしくは音声を解析することにより得られた前記シーン毎の属性を抽出し、
    前記録画シーン属性度数分布取得手段は、
    前記映像音声コンテンツにおける、複数のシーン属性の各々の発生度数を計数し、前記映像音声コンテンツの各々についての計数結果を前記映像音声コンテンツについてのシーン属性の度数分布として取得し、
    前記再生シーン属性抽出手段は、
    前記映像音声コンテンツの各シーンに対するユーザの再生もしくは配信のための操作に応じて、再生もしくは配信されたシーン毎の属性情報を抽出する
    ことを特徴とする請求項２に記載の番組推奨装置。
JP2008239468A 2008-09-18 2008-09-18 番組推奨装置 Expired - Fee Related JP5322550B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008239468A JP5322550B2 (ja) 2008-09-18 2008-09-18 番組推奨装置
US12/561,809 US8798170B2 (en) 2008-09-18 2009-09-17 Program recommendation apparatus
CN2009101705992A CN101677376B (zh) 2008-09-18 2009-09-18 节目推荐装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008239468A JP5322550B2 (ja) 2008-09-18 2008-09-18 番組推奨装置

Publications (2)

Publication Number Publication Date
JP2010074518A JP2010074518A (ja) 2010-04-02
JP5322550B2 true JP5322550B2 (ja) 2013-10-23

Family

ID=42008417

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008239468A Expired - Fee Related JP5322550B2 (ja) 2008-09-18 2008-09-18 番組推奨装置

Country Status (3)

Country Link
US (1) US8798170B2 (ja)
JP (1) JP5322550B2 (ja)
CN (1) CN101677376B (ja)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5182178B2 (ja) * 2009-03-18 2013-04-10 ソニー株式会社 情報処理装置及び情報処理方法
JP5409268B2 (ja) * 2009-10-30 2014-02-05 株式会社日立ソリューションズ 情報提示装置及び携帯端末
US20110125774A1 (en) * 2009-11-20 2011-05-26 Rovi Technologies Corporation Content integration for a content system
US20110126276A1 (en) * 2009-11-20 2011-05-26 Rovi Technologies Corporation Cross platform gateway system and service
US20110125809A1 (en) * 2009-11-20 2011-05-26 Rovi Technologies Corporation Managing different formats for media files and media playback devices
US20110125585A1 (en) * 2009-11-20 2011-05-26 Rovi Technologies Corporation Content recommendation for a content system
US20110126104A1 (en) * 2009-11-20 2011-05-26 Rovi Technologies Corporation User interface for managing different formats for media files and media playback devices
US8631508B2 (en) 2010-06-22 2014-01-14 Rovi Technologies Corporation Managing licenses of media files on playback devices
JP2012008789A (ja) * 2010-06-24 2012-01-12 Hitachi Consumer Electronics Co Ltd 動画推薦システム及び動画推薦方法
US9639850B2 (en) * 2010-09-30 2017-05-02 Disney Enterprises, Inc. Systems and methods for incentivizing content engagement
US20120084801A1 (en) * 2010-10-04 2012-04-05 Simon Michael Rowe System and Method for Providing Real Time Television Viewing Information and Popularity to Viewers
US20120090009A1 (en) 2010-10-12 2012-04-12 Comcast Cable Communications, Llc Video Assets Having Associated Graphical Descriptor Data
JP5786495B2 (ja) * 2011-06-30 2015-09-30 富士通株式会社 画像認識装置、画像認識方法及び画像認識用コンピュータプログラム
EP2741507B1 (en) * 2011-08-04 2017-05-10 Nec Corporation Video processing system, method of determining viewer preference, video processing apparatus, and control method and control program therefor
US9392310B2 (en) 2011-08-31 2016-07-12 Google Inc. Method and system for collecting and managing TV viewership data
US9009794B2 (en) 2011-12-30 2015-04-14 Rovi Guides, Inc. Systems and methods for temporary assignment and exchange of digital access rights
US9129087B2 (en) 2011-12-30 2015-09-08 Rovi Guides, Inc. Systems and methods for managing digital rights based on a union or intersection of individual rights
US9473730B1 (en) * 2012-02-13 2016-10-18 Nbcuniversal Media, Llc Method and system for personalized recommendation modeling
TWI510064B (zh) * 2012-03-30 2015-11-21 Inst Information Industry 視訊推薦系統及其方法
US10334298B1 (en) 2012-04-20 2019-06-25 The Directv Group, Inc. Method and system for searching content using a content time based window within a user device
US10229197B1 (en) 2012-04-20 2019-03-12 The Directiv Group, Inc. Method and system for using saved search results in menu structure searching for obtaining faster search results
US20130344799A1 (en) * 2012-06-22 2013-12-26 GM Global Technology Operations LLC System for delivery of radio content and method of delivering radio content
CN102802050B (zh) * 2012-08-24 2015-04-01 青岛海信电器股份有限公司 电视节目推荐方法及***
US8843839B1 (en) * 2012-09-10 2014-09-23 Imdb.Com, Inc. Customized graphic identifiers
US8996526B1 (en) * 2012-12-11 2015-03-31 Imdb.Com, Inc. Determining a lasting value of content items and performers
TWI514861B (zh) * 2013-04-19 2015-12-21 Chih Yao Lin 影音播放媒體之廣告方法
US9383965B1 (en) * 2013-08-16 2016-07-05 Amazon Technologies, Inc. Media library analyzer
CN104683852B (zh) * 2013-11-29 2018-04-06 国际商业机器公司 处理广播信息的方法和设备
WO2015092446A1 (en) * 2013-12-18 2015-06-25 Google Inc. Annotating videos with entities based on comment summaries
US20150271571A1 (en) * 2014-03-18 2015-09-24 Vixs Systems, Inc. Audio/video system with interest-based recommendations and methods for use therewith
CN105227973A (zh) * 2014-06-27 2016-01-06 中兴通讯股份有限公司 基于场景识别的信息推荐方法及装置
DE102014216511A1 (de) * 2014-08-20 2016-02-25 Carl Zeiss Meditec Ag Erstellen von Kapitelstrukturen für Videodaten mit Bildern aus einem Operationsmikroskop-Objektbereich
US20170220525A1 (en) * 2014-08-29 2017-08-03 Koninklijke Philips N.V. Method and apparatus for hierarchical data analysis based on mutual correlations
US20160119685A1 (en) * 2014-10-21 2016-04-28 Samsung Electronics Co., Ltd. Display method and display device
US10750245B1 (en) 2014-11-25 2020-08-18 Clarifai, Inc. User interface for labeling, browsing, and searching semantic labels within video
US20160182954A1 (en) * 2014-12-18 2016-06-23 Rovi Guides, Inc. Methods and systems for generating a notification
CN106303596A (zh) * 2015-05-15 2017-01-04 北京国双科技有限公司 视频推荐***、方法及装置
US20160378276A1 (en) * 2015-06-29 2016-12-29 Rovi Guides, Inc. Methods and apparatus for generating for display portions of media assets
GB201514187D0 (en) * 2015-08-11 2015-09-23 Piksel Inc Metadata
US10346421B1 (en) * 2015-10-16 2019-07-09 Trifacta Inc. Data profiling of large datasets
KR20180024200A (ko) * 2016-08-29 2018-03-08 오드컨셉 주식회사 영상 검색 정보 제공 방법, 장치 및 컴퓨터 프로그램
US20180068188A1 (en) * 2016-09-07 2018-03-08 Compal Electronics, Inc. Video analyzing method and video processing apparatus thereof
US10129592B2 (en) 2016-10-05 2018-11-13 Cisco Technology, Inc. Audience measurement and feedback system
US10631055B2 (en) * 2016-10-05 2020-04-21 International Business Machines Corporation Recording ratings of media segments and providing individualized ratings
RU2660599C1 (ru) * 2017-06-01 2018-07-06 Общество с ограниченной ответственностью "Синезис" Способ индексирования видеоданных для фасетной классификации
CN107295361B (zh) * 2017-06-22 2019-07-19 腾讯科技（深圳）有限公司 一种内容推送方法
US10176846B1 (en) 2017-07-20 2019-01-08 Rovi Guides, Inc. Systems and methods for determining playback points in media assets
US20190182517A1 (en) * 2017-12-13 2019-06-13 Comigo Ltd. Providing Enrichment Data That is a Video Segment
KR102426089B1 (ko) * 2018-02-13 2022-07-28 삼성전자주식회사 전자 장치 및 전자 장치의 요약 영상 생성 방법
US10922438B2 (en) * 2018-03-22 2021-02-16 Bank Of America Corporation System for authentication of real-time video data via dynamic scene changing
KR102585777B1 (ko) 2018-05-29 2023-10-10 삼성전자주식회사 전자 장치 및 그 제어방법
US11317154B1 (en) * 2020-05-29 2022-04-26 Apple Inc. Adaptive content delivery
US11900009B2 (en) * 2020-12-17 2024-02-13 Dell Products L.P. System and method for adaptive automated preset audio equalizer settings

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5532833A (en) * 1992-10-13 1996-07-02 International Business Machines Corporation Method and system for displaying selected portions of a motion video image
JP2000013708A (ja) 1998-06-26 2000-01-14 Hitachi Ltd 番組選択支援装置
JP3579263B2 (ja) 1998-09-30 2004-10-20 株式会社東芝 番組データ選択方法及び番組視聴システム
US7209942B1 (en) * 1998-12-28 2007-04-24 Kabushiki Kaisha Toshiba Information providing method and apparatus, and information reception apparatus
JP3939551B2 (ja) * 1999-08-24 2007-07-04 富士通株式会社 動画像処理装置、その方法、及び記録媒体
CN1606746A (zh) * 2000-11-22 2005-04-13 皇家菲利浦电子有限公司 具有确定时变条件概率的间歇式简档的电视节目推荐
US20020159750A1 (en) * 2001-04-26 2002-10-31 Koninklijke Philips Electronics N.V. Method for segmenting and indexing TV programs using multi-media cues
JP3801878B2 (ja) 2001-06-04 2006-07-26 三菱電機株式会社 放送受信機及び番組情報提供方法
US20030160770A1 (en) * 2002-02-25 2003-08-28 Koninklijke Philips Electronics N.V. Method and apparatus for an adaptive audio-video program recommendation system
JPWO2003088665A1 (ja) 2002-04-12 2005-08-25 三菱電機株式会社 メタデータ編集装置、メタデータ再生装置、メタデータ配信装置、メタデータ検索装置、メタデータ再生成条件設定装置、及びメタデータ配信方法
CN101127899B (zh) 2002-04-12 2015-04-01 三菱电机株式会社 提示信息描述方法
CN100481930C (zh) * 2003-06-03 2009-04-22 皇家飞利浦电子股份有限公司 根据播放列表生成用户档案的方法和装置
JP2006526835A (ja) * 2003-06-03 2006-11-24 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ マルチメディアを購入する装置及び方法と、マルチメディアを供給する方法
JP4487517B2 (ja) * 2003-08-28 2010-06-23 ソニー株式会社 情報提供装置及び情報提供方法、並びにコンピュータ・プログラム
CN101036386A (zh) 2004-10-01 2007-09-12 松下电器产业株式会社 频道订约建议装置、方法、程序和集成电路
JP4852967B2 (ja) * 2005-06-03 2012-01-11 ソニー株式会社 コンテンツ管理システム，管理サーバ，管理情報加工装置，およびコンピュータプログラム
JP2008167018A (ja) * 2006-12-27 2008-07-17 Toshiba Corp 録画再生装置

Also Published As

Publication number Publication date
US8798170B2 (en) 2014-08-05
CN101677376A (zh) 2010-03-24
JP2010074518A (ja) 2010-04-02
US20100071005A1 (en) 2010-03-18
CN101677376B (zh) 2012-10-10

Similar Documents

Publication Publication Date Title
JP5322550B2 (ja) 番組推奨装置
JP4081120B2 (ja) 記録装置、記録再生装置
JP4611209B2 (ja) コンテンツ再生装置
EP2107477B1 (en) Summarizing reproduction device and summarizing reproduction method
JP4556752B2 (ja) コマーシャル視聴制御機能を有する録画再生装置
JP2008148077A (ja) 動画再生装置
KR20060027826A (ko) 비디오 처리장치, 비디오 처리장치용 집적회로, 비디오처리방법, 및 비디오 처리 프로그램
JP2007336283A (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP4925938B2 (ja) ダイジェスト映像情報作成方法、ダイジェスト映像情報作成プログラム、および、映像装置
JP2002281449A (ja) 映像装置
JP2008193585A (ja) 放送番組記録再生装置および放送番組記録再生方法
JP2010246000A (ja) 映像サーチ再生装置
JP2008153920A (ja) 動画像一覧表示装置
KR100370249B1 (ko) 샷 세그멘테이션 정보를 이용한 비디오 스키밍 시스템
US20160127807A1 (en) Dynamically determined audiovisual content guidebook
JP5266981B2 (ja) 電子機器、情報処理方法及びプログラム
JP2005167456A (ja) Ａｖコンテンツ興趣特徴抽出方法及びａｖコンテンツ興趣特徴抽出装置
JP3923918B2 (ja) 番組映像編集装置、番組映像編集方法及びプログラム
JP2006270793A (ja) ダイジェスト録画システム
JP4760893B2 (ja) 動画記録再生装置
JP2012134831A (ja) 録画装置
AU2005201690A1 (en) Method for Creating Highlights for Recorded and Streamed Programs
JP2002271739A (ja) 映像装置および再生制御情報配信方法
JP2010056702A (ja) 符号化映像再生装置及び符号化映像再生方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130524

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130618

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130716

R150 Certificate of patent or registration of utility model

Ref document number: 5322550

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees