JP5637930B2 - 興味区間検出装置、視聴者興味情報提示装置、および興味区間検出プログラム - Google Patents
興味区間検出装置、視聴者興味情報提示装置、および興味区間検出プログラム Download PDFInfo
- Publication number
- JP5637930B2 JP5637930B2 JP2011107591A JP2011107591A JP5637930B2 JP 5637930 B2 JP5637930 B2 JP 5637930B2 JP 2011107591 A JP2011107591 A JP 2011107591A JP 2011107591 A JP2011107591 A JP 2011107591A JP 5637930 B2 JP5637930 B2 JP 5637930B2
- Authority
- JP
- Japan
- Prior art keywords
- viewer
- unit
- interest
- facial expression
- image feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 105
- 230000008921 facial expression Effects 0.000 claims description 154
- 230000008859 change Effects 0.000 claims description 129
- 238000000605 extraction Methods 0.000 claims description 55
- 238000011156 evaluation Methods 0.000 claims description 53
- 238000000034 method Methods 0.000 claims description 47
- 238000004364 calculation method Methods 0.000 claims description 34
- 230000008569 process Effects 0.000 claims description 32
- 238000000926 separation method Methods 0.000 claims description 22
- 238000013500 data storage Methods 0.000 claims description 17
- 238000012706 support-vector machine Methods 0.000 claims description 15
- 238000003384 imaging method Methods 0.000 description 26
- 238000010801 machine learning Methods 0.000 description 22
- 238000012545 processing Methods 0.000 description 21
- 239000000284 extract Substances 0.000 description 18
- 238000005070 sampling Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 230000014509 gene expression Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000001815 facial effect Effects 0.000 description 9
- 230000007423 decrease Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 210000003128 head Anatomy 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 241000405217 Viola <butterfly> Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
また、それに加え、興味区間において、コンテンツを視聴する視聴者が興味をもったキーワードについてのウェブ検索、およびそのキーワードに対応するシーンの再生を簡単に行うことができる、視聴者興味情報提示装置を提供することを目的とする。
この構成によれば、本発明の第1の態様では、興味区間検出装置は、教師顔画像をあらかじめ機械学習させて境界面を求めておき、この境界面と視聴者顔画像の特徴量との距離に基づいて視聴者のコンテンツに対する興味の有無を推定する。よって、コンテンツを視聴する視聴者の顔表情の変化を的確にとらえてコンテンツに対する興味区間を精度よく検出することができる。
ここで、顔表情変化度合は、例えば、0(ゼロ)を中心(境界面上に相当する)とし、値が大きくなるほど顔表情の変化が大きくなり、値が小さくなるほど顔表情の変化が小さくなることを示す度合である。
[3]上記[1]または[2]記載の興味区間検出装置において、前記画像特徴量評価部は、所定の視聴期間分の顔表情変化度合を視聴者に対応させて取得し、前記所定の視聴期間分の顔表情変化度合に基づき顔表情変化度合閾値を計算して、前記顔表情変化度合閾値を前記視聴者状態検出部に設定することを特徴とする。
ここで、画像特徴量評価部は、取得した一定の視聴期間分の顔表情変化度合において、最大振幅における最大値から下方向に所定割合(例えば20%)の値を顔表情変化度合閾値とする。または、画像特徴量評価部は、取得した一定の視聴期間分の顔表情変化度合について時間積分し、一定レベルを超える側の面積が総面積の例えば20%となる当該レベルを、顔表情変化度合閾値に設定する。よって、このように構成することにより、視聴者個人の趣味、嗜好、視聴しているコンテンツに対する好み等に適合した、視聴者顔画像の閾値判定を行うことができる。
[4]上記[3]記載の興味区間検出装置において、外部から電子番組情報を取得する電子番組情報取得部をさらに備え、前記画像特徴量評価部は、視聴番組に対応する属性を抽出し、前記属性ごとに、顔表情変化度合を視聴者に対応させて取得することを特徴とする。
この構成によれば、本発明の第5の態様では、視聴者興味情報提示装置は、検出した興味区間に対応する放送データの部分からキーワードを抽出し、この抽出したキーワードを選択可能に含めた興味情報メニューを生成する。よって、コンテンツを視聴する視聴者の顔表情の変化を的確にとらえてコンテンツに対する興味区間を精度よく検出し、それに加え、興味区間において、コンテンツを視聴する視聴者が興味をもったキーワードについての興味情報メニューを生成することができる。
[6]上記[5]記載の視聴者興味情報提示装置において、前記提示制御部は、ウェブ検索処理を実行させる検索ボタンをも含めて前記興味情報メニューを生成し、前記キーワードおよび前記検索ボタンが選択された場合に、前記キーワードを検索キーとしてウェブ検索を実行させることを特徴とする。
この構成によれば、興味区間において、コンテンツを視聴する視聴者が興味をもったキーワードについてのウェブ検索(例えば、情報検索および番組検索)を簡単に行うことができる。
[7]上記[5]または[6]記載の視聴者興味情報提示装置において、前記データ分離部が抽出した前記コンテンツデータを記憶する放送データ記憶部と、再生部と、を備え、前記提示制御部は、シーン再生処理を実行させるシーン再生ボタンをも含めて前記興味情報メニューを生成し、前記キーワードおよび前記シーン再生ボタンが選択された場合に、前記キーワードを含むコンテンツデータを前記放送データ記憶部から読み出し、前記コンテンツデータを前記再生部により再生させることを特徴とする。
この構成によれば、興味区間において、コンテンツを視聴する視聴者が興味をもったキーワードに対応するシーンの再生を簡単に行うことができる。
また、それに加え、興味区間において、コンテンツを視聴する視聴者が興味をもったキーワードについてのウェブ検索、およびそのキーワードに対応するシーンの再生を簡単に行うことができる。
図1は、本発明の一実施形態である興味区間検出装置および視聴者興味情報提示装置を適用した、テレビ視聴システムの概略の全体構成図である。
同図に示すように、テレビ視聴システム1は、テレビジョン受像機10と、撮像装置20と、視聴者興味情報提示装置2とを、視聴者側の装置として含む。また、テレビ視聴システム1は、サーバ装置50をサービス提供者側の装置として含む。視聴者興味情報提示装置2とサーバ装置50とは、ネットワーク60を介して接続されている。
視聴者興味情報提示装置2が備える制御部(図示省略)による選択制御によって、興味区間検出装置30は、興味区間検出モード、機械学習モード、および閾値調整モードのいずれかの動作モードに設定されて動作する。以下、動作モードごとに説明する。
なお、同時に複数の視聴者がテレビジョン受像機10を視聴する場合は、興味区間検出装置30は、公知の顔認識技術を用いて、各視聴者の顔を認識し、視聴者ごとに顔表情変化度合を計算する。
ネットワーク60は、例えば、インターネットプロトコル(Internet Protocol;IP)によって通信可能なコンピュータネットワークである。
図2は、サポートベクターマシンによって、教師顔画像の画像特徴量が2クラスに分類された様子を示す概念図である。画像特徴量は、例えば、Bag−of−keypointsである。便宜上、同図は、画像特徴量ベクトルの次元数を“2”とした場合を示している。2クラスとは、“表情あり”クラスおよび“表情なし”クラスである。また、同図に示した8個の教師顔画像および1個の視聴者顔画像(画像特徴量Xに対応する顔画像)のそれぞれは、画像特徴量に対応する顔の表情を視覚化したものであり、各顔画像が配置された位置は、特徴量空間(ここでは、特徴量平面)における画像特徴量の位置を示すものである。
同図において、8個の教師顔画像それぞれの画像特徴量は、境界面Hによって表情有の領域Aと、表情無の領域Bとに分類される。
図3は、二人の視聴者(aおよびbとする)がテレビジョン受像機10で同一のコンテンツを視聴しているときの、興味区間検出装置30が算出する顔表情変化度合を時間経過に沿ってプロットしたグラフである。つまり、このグラフは、顔表情変化度合の時間変化グラフである。同図において、実線のグラフDaは、視聴者aの顔表情変化度合の時間変化グラフであり、破線のグラフDbは、視聴者bの顔表情変化度合の時間変化グラフである。
図4は、興味区間検出装置30の機能構成を示すブロック図である。同図に示すように、興味区間検出装置30は、画像データ取得部301と、顔画像領域抽出部302と、画像特徴量計算部303と、画像特徴量評価部304と、履歴記憶部305と、視聴者状態検出部306とを備える。
また、画像データ取得部301は、機械学習モードに設定された場合に、外部の教師データサーバ装置から供給される、複数の表情無画像データと複数の表情有画像データとを取り込み、これらのフレーム画像データを順次、顔画像領域抽出部302に供給する。
画像データ取得部301は、閾値調整パラメータが示すサンプリング期間において撮像装置20から供給される撮像データを取り込み、撮像データのフレームごと、または複数フレームおきに、フレーム画像データを顔画像領域抽出部302に供給する。
なお、公知の顔画像検出アルゴリズムについては、例えば、PAUL VIOLA and MICHAEL J. JONES: “Robust Real-Time Face Detection”, International Journal of Computer Vision, Vol. 57, No. 2, pp. 137-154 (2004)に開示されている。
なお、Bag−of−keypoints手法については、例えば、G. Csurka, C. Dance, L. Fan, J. Willamowski, and C. Bray: “Visual categorization with bags of keypoints”, Proc. of ECCV Workshop on Statistical Learning in Computer Vision, pp. 59-74 (2004)に開示されている。
なお、サポートベクターマシンについては、例えば、C. Cortes, and V. Vapnik: “Support-Vector Networks”, Machine Learning, Vol. 20, No. 3, pp. 273-297 (1995)に開示されている。
なお、画像特徴量評価部304は、全ての顔表情変化度合を時間積分して、一定レベルを超える側の面積が総面積の例えば20%となる当該レベル値を計算し、この値を顔表情変化度合閾値として視聴者状態検出部306に供給してもよい。
図5は、興味情報提示装置40が表示する興味情報メニューを模式的に示した図である。同図に示すように、興味情報提示装置40が表示する興味情報メニュー80には、興味情報一覧81と、一覧移動操作部82と、情報検索ボタン83と、番組検索ボタン84と、シーン再生ボタン85とが設けられている。情報検索ボタン83および番組検索ボタン84は検索ボタンである。
番組検索ボタン84は、カーソル86が示すキーワードを検索語として番組検索を実行させるためのGUIボタンである。
シーン再生ボタン85は、カーソル86が示すキーワードに対応するシーンを再生させるためのGUIボタンである。
なお、興味情報メニュー80において、複数のキーワードにカーソル86が表示された状態で情報検索ボタン83が選択された場合、検索メニュー91の検索キーワード入力欄92には、それら複数のキーワードそれぞれが、例えば“スペース”を挟んで表示され、それら複数のキーワードによるアンド検索が可能となる。
図8は、興味情報提示装置40の機能構成を示すブロック図である。同図に示すように、興味情報提示装置40は、放送データ取得部401と、データ分離部402と、記憶制御部403と、バッファ制御部404と、放送データ記憶部405と、放送データバッファ406と、興味区間取得部407と、キーワード抽出部408と、興味情報生成部409と、提示制御部410と、表示部411と、操作受付部412と、通信部413と、再生部414と、音声出力部415とを備える。
放送データバッファ406は、映像データと音声データと字幕データと文字データとの、最新の所定時間分(例えば、10秒間分)のデータを記憶する。放送データバッファ406は、例えば、半導体記憶装置により実現される。
キーワード抽出部408は、抽出したキーワードと興味区間信号の供給開始時刻および供給終了時刻の時刻情報(興味区間時間情報)とを、興味情報生成部409に供給する。
具体的には、キーワード欄のいずれかのキーワードが選択されることによって操作受付部412から供給される操作制御情報に基づいて、提示制御部410は、その選択されたキーワードにカーソル86を重ね合わせて表示部411に表示させる。
また、一覧移動操作部82が選択されることによって操作受付部412から供給される操作制御情報に基づいて、提示制御部410は、興味情報一覧の表示位置をスクロールさせる。
また、カーソル86が表示された後に、番組検索ボタン84が操作されることによって操作受付部412から供給される操作制御情報に基づいて、提示制御部410は、ウェブブラウザを起動させ、あらかじめ設定された番組検索サイトのURL情報を通信部413に供給する。
また、カーソル86が表示された後に、シーン再生ボタン85が操作されることによって操作受付部412から供給される操作制御情報に基づいて、提示制御部410は、カーソル86が示すキーワードと再生要求情報とを再生部414に供給する。
なお、表示部411は、興味情報提示装置40から分離されてもよい。また、表示部411をテレビジョン受像機10としてもよい。この場合、テレビジョン受像機10は、画面分割処理を実行し、第1の画面にコンテンツ映像を表示させ、第2の画面に興味情報メニュー、ウェブブラウザ情報等を表示させる。
通信部413は、提示制御部410から供給される情報検索サイトのURL情報を取り込み、このURL情報に示された情報検索サイトや番組検索サイトが所在するサーバ装置50をアクセスしてデータ通信を行う。
再生部414は、提示制御部410から供給される、キーワードと再生要求情報とを取り込み、そのキーワードに対応するシーンを放送データ記憶部405から読み込んで再生することにより、映像データを提示制御部410に供給し、また音声データを音声出力部415に供給する。
音声出力部415は、再生部414から供給される音声データを取り込んで音声出力する。音声出力部415は、例えば、デジタル/アナログ変換回路、アンプ、およびスピーカ装置等により実現される。
図9は、興味区間検出装置30が実行する機械学習処理の手順を示すフローチャートである。視聴者興味情報提示装置2が備える制御部によって興味区間検出装置30が機械学習モードに設定されると、興味区間検出装置30は、本フローチャートの処理を実行する。
次に、ステップS2において、顔画像領域抽出部302は、画像データ取得部301から供給されるフレーム画像データを取り込み、例えばAdaBoostを適用して顔画像検出処理を実行し、そのフレーム画像データから顔画像領域を検出する。
次に、画像特徴量計算部303は、リサイズ後の顔画像領域において、顔を含む円領域を設定し、この円領域内を顔領域とする。円領域は、顔表情の特徴を得やすい部位である、目、眉毛、鼻、口、頬を含むことが好ましい。例えば、リサイズ後の顔画像領域が正方形である場合、画像特徴量計算部303は、リサイズ後の顔画像領域の中心を中心位置とし、正方形の一辺の長さの0.8倍の長さを直径とする円領域を設定する。円領域によって抽出される顔領域は、髪の毛やイヤリング等の顔表情に関係がないかまたは関係が弱い情報が除外されたものである。
次に、画像特徴量計算部303は、円領域である顔領域を、その中心点を通る水平線を境に上半円領域と下半円領域とに分割する。
次に、画像特徴量計算部303は、上半円領域についてのBag−of−keypointsと、下半円領域についてのBag−of−keypointsとをそれぞれ計算し、各領域のBag−of−keypointsを合わせて1つのBag−of−keypointsを算出する。例えば、上半円領域についてのBag−of−keypointsが175次元ベクトル、下半円領域についてのBag−of−keypointsが125次元ベクトルである場合、画像特徴量は300次元ベクトルとなる。
次に、ステップS12において、画像データ取得部301は、閾値調整パラメータが示すサンプリング期間内である場合はステップS13の処理に移し、サンプリング期間外である場合はステップS18の処理に移す。
次に、ステップS14において、顔画像領域抽出部302は、画像データ取得部301から供給されるフレーム画像データを取り込んで、前述したステップS2の処理と同様に顔画像検出処理を実行し、そのフレーム画像データから顔画像領域を検出する。
次に、ステップS15において、画像特徴量計算部303は、前述したステップS3の処理と同様に、顔画像領域抽出部302が抽出した顔画像領域から視聴者顔画像の画像特徴量を計算し、この視聴者顔画像の画像特徴量を画像特徴量評価部304に供給する。
次に、ステップS17において、画像特徴量評価部304は、計算した顔表情変化度合を履歴記憶部305に記憶させ、ステップS12の処理に戻す。
次に、視聴者状態検出部306は、画像特徴量評価部304から供給される顔表情変化度合閾値を取り込み、この顔表情変化度合閾値を内部の記憶部に記憶させる。
次に、ステップS22において、顔画像領域抽出部302は、画像データ取得部301から供給されるフレーム画像データを取り込んで、前述したステップS2の処理と同様に顔画像検出処理を実行し、そのフレーム画像データから顔画像領域を検出する。
次に、ステップS23において、画像特徴量計算部303は、前述したステップS3の処理と同様に、顔画像領域抽出部302が抽出した顔画像領域から視聴者顔画像の画像特徴量を計算し、この視聴者顔画像の画像特徴量を画像特徴量評価部304に供給する。
次に、ステップS25において、視聴者状態検出部306は、画像特徴量評価部304から供給される顔表情変化度合を取り込み、内部の記憶部に記憶された顔表情変化度合閾値で顔表情変化度合を判定する。具体的には、視聴者状態検出部306は、顔表情変化度合が顔表情変化度合閾値を超える値であると判定した場合(S25:YES)はステップS26の処理に移し、顔表情変化度合が顔表情変化度合閾値以下の値であると判定した場合(S25:NO)はステップS27の処理に移す。
一方、ステップS27において、視聴者状態検出部306は、視聴者状態フラグをオフ(例えば“0”)に設定し、ステップS28の処理に移す。
図12は、興味情報提示装置40が実行する放送データ取得処理の手順を示すフローチャートである。
ステップS31において、放送データ取得部401は、テレビジョン受像機10から供給される放送データを待ち続けている(S31:NO)。そして、放送データ取得部401は、放送データの供給を受けると(S31:YES)、ステップS32の処理に移す。
ステップS32において、放送データ取得部401は、その放送データを取り込み、この放送データをデータ分離部402に供給する。
次に、ステップS33において、データ分離部402は、放送データ取得部401から供給される放送データを取り込んで、この放送データから各種データを分離し、これら分離されたデータを、記憶制御部403とバッファ制御部404とに供給する。
また、バッファ制御部404は、データ分離部402から供給される各種データを、あらかじめ設定された所定時間分、放送データバッファ406に記憶させる。具体的には、バッファ制御部404は、データ分離部402から供給される、映像データと音声データと字幕データと文字データとの、最新の所定時間分(例えば、10秒間分)のデータを、放送データバッファ406に記憶させる。
次に、ステップS31の処理に戻る。
ステップS41において、興味区間取得部407は、興味区間検出装置30から供給される視聴者状態フラグを取り込む。
次に、ステップS42において、興味区間取得部407は、取り込んだ視聴者状態フラグが前回の状態であるオフ状態(例えば“0(ゼロ)”)からオン状態(例えば“1”)に変化したことを検出した場合(S42:YES)、ステップS43の処理に移す。
一方、興味区間取得部407は、視聴者状態フラグが前回の状態であるオン状態(例えば“1”)からオフ状態(例えば“0(ゼロ)”)に変化したことを検出した場合(S42:NO)、ステップS44の処理に移す。
次に、ステップS45において、興味情報生成部409は、興味情報を生成して、この興味情報を提示制御部410に供給する。具体的には、興味情報生成部409は、キーワード抽出部408から供給されるキーワードと興味区間時間情報とを取り込む。また、興味情報生成部409は、興味区間時間情報が示す時間に対応する番組関連データにおける放送チャンネルと番組名称とを示す情報を放送データ記憶部405から読み込む。また、興味情報生成部409は、興味区間時間情報が示す時間における所定の時刻(例えば、先頭の時刻)に対応するフレーム画像データを、放送データバッファ406に記憶された映像データから抽出し、このフレーム画像データを縮小処理して縮小画像データを生成する。
次に、興味情報生成部409は、興味区間時間情報と、放送チャンネルを示す情報と、番組名称を示す情報と、縮小画像データと、キーワードとを対応付けた興味情報を生成し、この興味情報を提示制御部410に供給する。
次に、提示制御部410は、その記憶部に記憶された興味情報一覧を読み出し、この興味情報一覧をもとに図5に示した構成の興味情報メニュー80を生成し、興味情報メニュー80を表示部411に表示させる。
キーワード抽出部408は、放送データバッファ406に記憶された、音声データ、字幕データ、および文字データと、放送データ記憶部405に記憶された番組関連データとのいずれかまたは全てから、シーンに関するキーワードを抽出する。
また、キーワード抽出部408は、放送データバッファ406に字幕データが記憶されている場合に、興味区間信号の供給開始時から供給終了時までに対応する字幕データを放送データバッファ406から読み込み、この字幕データから字幕の文字に該当するテキストデータを取得する。
また、キーワード抽出部408は、放送データバッファ406に文字データが記憶されている場合に、興味区間信号の供給開始時から供給終了時までの間に提示対象となる文字データを放送データバッファ406から読み込み、この文字データをテキストデータとして取得する。
また、キーワード抽出部408は、興味区間信号の供給開始時から供給終了時までの間に視聴された番組の番組情報からテキストデータを取得する。
次に、キーワード抽出部408は、抽出したキーワードと興味区間信号の供給開始時刻および供給終了時刻の時刻情報(興味区間時間情報)とを、興味情報生成部409に供給する。
また、同様に、キーワード抽出部408は、興味区間信号の供給停止時点よりも所定時間遅いか早い時点までのキーワードを抽出するようにしてもよい。
また、撮像装置20は、テレビジョン受像機10でコンテンツを視聴している視聴者を撮影して撮像データを興味区間検出装置30に供給する。
また、興味区間検出装置30は、撮像装置20から供給される撮像データを取り込み、フレーム画像データに含まれる視聴者顔画像の画像特徴量を抽出する。そして、興味区間検出装置30は、その画像特徴量を、事前にサポートベクターマシンにより機械学習させた2クラス(“表情あり”および“表情なし”)の識別器により分類して顔表情変化度合を計算する。そして、興味区間検出装置30は、あらかじめ視聴者向きに調整された顔表情変化度合閾値で顔表情変化度合を判定することにより、コンテンツに対する興味区間を検出する。
つまり、興味区間検出装置30は、複数の表情有画像データと複数の表情無画像データとをあらかじめ機械学習させて境界面を求めておき、この境界面と視聴者顔画像の特徴量との距離に基づいて視聴者のコンテンツに対する興味の有無を推定する。
また、それに加え、興味区間において、コンテンツを視聴する視聴者が興味をもったキーワードについての情報検索および番組検索(ウェブ検索)、ならびにそのキーワードに対応するシーンの再生を簡単に行うことができる。
さらに、興味区間検出装置30は、電子番組情報取得部をさらに設け、この電子番組情報取得部に、電子番組情報を取得させて、この電子番組情報から、視聴番組に対応する属性(例えば、タイトル、ジャンル等)を抽出させ、画像特徴量評価部304に、属性ごと(例えば、タイトルごとやジャンルごと)の顔表情変化度合閾値を計算させるようにしてもよい。電子番組情報取得部は、電子番組情報を、テレビジョン受像機10やネットワーク60を介した電子番組ガイドサーバ等から取得する。
複数のサポートベクターマシンを組み合わせて用いることについては、例えば、I. Kotsia, S. Zafeiriou, and I. Pitas: “Texture and shape information fusion for facial expression and facial action unit recognition”, Pattern Recognition, Vol. 41, No. 3, pp. 833-851 (2008)に開示されている。
顔表情の変化と頭部の動きとを併せて解析することについては、例えば、Rana EI Kaliouby and Peter Robinson: “Real-Time Inference of Complex Mental States from Facial Expressions and Head Gestures", Real-time Vision for Human-Computer Interaction, pp. 181-200 (Aug. 2005)に開示されている。
これ以外にも、例えば、各キーワードに関する詳細情報や番組情報をデータベース化したサーバ(例えば、放送局や放送局以外の事業者が管理するサーバ)のURL情報を番組関連データに付加しておき、情報検索ボタン83または番組検索ボタン84が操作されることにより、提示制御部410が、番組関連データからURL情報を読み出してこのURL情報を通信部413に供給するようにしてもよい。
2 視聴者興味情報提示装置
10 テレビジョン受像機
20 撮像装置
30 興味区間検出装置
40 興味情報提示装置
50 サーバ装置
60 ネットワーク
301 画像データ取得部
302 顔画像領域抽出部
303 画像特徴量計算部
304 画像特徴量評価部
305 履歴記憶部
306 視聴者状態検出部
401 放送データ取得部
402 データ分離部
403 記憶制御部
404 バッファ制御部
405 放送データ記憶部
406 放送データバッファ
407 興味区間取得部
408 キーワード抽出部
409 興味情報生成部
410 提示制御部
411 表示部
412 操作受付部
413 通信部
414 再生部
415 音声出力部
Claims (8)
- コンテンツを視聴する視聴者が被写体として映る視聴者映像から、フレームごと、または複数フレームおきにフレーム画像データを取得する画像データ取得部と、
前記画像データ取得部が取得した前記フレーム画像データに含まれる視聴者顔画像に基づいて、画像特徴量を計算する画像特徴量計算部と、
前記画像特徴量の空間における所定の境界面から、前記画像特徴量計算部が計算した前記画像特徴量までの距離である顔表情変化度合を計算する画像特徴量評価部と、
前記画像特徴量評価部が計算した前記顔表情変化度合とあらかじめ設定された顔表情変化度合閾値とに基づき、前記視聴者の前記コンテンツに対する興味の有無を判定して興味区間を検出する視聴者状態検出部と、
を備える興味区間検出装置であって、
前記画像特徴量評価部は、
所定の視聴期間分の顔表情変化度合を視聴者に対応させて取得し、前記所定の視聴期間分の顔表情変化度合に基づき顔表情変化度合閾値を計算して、前記顔表情変化度合閾値を前記視聴者ごとに前記視聴者状態検出部に設定する、
ことを特徴とする興味区間検出装置。 - 前記画像特徴量評価部は、前記所定の視聴期間分の前記視聴者の顔表情変化度合をサンプリングし、最大振幅における最大値から下方向に所定割合の値を前記顔表情変化度合閾値とする、
ことを特徴とする請求項1に記載の興味区間検出装置。 - 前記画像特徴量評価部は、
顔表情有または顔表情無いずれかのラベルが付された教師顔画像を用いてサポートベクターマシンにより前記境界面を得る
ことを特徴とする請求項1または2のいずれか一項に記載の興味区間検出装置。 - 外部から電子番組情報を取得する電子番組情報取得部をさらに備え、
前記画像特徴量評価部は、
視聴番組に対応する属性を抽出し、前記属性ごとに、顔表情変化度合を視聴者に対応させて取得する
ことを特徴とする請求項1から3までのいずれか一項に記載の興味区間検出装置。 - コンテンツを視聴する視聴者が被写体として映る視聴者映像から、フレームごと、または複数フレームおきにフレーム画像データを取得する画像データ取得部と、
前記画像データ取得部が取得した前記フレーム画像データに含まれる視聴者顔画像に基づいて、画像特徴量を計算する画像特徴量計算部と、
前記画像特徴量の空間における所定の境界面から、前記画像特徴量計算部が計算した前記画像特徴量までの距離である顔表情変化度合を計算する画像特徴量評価部と、
画像特徴量評価部が計算した前記顔表情変化度合とあらかじめ設定された顔表情変化度合閾値とに基づき、前記視聴者の前記コンテンツに対する興味の有無を判定して興味区間を検出する視聴者状態検出部と、
所定時間分のコンテンツデータを記憶可能な放送データバッファと、
前記視聴者が視聴する番組に対応する放送データを多重分離してコンテンツデータを抽出するデータ分離部と、
前記データ分離部が抽出した前記コンテンツデータを前記所定時間分だけ順次更新して前記放送データバッファに記憶させるバッファ制御部と、
前記視聴者状態検出部が検出した前記興味区間において、前記放送データバッファからキーワードを抽出するキーワード抽出部と、
前記キーワード抽出部が抽出した前記キーワードを選択可能に含めた興味情報メニューを生成する提示制御部と、
を備える視聴者興味情報提示装置であって、
前記画像特徴量評価部は、
所定の視聴期間分の顔表情変化度合を視聴者に対応させて取得し、前記所定の視聴期間分の顔表情変化度合に基づき顔表情変化度合閾値を計算して、前記顔表情変化度合閾値を前記視聴者ごとに前記視聴者状態検出部に設定する、
ことを特徴とする視聴者興味情報提示装置。 - 前記提示制御部は、
ウェブ検索処理を実行させる検索ボタンをも含めて前記興味情報メニューを生成し、前記キーワードおよび前記検索ボタンが選択された場合に、前記キーワードを検索キーとしてウェブ検索を実行させる
ことを特徴とする請求項5記載の視聴者興味情報提示装置。 - 前記データ分離部が抽出した前記コンテンツデータを記憶する放送データ記憶部と、
再生部と、
を備え、
前記提示制御部は、
シーン再生処理を実行させるシーン再生ボタンをも含めて前記興味情報メニューを生成し、前記キーワードおよび前記シーン再生ボタンが選択された場合に、前記キーワードを含むコンテンツデータを前記放送データ記憶部から読み出し、前記コンテンツデータを前記再生部により再生させる
ことを特徴とする請求項5または6のいずれか一項に記載の視聴者興味情報提示装置。 - コンピュータを、
コンテンツを視聴する視聴者が被写体として映る視聴者映像から、フレームごと、または複数フレームおきにフレーム画像データを取得する画像データ取得部と、
前記画像データ取得部が取得した前記フレーム画像データに含まれる視聴者顔画像に基づいて、画像特徴量を計算する画像特徴量計算部と、
前記画像特徴量の空間における所定の境界面から、前記画像特徴量計算部が計算した前記画像特徴量までの距離である顔表情変化度合を計算する画像特徴量評価部と、
前記画像特徴量評価部が計算した前記顔表情変化度合とあらかじめ設定された顔表情変化度合閾値とに基づき、前記視聴者の前記コンテンツに対する興味の有無を判定して興味区間を検出する視聴者状態検出部と、
として機能させるための興味区間検出プログラムであって、
前記画像特徴量評価部は、
所定の視聴期間分の顔表情変化度合を視聴者に対応させて取得し、前記所定の視聴期間分の顔表情変化度合に基づき顔表情変化度合閾値を計算して、前記顔表情変化度合閾値を前記視聴者ごとに前記視聴者状態検出部に設定する、
ことを特徴とする興味区間検出プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011107591A JP5637930B2 (ja) | 2011-05-12 | 2011-05-12 | 興味区間検出装置、視聴者興味情報提示装置、および興味区間検出プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011107591A JP5637930B2 (ja) | 2011-05-12 | 2011-05-12 | 興味区間検出装置、視聴者興味情報提示装置、および興味区間検出プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012238232A JP2012238232A (ja) | 2012-12-06 |
JP5637930B2 true JP5637930B2 (ja) | 2014-12-10 |
Family
ID=47461059
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011107591A Active JP5637930B2 (ja) | 2011-05-12 | 2011-05-12 | 興味区間検出装置、視聴者興味情報提示装置、および興味区間検出プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5637930B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109644293A (zh) * | 2016-08-30 | 2019-04-16 | 株式会社阿尔法代码 | 与关注对象物相关的信息提供***以及信息提供方法 |
US20210240970A1 (en) * | 2020-02-05 | 2021-08-05 | Canon Kabushiki Kaisha | Terminal apparatus, function suggestion method, storage medium, and server apparatus |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104427350A (zh) * | 2013-08-29 | 2015-03-18 | 中兴通讯股份有限公司 | 关联内容处理方法及*** |
KR102076807B1 (ko) * | 2015-05-18 | 2020-02-13 | 전자부품연구원 | 공간행동 의미분석 시스템 |
JP6767808B2 (ja) * | 2016-08-25 | 2020-10-14 | 日本テレビ放送網株式会社 | 視聴ユーザログ蓄積システム、視聴ユーザログ蓄積サーバ、及び視聴ユーザログ蓄積方法 |
JP2018036734A (ja) * | 2016-08-29 | 2018-03-08 | 日本放送協会 | 表情変化検出装置及びプログラム |
JP6740819B2 (ja) * | 2016-08-31 | 2020-08-19 | 富士通株式会社 | 関心度評価プログラム、装置及び方法 |
JP7150320B2 (ja) * | 2018-10-01 | 2022-10-11 | 株式会社i.ホールディングス | 介護マッチングシステム |
CN113691900B (zh) * | 2020-04-20 | 2024-04-30 | 浙江德方智能科技有限公司 | 一种具有情感分析的灯光音响管理方法和*** |
CN111629222B (zh) * | 2020-05-29 | 2022-12-20 | 腾讯科技(深圳)有限公司 | 一种视频处理方法、设备及存储介质 |
CN111859025A (zh) * | 2020-07-03 | 2020-10-30 | 广州华多网络科技有限公司 | 表情指令生成方法、装置、设备及存储介质 |
KR102419860B1 (ko) * | 2020-11-24 | 2022-07-12 | 광주과학기술원 | 운전자 또는 콘텐츠 시청자의 몰입도 측정 방법 및 장치 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010055409A (ja) * | 2008-08-28 | 2010-03-11 | Nec Personal Products Co Ltd | キーワード抽出装置、キーワード抽出方法及びプログラム |
-
2011
- 2011-05-12 JP JP2011107591A patent/JP5637930B2/ja active Active
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109644293A (zh) * | 2016-08-30 | 2019-04-16 | 株式会社阿尔法代码 | 与关注对象物相关的信息提供***以及信息提供方法 |
US20210240970A1 (en) * | 2020-02-05 | 2021-08-05 | Canon Kabushiki Kaisha | Terminal apparatus, function suggestion method, storage medium, and server apparatus |
US11615646B2 (en) * | 2020-02-05 | 2023-03-28 | Canon Kabushiki Kaisha | Terminal apparatus, function suggestion method, storage medium, and server apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP2012238232A (ja) | 2012-12-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5637930B2 (ja) | 興味区間検出装置、視聴者興味情報提示装置、および興味区間検出プログラム | |
US9100701B2 (en) | Enhanced video systems and methods | |
KR102290419B1 (ko) | 디지털 컨텐츠의 시각적 내용 분석을 통해 포토 스토리를 생성하는 방법 및 장치 | |
JP4905103B2 (ja) | 動画再生装置 | |
US9208227B2 (en) | Electronic apparatus, reproduction control system, reproduction control method, and program therefor | |
US9888279B2 (en) | Content based video content segmentation | |
US8935169B2 (en) | Electronic apparatus and display process | |
JP4482829B2 (ja) | 嗜好抽出装置、嗜好抽出方法及び嗜好抽出プログラム | |
US20160014482A1 (en) | Systems and Methods for Generating Video Summary Sequences From One or More Video Segments | |
JP4469905B2 (ja) | テロップ収集装置およびテロップ収集方法 | |
US20160044357A1 (en) | Personalized channel recommendation method and system | |
US8521007B2 (en) | Information processing method, information processing device, scene metadata extraction device, loss recovery information generation device, and programs | |
US20130124551A1 (en) | Obtaining keywords for searching | |
WO2012020667A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
US8126309B2 (en) | Video playback apparatus and method | |
CN111108494B (zh) | 多媒体聚焦 | |
US9564177B1 (en) | Intelligent video navigation techniques | |
JP2009201041A (ja) | コンテンツ検索装置およびその表示方法 | |
CN111343512A (zh) | 信息获取方法、显示设备及服务器 | |
EP3896985A1 (en) | Reception device and control method | |
JP6150780B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP2011239247A (ja) | デジタル放送受信装置および関連情報提示プログラム | |
JP4723901B2 (ja) | テレビジョン表示装置 | |
JP5458163B2 (ja) | 画像処理装置、及び画像処理装置の制御方法 | |
JP4695582B2 (ja) | 映像抽出装置及び映像抽出プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140108 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140425 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140520 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140626 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140924 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141021 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5637930 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |