JP2009088904A - Information processor and face image displaying method - Google Patents
Information processor and face image displaying method Download PDFInfo
- Publication number
- JP2009088904A JP2009088904A JP2007255029A JP2007255029A JP2009088904A JP 2009088904 A JP2009088904 A JP 2009088904A JP 2007255029 A JP2007255029 A JP 2007255029A JP 2007255029 A JP2007255029 A JP 2007255029A JP 2009088904 A JP2009088904 A JP 2009088904A
- Authority
- JP
- Japan
- Prior art keywords
- face image
- face
- images
- content data
- video content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は映像コンテンツデータに登場する顔画像を表示する情報処理装置および顔画像表示方法に関する。 The present invention relates to an information processing apparatus and a face image display method for displaying a face image appearing in video content data.
一般に、ビデオレコーダ、パーソナルコンピュータといった電子機器は、テレビジョン放送番組データのような各種映像コンテンツデータを記録および再生することが可能である。この場合、電子機器に格納された各映像コンテンツデータにはタイトル名が付加されるが、タイトル名だけでは、ユーザが、各映像コンテンツデータがどのような内容のものであるかを把握することは困難である。このため、映像コンテンツデータの内容を把握するためには、その映像コンテンツデータを再生することが必要となる。しかし、総時間長の長い映像コンテンツデータの再生には、たとえ早送り再生機能等を用いた場合であっても、多くの時間が要される。 Generally, electronic devices such as a video recorder and a personal computer can record and reproduce various video content data such as television broadcast program data. In this case, a title name is added to each video content data stored in the electronic device, but it is not possible for the user to grasp what the content of each video content data is based on the title name alone. Have difficulty. For this reason, in order to grasp the content of the video content data, it is necessary to reproduce the video content data. However, reproduction of video content data with a long total time length requires a lot of time even when a fast-forward reproduction function or the like is used.
特許文献１には、登場人物一覧表示機能を有する装置が開示されている。この装置は、映像コンテンツにおける登場人物の一覧として、映像コンテンツにおける登場人物それぞれの顔の画像を並べて表示する機能を有している。
しかし、特許文献１のように単純に登場人物の一覧を表示しただけでは、ユーザは、それら人物が映像コンテンツデータ内のどの辺りの時間帯に登場するのかを把握することはできない。例えば、ユーザは、ユーザにとって興味のある人物（または人物群）が登場する時間帯だけを選択的に再生することを希望する場合もある。したがって、映像コンテンツデータ全体の中のどの辺りの時間帯にどの人物が登場するのかを提示するための新たな機能の実現が必要である。 However, simply displaying a list of characters as in Patent Document 1, the user cannot grasp in which time zone in the video content data the characters appear. For example, the user may desire to selectively reproduce only the time zone in which a person (or group of persons) interested in the user appears. Therefore, it is necessary to realize a new function for presenting which person appears in which time zone in the entire video content data.
さらに、幾つかの映像コンテンツデータは、例えばコマーシャル区間およびそれ以外の区間のような、複数種の属性区間を含んでいる。しかし、特許文献１の登場人物一覧表示機能においては、属性区間については何ら考慮されておらず、登場人物それぞれの顔の画像が単純に表示されるのみである。 Further, some video content data includes a plurality of types of attribute sections such as a commercial section and other sections. However, in the character list display function of Patent Document 1, no consideration is given to the attribute section, and only the face image of each character is simply displayed.
本発明は上述の事情を考慮してなされたものであり、映像コンテンツデータを再生することなく、映像コンテンツデータ全体の中のどの辺りの時間帯にどの人物が登場するのかを提示でき、さらにある特定の人物に着目して映像コンテンツデータの概要を提示することができる情報処理装置および顔画像表示方法を提供することを目的とする。 The present invention has been made in consideration of the above-mentioned circumstances, and it is possible to present which person appears in which time zone in the entire video content data without reproducing the video content data. An object is to provide an information processing apparatus and a face image display method capable of presenting an outline of video content data by paying attention to a specific person.
上述の課題を解決するため、本発明の一態様によれば、映像コンテンツデータから複数の顔画像を抽出する顔画像抽出手段と、前記顔画像抽出手段によって抽出された前記各顔画像から顔の特徴量情報を抽出する特徴量像抽出手段と、前記複数の顔画像の一覧を２次元の表示エリア上に表示する顔画像一覧表示手段と、前記表示エリア上に表示されている前記複数の顔画像のうち、１つの顔画像が選択されると、前記選択された顔画像と前記表示エリア上に表示されている前記複数の顔画像とを、前記抽出された特徴量情報に基づいて比較する比較手段と、前記比較手段によって、前記表示エリア上に表示されている前記複数の顔画像のうち、前記選択された顔画像と同一人物と判別された顔画像をその他の顔画像と区別して表示する表示手段と、を具備することを特徴とする情報処理装置が提供される。 In order to solve the above-described problem, according to one aspect of the present invention, a face image extraction unit that extracts a plurality of face images from video content data, and a facial image extracted from each face image extracted by the face image extraction unit. Feature amount image extraction means for extracting feature amount information, face image list display means for displaying a list of the plurality of face images on a two-dimensional display area, and the plurality of faces displayed on the display area When one face image is selected from the images, the selected face image is compared with the plurality of face images displayed on the display area based on the extracted feature amount information. Of the plurality of face images displayed on the display area, the face image determined to be the same person as the selected face image is displayed separately from the other face images by the comparison means and the comparison means. Display hand to When the information processing apparatus characterized by comprising a are provided.
また、映像コンテンツデータから複数の顔画像を抽出し、前記抽出された前記各顔画像から顔の特徴量情報を抽出し、前記複数の顔画像の一覧を２次元の表示エリア上に表示し、前記表示エリア上に表示されている前記複数の顔画像のうち、１つの顔画像が選択されると、前記選択された顔画像と前記表示エリア上に表示されている前記複数の顔画像とを、前記抽出された特徴量情報に基づいて比較し、前記表示エリア上に表示されている前記複数の顔画像のうち、前記選択された顔画像と同一人物と判別された顔画像をその他の顔画像と区別して表示することを特徴とする顔画像表示方法が提供される。 Also, a plurality of face images are extracted from the video content data, face feature amount information is extracted from each of the extracted face images, a list of the plurality of face images is displayed on a two-dimensional display area, When one face image is selected from the plurality of face images displayed on the display area, the selected face image and the plurality of face images displayed on the display area are displayed. , Comparing the extracted feature quantity information, and among the plurality of face images displayed on the display area, face images determined to be the same person as the selected face image There is provided a face image display method characterized by being displayed separately from an image.
本発明によれば、映像コンテンツデータを再生することなく、映像コンテンツデータ全体の中のどの辺りの時間帯にどの人物が登場するのかを提示でき、さらにある特定の人物に着目して映像コンテンツデータの概要を提示することができる。 According to the present invention, it is possible to show which person appears in which time zone in the entire video content data without reproducing the video content data, and pay attention to a certain specific person. Can be presented.
以下、図面を参照して、本発明の実施形態を説明する。
まず、図１および図２を参照して、本発明の一実施形態に係る情報処理装置の構成を説明する。本実施形態の情報処理装置は、例えば、ノートブック型の携帯型パーソナルコンピュータ１０から実現されている。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
First, with reference to FIG. 1 and FIG. 2, the structure of the information processing apparatus which concerns on one Embodiment of this invention is demonstrated. The information processing apparatus according to the present embodiment is realized by, for example, a notebook portable
このパーソナルコンピュータ１０は、放送番組データ、外部機器から入力されるビデオデータといった、映像コンテンツデータ（オーディオビジュアルコンテンツデータ）を記録および再生することができる。即ち、パーソナルコンピュータ１０は、テレビジョン放送信号によって放送される放送番組データの視聴および録画を実行するためのテレビジョン（ＴＶ）機能を有している。このＴＶ機能は、例えば、パーソナルコンピュータ１０に予めインストールされているＴＶアプリケーションプログラムによって実現されている。また、ＴＶ機能は、外部のＡＶ機器から入力されるビデオデータを記録する機能、および記録されたビデオデータおよび記録された放送番組データを再生する機能も有している。
The
さらに、パーソナルコンピュータ１０は、パーソナルコンピュータ１０に格納されたビデオデータ、放送番組データのような映像コンテンツデータに登場する人物の顔画像の一覧等を表示する顔画像一覧表示機能を有している。この顔画像一覧表示機能は、例えば、ＴＶ機能内にその一機能として実装されている。顔画像一覧表示機能は、映像コンテンツデータの概要等をユーザに提示するための映像インデキシング機能の一つである。この顔画像一覧表示機能は、映像コンテンツデータ全体の中のどの時間帯にどの人物が登場するのかをユーザに提示することができる。また、この顔画像一覧表示機能は、映像コンテンツデータの映像インデキシングを行う際に、人物の顔画像から特徴量を算出し、同一人物であるか否かの判別を行い、同一人物の顔画像を他の顔画像と区別（強調）して表示することもできる。
Furthermore, the
図１はコンピュータ１０のディスプレイユニットを開いた状態における斜視図である。本コンピュータ１０は、コンピュータ本体１１と、ディスプレイユニット１２とから構成されている。ディスプレイユニット１２には、ＴＦＴ−ＬＣＤ（Thin Film Transistor Liquid Crystal Display）１７から構成される表示装置が組み込まれている。
FIG. 1 is a perspective view of the
ディスプレイユニット１２は、コンピュータ本体１１に対し、コンピュータ本体１１の上面が露出される開放位置とコンピュータ本体１１の上面を覆う閉塞位置との間を回動自在に取り付けられている。コンピュータ本体１１は薄い箱形の筐体を有しており、その上面にはキーボード１３、本コンピュータ１０をパワーオン／パワーオフするためのパワーボタン１４、入力操作パネル１５、タッチパッド１６、およびスピーカ１８Ａ，１８Ｂなどが配置されている。
The
入力操作パネル１５は、押されたボタンに対応するイベントを入力する入力装置であり、複数の機能をそれぞれ起動するための複数のボタンを備えている。これらボタン群には、ＴＶ機能（視聴、録画、録画された放送番組データ／ビデオデータの再生）を制御するための操作ボタン群も含まれている。また、コンピュータ本体１１の正面には、本コンピュータ１０のＴＶ機能をリモート制御するリモコンユニットとの通信を実行するためのリモコンユニットインタフェース部２０が設けられている。リモコンユニットインタフェース部２０は、赤外線信号受信部などから構成されている。
The
コンピュータ本体１１の例えば右側面には、ＴＶ放送用のアンテナ端子１９が設けられている。また、コンピュータ本体１１の例えば背面には、例えばＨＤＭＩ(high-definition multimedia interface)規格に対応した外部ディスプレイ接続端子が設けられている。この外部ディスプレイ接続端子は、放送番組データのような映像コンテンツデータに含まれる映像データ（動画像データ）を外部ディスプレイに出力するために用いられる。
On the right side of the computer
次に、図２を参照して、本コンピュータ１０のシステム構成について説明する。
Next, the system configuration of the
本コンピュータ１０は、図２に示されているように、ＣＰＵ１０１、ノースブリッジ１０２、主メモリ１０３、サウスブリッジ１０４、グラフィクスプロセッシングユニット（ＧＰＵ）１０５、ビデオメモリ（ＶＲＡＭ）１０５Ａ、サウンドコントローラ１０６、ＢＩＯＳ−ＲＯＭ１０９、ＬＡＮコントローラ１１０、ハードディスクドライブ（ＨＤＤ）１１１、ＤＶＤドライブ１１２、ビデオプロセッサ１１３、メモリ１１３Ａ、カードコントローラ１１３、無線ＬＡＮコントローラ１１４、IEEE 1394コントローラ１１５、エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６、ＴＶチューナ１１７、およびＥＥＰＲＯＭ１１８等を備えている。
As shown in FIG. 2, the
ＣＰＵ１０１は本コンピュータ１０の動作を制御するプロセッサであり、ハードディスクドライブ（ＨＤＤ）１１１から主メモリ１０３にロードされる、オペレーティングシステム（ＯＳ）２０１、およびＴＶアプリケーションプログラム２０２のような各種アプリケーションプログラムを実行する。ＴＶアプリケーションプログラム２０２はＴＶ機能を実行するためのソフトウェアである。このＴＶアプリケーションプログラム２０２は、ＴＶチューナ１１７によって受信された放送番組データを視聴するためのライブ再生処理、受信された放送番組データをＨＤＤ１１１に記録する録画処理、およびＨＤＤ１１１に記録された放送番組データ／ビデオデータを再生する再生処理等を実行する。また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０９に格納されたＢＩＯＳ（Basic Input Output System）も実行する。ＢＩＯＳはハードウェア制御のためのプログラムである。
The
ノースブリッジ１０２はＣＰＵ１０１のローカルバスとサウスブリッジ１０４との間を接続するブリッジデバイスである。ノースブリッジ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１０２は、PCI EXPRESS規格のシリアルバスなどを介してＧＰＵ１０５との通信を実行する機能も有している。
The
ＧＰＵ１０５は、本コンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７を制御する表示コントローラである。このＧＰＵ１０５によって生成される表示信号はＬＣＤ１７に送られる。また、ＧＰＵ１０５は、ＨＤＭＩ制御回路３およびＨＤＭＩ端子２を介して、外部ディスプレイ装置１にデジタル映像信号を送出することもできる。
The GPU 105 is a display controller that controls the
ＨＤＭＩ端子２は上述の外部ディスプレイ接続端子である。ＨＤＭＩ端子２は、非圧縮のデジタル映像信号と、デジタルオーディオ信号とを一本のケーブルでテレビのような外部ディスプレイ装置１に送出することができる。ＨＤＭＩ制御回路３は、ＨＤＭＩモニタと称される外部ディスプレイ装置１にデジタル映像信号をＨＤＭＩ端子２を介して送出するためのインタフェースである。
The
サウスブリッジ１０４は、ＬＰＣ（Low Pin Count）バス上の各デバイス、およびＰＣＩ（Peripheral Component Interconnect）バス上の各デバイスを制御する。また、サウスブリッジ１０４は、ハードディスクドライブ（ＨＤＤ）１１１およびＤＶＤドライブ１１２を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラを内蔵している。さらに、サウスブリッジ１０４は、サウンドコントローラ１０６との通信を実行する機能も有している。
The
またさらに、サウスブリッジ１０４には、PCI EXPRESS規格のシリアルバスなどを介してビデオプロセッサ１１３が接続されている。
Furthermore, a
ビデオプロセッサ１１３は、前述の映像インデキシングに関する各種処理を実行するプロセッサである。このビデオプロセッサ１１３は、映像インデキシング処理を実行するためのインデキシング処理部として機能する。すなわち、映像インデキシング処理においては、ビデオプロセッサ１１３は、映像コンテンツデータに含まれる動画像データから複数の顔画像および顔画像の特徴量情報を抽出すると共に、抽出された各顔画像が映像コンテンツデータ内に登場する時点を示すタイムスタンプ情報、等を出力する。顔画像の抽出は、例えば、動画像データの各フレームから顔領域を検出する顔検出処理、検出された顔領域をフレームから切り出す切り出し処理等によって実行される。顔領域の検出は、例えば、各フレームの画像の特徴を解析して、予め用意された顔画像特徴サンプルと類似する特徴を有する領域を探索することによって行うことができる。顔画像特徴サンプルは、多数の人物それぞれの顔画像特徴を統計的に処理することによって得られた特徴データである。また、顔画像からの特徴量情報の抽出は、例えば、目、鼻、口等の顔の各パーツの大きさやパーツ同士の配置等を数値化したデータとして抽出する。そして、各特徴量情報同士を比較して類似度を求めることにより、同一人物であるか否かを判別する。
The
さらに、ビデオプロセッサ１１３は、例えば、映像コンテンツデータ内に含まれるコマーシャル（ＣＭ）区間を検出する処理、および音声インデキシング処理も実行する。通常、各ＣＭ区間の時間長は、予め決められた幾つかの時間長の内の１つに設定されている。
Furthermore, the
メモリ１１３Ａは、ビデオプロセッサ１１３の作業メモリとして用いられる。インデキシング処理（ＣＭ検出処理、映像インデキシング処理、および音声インデキシング処理）を実行するためには多くの演算量が必要とされる。本実施形態においては、ＣＰＵ１０１とは異なる専用のプロセッサであるビデオプロセッサ１１３がバックエンドプロセッサとして使用され、このビデオプロセッサ１１３によってインデキシング処理が実行される。よって、ＣＰＵ１０１の負荷の増加を招くことなく、インデキシング処理を実行することが出来る。
The
サウンドコントローラ１０６は音源デバイスであり、再生対象のオーディオデータをスピーカ１８Ａ，１８ＢまたはＨＤＭＩ制御回路３に出力する。
The
無線ＬＡＮコントローラ１１４は、たとえばIEEE 802.11規格の無線通信を実行する無線通信デバイスである。IEEE 1394コントローラ１１５は、IEEE 1394規格のシリアルバスを介して外部機器との通信を実行する。
The
エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６は、電力管理のためのエンベデッドコントローラと、キーボード（ＫＢ）１３およびタッチパッド１６を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。このエンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６は、ユーザによるパワーボタン１４の操作に応じて本コンピュータ１０をパワーオン／パワーオフする機能を有している。さらに、エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６は、リモコンユニットインタフェース２０との通信を実行する機能を有している。
The embedded controller / keyboard controller IC (EC / KBC) 116 is a one-chip microcomputer in which an embedded controller for power management and a keyboard controller for controlling the keyboard (KB) 13 and the
ＴＶチューナ１１７はテレビジョン（ＴＶ）放送信号によって放送される放送番組データを受信する受信装置であり、アンテナ端子１９に接続されている。このＴＶチューナ１１７は、例えば、地上波デジタルＴＶ放送のようなデジタル放送番組データを受信可能なデジタルＴＶチューナとして実現されている。また、ＴＶチューナ１１７は、外部機器から入力されるビデオデータをキャプチャする機能も有している。
The
次に、図３を参照して、ＴＶアプリケーションプログラム２０２によって実行される顔画像一覧表示機能について説明する。
Next, the face image list display function executed by the
放送番組データのような映像コンテンツデータに対するインデキシング処理（映像インデキシング処理、および音声インデキシング処理等）は、上述したように、インデキシング処理部として機能するビデオプロセッサ１１３によって実行される。
As described above, the indexing process (video indexing process, audio indexing process, etc.) for video content data such as broadcast program data is executed by the
ビデオプロセッサ１１３は、顔画像一覧表示処理部３０１を備えたＴＶアプリケーションプログラム２０２の制御の下、例えば、ユーザによって指定された録画済みの放送番組データ等の映像コンテンツデータに対してインデキシング処理を実行する。また、ビデオプロセッサ１１３は、ＴＶチューナ１１７によって受信された放送番組データをＨＤＤ１１１に格納する録画処理と並行して、当該放送番組データに対するインデキシング処理を実行することもできる。
Under the control of the
映像インデキシング処理（顔画像インデキシング処理ともいう）においては、ビデオプロセッサ１１３は、映像コンテンツデータに含まれる動画像データをフレーム単位で解析する。そして、ビデオプロセッサ１１３は、動画像データを構成する複数のフレームそれぞれから人物の顔画像を抽出すると共に、抽出された各顔画像が映像コンテンツデータ内に登場する時点を示すタイムスタンプ情報を出力する。各顔画像に対応するタイムスタンプ情報としては、映像コンテンツデータの開始から当該顔画像が登場するまでの経過時間、または当該顔画像が抽出されたフレーム番号、等を使用することが出来る。
In the video indexing process (also referred to as face image indexing process), the
さらに、ビデオプロセッサ１１３は、抽出された各顔画像の特徴量（顔画像の主要パーツである、目、鼻、口等の大きさ、各パーツ同士の配置の間隔情報等）、さらに各顔画像のサイズ（解像度）も出力する。ビデオプロセッサ１１３から出力される顔検出結果データ（顔画像、タイムスタンプ情報ＴＳ、およびサイズ）は、データベース１１１Ａに顔画像インデキシング情報として格納される。このデータベース１１１Ａは、ＨＤＤ１１１内に用意されたインデキシングデータ記憶用の記憶領域である。
Furthermore, the
さらに、映像インデキシング処理においては、ビデオプロセッサ１１３は、顔画像を抽出する処理と並行して、サムネイル画像取得処理も実行する。サムネイル画像は、映像コンテンツデータから例えば等時間間隔で抽出された複数のフレームの各々に対応する画像（縮小画像）である。すなわち、ビデオプロセッサ１１３は、顔画像を含むフレームであるか否かに関係なく、映像コンテンツデータから例えば所定の等時間間隔でフレームを順次抽出し、抽出した各フレームに対応する画像（サムネイル画像）と、そのサムネイル画像が出現する時点を示すタイムスタンプ情報ＴＳとを出力する。ビデオプロセッサ１１３から出力されるサムネイル画像取得結果データ（サムネイル、タイムスタンプ情報ＴＳ）も、データベース１１１Ａにサムネイルインデキシング情報として格納される。
Further, in the video indexing process, the
上述した特徴量は、図４に示されているように、例えば、抽出された各顔画像のファイルごとに、目の横幅、目の高さ、鼻の幅、鼻の長さ、口の横幅、口の高さ、目と目の間隔、目と鼻の距離、鼻と口の距離等のデータを検出する。例えば、抽出された「顔画像００００１」においては、目の横幅＝2.54ｃｍ、目の高さ＝1.22ｃｍ、鼻の幅＝1.54ｃｍ、鼻の長さ＝3.02ｃｍ、口の横幅＝5.24ｃｍ、口の高さ＝2.86ｃｍ、目と目の間隔＝4.59ｃｍ、目と鼻の距離＝3.87ｃｍ、鼻と口の距離＝2.35ｃｍとして検出して、ＨＤＤ１１１等の記憶装置に記憶する。以後、同様に、抽出された各顔画像のファイルについて特徴量を検出して、ＨＤＤ１１１等の記憶装置に記憶する。尚、顔の特徴量としては、顔の各パーツ間の距離以外のデータを使用してもよい。例えば、顔の各パーツ間の距離間の比率等の情報を用いてもよい。このような距離感の比率を用いる場合には、同一人物の顔であるか否かは、該比率が一定誤差範囲内であるか否かに基づき判断することができる。
As shown in FIG. 4, the above-described feature amount includes, for example, the width of the eyes, the height of the eyes, the width of the nose, the length of the nose, and the width of the mouth for each extracted face image file. Detect data such as mouth height, eye-to-eye distance, eye-to-nose distance, and nose-to-mouth distance. For example, in the extracted “
次に、図５を参照して、ＴＶアプリケーションプログラム２０２の機能構成を説明する。
Next, the functional configuration of the
ＴＶアプリケーションプログラム２０２は、上述の顔画像一覧表示処理部３０１に加え、記録処理部４０１、インデキシング制御部４０２、再生処理部４０３等を備えている。
The
顔画像一覧表示処理部３０１は、上述したように、映像コンテンツデータから複数の顔画像および、各顔画像の特徴量を抽出し、同一人物であるか否かの判別を行う。また、ユーザによって所定の顔画像が選択されると、選択された顔画像と同一人物であると判別された顔画像を他の顔画像と区別して強調表示する。
As described above, the face image list
記録処理部４０１は、ＴＶチューナ１１７によって受信された放送番組データ、または外部機器から入力されるビデオデータをＨＤＤ１１１に記録する記録処理を実行する。また、記録処理部４０１は、ユーザによって予め設定された録画予約情報（チャンネル番号、日時）によって指定される放送番組データをＴＶチューナ１１７を用いて受信し、その放送番組データをＨＤＤ１１１に記録する予約録画処理も実行する。
The
インデキシング制御部４０２は、ビデオプロセッサ（インデキシング処理部）１１３を制御して、インデキシング処理（映像インデキシング処理、音声インデキシング処理）をビデオプロセッサ１１３に実行させる。ユーザは、録画対象の放送番組データ毎にインデキシング処理を実行するか否かを指定することができる。例えば、インデキシング処理の実行が指示された録画対象の放送番組データについては、その放送番組データがＨＤＤ１１１に記録された後に、インデキシング処理が自動的に開始される。また、ユーザは、既にＨＤＤ１１１に格納されている映像コンテンツデータの内から、インデキシング処理を実行すべき映像コンテンツデータを指定することもできる。
The
再生処理部４０３は、ＨＤＤ１１１に格納されている各映像コンテンツデータを再生する処理を実行する。また、再生処理部４０３は、ある映像コンテンツデータの顔画像一覧の中の一つの顔画像が選択されている状態でユーザ操作によって再生指示イベントが入力された時、選択されている顔画像が登場する時点よりも所定時間前の時点から映像コンテンツデータの再生を開始する機能を有している。
The
ユーザは、１つの顔画像を選択的に指定することにより、特徴量により同一人物と判別された顔画像が区別して強調表示される。これらの強調表示された顔画像を含む表示の一覧を見ながら、映像コンテンツデータの再生位置を決定することができる。 By selectively designating one face image, the user distinguishes and highlights the face images determined to be the same person by the feature amount. The playback position of the video content data can be determined while viewing a display list including these highlighted face images.
なお、インデキシング処理は、必ずしもビデオプロセッサ１１３によって実行する必要はなく、例えば、ＴＶアプリケーションプログラム２０２にインデキシング処理を実行する機能を設けてもよい。この場合、インデキシング処理は、ＴＶアプリケーションプログラム２０２の制御の下に、ＣＰＵ１０１によって実行される。
Note that the indexing process is not necessarily executed by the
次に、図６を参照して、インデキシングビュー画面の具体的な構成について説明する。 Next, a specific configuration of the indexing view screen will be described with reference to FIG.
図６には、顔画像一覧表示処理部３０１によってＬＣＤ１７に表示されるインデキシングビュー画面の例が示されている。このインデキシングビュー画面は、ある映像コンテンツデータ（例えば放送番組データ）をインデキシング処理することによって得られた画面である。このインデキシングビュー画面には、顔画像の一覧を表示するための上述の顔サムネイル表示エリアと、上述のレベル表示エリアと、上述の区間バーと、サムネイル画像の一覧をじゃばら形式で表示するための上述のじゃばらサムネイル表示エリアとを含んでいる。
FIG. 6 shows an example of an indexing view screen displayed on the
ここで、じゃばら形式とは、選択されているサムネイル画像を通常サイズ（フルサイズ）で表示し、他の各サムネイル画像についてはその横方向サイズを縮小して表示する表示形式である。図６においては、選択されたサムネイル画像５００との距離が大きいサムネイル画像ほど、その横方向サイズが縮小されている。 Here, the loose format is a display format in which a selected thumbnail image is displayed in a normal size (full size), and the other thumbnail images are displayed with a reduced size in the horizontal direction. In FIG. 6, the thumbnail image having a larger distance from the selected thumbnail image 500 has a reduced horizontal size.
また、選択されたサムネイル画像５００と同一人物であると判別された顔画像は、その他の顔画像と区別するように強調表示される。例えば、該当の顔画像を太枠で囲むようにする。または、図８に示すように、さらに該当の顔画像を他の画像よりも大きく表示する。 The face image determined to be the same person as the selected thumbnail image 500 is highlighted so as to be distinguished from other face images. For example, the face image is surrounded by a thick frame. Alternatively, as shown in FIG. 8, the corresponding face image is displayed larger than the other images.
レベル表示エリアにおいては、歓声レベルの変化を示すグラフ（図６中の濃い色で示されるグラフ）と、歓声レベルの変化を示すグラフ（図６中の薄い色で示されるグラフ）が表示される。 In the level display area, a graph indicating a change in the cheer level (a graph indicated by a dark color in FIG. 6) and a graph indicating a change in the cheer level (a graph indicated by a light color in FIG. 6) are displayed. .
区間バーは、トーク区間バーと、音楽区間バーと、ＣＭ区間バーとを含んでいる。ＣＭ区間バーにおいては、各ＣＭ区間（各部分ＣＭ区間）の位置にバー領域（図６の黒色の帯状領域）が表示される。音楽区間バーにおいては、各音楽区間（各部分音楽区間）の位置にバー領域（図６のクロスハッチングされた帯状領域）が表示される。トーク区間バーにおいては、各トーク区間（各部分トーク区間）の位置にバー領域（図６のハッチングされた帯状領域）が表示される。ユーザは、リモコンユニットのボタン、上下左右等のカーソルキーの操作により、トーク区間バー、音楽区間バーと、ＣＭ区間バーのいずれか一つを選択することができる。また、ユーザは、リモコンユニットのボタン、上下左右等のカーソルキーの操作により、選択された区間バー内の一つのバー領域を選択することもできる。 The section bar includes a talk section bar, a music section bar, and a CM section bar. In the CM section bar, a bar area (black belt-like area in FIG. 6) is displayed at the position of each CM section (each partial CM section). In the music section bar, a bar area (a cross-hatched band-shaped area in FIG. 6) is displayed at the position of each music section (each partial music section). In the talk section bar, a bar area (hatched band area in FIG. 6) is displayed at the position of each talk section (each partial talk section). The user can select any one of the talk section bar, the music section bar, and the CM section bar by operating the buttons on the remote control unit and the cursor keys such as up / down / left / right. The user can also select one bar area in the selected section bar by operating the buttons of the remote control unit and the cursor keys such as up / down / left / right.
次に、図７のフローチャートを参照して、顔画像一覧を表示する処理の手順を説明する。 Next, a procedure of processing for displaying a face image list will be described with reference to the flowchart of FIG.
コンピュータ１０のビデオプロセッサ１１３は、映像コンテンツデータから顔画像を抽出する。また、抽出された各顔画像から特徴量を抽出する（ステップＳ１０１）。抽出された複数の顔画像および特徴量は、ＨＤＤ１１１等に記憶する。
The
ビデオプロセッサ１１３は、抽出された複数の顔画像を図６に示すように、顔サムネイルとして表示する。ユーザによりある顔画像が選択されたと、ビデオプロセッサ１１３によって判別された場合は（ステップＳ１０２のＹＥＳ）、選択された顔画像５００（図６参照）の特徴量をＨＤＤ１１１から読み出し、選択された顔画像５００の特徴量と類似する特徴量をＨＤＤ１１１中から検索する（ステップＳ１０３）。例えば、図４に示したように、特徴量の各パラメータの誤差が０．０５以内である場合は同一人物と判別する。選択された顔画像５００と同一人物と判別された顔画像は、図６に示すように、その他の顔画像と区別するように強調表示される。例えば、該当の顔画像を太枠で囲むようにする（ステップＳ１０４）。
The
ユーザによって、太枠で囲まれた顔画像のうち、１つが選択され、再生指示がされた場合は（ステップＳ１０５のＹＥＳ）、再生指示がされた顔画像に対応する位置から映像コンテンツデータを再生する（ステップＳ１０６）。なお、再生指示は、例えば、選択された顔画像をマウス等で右クリックしてメニューを表示させて、表示させたメニューから再生コマンドを選択する。また、選択された顔画像５００と同一人物と判別された顔画像をその他の顔画像と区別するように強調表示する場合、該当の顔画像を太枠で囲むようにする以外にも、その他の顔画像をグレーアウト（所定の領域にグレーのハッチングフィルターを被せて表示を見えにくくする）する等の処理を行ってもよい。 When one of the face images surrounded by a thick frame is selected by the user and a playback instruction is issued (YES in step S105), the video content data is played back from the position corresponding to the face image for which the playback instruction has been issued. (Step S106). Note that the playback instruction is performed by, for example, right-clicking the selected face image with a mouse or the like to display a menu, and selecting a playback command from the displayed menu. When highlighting a face image determined to be the same person as the selected face image 500 so as to be distinguished from other face images, in addition to surrounding the face image with a thick frame, For example, the face image may be grayed out (a predetermined area is covered with a gray hatching filter to make the display difficult to see).
以上のように、本実施形態においては、映像コンテンツデータ全体を対象に顔画像の一覧を表示させ、映像コンテンツデータ全体の中の特定の人物に着目して顔画像の表示をその他の顔画像と区別するように強調表示することによって、所望の人物が登場する可能の映像コンテンツデータを容易に再生させることができる。また、映像コンテンツデータを再生する前に、映像コンテンツデータ全体の中のどの辺りの時間帯に所望の人物が登場するのかをユーザに提示できる。 As described above, in this embodiment, a list of face images is displayed for the entire video content data, and the display of the face image is made different from other face images by focusing on a specific person in the entire video content data. By highlighting so as to be distinguished, video content data in which a desired person can appear can be easily reproduced. In addition, before reproducing the video content data, it is possible to present to the user at which time zone in the entire video content data a desired person appears.
なお、本実施形態では、インデキシング処理部として機能するビデオプロセッサ１１３によってインデキシング情報を生成したが、例えば、放送番組データ内に予め当該放送番組データに対応するインデキシング情報が含まれている場合には、インデキシング処理を行う必要はない。よって、本実施形態の顔画像一覧表示機能は、データベース１１１Ａと顔画像一覧表示処理部３０１のみによっても実現することが出来る。
In the present embodiment, the indexing information is generated by the
また、本実施形態の顔画像一覧表示処理の手順は全てソフトウェアによって実現することができるので、このソフトウェアをコンピュータ読み取り可能な記憶媒体を通じて通常のコンピュータに導入することにより、本実施形態と同様の効果を容易に実現することができる。 Further, since all the face image list display processing procedures of the present embodiment can be realized by software, the same effects as those of the present embodiment can be obtained by introducing this software into a normal computer through a computer-readable storage medium. Can be easily realized.
また、本実施形態の電子機器はコンピュータ１０によって実現するのみならず、例えば、ＨＤＤレコーダ、ＤＶＤレコーダ、テレビジョン装置といった様々なコンシューマ電子機器によって実現することもできる。この場合、ＴＶアプリケーションプログラム２０２の機能は、ＤＳＰ（Digital Signal Processor）、マイクロコンピュータのようなハードウェアによって実現することができる。
In addition, the electronic device of the present embodiment can be realized not only by the
また、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に構成要素を適宜組み合わせてもよい。 Further, the present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, you may combine a component suitably in different embodiment.
１０…コンピュータ（情報処理装置）、１１１Ａ…データベース、１１３…ビデオプロセッサ、１１７…ＴＶチューナ、３０１…顔画像一覧表示処理部、４０２…インデキシング制御部、４０３…再生処理部。
DESCRIPTION OF
Claims (8)
前記顔画像抽出手段によって抽出された前記各顔画像から顔の特徴量情報を抽出する特徴量像抽出手段と、
前記複数の顔画像の一覧を２次元の表示エリア上に表示する顔画像一覧表示手段と、
前記表示エリア上に表示されている前記複数の顔画像のうち、１つの顔画像が選択されると、前記選択された顔画像と前記表示エリア上に表示されている前記複数の顔画像とを、前記抽出された特徴量情報に基づいて比較する比較手段と、
前記比較手段によって、前記表示エリア上に表示されている前記複数の顔画像のうち、前記選択された顔画像と同一人物と判別された顔画像をその他の顔画像と区別して表示する表示手段と、
を具備することを特徴とする情報処理装置。 Face image extraction means for extracting a plurality of face images from video content data;
Feature quantity image extraction means for extracting facial feature quantity information from each face image extracted by the face image extraction means;
A face image list display means for displaying a list of the plurality of face images on a two-dimensional display area;
When one face image is selected from the plurality of face images displayed on the display area, the selected face image and the plurality of face images displayed on the display area are displayed. Comparing means for comparing based on the extracted feature amount information;
Display means for distinguishing the face image determined to be the same person as the selected face image from the other face images among the plurality of face images displayed on the display area by the comparing means; ,
An information processing apparatus comprising:
前記表示手段は、前記選択された顔画像と同一人物と判別された顔画像をその他の顔画像より大きく表示する処理を行うことを特徴とする情報処理装置。 The information processing apparatus according to claim 1,
The information processing apparatus, wherein the display unit performs processing to display a face image determined to be the same person as the selected face image larger than other face images.
前記表示手段は、前記選択された顔画像と同一人物と判別された顔画像をその他の顔画像より太い枠で囲み表示する処理を行うことを特徴とする情報処理装置。 The information processing apparatus according to claim 1,
The information processing apparatus according to claim 1, wherein the display unit performs a process of enclosing and displaying a face image determined to be the same person as the selected face image with a thicker frame than other face images.
前記選択された顔画像と同一人物と判別された顔画像のうち、１つの顔画像を指定して再生要求を受けると、前記指定された顔画像に対応する箇所から前記映像コンテンツデータの再生を行うことを特徴とする情報処理装置。 The information processing apparatus according to claim 1,
When one face image is designated among the face images determined to be the same person as the selected face image and a reproduction request is received, the video content data is reproduced from a location corresponding to the designated face image. An information processing apparatus characterized by performing.
前記抽出された前記各顔画像から顔の特徴量情報を抽出し、
前記複数の顔画像の一覧を２次元の表示エリア上に表示し、
前記表示エリア上に表示されている前記複数の顔画像のうち、１つの顔画像が選択されると、前記選択された顔画像と前記表示エリア上に表示されている前記複数の顔画像とを、前記抽出された特徴量情報に基づいて比較し、前記表示エリア上に表示されている前記複数の顔画像のうち、前記選択された顔画像と同一人物と判別された顔画像をその他の顔画像と区別して表示することを特徴とする顔画像表示方法。 Extract multiple face images from video content data,
Extracting facial feature information from each of the extracted facial images;
Displaying a list of the plurality of face images on a two-dimensional display area;
When one face image is selected from the plurality of face images displayed on the display area, the selected face image and the plurality of face images displayed on the display area are displayed. , Comparing the extracted feature quantity information, and among the plurality of face images displayed on the display area, face images determined to be the same person as the selected face image A face image display method, characterized by being displayed separately from an image.
前記選択された顔画像と同一人物と判別された顔画像をその他の顔画像より大きく表示する処理を行うことを特徴とする顔画像表示方法。 The face image display method according to claim 5, wherein
A face image display method comprising: performing a process of displaying a face image determined to be the same person as the selected face image larger than other face images.
前記選択された顔画像と同一人物と判別された顔画像をその他の顔画像より太い枠で囲み表示する処理を行うことを特徴とする顔画像表示方法。 The face image display method according to claim 5, wherein
A face image display method comprising: performing a process of displaying a face image determined to be the same person as the selected face image with a thicker frame than other face images.
前記選択された顔画像と同一人物と判別された顔画像のうち、１つの顔画像を指定して再生要求を受けると、前記指定された顔画像に対応する箇所から前記映像コンテンツデータの再生を行うことを特徴とする顔画像表示方法。 The face image display method according to claim 5, wherein
When one face image is designated among the face images determined to be the same person as the selected face image and a reproduction request is received, the video content data is reproduced from a location corresponding to the designated face image. The face image display method characterized by performing.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007255029A JP2009088904A (en) | 2007-09-28 | 2007-09-28 | Information processor and face image displaying method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007255029A JP2009088904A (en) | 2007-09-28 | 2007-09-28 | Information processor and face image displaying method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2009088904A true JP2009088904A (en) | 2009-04-23 |
Family
ID=40661752
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007255029A Pending JP2009088904A (en) | 2007-09-28 | 2007-09-28 | Information processor and face image displaying method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2009088904A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2378438A1 (en) | 2010-04-19 | 2011-10-19 | Kabushiki Kaisha Toshiba | Video display apparatus and video display method |
| JP2012085000A (en) * | 2010-10-07 | 2012-04-26 | Canon Inc | Image reproducing device, image recording device, and image recording and reproducing system |
-
2007
- 2007-09-28 JP JP2007255029A patent/JP2009088904A/en active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2378438A1 (en) | 2010-04-19 | 2011-10-19 | Kabushiki Kaisha Toshiba | Video display apparatus and video display method |
| JP2015038640A (en) * | 2010-04-19 | 2015-02-26 | 株式会社東芝 | Video display device and video display method |
| JP2012085000A (en) * | 2010-10-07 | 2012-04-26 | Canon Inc | Image reproducing device, image recording device, and image recording and reproducing system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5057918B2 (en) | Electronic device and scene type display method | |
| JP4331240B2 (en) | Electronic apparatus and image display method | |
| JP4909856B2 (en) | Electronic device and display method | |
| JP4834640B2 (en) | Electronic device and image display control method | |
| JP4496264B2 (en) | Electronic device and video display method | |
| JP4834639B2 (en) | Electronic device and image display control method | |
| JP2009038680A (en) | Electronic device and face image display method | |
| JP2009089065A (en) | Electronic device and facial image display apparatus | |
| JP2009076982A (en) | Electronic apparatus, and face image display method | |
| US20100275164A1 (en) | Authoring apparatus | |
| JP4856105B2 (en) | Electronic device and display processing method | |
| JP2010114733A (en) | Information processing apparatus, and content display method | |
| JP2009081699A (en) | Electronic apparatus and method of controlling face image extraction | |
| JP5330551B2 (en) | Electronic device and display processing method | |
| JP4625862B2 (en) | Authoring apparatus and authoring method | |
| JP5039020B2 (en) | Electronic device and video content information display method | |
| JP2009088904A (en) | Information processor and face image displaying method | |
| JP2009200827A (en) | Electronic device and image display method | |
| JP5038836B2 (en) | Information processing device | |
| JP5232291B2 (en) | Electronic device and face image display method | |
| JP4987653B2 (en) | Electronic apparatus and image display method | |
| JP5284426B2 (en) | Electronic apparatus and image display method | |
| JP5349651B2 (en) | Electronic device, face image extraction control method and program | |
| JP5377624B2 (en) | Electronic device and face image display device | |
| JP5566984B2 (en) | Electronic apparatus and image display method |