JP2005267455A - 画像処理システム、表示装置、及び画像処理方法 - Google Patents
画像処理システム、表示装置、及び画像処理方法 Download PDFInfo
- Publication number
- JP2005267455A JP2005267455A JP2004081533A JP2004081533A JP2005267455A JP 2005267455 A JP2005267455 A JP 2005267455A JP 2004081533 A JP2004081533 A JP 2004081533A JP 2004081533 A JP2004081533 A JP 2004081533A JP 2005267455 A JP2005267455 A JP 2005267455A
- Authority
- JP
- Japan
- Prior art keywords
- facial expression
- data
- viewer
- scene
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
【課題】 人間の感情を反映した重要シーンを的確に抽出する画像システムを提供する。
【解決手段】 表示部101では、動画像データの表示が開始されると、ステップS406を経て、鑑賞者の表情を撮影した鑑賞者データが出力される。演算部102では、ステップS408を経て、鑑賞者データの分析により表情データが検出され、ステップS410〜S412を経て、表情データと利用表情データに基づいて、重要シーンが抽出される。
【選択図】 図1
【解決手段】 表示部101では、動画像データの表示が開始されると、ステップS406を経て、鑑賞者の表情を撮影した鑑賞者データが出力される。演算部102では、ステップS408を経て、鑑賞者データの分析により表情データが検出され、ステップS410〜S412を経て、表情データと利用表情データに基づいて、重要シーンが抽出される。
【選択図】 図1
Description
本発明は、動画像データから重要シーンを抽出する画像処理システムに係り、特に、動画像データ鑑賞者の感情を反映した重要シーンを抽出するのに好適な画像処理システム、表示装置、画像処理方法に関する。
映画などの動画像コンテンツ、放送や、放送データを保存した情報、あるいは個人がビデオカメラによって撮影した情報など動画像データの利用が増え、その蓄積量も膨大になっている。そのために、こうした動画像データの中から重要シーンだけを見たいという要求や、重要シーンだけを再利用したいという要求が増加している。従って、動画像データを扱う利便性を高め、その再利用を容易にさせるために、重要シーンを抽出する技術の重要性が高まっている。
ところが、動画像データから重要シーンを抽出することは容易では無い。一般的には人間が手作業で抽出するか、動画像データの特徴データとしての、フレーム間の変化量やオブジェクトが持つ動きの変化などを利用するかの方法が用いられているが、前者は、作業者に多大な負担、苦痛を強いることになり、後者は、重要シーンであるかの抽出精度が低い。
そのために、鑑賞者に負担を強いずに、鑑賞者を利用して重要シーンを抽出する方法が特許文献1に開示されている。特許文献1の発明は、鑑賞者から得られる生体情報を検出して重要シーンの判定を行う構成となっている。生体情報としては、皮膚抵抗値などのセンサ出力を利用し、その変化量から鑑賞者が興奮をしたと判断できるところを重要シーンとして抽出するようになっている。
このように、特許文献1記載の発明は、鑑賞者の生体情報を重要シーンへの判定に用いている。生体情報は単純に興奮度のみを検出するものであり、鑑賞者の反応内容を汲んで、鑑賞者が抽出して残しておきたいというシーンを反映するものではなかった。例えば、鑑賞者が不快と感じるシーンを、逆に抽出してしまうという問題があった。まして、興奮を生じさせる多種の感情の中から、例えば、驚きと喜びなどに内容を分離して抽出することなどは不可能であった。
また、特許文献1記載の発明は、鑑賞者の反応に対して応答性が遅く、動画像データのシーン箇所とはタイミングがずれてしまうという問題があり、重要シーンの判定を行うための正確な検出タイミングを得るのが困難であった。更には、抽出シーンが重要シーン全体を広く網羅するように、重要シーンの予兆を捉えて重要シーンの抽出開始点を検出することなどは一層困難であった。
そこで、本発明は、このような従来の技術が有する未解決の課題に着目してなされたものであって、動画像データから人間の感情を反映した重要シーンを的確に抽出するのに好適な画像処理システムを提供することを目的としている。
〔実施の態様1〕
上記目的を達成するために、動画像データから所望のシーンを抽出する画像処理システムであって、
表示装置に表示される前記動画像データを鑑賞している鑑賞者の顔を撮影する撮像部と、前記撮像部が撮影した鑑賞者データから鑑賞者の表情を分析し複数の種類の表情に分離された表情データを検出する表情データ検出部とを備え、前記の分離された表情データに基づいて、重要シーン箇所の判定を行ない、前記判定結果により前記動画像データの中から重要シーンを抽出するシーン抽出部を備えたことを特徴とする。
上記目的を達成するために、動画像データから所望のシーンを抽出する画像処理システムであって、
表示装置に表示される前記動画像データを鑑賞している鑑賞者の顔を撮影する撮像部と、前記撮像部が撮影した鑑賞者データから鑑賞者の表情を分析し複数の種類の表情に分離された表情データを検出する表情データ検出部とを備え、前記の分離された表情データに基づいて、重要シーン箇所の判定を行ない、前記判定結果により前記動画像データの中から重要シーンを抽出するシーン抽出部を備えたことを特徴とする。
このような構成であれば、作業者は、表示装置によって動画像データを表示させ、鑑賞者が、その動画像データの鑑賞を開始する。鑑賞が開始されると、撮像部では、鑑賞者の顔の撮影を開始し、鑑賞者データが出力される。鑑賞者データが出力されると、表情データ検出部において、鑑賞者の表情データが分析され、異なる種類の複数の表情データに分離される。
分離された表情データが得られると、シーン抽出部により、表情データを用いて重要シーン箇所の判定が行なわれ、判定結果に対応する動画像データの分割シーンの中から重要シーンが抽出される。
分離された表情データが得られると、シーン抽出部により、表情データを用いて重要シーン箇所の判定が行なわれ、判定結果に対応する動画像データの分割シーンの中から重要シーンが抽出される。
このように、鑑賞者の表情の分析によって重要シーンが抽出されるので、感動する重要シーンを人間的視点から正しく抽出することが可能となる。また、鑑賞者の表情の変化点は動画像データに素早く反応しているため、抽出されたシーンは正確なタイミングで動画像データと一致している。
従って、従来に比して、動画像データから人間の感情を反映した重要シーンを的確に抽出することができるという効果が得られる。
従って、従来に比して、動画像データから人間の感情を反映した重要シーンを的確に抽出することができるという効果が得られる。
ここで、作業者は、鑑賞者と別の人間であることに限定されず、鑑賞者自身が作業者であってもよい。
以下、実施の態様1から8において同じである。
以下、実施の態様1から8において同じである。
また、分割シーンとは、動画像データの場面毎に区切られた単位をいい、本発明の構成にシーン分割手段を付加することによってシーンを分割することもできるほか、予め動画像データにシーン切換点やシーン番号などの属性情報が付与されている場合も含まれる。シーンの切換点の検出方法については、例えば、フレーム間の差分情報や、音声の切れ目を検出するものなど、従来から各種の方法が公知となっている。
以下、実施の態様1から8のいずれにおいて同じである。
以下、実施の態様1から8のいずれにおいて同じである。
また、シーンの抽出とは、実際に分割したシーンを独立のデータとして切り出すことばかりでなく、元の動画像データに、シーンの位置を示す属性情報として追記する場合であってもよい。
以下、実施の態様1から8のいずれにおいて同じである。
以下、実施の態様1から8のいずれにおいて同じである。
〔実施の態様2〕
また、実施の態様2の画像処理システムは、動画像データから所望のシーンを抽出する画像処理システムであって、
シーンの抽出に利用する利用表情データを予め設定しておく利用表情データ設定部と、表示装置に表示される前記動画像データを鑑賞している鑑賞者の顔を撮影する撮像部と、前記撮像部が撮影した鑑賞者データから鑑賞者の表情を分析し複数の種類の表情に分離された表情データを検出する表情データ検出部とを備え、前記の利用表情データと、前記の分離された表情データとに基づいて、重要シーン箇所の判定を行ない、前記判定結果により前記動画像データの中から重要シーンを抽出するシーン抽出部を備えたことを特徴とする。
また、実施の態様2の画像処理システムは、動画像データから所望のシーンを抽出する画像処理システムであって、
シーンの抽出に利用する利用表情データを予め設定しておく利用表情データ設定部と、表示装置に表示される前記動画像データを鑑賞している鑑賞者の顔を撮影する撮像部と、前記撮像部が撮影した鑑賞者データから鑑賞者の表情を分析し複数の種類の表情に分離された表情データを検出する表情データ検出部とを備え、前記の利用表情データと、前記の分離された表情データとに基づいて、重要シーン箇所の判定を行ない、前記判定結果により前記動画像データの中から重要シーンを抽出するシーン抽出部を備えたことを特徴とする。
このような構成であれば、作業者は、鑑賞者からどのような内容の重要シーンを得るかの設定を、利用表情データ設定部を用いて設定することができる。重要シーンの内容は、例えば、幸福感や、悲しみといった種類などであり、それらの和をとったものであってもよい。
また、予め設定した利用表情データに基づいて、表情データの選択やグルーピングを行って重要シーンの判定がされるので、個人的な好みやコンテンツとの関連性によって重視したい感動の種類を変えて重要シーンの抽出をすることができる。例えば、スポーツとメロドラマでは、抽出の主体となる感情要素が変わってくるが、利用表情データへの設定によって柔軟に対応することができる。
従って、動画像データから人間の感情を反映した重要シーンを、さらに的確に抽出することができるという効果が得られる。
従って、動画像データから人間の感情を反映した重要シーンを、さらに的確に抽出することができるという効果が得られる。
〔実施の態様3〕
また、実施の態様3の画像処理システムは、動画像データから所望のシーンを抽出する画像処理システムであって、
シーンの抽出に利用する利用表情データを予め設定しておく利用表情データ設定部と、表示装置に表示される前記動画像データを鑑賞している鑑賞者の顔を撮影する撮像部と、前記撮像部が撮影した鑑賞者データを記憶する鑑賞者データ記憶部と、前記鑑賞者データ記憶部が記憶している鑑賞者データから鑑賞者の表情を分析し複数の種類の表情に分離された表情データを検出する表情データ検出部とを備え、前記の利用表情データと、前記の分離された表情データとに基づいて、重要シーン箇所の判定を行ない、前記判定結果により前記動画像データの中から重要シーンを抽出するシーン抽出部を備えたことを特徴とする。
また、実施の態様3の画像処理システムは、動画像データから所望のシーンを抽出する画像処理システムであって、
シーンの抽出に利用する利用表情データを予め設定しておく利用表情データ設定部と、表示装置に表示される前記動画像データを鑑賞している鑑賞者の顔を撮影する撮像部と、前記撮像部が撮影した鑑賞者データを記憶する鑑賞者データ記憶部と、前記鑑賞者データ記憶部が記憶している鑑賞者データから鑑賞者の表情を分析し複数の種類の表情に分離された表情データを検出する表情データ検出部とを備え、前記の利用表情データと、前記の分離された表情データとに基づいて、重要シーン箇所の判定を行ない、前記判定結果により前記動画像データの中から重要シーンを抽出するシーン抽出部を備えたことを特徴とする。
このような構成であれば、作業者は、表示装置によって動画像データを表示させ、鑑賞者が、その動画像データの鑑賞を開始する。鑑賞が開始されると、撮像部では、鑑賞者の顔の撮影を開始し、鑑賞者データが鑑賞者データ記憶部によって記憶される。
作業者は、重要シーンの抽出を行う場合には、鑑賞者からどのような内容の重要シーンを得るかの設定を利用表情データ設定部において設定する。
次に、作業者は、記憶された鑑賞者データを表情データ検出部に供給する。鑑賞者データが入力されると、表情データ検出部において、鑑賞者の表情データが分析され、異なる種類の複数の表情データに分離される。
分離された表情データが得られると、シーン抽出部により、設定されている利用表情データとに基づいて、重要シーン箇所の判定が行なわれる。判定結果が出力されると、判定結果に対応する動画像データの分割シーンが重要シーンとして抽出される。
分離された表情データが得られると、シーン抽出部により、設定されている利用表情データとに基づいて、重要シーン箇所の判定が行なわれる。判定結果が出力されると、判定結果に対応する動画像データの分割シーンが重要シーンとして抽出される。
このように、記憶された鑑賞者データによる表情の分析によって重要シーンが抽出されるので、鑑賞時に限定されず、何時でも必要な時点で、感動する重要シーンを抽出することが可能となる。また、リアルタイムで鑑賞者データから表情データの検出と分離を行う必要がないので、画像処理システムの処理速度は高速でなくてもよくなり、演算部分であるCPUなどの構成や選択が容易になる。
従って、重要シーンを的確に抽出する画像処理システムを、さらに容易に実現できるという効果が得られる。
ここで、利用表情データの設定は、鑑賞者データを分析する時点に限定されず、鑑賞者データを記憶する前であっても良い。
以下、実施の態様3、4、8のいずれにおいて同じである。
以下、実施の態様3、4、8のいずれにおいて同じである。
また、分割シーンを抽出するための動画像データは、本発明の画像処理システムで記憶しておくよう構成しても良いし、録画機などの他の記憶装置に保存されたものや、ディスクなどの記憶媒体の再生出力を、再度入力するようにしても良い。
以下、実施の態様3、4、8のいずれにおいて同じである。
以下、実施の態様3、4、8のいずれにおいて同じである。
〔実施の態様4〕
さらに、実施の態様4の画像処理システムにおいて、前記シーン抽出部は、前記利用表情データに設定された特定の表情データを含む前記動画像データの分割シーンを終了シーンとし、前記特定の表情データの直前に検出された他の異なる表情データを含む分割シーンを開始シーンとし、前記開始シーンから前記終了シーンまでを連続的に重要シーンとして抽出することを特徴とする。
さらに、実施の態様4の画像処理システムにおいて、前記シーン抽出部は、前記利用表情データに設定された特定の表情データを含む前記動画像データの分割シーンを終了シーンとし、前記特定の表情データの直前に検出された他の異なる表情データを含む分割シーンを開始シーンとし、前記開始シーンから前記終了シーンまでを連続的に重要シーンとして抽出することを特徴とする。
このような構成であれば、重要シーンの抽出にあたって、設定した利用表情データに対応する分割シーンばかりでなく、その手前で予兆として生じている表情の変化点からの分割シーンを抽出でき、鑑賞者の感情の流れを、一連的なストーリー性を含んで、さらに的確に捉えることができる。
従って、重要シーンを、さらに的確に抽出することができるという効果が得られる。
従って、重要シーンを、さらに的確に抽出することができるという効果が得られる。
〔実施の態様5〕
一方、上記目的を達成するために、実施の態様5の表示装置は、
実施の態様1ないし4の何れかの1の画像処理システムの一部として適用される表示装置であって、
前記動画像データを表示する画像表示部と、前記鑑賞者の顔を撮影する撮像部と、前記画像表示部及び前記撮像部を制御する撮像制御部とを備え、前記撮像制御部は、前記撮像部が撮影した撮影画像を調整時に前記画像表示部に表示させるように制御可能となっていることを特徴とする。
一方、上記目的を達成するために、実施の態様5の表示装置は、
実施の態様1ないし4の何れかの1の画像処理システムの一部として適用される表示装置であって、
前記動画像データを表示する画像表示部と、前記鑑賞者の顔を撮影する撮像部と、前記画像表示部及び前記撮像部を制御する撮像制御部とを備え、前記撮像制御部は、前記撮像部が撮影した撮影画像を調整時に前記画像表示部に表示させるように制御可能となっていることを特徴とする。
このような構成であれば、鑑賞者の撮影像の位置や大きさを事前に表示させて確認し、最適な状態に調整しておくことができるので、鑑賞者の表情を適切に検出することができる。
従って、実施の態様5の表示装置を、実施の態様1ないし4に係る画像処理システムに適用することによって、重要シーンを抽出する画像処理システムを、さらに容易に実現できるという効果が得られる。
〔実施の態様6〕
さらに、実施の態様6の表示装置は、実施の態様5の表示装置において、
スクリーン等への投射表示を行ない、前記撮像部は、前記投射方向に対し後方を撮影するように構成したことを特徴とする。
さらに、実施の態様6の表示装置は、実施の態様5の表示装置において、
スクリーン等への投射表示を行ない、前記撮像部は、前記投射方向に対し後方を撮影するように構成したことを特徴とする。
これにより、鑑賞者は鑑賞が容易で、かつ鑑賞者の表情の撮影が可能となる表示装置を実現することができる。
従って、実施の態様6の表示装置を、実施の態様5の表示装置に適用することによって、重要シーンを抽出する画像処理システムを、さらに容易に実現できるという効果が得られる。
〔実施の態様7〕
さらに、実施の態様7の画像処理方法は、動画像データから所望のシーンを抽出する画像処理方法であって、
表示装置に表示される動画像データを鑑賞している鑑賞者の顔を撮像部により撮影する撮像ステップと、前記撮像部が撮影した鑑賞者データから鑑賞者の表情を分析し、複数の種類の表情に分離された表情データを検出する表情データ検出ステップと、前記の分離された表情データに基づいて、重要シーン箇所の判定を行う判定ステップと、前記判定結果により前記動画像データの中から重要シーンの抽出を行う抽出ステップとを含むことを特徴とする。
さらに、実施の態様7の画像処理方法は、動画像データから所望のシーンを抽出する画像処理方法であって、
表示装置に表示される動画像データを鑑賞している鑑賞者の顔を撮像部により撮影する撮像ステップと、前記撮像部が撮影した鑑賞者データから鑑賞者の表情を分析し、複数の種類の表情に分離された表情データを検出する表情データ検出ステップと、前記の分離された表情データに基づいて、重要シーン箇所の判定を行う判定ステップと、前記判定結果により前記動画像データの中から重要シーンの抽出を行う抽出ステップとを含むことを特徴とする。
これにより、実施の態様1の画像処理システムと同等の効果が得られる。
〔実施の態様8〕
さらに、実施の態様8の画像処理方法は、動画像データから重要シーンを抽出する画像処理方法であって、
抽出に利用する利用表情データを予め設定しておく利用表情データ設定ステップと、表示装置に表示される動画像データを鑑賞している鑑賞者の顔を撮像部により撮影する撮像ステップと、前記撮像部が撮影した鑑賞者データから鑑賞者の表情を分析し、複数の種類の表情に分離された表情データを検出する表情データ検出ステップと、前記の利用表情データと、前記の分離された表情データとに基づいて、重要シーン箇所の判定を行う判定ステップと、前記判定結果により前記動画像データの中から重要シーンの抽出を行う抽出ステップとを含むことを特徴とする。
さらに、実施の態様8の画像処理方法は、動画像データから重要シーンを抽出する画像処理方法であって、
抽出に利用する利用表情データを予め設定しておく利用表情データ設定ステップと、表示装置に表示される動画像データを鑑賞している鑑賞者の顔を撮像部により撮影する撮像ステップと、前記撮像部が撮影した鑑賞者データから鑑賞者の表情を分析し、複数の種類の表情に分離された表情データを検出する表情データ検出ステップと、前記の利用表情データと、前記の分離された表情データとに基づいて、重要シーン箇所の判定を行う判定ステップと、前記判定結果により前記動画像データの中から重要シーンの抽出を行う抽出ステップとを含むことを特徴とする。
これにより、実施の態様2または3の画像処理システムと同等の効果が得られる。
以下、本発明を図面に基づいて説明する。図1ないし図9は、本発明に係る画像処理システム、表示装置、画像処理方法の実施の形態を示す図である。
以下、本発明の第1の実施の形態を、図面を参照しながら説明する。図1、図3〜図5、および図7〜9は、本発明に係る画像処理システム、表示装置、画像処理方法の第1の実施の形態を示す図である。
本実施の形態は、本発明に係る画像処理システム、表示装置、画像処理方法を、図1に示すように、動画像データの鑑賞を行いながら重要シーンを抽出する場合の画像処理システムについて適用したものである。
本実施の形態は、本発明に係る画像処理システム、表示装置、画像処理方法を、図1に示すように、動画像データの鑑賞を行いながら重要シーンを抽出する場合の画像処理システムについて適用したものである。
まず、本実施の形態に係る画像処理システムの構成を、図1を参照しながら説明する。
図1は、画像処理システム全体を示すブロック図である。
図1において、画像処理システム100は、動画像データの表示と撮像を行う表示部101と、画像処理の演算を行う演算部102により構成される。
図1は、画像処理システム全体を示すブロック図である。
図1において、画像処理システム100は、動画像データの表示と撮像を行う表示部101と、画像処理の演算を行う演算部102により構成される。
表示部101は、動画像データを表示エンジンに表示できるように変換処理を行う表示処理部110と、変換された動画像をスクリーン103に投射表示する表示エンジン111を備えている。
また、表示部101は、鑑賞者の撮影を行うカメラ114と、カメラ114の撮像信号を処理する撮像入力部115と、撮像入力部115の撮像データを表示処理部110へ供給してスクリーンへ表示させる撮像調整部113と、撮像調整部113の操作を行う操作部112とを備えている。
また、表示部101は、鑑賞者の撮影を行うカメラ114と、カメラ114の撮像信号を処理する撮像入力部115と、撮像入力部115の撮像データを表示処理部110へ供給してスクリーンへ表示させる撮像調整部113と、撮像調整部113の操作を行う操作部112とを備えている。
演算部102は、撮像入力部115の出力から鑑賞者の表情の変化と、その種類を分離して表情データを検出する表情検出部120と、表情データを用いて重要シーンを分離するシーン抽出部121と、重要シーンとして抽出された分割シーンを記憶しておく抽出結果記憶部124とにより構成されている。
更に、演算部102は、シーン抽出部121が抽出に用いる利用表示データを設定、保存する抽出設定部123と、抽出設定部123に対して作業者が設定を行う設定スイッチ122を備えている。
更に、演算部102は、シーン抽出部121が抽出に用いる利用表示データを設定、保存する抽出設定部123と、抽出設定部123に対して作業者が設定を行う設定スイッチ122を備えている。
表示エンジン111は、表示部101の外部に設置されたスクリーン103へ投射を行う光学エンジンであって、光源、液晶パネル、プリズム、レンズ(いずれも図示せず)などにより構成されている。
表示処理部110は、表示エンジン111の表示画素数やRGB3色の色処理や、光学特性に合わせた階調処理などを行う。
また、撮像入力部115は、カメラ114の輝度などの撮像特性を補正し、鑑賞者の表情を取りこむためのトリミングを行なう。撮像調整部113は、上記の鑑賞者の表情をより適切に撮影しておくための確認と調整に用いられ、鑑賞者の撮像信号を表示処理部110に出力する。従って、鑑賞者の映像を見ながら、表情検出の重要ポイントである目元や口元が撮影できるように、操作部112によって、鑑賞者の顔の大きさ、位置、向き、及び焦点などを撮影前に調整する。
演算部102は、CPUとメモリ(図示せず)によるハードウエアにより構成されている。CPUは、メモリに格納されているプログラムを起動させ、図4,5のフローチャートに示す画像処理プログラムを時分割で実行するようになっている。ハードウエアのシステム構成としては、パーソナルコンピュータをベースにしても良く、特に、高速性が要求される演算を必要とするところは専用のハードウエアで構成すれば良い。
表情を撮影した画像から、表情の変化の発生点を検出し、それを具体的な感情として扱うことができる表情の意味を判定するアルゴリズムに関しては、幾つかの方法が公知となっており、例えば、特開平11−232456号の例がある。この方法によれば、基本表情として、怒り、嫌悪、恐れ、悲しみ、幸福、驚きになどのカテゴリーに分離することができる。また、無表情区間も検出することができる。
ところで、重要シーンの抽出にあたり、どのような基本表情を重視して感情を検出するかは、コンテンツの内容や、その抽出目的によって大きく変わってくる。例えばスポーツ番組を見る場合は、驚きの感情が想定できるし、ニュース番組であったら、むしろ怒りの部分を抽出したい場合も想定できる。また、鑑賞者自身が再鑑賞する場合は鑑賞者の嗜好が大きく入ってくるが、他者への再利用を目的とした場合には、一般的な嗜好傾向による抽出が必要になってくる。
さらに、重要シーンを単独な感情要素だけで捉えることは中途半端であって、複数の感情要素をペアとすることによって、因果関係などを含めて重要シーンを高次元で抽出することができる。
さらに、また、昂揚する感情に対して、その予兆となる時点から重要シーンを抽出することも重要シーンを捉える上で大切なことである。
さらに、また、昂揚する感情に対して、その予兆となる時点から重要シーンを抽出することも重要シーンを捉える上で大切なことである。
抽出設定部123は、上記のような抽出に用いる利用表情データを予め設定し、保存しておくことに用いられる。作業者は、設定スイッチ122を抽出設定部123のユーザインタフェースとして操作し、利用表情データを設定する。設定方法は、単独の感情要素の選択ばかりでなく、それらの論理和や論理積であってもよい。また、コンテンツの種別の観点で、スポーツ、ニュース、ドラマといった分類で選択するようにしてもよい。
重要シーンとして抽出された分割シーンは、抽出結果記憶部124によって記憶され、いつでも必要なときに呼び出して、再鑑賞や、他の情報と組み合わせての再利用が可能になる。抽出結果記憶部124によって記憶しておく記憶形態は、ICカードや、磁気テープ、光ディスクといった交換媒体であっても、HDDのように演算部102に内蔵する記憶装置であっても良いし、さらには、重要シーンの代表画像やそれらのサムネイルを印刷するような印刷出力形態であってもよい。
また、抽出結果のデータのフォーマットは、動画像データの中に重要シーンの属性情報が埋めこまれた形態であってもよいし、動画像データとリンクしてシーン位置を表すタイムコードと重要シーンの属性情報の組合せであっても良い。動画像データの分割シーンの構成や時間情報が把握されている場合には、抽出したシーン情報だけを記憶しておけば再生を行う装置において、重要シーンの検索や再抽出が可能になるので、記憶しておくデータの量を極めて小さくしておくことができる。
図3は、本実施の形態の画像処理システムに適用する表示装置の概観図である。
図3において、表示装置本体300は、光学エンジンの投射レンズ301と、撮影レンズ302と、入力部303と、インタフェース304とを備え、撮影レンズ302は鑑賞者310の顔の表情を捉えて撮影するようになっている。
図3において、表示装置本体300は、光学エンジンの投射レンズ301と、撮影レンズ302と、入力部303と、インタフェース304とを備え、撮影レンズ302は鑑賞者310の顔の表情を捉えて撮影するようになっている。
また、表示装置本体300は、制御回路を内部に備えており、図1の表示部101の構成要素を備え、演算部102の構成要素を含む別体の処理装置と組み合わせて画像処理システムを構成する。表示装置300は、上記に限定されず、図1の抽出設定部123や、演算部102の事前処理が可能な部分や、さらに演算部102全体の構成要素を含んでいても良い。
投射レンズ301は、前方のスクリーン103に動画像を投射し、大画面で表示される動画像データを後部の鑑賞者310が鑑賞する。鑑賞者310の鑑賞位置によらず、鑑賞者310の表情の変化をカメラ302が適切なアングルで撮影できるように、撮影レンズ302の支持部は撮影方向と光学的ズーム機構や焦点調節機構を備えている。本発明では、このように動画像データの投射と、鑑賞者310の撮像を一体化した表示装置を実現している。
入力部303は、表示装置300の基本表示機能の操作入力に加え、撮像機能を制御するための入力を含んでいる。従って、鑑賞者の撮像を行うための事前調整においては、撮影レンズ302の撮像画像をスクリーン103に投射するように信号の切換制御を行うことができる。
また、この調整時において、鑑賞者310の表情部分だけを適切に撮像できるようにトリミング条件を設定する。従って、複数の鑑賞者が居た場合でも、トリミングとズームにより特定の鑑賞者のみの撮像ができるような設定が可能となる。さらに、分離された複数領域のトリミングを行ない、夫々のトリミング領域に対応した複数の撮像データを得るように構成すれば、複数の鑑賞者の撮像を同時に行って、夫々の表情データを抽出することも可能になる。
また、この調整時において、鑑賞者310の表情部分だけを適切に撮像できるようにトリミング条件を設定する。従って、複数の鑑賞者が居た場合でも、トリミングとズームにより特定の鑑賞者のみの撮像ができるような設定が可能となる。さらに、分離された複数領域のトリミングを行ない、夫々のトリミング領域に対応した複数の撮像データを得るように構成すれば、複数の鑑賞者の撮像を同時に行って、夫々の表情データを抽出することも可能になる。
インタフェース304は、表示を行う動画像データの入力コネクタと、撮影レンズ302が撮像を行った撮像出力のコネクタを備えている。また、表示装置300が、図1の演算部102の構成要素までを含むように構成した場合には、重要シーンの抽出結果を出力するコネクタを含んでいる。このとき、重要シーンの抽出結果は記憶保存されたものであっても良いし、脱着可能なICカードに記憶させておくために、このコネクタがICカードの接続スロットそのものであってもよい。
次に、重要シーンの抽出処理を、図4を参照しながら詳細に説明する。
図4は、重要シーンの抽出処理を示すフローチャートである。
重要シーンの抽出処理は、鑑賞者の表情撮影から重要シーンを抽出し、記憶保存するまでの処理であって、鑑賞者データを得るステップS404までと、鑑賞者データを用いて演算処理を開始するS406以降とに分かれている。
図4は、重要シーンの抽出処理を示すフローチャートである。
重要シーンの抽出処理は、鑑賞者の表情撮影から重要シーンを抽出し、記憶保存するまでの処理であって、鑑賞者データを得るステップS404までと、鑑賞者データを用いて演算処理を開始するS406以降とに分かれている。
重要シーンの抽出処理は、鑑賞者を撮影した鑑賞者データから重要シーンを抽出する処理であって、演算部102において実行されると、まず、ステップS400に移行するようになっている。
ステップS400は事前調整モードである。ステップS400では、カメラ114が鑑賞者を撮影している画像をスクリーン103に表示するモードとなって、作業者がスクリーン103を見ながら、カメラ位置、角度の調整を行う。調整が終了したことを作業者が確認すると、ステップS402に移行する。
ステップS400は事前調整モードである。ステップS400では、カメラ114が鑑賞者を撮影している画像をスクリーン103に表示するモードとなって、作業者がスクリーン103を見ながら、カメラ位置、角度の調整を行う。調整が終了したことを作業者が確認すると、ステップS402に移行する。
ステップS402では、抽出対象とする利用表情データの選択を、作業者に入力させ、利用表情データの設定を登録して、ステップS404に移行する。利用表情データの設定は、利用表情に対応する入力ボタンの操作に限定されず、キーによる文字入力、タッチパネルによるアイコンなどを用いても良い。
ステップS404では、鑑賞したい動画像データの入力を、スクリーン103へ投射するよう表示を開始させ、ステップS406に移行する。
ステップS406では、鑑賞者の撮影を開始し、撮像入力部115で処理された信号は鑑賞者データとして、表情検出部120に送られ、次にステップS408に移行する。
ステップS406では、鑑賞者の撮影を開始し、撮像入力部115で処理された信号は鑑賞者データとして、表情検出部120に送られ、次にステップS408に移行する。
ステップS408では、表情検出部120において、鑑賞者データを分析し、表情の変化点の検出と、どんな種類の表情が検出されたかの分離を行う。ステップS408で表情データが検出された場合(YES)には、表情データを出力してステップS410へ移行する。一方、表情データが検出されない場合(NO)は、ステップS408で、表情変化点の検出を待つ。なお、表情の変化点とは、無表情から特定の表情への変化をも含んでいる。
ステップS410では、シーン抽出部において、登録されている利用表情データと、表情データを照合する。ステップS412で、照合結果に基づいて、表情データが設定登録されている利用表情データに該当すると判断(YES)されれば、次のステップS412に進む。一方、ステップS410で、照合結果が重要シーンに該当しないと判断(NO)されれば、ステップS408へ戻って表情データの検出を行う。なお、重要シーンに該当しなかった場合も、次の重要シーンに利用できるようこの表情データの保存をしておく。
ステップS412では、重要シーン箇所として得られた表情データの情報を用いて、動画像データの分割シーンの中から重要シーンを抽出し、ステップS414に移行する。なお、表情データの重要箇所を示す位置情報は、対応する分割シーンのシーン位置と関連付けが行えるものなら何でも良く、フレーム位置情報に限定されず、タイムコードなどの時間情報であっても良い。
ステップS414では、抽出した分割シーンの情報を記憶し、ステップS416に移行する。
ステップS414では、抽出した分割シーンの情報を記憶し、ステップS416に移行する。
ステップS416では、表示された動画像データの終了点を検出し、ステップS416で終了点を検出した場合(YES)には、一連の処理を終了する。一方、ステップS416で、動画像データの終了が検出されない場合(NO)には、ステップS408に戻って続けて表情データの変化を検出する。
以上により、画像処理システム100において、重要シーンの抽出が行われる。
以上により、画像処理システム100において、重要シーンの抽出が行われる。
次に、鑑賞者データから表情データを検出する処理を、図5を参照しながら詳細に説明する。
図5は、表情データ検出処理を示すフローチャートである。
表情データ検出処理は、演算部102において実行されると、まず、ステップS500に移行するようになっている。
図5は、表情データ検出処理を示すフローチャートである。
表情データ検出処理は、演算部102において実行されると、まず、ステップS500に移行するようになっている。
ステップS500では、鑑賞者データが、所定のフレームデータ分だけ画像メモリに入力され、ステップS502に移行する。
ステップS502では、表情変化の検出に先立つ演算の前処理が実行される。具体的には、表情に大きく関与している眼や口の各領域の抽出と、それらの動きベクトルの速度と、領域毎の変化に基づく特徴ベクトルが算出され、ステップS504に移行する。
ステップS504では、特徴量の変化の閾値により表情変化の有無を検出し、ステップS506に移行する。
ステップS504では、特徴量の変化の閾値により表情変化の有無を検出し、ステップS506に移行する。
ステップ506では、特徴ベクトルの時間積分と、そのパターン照合によって表情変化のカテゴリーが分離され、ステップS508に移行する。
ステップS508では、分離されたカテゴリーをデータとする表情データが形成され、一連の処理を終了して元の動作に復帰する。
ステップS508では、分離されたカテゴリーをデータとする表情データが形成され、一連の処理を終了して元の動作に復帰する。
上記処理において、パターン照合は大きな負荷の演算であるが、本実施の形態では、利用表情データを予め設定し限定しておくことにより負荷の軽減を図ることができる。
次に、表情データに基づく、重要シーンの抽出処理を、図7〜9を参照しながら詳細に説明する。
図7〜9は、重要シーンの抽出関連図である。
図7〜9は、それぞれ、上段が動画像データの時系列的な分割シーン列とその番号、中段が、分離された時系列的な表情データ列であり、下段は、重要シーンとして抽出された後の分割シーンを網掛け部分で表している。
図7〜9は、それぞれ、上段が動画像データの時系列的な分割シーン列とその番号、中段が、分離された時系列的な表情データ列であり、下段は、重要シーンとして抽出された後の分割シーンを網掛け部分で表している。
分割シーン列においては、数字の番号が分割された個々のシーンを表し、表情データ列は、分離された表情データをアルファベットの記号によって表している。表情データA〜Cは、それぞれ表情のカテゴリーで、例えば、Aは恐れ、Bは悲しみ、Cは幸福である。
図7は、表情Cを利用表情データとして設定した例である。図7においては、幸福のシーンとして、分割データ2と6が抽出されている。表情データの発生点は、その分割シーン全体に渡るわけではなく、分割シーンの一部分に発生しているが、再利用や再鑑賞のためには分割シーン全体を抽出するのが好ましい。但し、分割シーンに限定されず、表情データの発生区間のみを重要データとして抽出することや、さらにその中のベストな映像フレームを重要静止画として切出す抽出も当然可能である。
また、図7のような設定の場合には、表情データを分離するステップにおいて、選択した表情Cのみをパターン照合の対象とすることで演算の負荷を軽減することができる。
図8は、表情Bと表情Cの、連続した組合せを利用表情データとして設定した例である。これによって、悲しみで始まり、幸福で終わるシーンが、分割シーン4,5,6の一連の重要シーンとして抽出されている。分割シーン5には表情データが検出されていないが、連続シーンとして抽出され、再鑑賞に適する形態となっている。このような異なる二つの表情の組み合わせは、表情カテゴリーの中から任意に選択することができる。
図9は、表情Cを利用表情データとして設定している。図7と異なるのは、表情Cと、表情Cの手前に検出された表情Aや表情Bとの組合せも重要シーンとして抽出するように設定されていることである。これによって、設定されている表情Cを抽出のポイントとし、その予兆である他の表情を開始点として重要シーンを抽出することができる。
以上により、利用表情データの設定によって選択的に重要シーンの抽出が可能となっている。
以上により、利用表情データの設定によって選択的に重要シーンの抽出が可能となっている。
次に、本実施の形態の動作を説明する。
まず、表示部101において、作業者は、好みの動画像データを用意し、鑑賞者撮影の撮像調整と、利用表情データの設定を行う。その後、作業者は、用意した動画像データの表示を開始する。
まず、表示部101において、作業者は、好みの動画像データを用意し、鑑賞者撮影の撮像調整と、利用表情データの設定を行う。その後、作業者は、用意した動画像データの表示を開始する。
表示部101では、動画像データの表示が開始されると、ステップS406を経て、鑑賞者の表情を撮影した鑑賞者データが出力される。演算部102では、ステップS408を経て、鑑賞者データの分析により表情データが検出され、ステップS410〜S412を経て、表情データと利用表情データに基づいて、重要シーンが抽出される。抽出された重要シーンは、ステップS414を経て記憶され、動画像データの終りまでに抽出された重要シーンが保存される。
このようにして、本実施の形態では、鑑賞者の表情の変化と、そのカテゴリーとから動画像データの重要シーンを抽出している。
このようにして、本実施の形態では、鑑賞者の表情の変化と、そのカテゴリーとから動画像データの重要シーンを抽出している。
これにより、利用者は、重要シーンの保存データを用いて、重要シーンの再鑑賞や、編集目的などへの再利用を行うことが容易となる。
また、抽出された重要シーンは保存されたデジタルデータであるので、抽出を行った鑑賞者ばかりでなく、任意の利用者に供することができる。
また、抽出された重要シーンは保存されたデジタルデータであるので、抽出を行った鑑賞者ばかりでなく、任意の利用者に供することができる。
上記第1の実施の形態において、表示部101は、実施の態様5または6の表示装置に対応し、カメラ114およびステップS404は、実施の態様1、2、または4の撮像部または実施の態様7または8の撮像ステップに相当し、表情検出部120およびステップS408、ステップS502〜S508は、実施の態様1または2の表情データ検出部もしくは実施の態様7または8の表情データ検出ステップに対応している。
また、上記第1の実施の形態において、抽出設定部123およびステップS402は、実施の態様2の利用表情データ設定部もしくは実施の態様8の利用表情データ設定ステップに相当し、ステップS410は、実施の態様7または8の判定ステップに相当し、ステップS412は実施の態様7または8の抽出ステップに相当し、シーン抽出部123およびステップS410〜S412は実施の態様1または2のシーン抽出部に相当している。
次に、本発明の第2の実施の形態を、図面を見ながら説明する。図2および図6は、本発明に係る画像処理システム、表示装置、画像処理方法の第2の実施の形態を示す図である。
本実施の形態は、本発明に係る画像処理システム、表示装置、画像処理方法を、図2に示すように、動画像データの鑑賞を行った鑑賞者の撮像データを記憶しておき、その鑑賞者データから重要シーンを抽出する場合の画像処理システムについて適用したものである。上記第1の実施の形態と異なるのは、鑑賞者データ記憶部を設け、記憶された鑑賞者データと、別途設定した利用表情データとを用いて、動画像データより重要シーンを抽出するようにした点にある。以下、上記第1の実施の形態と異なる部分について説明し、上記第1の実施の形態と重複する部分については同一の説明を付して説明を省略する。
まず、本実施の形態に係る画像処理システムの構成を、図2を参照しながら説明する。
図2は、画像処理システム全体を示すブロック図である。
図2において、画像処理システム200は、動画像データの表示と鑑賞者の撮影とその撮影データの記憶を行う表示部201と、画像処理の演算を行う演算部202により構成される。
図2は、画像処理システム全体を示すブロック図である。
図2において、画像処理システム200は、動画像データの表示と鑑賞者の撮影とその撮影データの記憶を行う表示部201と、画像処理の演算を行う演算部202により構成される。
表示部201は、鑑賞者データ記憶部210を備え、鑑賞者が動画像デーを鑑賞し終わるまでの間の鑑賞者の表情を撮影した鑑賞者の画像データを記憶し、鑑賞者データとして出力できるようになっている。鑑賞者データ記憶部210の記憶装置はハードディスクのように大容量の記憶装置でインタフェースを介して記憶データを出力するものであっても良いし、ICカードや光ディスク装置のようにリムーバブルな記憶媒体を介して記憶データを出力するものであっても良い。
また、鑑賞者データ記憶部210は、鑑賞者データを圧縮して記憶しておいても良い。また、動画として記憶させる鑑賞者データのフレームレートは、動画像データのシーン位置との対応をつけておけば、鑑賞の動画像データのフレームデータと異なっていても良いし、鑑賞者の表情が変化していない部分などは省略して記憶しておくこともできる。
演算部202は、鑑賞者データが入力され、鑑賞者の表情の変化と、その種類を分離して表情データを検出する表情検出部212と、表情データを用いて重要シーンを分離するシーン抽出部213と、重要シーンとして抽出された分割シーンを記憶しておく抽出結果記憶部124と、シーン分割情報を持っていない動画像データのシーン分割を行うシーン分割部211とを備えている。
演算部202は、CPUとメモリ(図示せず)によるハードウエアにより構成されている。CPUは、メモリに格納されているプログラムを起動させ、図6のフローチャートに示す画像処理プログラムを時分割で実行するようになっている。本実施の形態では、既に鑑賞者データが得られているので、重要シーン抽出の画像処理をバッチ処理で行うことが可能となっている。
このように、本実施の形態では大幅な演算処理の負荷の低減が可能となって、表情検出部212や、シーン抽出部213の構成が容易となるほか、動画像データのシーン分割機能なども演算部202の機能として取りこむことができる。
次に、本実施の形態における重要シーンの抽出処理を、図6を参照しながら詳細に説明する。
図6は、重要シーンの抽出処理を示すフローチャートである。
重要シーンの抽出処理は、鑑賞者の表情の撮影から重要シーンを抽出し、記憶保存するまでの処理であって、鑑賞者データを得るステップS604までと、鑑賞者データを用いて演算処理を開始するS610以降とに分かれている。
図6は、重要シーンの抽出処理を示すフローチャートである。
重要シーンの抽出処理は、鑑賞者の表情の撮影から重要シーンを抽出し、記憶保存するまでの処理であって、鑑賞者データを得るステップS604までと、鑑賞者データを用いて演算処理を開始するS610以降とに分かれている。
重要シーンの抽出処理は、鑑賞者を撮影した鑑賞者データから重要シーンを抽出する処理であって、演算部202において実行されると、まず、ステップS600に移行するようになっている。
ステップS600は事前調整モードである。調整が終了したことを作業者が確認すると、表示処理部110を通常の動画像データを表示させる表示モードに切り替えさせ、ステップS602に移行する。
ステップS602では、動画像データの表示と共に、鑑賞者の撮影を開始し、鑑賞者データとして記憶を終えると、いつでもステップS610に移行することができる。
ステップS600は事前調整モードである。調整が終了したことを作業者が確認すると、表示処理部110を通常の動画像データを表示させる表示モードに切り替えさせ、ステップS602に移行する。
ステップS602では、動画像データの表示と共に、鑑賞者の撮影を開始し、鑑賞者データとして記憶を終えると、いつでもステップS610に移行することができる。
ステップS606では鑑賞時の動画像データが、再度、演算部202に読込まれ。読込みを終えるとステップS608へ移行する。
ステップS608では、動画像データのシーン分割処理が実行され、シーン分割処理が終了すると、いつでもステップS610に移行することができる。
ステップS608では、動画像データのシーン分割処理が実行され、シーン分割処理が終了すると、いつでもステップS610に移行することができる。
ステップS610では、ステップS604で得られた鑑賞者データと、ステップS608で得られたシーン分割の情報が付加された動画像データが読込まれる。
ステップS612では、抽出対象とする利用表情データの選択を、作業者に入力させ、利用表情データの設定を登録して、ステップS614に移行する。
ステップS614では、表情検出部212において、鑑賞者データを分析し、表情の変化点の検出と、どんな種類の表情が検出されたかの分離を行う。ステップS614で表情データが検出された場合(YES)には、表情データを出力してステップS616へ移行する。一方、表情データが検出されない場合(NO)は、ステップS614で、表情変化点の検出を待つ。
ステップS612では、抽出対象とする利用表情データの選択を、作業者に入力させ、利用表情データの設定を登録して、ステップS614に移行する。
ステップS614では、表情検出部212において、鑑賞者データを分析し、表情の変化点の検出と、どんな種類の表情が検出されたかの分離を行う。ステップS614で表情データが検出された場合(YES)には、表情データを出力してステップS616へ移行する。一方、表情データが検出されない場合(NO)は、ステップS614で、表情変化点の検出を待つ。
ステップS616では、シーン抽出部において、登録されている利用表情データと、表情データを照合する。ステップS616で、照合結果に基づいて、表情データが設定登録されている利用表情データに該当すると判断(YES)されれば、次のステップS618に進む。一方、ステップS616で、照合結果が重要シーンに該当しないと判断(NO)されれば、ステップS614へ戻って表情データの検出を行う。なお、重要シーンに該当しなかった場合も、次の重要シーンに利用できるようこの表情データの保存をしておく。
ステップS618では、重要シーン箇所として得られた表情データの情報を用いて、動画像データの分割シーンの中から重要シーンを抽出し、ステップS620に移行する。
ステップS620では、抽出した分割シーンの情報を記憶し、ステップS622に移行する。
ステップS622では、表示された動画像データの終了点を検出し、ステップS622で終了点を検出した場合(YES)には、一連の処理を終了する。一方、ステップS622で、動画像データの終了が検出されない場合(NO)には、ステップS614に戻って続けて表情データの変化を検出する。
以上により、画像処理システム200において、重要シーンの抽出が行われる。
ステップS620では、抽出した分割シーンの情報を記憶し、ステップS622に移行する。
ステップS622では、表示された動画像データの終了点を検出し、ステップS622で終了点を検出した場合(YES)には、一連の処理を終了する。一方、ステップS622で、動画像データの終了が検出されない場合(NO)には、ステップS614に戻って続けて表情データの変化を検出する。
以上により、画像処理システム200において、重要シーンの抽出が行われる。
次に、本実施の形態の動作を説明する。
まず、表示部201において、作業者は、好みの動画像データを用意し、鑑賞者撮影の撮像調整を行い、用意した動画像データの表示を開始する。
表示部201では、動画像データの表示が開始されると、ステップS602を経て、鑑賞者の表情を撮影した鑑賞者データが記憶される。
まず、表示部201において、作業者は、好みの動画像データを用意し、鑑賞者撮影の撮像調整を行い、用意した動画像データの表示を開始する。
表示部201では、動画像データの表示が開始されると、ステップS602を経て、鑑賞者の表情を撮影した鑑賞者データが記憶される。
次に利用者は、任意の時点で、鑑賞者データと、動画像データを演算部202に読込ませ、利用表情データを設定して演算処理を開始する。
演算部202では、ステップS614を経て、鑑賞者データの分析により表情データが検出され、ステップS616〜S618を経て、表情データと利用表情データに基づいて、重要シーンが抽出される。抽出された重要シーンは、ステップS620を経て記憶され、動画像データの終りまでに抽出された重要シーンが保存される。
演算部202では、ステップS614を経て、鑑賞者データの分析により表情データが検出され、ステップS616〜S618を経て、表情データと利用表情データに基づいて、重要シーンが抽出される。抽出された重要シーンは、ステップS620を経て記憶され、動画像データの終りまでに抽出された重要シーンが保存される。
このようにして、本実施の形態では、鑑賞者の表情の変化が記憶された鑑賞者データを用いて、バッチ処理で動画像データの重要シーンを抽出している。
これにより、利用者は、鑑賞時に重要シーンまでを抽出する必要がないので、処理時間の制約が無くなって、重要シーンの抽出を更に正確に行うことができる。
また、演算部202を、パーソナルコンピュータに置きかえることができ、容易に本発明の画像処理システムを構成することができる。
また、演算部202を、パーソナルコンピュータに置きかえることができ、容易に本発明の画像処理システムを構成することができる。
上記第1の実施の形態において、表示部201は、実施の態様5または6の表示装置に対応し、鑑賞者データ記憶部210およびステップS604は、実施の態様3の鑑賞者データ記憶部に相当している。
また、上記第2の実施の形態において、カメラ114およびステップS602は、実施の態様3の撮像部または実施の態様8の撮像ステップに相当し、表情検出部212およびステップS614、ステップS502〜S508は、実施の態様3の表情データ検出部もしくは実施の態様8の表情データ検出ステップに対応し、シーン抽出部213およびステップS616〜S618は実施の態様3のシーン抽出部に相当している。
また、上記第2の実施の形態において、カメラ114およびステップS602は、実施の態様3の撮像部または実施の態様8の撮像ステップに相当し、表情検出部212およびステップS614、ステップS502〜S508は、実施の態様3の表情データ検出部もしくは実施の態様8の表情データ検出ステップに対応し、シーン抽出部213およびステップS616〜S618は実施の態様3のシーン抽出部に相当している。
なお、上記第1および第2の実施の形態において、鑑賞の対象は動画像データとしたが、動画像に限定されるものではなく、静止画を1枚づつ表示するようなプレゼンテーション用の画像データであってもよい。
これにより、重要な静止画のシートだけを抽出することができる。
これにより、重要な静止画のシートだけを抽出することができる。
また、上記第1および第2の実施の形態において、鑑賞者データは、複数の鑑賞者の表情を同時に撮影したものであってもよい。同時に撮影するにあたっては、同一画面からトリミングによって複数の鑑賞者の表情を切出す方法でもよいし、複数のカメラを用いる方法であってもよい。
これにより、複数の鑑賞者の嗜好を統計的に処理した重要シーンの抽出ができるので、鑑賞者の個性に偏り過ぎてしまうことを防ぐことができる。特に、抽出した重要シーンを不特定の対象者に供給する場合に効果を発揮することができる。
これにより、複数の鑑賞者の嗜好を統計的に処理した重要シーンの抽出ができるので、鑑賞者の個性に偏り過ぎてしまうことを防ぐことができる。特に、抽出した重要シーンを不特定の対象者に供給する場合に効果を発揮することができる。
また、上記第1および第2の実施の形態において、表示部と演算部は同一場所に設置されているように構成したが、これに限らず、表示部と演算部と間を通信回線で結び、サーバーから動画像データを供給し、撮影された鑑賞者データはサーバーに送信してサーバー側で演算処理を行うようにも構成することもできる。
これにより、鑑賞者がどこにいても、鑑賞者データから短時間で重要シーンの抽出を行うことができるようになる。また、さらに、複数の表示部に対して、一つの演算部による画像表示システムを構成することができるようになる。
これにより、鑑賞者がどこにいても、鑑賞者データから短時間で重要シーンの抽出を行うことができるようになる。また、さらに、複数の表示部に対して、一つの演算部による画像表示システムを構成することができるようになる。
また、上記第1および第2の実施の形態において、図4〜図6のフローチャートを実行するにあたっては、ROMに予め格納されている制御プログラムを実行する場合に限らず、これらの手順を示したプログラムが記憶された記憶媒体から、そのプログラムをRAMに読込んで実行するようにしてもよい。
ここで、記憶媒体とは、RAM、ROM等の半導体記憶媒体、FD、HD等の磁気記憶型記憶媒体、CD、DVD等の光学的読み取り方式記憶媒体、MO等の磁気記憶型/光学的読取方式記憶媒体であって、電子的、磁気的、光学的等の読み取り方式のいかんにかかわらず、コンピュータで読み取り可能な記憶媒体であれば、あらゆる記憶媒体を含むものである。
100、200…画像表示システム、101、102…表示部、102、202…演算部、103…スクリーン、114…カメラ、111…表示エンジン、123…抽出設定部、120、212…表情検出部、121、213…シーン抽出部、210…鑑賞者データ記憶部、300…表示装置、301…投射レンズ、302…撮影レンズ、303…入力部、304…インタフェース、310…鑑賞者。
Claims (8)
- 動画像データから所望のシーンを抽出する画像処理システムであって、
表示装置に表示される前記動画像データを鑑賞している鑑賞者の顔を撮影する撮像部と、
前記撮像部が撮影した鑑賞者データから鑑賞者の表情を分析し複数の種類の表情に分離された表情データを検出する表情データ検出部とを備え、
前記の分離された表情データに基づいて、重要シーン箇所の判定を行ない、前記判定結果により前記動画像データの中から重要シーンを抽出するシーン抽出部を備えたことを特徴とする画像処理システム。 - 動画像データから所望のシーンを抽出する画像処理システムであって、
シーンの抽出に利用する利用表情データを予め設定しておく利用表情データ設定部と、
表示装置に表示される前記動画像データを鑑賞している鑑賞者の顔を撮影する撮像部と、
前記撮像部が撮影した鑑賞者データから鑑賞者の表情を分析し複数の種類の表情に分離された表情データを検出する表情データ検出部とを備え、
前記の利用表情データと、前記の分離された表情データとに基づいて、重要シーン箇所の判定を行ない、前記判定結果により前記動画像データの中から重要シーンを抽出するシーン抽出部を備えたことを特徴とする画像処理システム。 - 動画像データから所望のシーンを抽出する画像処理システムであって、
シーンの抽出に利用する利用表情データを予め設定しておく利用表情データ設定部と、
表示装置に表示される前記動画像データを鑑賞している鑑賞者の顔を撮影する撮像部と、
前記撮像部が撮影した鑑賞者データを記憶する鑑賞者データ記憶部と、
前記鑑賞者データ記憶部が記憶している鑑賞者データから鑑賞者の表情を分析し複数の種類の表情に分離された表情データを検出する表情データ検出部とを備え、
前記の利用表情データと、前記の分離された表情データとに基づいて、重要シーン箇所の判定を行ない、前記判定結果により前記動画像データの中から重要シーンを抽出するシーン抽出部を備えたことを特徴とする画像処理システム。 - 前記シーン抽出部は、前記利用表情データに設定された特定の表情データを含む前記動画像データの分割シーンを終了シーンとし、前記特定の表情データの直前に検出された他の異なる表情データを含む分割シーンを開始シーンとし、
前記開始シーンから前記終了シーンまでを連続的に重要シーンとして抽出することを特徴とする請求項1ないし3の何れか1項に記載の画像処理システム。 - 請求項1ないし4の何れか1項に記載の画像処理システムの一部として適用される表示装置であって、
前記動画像データを表示する画像表示部と、
前記鑑賞者の顔を撮影する撮像部と、
前記画像表示部及び前記撮像部を制御する撮像制御部とを備え、
前記撮像制御部は、前記撮像部が撮影した撮影画像を調整時に前記画像表示部に表示させるように制御可能となっていることを特徴とする表示装置。 - 前記画像表示部は、スクリーン等への投射表示を行ない、前記撮像部は、前記投射方向に対し後方を撮影するように構成したことを特徴とする請求項5に記載の表示装置。
- 動画像データから所望のシーンを抽出する画像処理方法であって、
表示装置に表示される動画像データを鑑賞している鑑賞者の顔を撮像部により撮影する撮像ステップと、
前記撮像部が撮影した鑑賞者データから鑑賞者の表情を分析し、複数の種類の表情に分離された表情データを検出する表情データ検出ステップと、
前記の分離された表情データに基づいて、重要シーン箇所の判定を行う判定ステップと、
前記判定結果により前記動画像データの中から重要シーンの抽出を行う抽出ステップとを含むことを特徴とする画像処理方法。 - 動画像データから所望のシーンを抽出する画像処理方法であって、
抽出に利用する利用表情データを予め設定しておく利用表情データ設定ステップと、
表示装置に表示される動画像データを鑑賞している鑑賞者の顔を撮像部により撮影する撮像ステップと、
前記撮像部が撮影した鑑賞者データから鑑賞者の表情を分析し、複数の種類の表情に分離された表情データを検出する表情データ検出ステップと、
前記の利用表情データと、前記の分離された表情データとに基づいて、重要シーン箇所の判定を行う判定ステップと、
前記判定結果により前記動画像データの中から重要シーンの抽出を行う抽出ステップとを含むことを特徴とする画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004081533A JP2005267455A (ja) | 2004-03-19 | 2004-03-19 | 画像処理システム、表示装置、及び画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004081533A JP2005267455A (ja) | 2004-03-19 | 2004-03-19 | 画像処理システム、表示装置、及び画像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005267455A true JP2005267455A (ja) | 2005-09-29 |
Family
ID=35091919
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004081533A Withdrawn JP2005267455A (ja) | 2004-03-19 | 2004-03-19 | 画像処理システム、表示装置、及び画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005267455A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012074773A (ja) * | 2010-09-27 | 2012-04-12 | Nec Personal Computers Ltd | 編集装置、制御方法及びプログラム |
JP2014096838A (ja) * | 2014-01-09 | 2014-05-22 | Olympus Imaging Corp | デジタルカメラ及びデジタルカメラの合成画像表示方法 |
JP2014096839A (ja) * | 2014-01-09 | 2014-05-22 | Olympus Imaging Corp | デジタルカメラ及びデジタルカメラの合成画像表示方法 |
JP2014112787A (ja) * | 2012-12-05 | 2014-06-19 | Samsung Electronics Co Ltd | 動画像処理装置及び動画像処理方法 |
JP2015167420A (ja) * | 2015-07-01 | 2015-09-24 | オリンパス株式会社 | デジタルカメラ及びカメラの合成画像表示方法 |
-
2004
- 2004-03-19 JP JP2004081533A patent/JP2005267455A/ja not_active Withdrawn
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012074773A (ja) * | 2010-09-27 | 2012-04-12 | Nec Personal Computers Ltd | 編集装置、制御方法及びプログラム |
JP2014112787A (ja) * | 2012-12-05 | 2014-06-19 | Samsung Electronics Co Ltd | 動画像処理装置及び動画像処理方法 |
JP2014096838A (ja) * | 2014-01-09 | 2014-05-22 | Olympus Imaging Corp | デジタルカメラ及びデジタルカメラの合成画像表示方法 |
JP2014096839A (ja) * | 2014-01-09 | 2014-05-22 | Olympus Imaging Corp | デジタルカメラ及びデジタルカメラの合成画像表示方法 |
JP2015167420A (ja) * | 2015-07-01 | 2015-09-24 | オリンパス株式会社 | デジタルカメラ及びカメラの合成画像表示方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8698920B2 (en) | Image display apparatus and image display method | |
US8810673B2 (en) | Composition determination device, composition determination method, and program | |
TWI463392B (zh) | 影像處理裝置,影像處理方法及程式 | |
JP4663699B2 (ja) | 画像表示装置、及び画像表示方法 | |
US9685199B2 (en) | Editing apparatus and editing method | |
US8077216B2 (en) | Image pickup apparatus with a human face detecting function, method and program product for detecting a human face | |
US20100302595A1 (en) | Image Reproducing Apparatus And Imaging Apparatus | |
JP2010010936A (ja) | 画像記録装置、画像記録方法、画像処理装置、画像処理方法、プログラム | |
JP5050465B2 (ja) | 撮像装置、撮影制御方法、およびプログラム | |
KR20130017629A (ko) | 영상 처리 장치, 영상 처리 방법, 및 컴퓨터 판독가능 저장매체 | |
KR20200132569A (ko) | 특정 순간에 관한 사진 또는 동영상을 자동으로 촬영하는 디바이스 및 그 동작 방법 | |
JP2007251429A (ja) | 動画撮影装置及びズーム調整方法 | |
JP2007027971A (ja) | 撮影装置及びその制御方法及びプログラム及び記録媒体 | |
KR20150141059A (ko) | 동영상의 썸네일 영상을 제공하는 장치 및 방법 | |
US20050251741A1 (en) | Methods and apparatus for capturing images | |
US9374525B2 (en) | Shooting apparatus and shooting method | |
US20160055662A1 (en) | Image extracting apparatus, image extracting method and computer readable recording medium for recording program for extracting images based on reference image and time-related information | |
JP5206422B2 (ja) | 構図選択装置及びプログラム | |
US20130051633A1 (en) | Image processing apparatus | |
JP2005267455A (ja) | 画像処理システム、表示装置、及び画像処理方法 | |
JP2013117908A (ja) | 画像処理装置、画像処理方法、および撮像装置 | |
JP2010097449A (ja) | 画像合成装置、及び画像合成方法、画像合成プログラム | |
JP5093031B2 (ja) | 撮像装置及びプログラム | |
CN115205921A (zh) | 电子设备以及控制方法 | |
JP2010171849A (ja) | 画像再生装置および電子カメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20070605 |