JP4411614B2 - 記録再生装置及び記録再生装置による画像処理方法 - Google Patents

Description

本発明は、記録媒体に記録された映像データ（本明細書では映像データだけでなく、映像に関連する音声データを含むデータをも映像データと略記する）を再生する際、再生開始位置を示す場所に関連して付けられたサムネイル画像中に人物の画像があるとき、その人物画像領域を加工して表示する記録再生装置及び記録再生装置による画像処理方法に関する。

近年では放送局から流れてくるデジタル映像データを記録したり、デジタルビデオカメラなどで記録した映像データをダビングしたり、あるいは記録された映像データを再生したりするＤＶＤレコーダやＨＤＤレコーダに代表される記録再生装置が開発されている。記録されたコンテンツに対しては、多数の再生開始位置を定義することができる。この再生開始位置はチャプタ又はブックマークという名前で呼ばれることが一般的である。また、再生開始位置情報は記録装置内で保存されて利用され、記録媒体にその情報を記録し、読み出すことができる場合もある。

上述したチャプタ又はブックマークなどの再生開始位置は、タイトル作成者やコンテンツを再生するユーザが任意に設定することができる。また、記録再生装置が音声の切り替わりや画像の切り替わりなどを検出して自動的に作成することができる場合もある。

設定された再生開始位置に対して、画面上にはその再生開始位置の動画像をフレーム画像として取り込み、必要に応じて縮小し、画面上にサムネイル画像という形で一覧表で表示する記録再生装置が提案されている（例えば、下記の特許文献１参照）。また、大量に蓄積されている映像データベースなどから、顔画像を検出し、検出した顔を識別することによって、制服などのように服装が同一であっても誤検出することがなく、映像中に登場する人物の顔を区別して表示するようにした映像検索装置も提案されている（下記の特許文献２参照）。そして、ユーザは一覧表示されているサムネイル画像を見ることによって、それぞれのコンテンツを再生する場所がおおよそ分かり、その場所から所望の画像を再生することができる。
特開２００２−１５２６６５号公報（要約） 特開２００１−１６７１１０号公報（要約）

しかしながら、上記の特許文献１又は２に記載されたように、ユーザが再生開始位置を容易に判別できるようにしたサムネイル画像のうち、特に、記録再生装置によって自動的に生成されたサムネイル画像には、他人や子供に見せたくない人物の画像も含まれてしまうという問題があった。

本発明は、上記の問題点を解決するためになされたもので、サムネイル画像を表示する際に、再生開始位置としての機能を残しつつ、見られたくない人物の画像を見せないようにすることが可能な記録再生装置及び記録再生装置による画像処理方法を提供することを目的とする。

上記の目的を達成するために、本発明は、記録媒体に記録されたコンテンツに対して、再生開始位置を設定する再生開始位置設定手段と、前記再生開始位置に対応付けてサムネイル画像を生成するサムネイル画像生成手段とを有する記録再生装置において、
前記コンテンツに視聴制限年齢情報が付加されている場合は、この視聴制限年齢情報の値（年齢）と、あらかじめ装置に外部から設定されている制限年齢とを比較して、前記視聴制限年齢情報の値が前記制限年齢以上の場合は前記コンテンツの視聴は不可と判断する一方、前記コンテンツに視聴制限年齢情報が付加されていない場合、若しくは、前記視聴制限年齢情報の値が前記制限年齢未満の場合は前記コンテンツの視聴は可能と判断する視聴判断手段と、
前記サムネイル画像生成手段によって生成されたサムネイル画像の中に人物の画像が入っているか否かを判定する人物判定手段と、
前記人物判定手段によってサムネイル画像の中に人物の画像が入っていると判定され、かつ、前記視聴判断手段の判断結果が視聴は可能と判断されている場合、前記サムネイル画像の中の人物の画像の明瞭度を低下させる処理を施す画像処理手段とを、
備えたことを特徴とする。
また、本発明は、請求項２に記載の画像処理方法において、視聴判断ステップと、人物判定ステップと、画像処理ステップとを有することを特徴とする。

本発明は上記のように構成したことによって、サムネイル画像の中に人物の画像が入っていて、かつ、コンテンツの視聴が可能になっているときには、その人物画像の明瞭度を低下させるように人物画像領域を加工するので、サムネイル画像を表示する際に、このサムネイル画像に対して再生開始位置としての機能を残しつつ、見られたくない人物の画像を見せないようにすることが可能な記録再生装置及び記録再生装置による画像処理方法が提供される。

以下、本発明を図面に示す好適な実施の形態に基づいて詳細に説明する。図１は本発明に係る記録再生装置の一実施の形態の概略構成を示す機能ブロック図である。本実施の形態は、例えば、ＤＶＤやＨＤＤを用いる記録媒体１０に対して映像記録手段１が映像情報を記録する一方、映像再生手段６が記録媒体１０に記録された映像情報を再生して表示デバイス１８に表示する構成になっている。再生開始位置設定手段２は、映像情報の再生開始位置を設定するもので、記録媒体１０に記録された映像情報の中身、すなわちコンテンツに対して、ユーザが任意に設定したり、記録再生装置が音声の切り替わりや画像の切り替わりなどを検出して自動的に作成したりするものである。再生開始位置設定手段２で設定された再生開始位置に対応付けてサムネイル画像生成手段３がそれぞれサムネイル画像を生成すると、サムネイル画像表示手段４が生成されたサムネイル画像を表示デバイス１８に表示させる。そこで、ユーザが再生開始位置選択手段５を用いて、表示デバイス１８に表示されたサムネイル画像のいずれか１つを選択すると、その選択情報が映像再生手段６に伝えられ、選択されたサムネイル画像に対応する位置から映像情報の再生が開始されることになる。

本実施の形態は、さらに、サムネイル画像生成手段３によって生成されたサムネイル画像の中に人物の画像が入っているか否かを判定する人物判定手段７と、記録媒体１０に記録されたコンテンツに視聴制限年齢情報が付加されているか否かを判断し、付加されている場合は、この視聴制限年齢情報の値と、あらかじめ装置に外部から設定されている制限年齢とを比較して、視聴制限年齢情報の値が制限年齢以上の場合はコンテンツの視聴は不可と判断する一方、コンテンツの視聴制限年齢情報が付加されていない場合、若しくは、視聴制限年齢情報の値が制限年齢未満の場合はコンテンツの視聴は可能と判断する視聴判断手段８と、人物判定手段７によってサムネイル画像の中に人物の画像が入っていると判定され、かつ、視聴判断手段８の判断結果が視聴可能と判断されたとき、その人物画像の明瞭度を低下させるように人物画像領域を加工する画像処理手段９とを備えている。このように、人物画像の明瞭度を低下させるように人物画像領域を加工することによって、サムネイル画像が再生開始位置として残されるが、見られたくない画像を見せないようにすることができる。

図２は本発明に係る記録再生装置の一実施の形態の具体的な構成を示すブロック図である。図２において、記録媒体１０はビデオファイルや静止画データファイルを構築することができる情報記録媒体である。駆動装置１１は記録媒体１０を回転駆動するとともに、記録媒体１０に情報を書き込んだり、記録媒体１０から情報を読み出したりするものである。この駆動装置１１が記録媒体１０に書き込むデータ、及び記録媒体１０から読み出したデータを蓄えておくためのバッファ１２を備えている。

また、テレビチューナのような入力手段１６を介して取り込まれた情報を符号化してバッファ１２に供給するエンコーダ部１３と、バッファ１２からデータを受け取り、それを復号するデコーダ部１４と、このデコーダ部１４で復号してキャプチャされた静止画データを格納する静止画データ部１５と、デコーダ部１４で復号された動画データを画面表示したり、あるいは、静止画データ部１５に格納された静止画データを画面表示したりする表示デバイス１８とを備えている。さらに、静止画データ部１５に格納されている静止画データに対応する画像中に、人物の画像があるか否かを検出する人物検出部１７と、表示デバイス１８に表示された画面を見てユーザがサムネイル画像を生成する場所を指定する、例えばマウス、リモコンなどが用いられる選択手段１９とを備えている。

また、ＣＰＵなどで構成される制御手段２０と、その演算処理に必要な制御手順や固定データなどを書き込み、必要に応じて制御手段２０に提供するメモリ２１とを備え、制御手段２０が駆動装置１１、エンコーダ部１３、デコーダ部１４、人物検出部１７及び表示デバイス１８を制御するように構成されている。

上記のように構成された本実施の形態に係る記録再生装置の動作のうち、特に、本発明に最も関連するサムネイル画像の表示処理について、図３及び図４に示したフローチャートに従って説明する。この場合、ユーザが選択手段１９を操作して、記録媒体１０に記録された画像データを駆動装置１１が読み出してバッファ１２に一時的に蓄え、デコーダ部１４がそのデータを復号して表示デバイス１８に供給し、表示デバイス１８には動画像が表示されているものとする。

図３において、まず、ステップＳ１０１で、ユーザが選択手段１９を用いてサムネイル画像を生成すべき場所（フレーム）を指定する。次に、ステップＳ１０２で、制御手段２０はユーザによって指定されたフレームが存在する場所を解釈し、指定されたフレームに対応する記録媒体１０のデータを読み出すべき場所を決定する。次に、ステップＳ１０３で、制御手段２０は決定した場所に記録されている動画データを読み出すように指示を与えて駆動装置１１を動作させる。これによって、記録媒体１０に記録されている符号化された動画データのうち、ステップＳ１０２で指定された場所に記録されているＭＰＥＧ−２フォーマットなどで圧縮された動画データが読み出され、バッファ１２に蓄えられる。すなわち、動画データの取得が行われる。

次に、ステップＳ１０４で、制御手段２０は動画データを復号し、静止画データを生成する指示をデコーダ部１４に与える。これにより、デコーダ部１４はバッファ１２に蓄えられた動画データを復号し、静止画データを生成して静止画データ部１５に格納する。すなわち、取得した動画データの指定時刻のビデオフレームを復号する。なお、ユーザが指定したフレームに対応する別のサムネイル画像用データが記録媒体１０に用意されている場合には、指定された場所に記録されているＭＰＥＧ−２フォーマットなどで圧縮された動画データを読み出さずに、駆動装置１１がサムネイル画像用データを読み出して静止画データ部１５に格納する。

次に、ステップＳ１０５で、制御手段２０は静止画データ部１５に格納された静止画データをサムネイル表示するのに全画像表示とするか又は一部非表示とするか、すなわち、サムネイル非表示モードか否かを、メモリ２１から情報を取得して判断する。この情報は次のａ、ｂいずれかの方法により設定される。
ａ．あらかじめユーザが選択手段１９を用いて、サムネイル表示を全画像表示を可能にするか、画像の一部を隠蔽するかを設定し、その情報をメモリ２１に保存する。
ｂ．再生すべき記録媒体１０内やコンテンツに付加されているパレンタル情報（視聴制限年齢情報）をメモリ２１に保存する。
上記ｂ．の場合は、この読み出したパレンタル情報の年齢と、ユーザによってあらかじめ装置に設定してある制限年齢とを比較して、制限年齢よりパレンタル情報の年齢が大きい場合にサムネイル非表示モードにする。

ステップＳ１０５でサムネイル表示を一部非表示とするサムネイル非表示モードであると判断した場合には、ステップＳ１０６で、人物検出部１７を用いて、詳細を後述するように、サムネイル非表示処理、すなわちサムネイル画像から人物検出とその加工の処理とを行う。ステップＳ１０６の処理を行った後、ステップＳ１０７で、サムネイル画像に一部処理を施した画像を表示デバイス１８に表示して処理を終了する。なお、ステップＳ１０５でサムネイル非表示モードでないと判断した場合には、ステップＳ１０６の処理を行わないで、そのまま処理を終了する。

図４は図３に示したサムネイル画像表示処理のうち、ステップＳ１０６の詳細な処理手順を示すフローチャートであり、以下、このフローチャートに従って説明する。まず、ステップＳ２０１で、人物検出部１７を用いて静止画データ部１５に格納されたサムネイル画像データに基づいてサムネイル画像内の人物画像を検出する処理を行う。続いて、ステップＳ２０２で、サムネイル画像に人物の画像（図面では人物と略記する）が入っているか否かを判断する。ステップＳ２０２で人物の画像が入っていないと判断した場合、実際には人物の画像の検出ミスの可能性もあるので、ステップＳ２０４に進んで別の人物検出手法があるか否かを判断し、ある場合にはステップＳ２０６で別の人物検出手法を選択し、再びステップＳ２０１以降の処理を実行する。ステップＳ２０４で別の人物検出手法が無いと判断した場合、人物の画像の検出とその加工の処理を終了する。

一方、ステップＳ２０２でサムネイル画像に人物の画像が入っていると判断した場合には、ステップＳ２０３で人物部領域（ｘ，ｙ）・（ｘ１，ｙ１）に画像の加工を施す。その後、ステップＳ２０４に進んで別の人物検出手法があるか否かを判断し、有る場合にはステップＳ２０６で別の人物検出手法を選択してステップＳ２０１以降の処理を実行し、無い場合には人物の画像の検出とその画像の加工処理を終了する。

ステップＳ２０４での別の人物検出手法があるか否かについての判断と、ステップＳ２０６での別の人物検出手法の選択とをそれぞれ行う目的は、使用する人物検出手法が顔部分を認識して判断するものや、肌色部分を検出して身体部分を検出するものなどがあって、それぞれ得手不得手があったり、サムネイル画像の人物の画像の表示状態により複数の検出手法を用いた方が効果的であったりするからである。なお、人物画像に加工を施す際、人物部領域（ｘ，ｙ）・（ｘ１，ｙ１）が確定できないときには、サムネイル画像の全体に画像処理を施す。また、別の検出手法が無い場合にはステップＳ２０５へ進み、加工処理された画像と元画像とを合成し、画像処理されたサムネイル画像を生成する。

次に、ステップＳ２０１で行う人物検出方法について説明する。この人物検出方法は、下記の（１）又は（２）に示すように、一般的によく知られた方法を用いて行う。
（１）色相、明度、彩度のカラー情報から肌色を検出し、肌色の領域サイズや画素数によって、肌と非肌とを判定して人物の画像を検出する。
（２）画像に対して主成分分析を行い、顔データベースとパターンマッチングすることにより顔認識を行って人物の画像を検出する。

次に、ステップＳ２０３で行う人物部領域に対する画像加工の処理について説明する。ここで行う画像加工の処理は、画像は詳細には分からないが、どのような画像であるかがぼんやりと分かるような加工方法を用いることによって、その画像からどういうイメージか推測できる方法を利用する。例えば、「ぼかし」、「モザイク化」などの画像処理方法により画像加工を行う。

ここで、「ぼかし」とは、ある点のピクセルに関して、そのピクセルの色と周囲４ピクセル（上下左右）の色とに所定の演算を施し、ある点のピクセルの色とする処理である。例えば、処理対象のピクセルの色と、周囲のピクセルの色とを混ぜ合わせる比率を２：１にすれば、処理対象となるピクセル（ｘ，ｙ）の色は以下のようになる。
周囲の色平均＝（（ｘ，ｙ＋１）の色＋（ｘ＋ｙ，ｙ）の色＋（ｘ，ｙ−１）の色＋（ｘ−１，ｙ）の色）／４
ピクセル（ｘ，ｙ）の色成分＝（（ｘ，ｙ）の色成分×２＋周囲の色成分平均）／３
以上の演算をＲ、Ｇ、Ｂのそれぞれに対して行う。
なお、上記の例では周囲の４ピクセルを用いて２：１の割合で混ぜ合わせたが、必ずしも４ピクセルを使うだけでなく、あるピクセルに対して上下左右２ピクセル及び斜め１ピクセル用いるようにしてもよい。

また、「モザイク化」とは、ある一定領域をその領域の色素の平均色で置き換える手法である。例えば、４ピクセル×４ピクセルごとにその領域内の色素の平均値を求め、４ピクセル×４ピクセルの領域を平均値の色で置き換える。この処理も必ずしも４ピクセル×４ピクセルではなく、これ以外のサイズの大きさを用いることも可能である。

ところで、人物検出は時間がかかる処理になることが多いが、本実施の形態ではサムネイル画像という比較的サイズの小さな画像で処理を行うため、人物検出時間が短くて済み、操作性の妨げになることはない。

以上の説明によって明らかなように、本実施の形態によれば、サムネイル画像を表示する際に、人物領域などに対して「ぼかし」、「モザイク化」など、画像にエフェクトをかけて表示することにより、見られたくないサムネイル画像を見せないようにすることが可能になる。この結果、他人や子供に対して個人情報に関する画像やアダルト画像などの情報を隠蔽し、安心してサムネイル画像の一覧を見せることができる。

なお、上記の実施の形態では人物画像の明瞭度を低下させる方法として、「ぼかし」又は「モザイク化」を例示したが、本発明はこれらに限定されず、「解像度の低下」、「部分マスキング」など、他の画像処理方法を用いても上述したと同様な効果が得られる。

本発明に係る記録再生装置の一実施の形態の概略構成を示す機能ブロック図である。 本発明に係る記録再生装置の一実施の形態の具体的な構成を示すブロック図である。 本発明の一実施の形態の動作を説明するために、サムネイル画像の表示処理の具体的な手順を示すフローチャートである。 図３に示すフローチャートの主要なステップの詳細な処理手順を示すフローチャートである。

符号の説明

１ 映像記録手段
２ 再生開始位置設定手段
３ サムネイル画像生成手段
４ サムネイル画像表示手段
５ 再生開始位置選択手段
６ 映像再生手段
７ 人物判定手段
８ 視聴判断手段
９ 画像処理手段
１０ 記録媒体
１８ 表示デバイス
２０ 制御手段

Claims (2)

1. 記録媒体に記録されたコンテンツに対して、再生開始位置を設定する再生開始位置設定手段と、前記再生開始位置に対応付けてサムネイル画像を生成するサムネイル画像生成手段とを有する記録再生装置において、
   前記コンテンツに視聴制限年齢情報が付加されている場合は、この視聴制限年齢情報の値（年齢）と、あらかじめ装置に外部から設定されている制限年齢とを比較して、前記視聴制限年齢情報の値が前記制限年齢以上の場合は前記コンテンツの視聴は不可と判断する一方、前記コンテンツに視聴制限年齢情報が付加されていない場合、若しくは、前記視聴制限年齢情報の値が前記制限年齢未満の場合は前記コンテンツの視聴は可能と判断する視聴判断手段と、
   前記サムネイル画像生成手段によって生成されたサムネイル画像の中に人物の画像が入っているか否かを判定する人物判定手段と、
   前記人物判定手段によってサムネイル画像の中に人物の画像が入っていると判定され、かつ、前記視聴判断手段の判断結果が視聴は可能と判断されている場合、前記サムネイル画像の中の人物の画像の明瞭度を低下させる処理を施す画像処理手段とを、
   備えたことを特徴とする記録再生装置。
2. 記録媒体に記録されたコンテンツに対して、再生開始位置を設定する再生開始位置設定手段と、前記再生開始位置に対応付けてサムネイル画像を生成するサムネイル画像生成手段とを有する記録再生装置による画像処理方法において、
   前記コンテンツに視聴制限年齢情報が付加されている場合は、この視聴制限年齢情報の値（年齢）と、あらかじめ装置に外部から設定されている制限年齢とを比較して、前記視聴制限年齢情報の値が前記制限年齢以上の場合は前記コンテンツの視聴は不可と判断する一方、前記コンテンツに視聴制限年齢情報が付加されていない場合、若しくは、前記視聴制限年齢情報の値が前記制限年齢未満の場合は前記コンテンツの視聴は可能と判断する視聴判断ステップと、
   前記サムネイル画像生成手段によって生成されたサムネイル画像の中に人物の画像が入っているか否かを判定する人物判定ステップと、
   前記人物判定ステップによってサムネイル画像の中に人物の画像が入っていると判定され、かつ、前記視聴判断ステップの判断結果が視聴は可能と判断されている場合、前記サムネイル画像の中の人物の画像の明瞭度を低下させる処理を施す画像処理ステップとを、
   有することを特徴とする画像処理方法。

Images