WO2010116614A1

WO2010116614A1 - 画像表示装置、画像生成装置、画像表示方法、画像生成方法、及びプログラムが格納された非一時的なコンピュータ可読媒体

Info

Publication number: WO2010116614A1
Application number: PCT/JP2010/001798
Authority: WO
Inventors: 木本崇博; 上原伸一; 呉荻; 坂本道昭
Original assignee: 日本電気株式会社; Ｎｅｃ液晶テクノロジー株式会社
Priority date: 2009-03-30
Filing date: 2010-03-12
Publication date: 2010-10-14
Also published as: EP2416583A4; EP2416583A1; CN102349304B; US20110310098A1; CN102349304A; JP5665135B2; JPWO2010116614A1

Abstract

　データ伝送量を抑制し、２Ｄ／３Ｄ混在表現を効率的に実現することが可能な画像表示装置を提供できる本発明の一態様に係る画像表示装置は、形状情報１００２と注目領域画像信号１００１を参照して第１の視点の画像信号１０００における注目領域を第１の視点とは異なる視点である第２の視点の画像信号に変更し、得られた第２の視点の画像信号と第１の視点の画像信号１０００とを用いて３Ｄ画像表示を行う。

Description

画像表示装置、画像生成装置、画像表示方法、画像生成方法、及びプログラムが格納された非一時的なコンピュータ可読媒体

　本発明は、３次元（３Ｄ）表現を行う画像表示技術に関し、特に、一画像内部で２次元（２Ｄ）表現と３Ｄ表現とが混在する画像表示技術に関わる。

　３Ｄ画像は２Ｄ画像よりも高い表現力を持ち、近年の画像表示技術の進歩とともに注目が高まっている。３Ｄ表現は人間が右目と左目の視差によって空間を三次元として認知していることを利用する。

　図８は３Ｄ表現を実現する画像表示装置の構成を表すブロック図である。３Ｄ画像表示部１０２が、一方の目への入力に相当する画像信号１０００と、視差を考慮したもう一方の目への入力に相当する視差画像信号１００３とが右目と左目に別々に入るよう調整することで人工的に３Ｄ表現を実現する。

　特許文献１には、注視点付近の領域に最も立体効果が現れるような、立体映像処理装置が開示されている。特許文献１では、注視点視差検出部が、左目用画像と右目用画像の差分である視差情報から求められた注視点付近の平均視差量と、全領域における視差量との差分とを求めている。フィルタ係数発生部は、この差分に基づいて、各領域に対するフィルタ係数を演算している。

　左目用画像信号と、これと視差情報とを用いて生成された右目用画像信号とを表示した立体視画像に対して、フィルタ係数発生部により算出されたフィルタ係数を用いてフィルタ処理を行うことにより、注視点における被写体と奥行きがずれているものをぼけた状態に制御している。

特開平１１－１５５１５４号公報

　３Ｄ表現を行う場合、伝送する画像データ量の低減が求められている。画像表示装置が伝送路を介して画像信号を受信して３Ｄ表現を行う場合、それぞれの視点に相当する画像信号を伝送する必要がある。また、特許文献１では、左目用画像信号と、右目用画像信号を生成するための視差情報とが伝送されている。このように、３Ｄ画像データは、２Ｄ画像データよりもデータ量が多くなる。

　また、３Ｄ表現ではディスプレイの消費電力の低減が求められている。単一視点の映像と同じ光量で複数視点の映像を表示するディスプレイはそれだけ多くの消費電力を要する。データ伝送量や消費電力を抑え高い表現力を実現するアプローチとして、画像の中の注目領域のみを立体的に表現する２Ｄ／３Ｄ混在表現が考えられる。

　本発明は、このような事情を背景としてなされたものであり、本発明の目的は、データ伝送量を抑制し、高い表現力を有する２Ｄ／３Ｄ混在表現を効率的に実現することが可能な画像表示装置、画像生成装置、画像表示方法、画像生成方法、及びプログラムが格納された非一時的なコンピュータ可読媒体を提供することである。

　本発明の第１の態様に係る画像表示装置は、入力される第１の画像信号と、前記第１の画像信号の注目領域内の画像信号であり視差を有する第２の画像信号とを合成して第３の画像信号を得る手段と、前記第３の画像信号と前記第１の画像信号とを用いて立体表示を行う手段とを備えるものである。

　本発明の第２の態様に係る画像表示装置は、第１の視点の画像信号と、前記注目領域における画像信号である注目領域画像信号と、注目領域形状情報とを入力として、前記第１の視点の画像信号における前記注目領域を異なる視点の画像である注目領域視差画像信号に変更して、第２の視点の画像信号を生成する視差画像生成部と、前記第１の視点の画像信号と前記第２の視点の画像信号とを用いて３Ｄ画像表示を行う３Ｄ画像表示部とを備えるものである。

　本発明の第３の態様に係る画像生成装置は、第１の視点の画像信号と、前記注目領域における画像信号である注目領域画像信号と、注目領域形状情報とを生成するものである。

　本発明の第４の態様に係る画像表示方法は、入力される第１の画像信号と、前記第１の画像信号の注目領域内の画像信号であり視差を有する第２の画像信号とを合成して第３の画像信号を生成し、前記第３の画像信号と前記第１の画像信号とを用いて立体表示を行う。

　本発明の第５の態様に係る画像表示方法は、第１の視点の画像信号と、前記注目領域における画像信号である注目領域画像信号と、注目領域形状情報とを入力として、前記第１の視点の画像信号における前記注目領域を異なる視点の画像である注目領域視差画像信号に変更して、第２の視点の画像信号を生成し、前記第１の視点の画像信号と前記第２の視点の画像信号とを用いて３Ｄ画像表示を行う。

　本発明の第６の態様に係る画像生成方法は、第１の視点の画像信号と、前記注目領域における画像信号である注目領域画像信号と、前記注目領域の位置、形状を表す注目領域形状情報とを生成する。

　本発明の第７の態様に係る画像表示装置のプログラムが格納された非一時的なコンピュータ可読媒体は、入力される第１の画像信号と、前記第１の画像信号の注目領域内の画像信号であり視差を有する第２の画像信号とを合成して第３の画像信号を生成し、前記第３の画像信号と前記第１の画像信号とを用いて立体表示を行う処理を実行させる。

　本発明の第８の態様に係る画像表示装置のプログラムが格納された非一時的なコンピュータ可読媒体は、第１の視点の画像信号と、前記注目領域における画像信号である注目領域画像信号と、前記注目領域の位置、形状を表す注目領域形状情報とを入力として、前記第１の視点の画像信号における前記注目領域を異なる視点の画像である注目領域視差画像信号に変更して、第２の視点の画像信号を生成し、前記第１の視点の画像信号と前記第２の視点の画像信号とを用いて３Ｄ画像表示を実行させる。

　本発明の第９の態様に係る画像生成装置のプログラムが格納された非一時的なコンピュータ可読媒体は、第１の視点の画像信号と、前記注目領域における画像信号である注目領域画像信号と、前記注目領域の位置、形状を表す注目領域形状情報とを生成する処理を実行させる。

　本発明によれば、データ伝送量を抑制し、高い表現力を有する２Ｄ／３Ｄ混在表現を効率的に実現することが可能な画像表示装置、画像生成装置、画像表示方法、画像生成方法、及びプログラムが格納された非一時的なコンピュータ可読媒体を提供することができる。

実施の形態１に係る画像表示装置の構成を示すブロック図である。実施の形態１に係る画像表示装置における視差画像生成部の構成の一例を示すブロック図である。実施の形態１に係る画像表示装置における視差画像生成部の構成の他の例を示すブロック図である。実施の形態２に係る画像表示装置の構成を示すブロック図である。実施の形態３に係る画像表示装置の構成を示すブロック図である。実施の形態４に係る画像表示装置の構成を示すブロック図である。実施の形態４に係る画像表示装置における視差画像生成部の構成の一例を示すブロック図である。３Ｄ表現を実現する画像表示装置の構成を示すブロック図である。

　実施の形態１．
　本発明の実施の形態１に係る画像表示装置の構成について、図１を参照して説明する。図１は、本実施の形態に係る画像表示装置１００の構成を示すブロック図である。図１に示すように、画像表示装置１００は、視差画像生成部１０１、３Ｄ画像表示部１０２を備えている。画像表示装置１００は、データ伝送量や消費電力を抑制するため、画像の中の注目領域のみを立体的に表現する２Ｄ／３Ｄ混在表示を行う。

　画像表示装置１００には、画像信号１０００、注目領域画像信号１００１、注目領域形状情報が入力される。画像信号１０００は、３Ｄ表示される一方の視点の画像信号である。注目領域画像信号１００１は、３Ｄ表現される注目領域のもう一方の視点の画像を生成するための信号である。本実施の形態では、注目領域形状情報には、注目領域の位置や形状を表す信号である形状情報１００２が含まれる。

　視差画像生成部１０１は、画像信号１０００、注目領域画像信号１００１、形状情報１００２を参照し、画像信号１０００のうち注目領域を異なる視点からの画像に置き換え、視差画像信号１００３を生成する。３Ｄ画像表示部１０２は、画像信号１０００と視差画像信号１００３を入力とし、３Ｄ画像を表示する。

　ここで、図２、３を参照して、視差画像生成部１０１の構成例について説明する。図２、３は、視差画像生成部１０１の構成例を示すブロック図である。図２に示す例では、視差画像生成部１０１は、注目領域画像変換部１０３、注目領域画像合成部１０４を備えている。

　図２に示す例では、注目領域画像変換部１０３に、注目領域画像信号１００１、形状情報１００２が入力されている。注目領域画像変換部１０３は、形状情報１００２を参照して注目領域画像信号１００１に対して変換処理を行い、注目領域視差画像信号１００４を生成する。注目領域視差画像信号１００４とは、第１の視点の画像信号における注目領域を異なる視点の画像とした画像信号である。

　図２の視差画像生成部１０１の処理について詳細に説明する。図２に示す視差画像生成部１０１では、変換処理の一例として幾何変換が行われる。幾何変換は、注目領域画像信号１００１を特定の視点からの画像へと変換するために行われる。特に、視聴者の位置など状況の変化にインタラクティブに３Ｄ表現を変更させるときに重要となる。

　注目領域画像変換部１０３は、形状情報１００２に含まれる幾何情報パラメータを参照して、指定された視点からの画像を生成する幾何変換を行う。幾何変換の具体例として、アフィン変換や透過変換がある。また、幾何変換の１つとして、視点位置に応じて注目領域画像変換部１０３が注目領域画像信号１００１の水平位置を変更することも含まれる。

　注目領域画像合成部１０４には、画像信号１０００、形状情報１００２、注目領域視差画像信号１００４が入力されている。注目領域画像合成部１０４は形状情報１００２を参照し、注目領域に対して画像信号１０００と注目領域視差画像信号１００４とを合成し、視差画像信号１００３を生成する。

　図３に示す例では、注目領域画像信号１００１、形状情報１００２に加えて、画像信号１０００が注目領域画像変換部１０３に入力されている。図２に示す例と比較して、図３の注目領域画像変換部１０３は、形状情報１００２に加えて、画像信号１０００を参照する点が異なる。

　図３の視差画像生成部１０１の処理について詳細に説明する。注目領域画像変換部１０３は、注目領域画像信号１００１と画像信号１０００の信号分布に基づいて変換の度合いを算出し、注目領域画像信号１００１に対して変換処理を行って注目領域視差画像信号１００４を生成する。図３に示す注目領域画像変換部１０３における変換処理の例として、輝度や彩度といった階調変換、周波数領域でのフィルタリングがある。

　階調変換を行う場合、注目領域画像変換部１０３は、注目領域画像信号１００１と画像信号１０００とを参照して、これらの画像信号の階調に関する分布情報に基づき階調変換パラメータを算出する。そして、注目領域画像変換部１０３は、算出した階調変換パラメータに従って、注目領域画像信号１００１に対する階調変換を行う。

　階調変換の具体例として、階調補償処理と階調強調処理がある。階調補償処理は、画像信号１０００と注目領域画像信号１００１の階調が異なる場合に、画像信号１０００と合成したときに自然に見せるよう、注目領域画像信号１００１の階調を変換する処理である。

　また、階調強調処理は、輻輳調節矛盾と呼ばれる生理的現象によって起きる３Ｄ酔いを軽減するために、注目領域の刺激を上昇させるため注目領域画像信号１００１の階調をあげる処理である。

　いずれの場合でも注目領域画像変換部１０３は、画像信号１０００の階調の分布情報と注目領域画像信号１００１の階調の分布情報に基づき、視聴者にとって違和感のない階調変換の度合いを算出して処理を行う。階調の分布情報の一例として輝度平均があげられる。

　周波数領域でのフィルタリングは注目領域画像信号１００１を鮮鋭にするために行われる。周波数領域でのフィルタリングを行う場合、注目領域画像変換部１０３は、注目領域画像信号１００１と画像信号１０００とを参照して、これらの周波数領域の分布情報に基づいて、フィルタリング処理パラメータを算出する。そして、注目領域画像変換部１０３は、算出したフィルタリング処理パラメータに従って、注目領域画像信号１００１に対して画像を鮮鋭にするフィルタリング処理を行う。

　フィルタリング処理の具体例として、エッジ強調がある。注目領域画像変換部１０３は、画像信号１０００の周波数成分の分布情報と注目領域画像信号１００１の周波数成分の分布情報に基づき、視聴者にとって違和感のないレベルでの注目領域の鮮鋭度を算出して処理を行う。階調の分布情報の一例として高周波数成分のパワーがあげられる。

　注目領域画像合成部１０４における合成処理として、画像信号１０００における注目領域を注目領域視差画像信号１００４に置き換える論理的加算処理と、画像信号１０００と注目領域視差画像信号１００４とをブレンド（重み付け加算）する算術的加算処理とがある。算術的加算処理の場合には、さらに、注目領域内部に対して同一の比率で画像信号１０００と注目領域視差画像信号１００４とをブレンドする場合と、注目領域内部の画素毎にブレンドする比率を変更する場合とがある。なお、注目領域は、矩形もしくは任意形状となる。

　合成処理が論理的加算処理の場合、注目領域が矩形であれば形状情報１００２は頂点を表す座標情報となる。注目領域が任意形状であれば形状情報１００２は画像内の画素それぞれについて注目領域に含まれるか否かを表す２値画像信号となる。合成処理が算術的加算処理でブレンドする比率が一定の場合、注目領域形状情報にはブレンド率がさらに含まれる。ブレンドする比率が一定でない場合、注目領域形状情報には注目領域内の画素それぞれのブレンド率を表す多値画像信号が含まれる。

　なお、本実施の形態では視差画像生成部１０１が注目領域画像変換部１０３と注目領域画像合成部１０４を備える例について述べたが、これに限定されるものではない。本発明は視差画像生成部１０１が注目領域画像合成部１０４のみからなる場合にも適用可能である。この場合、注目領域画像信号１００１を注目領域視差画像信号１００４とみなして処理を行うことができる。

　また、注目領域画像変換部１０３及び注目領域画像合成部１０４への入力となる形状情報１００２が時間的に変動する場合も本発明の適用範囲に含まれる。このように、本実施の形態によれば、注目領域に限定してもう一方の視点の画像を生成することができるため、効率的に視差画像を生成することが可能となる。

　実施の形態２．
　本発明の実施の形態２に係る画像表示装置の構成について、図４を参照して説明する。図４は、本実施の形態に係る画像表示装置２００の構成を示すブロック図である。図４において、図１と同様の構成要素には同一の符号を付し、説明を適宜省略する。

　図４に示すように、画像表示装置２００は、視差画像生成部１０１、３Ｄ画像表示部１０２に加えて、画像変換部１１０を備えている。画像表示装置２００は、実施の形態１と同様に、データ伝送量や消費電力を抑制するため、画像の中の注目領域のみを立体的に表現する２Ｄ／３Ｄ混在表示を行う。

　画像変換部１１０には、画像信号１０００と注目領域画像信号１００１が入力される。画像変換部１１０は、注目領域画像信号１００１を参照し画像信号１０００の視認度を下げるような変換処理を行い、画像信号１０１０を生成する。以降は画像信号１０１０を図１における画像信号１０００とみなし、実施の形態１と同じ処理を行う。

　画像変換部１１０の変換処理として、階調変換、周波数領域でのフィルタリングがある。階調変換では、注目領域の相対的な強調のため、また、３Ｄ画像表示部１０２の消費電力低下のために注目領域外の階調を低減する。階調変換を行う場合、画像変換部１１０は、注目領域画像信号１００１と画像信号１０００とを参照して、これらの画像信号の階調に関する分布情報に基づいて階調変換パラメータを算出する。そして、画像変換部１１０は、算出した階調変換パラメータに従って画像信号１０００に対して階調を低減する処理を行う。

　具体的には、画像変換部１１０は画像信号１０００と注目領域画像信号１００１の階調の分布情報に基づき、視聴者にとっての映像の自然さと消費電力低減の度合いの双方を考慮して階調低減の度合いを算出し、階調変換を行う。

　周波数領域のフィルタリングでは、注目領域の相対的な強調のためにぼかし処理など注目領域外の鮮鋭さを低減する処理を行う。フィルタリング処理を行う場合、画像変換部１１０は、注目領域画像信号１００１と画像信号１０００とを参照して、これらの画像信号の周波数領域の分布情報に基づいてフィルタリング処理パラメータを算出する。そして、算出されたフィルタリング処理パラメータに従って画像信号１０００に対して画像の鮮鋭度を下げるフィルタリング処理を行う。

　具体的には、画像変換部１１０は画像信号１０００と注目領域画像信号１００１の周波数成分の分布情報に基づいて、視聴者にとって違和感のないレベルで注目領域外の鮮鋭度を決定し処理を行う。

　なお、図４に示す実施形態において、画像変換部１１０は注目領域画像信号１００１を参照して変換処理を行っているが、注目領域画像信号１００１と形状情報１００２の両方、もしくは形状情報１００２のみを参照する場合にも本発明は適用可能である。

　画像変換部１１０が注目領域画像信号１００１と形状情報１００２の両方を参照する場合、画像変換部１１０は形状情報１００２を参照して画像信号１０００のうち注目領域外の信号に対してのみ変換処理を行う。

　画像変換部１１０が形状情報１００２のみを参照する場合、変換処理は画像信号１０００全体の信号分布と画像信号１０００の注目領域内の信号分布を参照して変換の度合いを決定し処理を行う。

　このように、本実施の形態によれば、画像変換部１１０により注目領域外の信号に対して変換処理を行うことができる。これにより、注目領域を高い表現力を有する２Ｄ／３Ｄ混在表示を実現することが可能である。

　実施の形態３．
　本発明の実施の形態３に係る画像表示装置の構成について、図５を参照して説明する。図５は、本実施の形態に係る画像表示装置３００の構成を示すブロック図である。図５において、図１と同様の構成要素には同一の符号を付し、説明を適宜省略する。

　図５に示すように、画像表示装置３００は、視差画像生成部１０１、３Ｄ画像表示部１０２に加えて、画像復号部１０５、注目領域画像復号部１０６、注目領域形状情報復号部１０７を備えている。画像表示装置３００は、上述の実施の形態と同様に、データ伝送量や消費電力を抑制するため、画像の中の注目領域のみを立体的に表現する２Ｄ／３Ｄ混在表示を行う。

　画像復号部１０５は、第１符号化データ１００５を復号して画像信号１０００を生成し、第２符号化データ１００６を復号して注目領域画像信号１００１を生成し、第３符号化データ１００７を復号して形状情報１００２を生成する。それぞれの符号化データの復号後は、実施の形態１で説明したものと同様の処理を行うことができる。

　なお、本実施の形態は、図５に示す画像表示装置において、さらに図４に示す画像変換部１１０を有する場合にも有効である。このとき、画像復号部１０５が復号した画像信号１０００に対して、画像変換部１１０が変換処理を行う。これにより得られた画像信号１０１０を図５における画像信号１０００とみなし、実施の形態２と同様の処理を行うことができる。

　３Ｄ表現を実現する２つの視点の画像に対し、一方の画像をもう一方の画像の差分の形で伝送する場合、注目領域外についてすべて０を符号化することになる。本実施の形態では、注目領域に限定してもう一方の視点の画像を符号化することで効率的に符号化できる。特に、注目領域が任意形状の場合、あるいは一方の視点の画像に透過度を持って別の視点の画像を重畳表示する場合、あるいは視聴状況に応じて３Ｄ表現を変更する場合に本発明は有効となる。

　また、本実施の形態では、受信側となる画像表示装置について説明したが、本発明の画像表示装置にデータを出力する画像生成装置についても本発明は適用される。画像表示装置が図１に示した構成である場合には、画像生成装置は画像信号１０００、注目領域画像信号１００１、形状情報１００２を出力する。

　画像表示装置が図５に示した実施形態の場合には、画像生成装置は画像信号１０００の符号化データ１００５、注目領域画像信号１００１の符号化データ１００６、形状情報１００２の符号化データ１００７を出力する。すなわち、この場合の画像生成装置は、画像信号１０００を符号化し第１の符号化データを生成する画像符号化部と、注目領域画像信号１００１を符号化し第２の符号化データを生成する注目領域画像符号化部と、形状情報１００２を符号化し第３の符号化データを生成する注目領域形状情報符号化部とを備える。

　実施の形態４．
　本発明の実施の形態４に係る画像表示装置の構成について、図６及び図７を参照して説明する。図６は、本実施の形態に係る画像表示装置４００の構成を示すブロック図である。図６において、図１と同一の構成要素には同一の符号を付し、説明を適宜省略する。本実施の形態では、注目領域形状情報には、注目領域の位置や形状を表す信号である形状情報１００２と、３次元空間で視点と画像内の被写体の距離を表す信号であるデプス画像信号１００８とが含まれる。

　画像表示装置４００は、視差画像生成部１１１、３Ｄ画像表示部１０２を有する。画像表示装置４００には、画像信号１０００、デプス画像信号１００８、形状情報１００２が入力される。実施の形態１に比べて、本実施の形態にかかる画像装置４００は、注目領域画像信号１００１が入力されない。また、注目領域形状情報としてのデプス画像信号１００８が入力される点が異なる。実施の形態３にかかる画像装置４００は、実施の形態１、２と同様に注目画像領域のみを立体的に表示する２Ｄ／３Ｄ混在表示を行う。

　ここで、デプス画像信号１００８について説明する。デプス画像信号１００８は３次元空間で視点と画像内の被写体の距離を表す信号である。視点から被写体までの距離は、デプス画像信号１００８の１画素につき８ビットで表現できる。本実施の形態で、デプス画像信号１００８は、画像信号１０００に対応するデプスを示すものであるとして説明する。

　本実施の形態にかかる画像表示装置４００は、形状情報１００２を参照して、画像信号１０００から注目領域画像信号１００１を抽出する。そして、形状情報１００２と、デプス画像信号１００８とを参照して注目領域画像信号１００１を注目領域視差画像信号１００４に変換して、視差画像信号１００３を生成する。

　次に、本実施の形態にかかる視差画像生成部１１１について説明する。図７は、本実施の形態にかかる視差画像生成部１１１を示す図である。視差画像生成部１１１は、注目領域画像抽出部１２０と、注目領域画像変換部１０８と、注目領域画像合成部１０４とを有する。

　注目領域画像抽出部１２０には、画像信号１０００及び形状情報１００２が入力される。注目領域画像抽出部１２０は形状情報１００２を参照し、画像信号１０００から注目領域画像信号１００１を取り出し、出力する。

　注目領域画像変換部１０８は、注目領域画像抽出部１２０から出力された注目領域画像信号１００１と、デプス画像信号１００８と、形状情報１００２とに基づき、注目領域視差画像信号１００４を生成する。

　注目領域画像合成部１０４は、画像信号１０００と、形状情報１００２と、注目領域視差画像信号１００４とに基づき、視差画像信号１００３を生成し、３Ｄ画像表示部１０２に出力する。

　ここでさらに、注目領域画像変換部１０８について説明する。注目領域画像変換部１０８は、注目領域形状情報１００２、デプス信号１００８を参照し、注目領域画像抽出部１２０から出力された注目領域画像信号１００１を、注目領域視差画像信号１００４に変換する。

　注目領域画像変換部１０８は、デプス信号１００８から得られた視差量に基づき、注目領域画像信号１００１の各画素に対し、ずらし処理を行う。ここで、注目領域画像信号１００１における画素（ｕ，ｖ）のずらし量Δｕ（ｕ，ｖ）は式（１）で与えられる。

　　　　　　　　　　　　　　　・・・・（１）

　ここで、ｚ（ｕ，ｖ）は注目領域画像信号１００１における画素（ｕ，ｖ）に対応する３次元空間の点と視点の距離であり、デプス画像信号１００８から算出できる。ＩＯＤは異なる両視点の距離であり、Ｆｏｖは視角である。

　注目領域画像変換部１０８は、算出したずらし量を用いて、注目領域画像信号１００１の（ｕ，ｖ）の画素値を注目領域視差画像信号の座標（ｕ＋Δｕ，ｖ）に挿入する。以上の処理により、注目領域視差画像信号１００４を生成する。

　本実施の形態では、形状情報１００２を参照して、画像信号１０００より注目領域画像信号１００１を生成する。そして、形状情報１００２及びデプス画像信号１００８を参照して、注目領域画像信号１００１から注目領域視差画像信号１００４を生成する。さらに、形状情報１００２を参照して、画像信号１０００と注目領域視差画像信号１００４から、視差画像信号１００３を生成する。画像信号１０００と、視差画像信号１００３とを用いて、画像の中の注目領域のみを立体的に表現する２Ｄ／３Ｄ混在表示を行う。本実施の形態では、デプス画像信号を参照することにより、より観客の視点に的確な視差を有する画像を表示することができる。

　画像表示装置が図６に示した実施形態の場合には、画像生成装置は画像信号１０００、形状情報１００２、及びデプス画像信号１００８を出力する。すなわち、この場合の画像生成装置は、画像信号１０００を出力する画像信号出力部、形状情報１００２を出力する注目領域形状情報出力部、及びデプス画像信号１００８を出力するデプス画像出力信号出力部とを備える。

　本実施の形態では、注目領域画像信号１００１を画像信号１０００及び形状情報１００２より生成するものとしたが、これは実施の形態１乃至３にも適用することが可能である。

上述の実施の形態では、本発明をハードウェアの構成として説明したが、本発明は、これに限定されるものではない。本発明は、任意の処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。）

　プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

　本発明は３Ｄ表現が可能なディスプレイを有する画像受信端末、またこの画像受信端末に画像を伝送する画像伝送システムに適用される。なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

　この出願は、２００９年３月３０日に出願された日本出願特願２００９－０８１９６９を基礎とする優先権を主張し、その開示の全てをここに取り込む。

　１００　画像表示装置
　１０１　視差画像生成部
　１０２　３Ｄ画像表示部
　１０３　注目領域画像変換部
　１０４　注目領域画像合成部
　１０５　画像復号部
　１０６　注目領域画像復号部
　１０７　注目領域形状復号部
　１０８　注目領域画像変換部
　１１０　画像変換部
　１１１　視差画像生成部
　１２０　注目領域画像抽出部
　１０００　画像信号
　１００１　注目領域画像信号
　１００２　域形状情報
　１００３　視差画像信号
　１００４　注目領域視差画像信号
　１００５　第１符号化データ
　１００６　第２符号化データ
　１００７　第３符号化データ
　１００８　デプス画像信号
　１０１０　画像信号

Claims

　第１の視点の画像信号と、前記第１の視点の画像信号の、注目領域における画像信号である注目領域画像信号と、注目領域形状情報とを入力として、前記第１の視点の画像信号における前記注目領域を異なる視点の画像である注目領域視差画像信号に変更して、第２の視点の画像信号を生成する視差画像生成手段と、
　前記第１の視点の画像信号と前記第２の視点の画像信号とを用いて３次元画像表示を行う３次元画像表示手段とを備える画像表示装置。
　前記注目領域形状情報は、前記注目領域の位置及び／又は形状を表わす信号である、請求項１記載の画像表示装置。
　前記注目領域形状情報は、３次元空間での前記注目領域における視点と画像内の被写体との距離を表わすデプス画像信号を更に含む請求項２記載の画像表示装置。
　前記第１の視点の画像信号と、前記注目領域形状情報とを参照し、前記注目領域画像信号を生成する注目領域画像抽出部とを更に有する請求項２又は３記載の画像表示装置。
　第１の符号化データを復号して前記第１の視点の画像信号を生成する画像復号手段と、
　第２の符号化データを復号して前記注目領域画像信号を生成する注目領域画像復号手段と、
　第３の符号化データを復号して前記注目領域形状情報を生成する注目領域形状情報復号手段と、
　をさらに備える請求項１に記載の画像表示装置。
　前記注目領域画像信号を参照して、入力画像信号に対し視認度を下げる信号処理を行い、前記第１の視点の画像信号を生成する画像変換手段をさらに備える請求項１に記載の画像表示装置。
　第１の符号化データを復号して前記入力画像信号を生成する画像復号手段と、
　第２の符号化データを復号して前記注目領域画像信号を生成する注目領域画像復号手段と、
　第３の符号化データを復号して前記注目領域形状情報を生成する注目領域形状情報復号手段と、
　をさらに備える請求項６に記載の画像表示装置。
　前記視差画像生成手段は、
　前記第１の視点の画像信号及び前記注目領域形状情報を参照して前記注目領域画像信号の変換処理を行い、前記注目領域視差画像信号を生成する注目領域画像変換手段と、
　前記注目領域形状情報を参照して前記注目領域視差画像信号と前記第１の視点の画像信号とを合成して前記第２の視点の画像信号を生成する注目領域画像合成手段と、
　を有する請求項１乃至７のいずれか１項に記載の画像表示装置。
　前記注目領域画像変換手段は、前記注目領域形状情報に含まれる幾何情報パラメータを参照し、指定された視点からの画像を生成する幾何変換を行うことを特徴とする請求項８に記載の画像表示装置。
　前記注目領域画像変換手段は、前記注目領域画像信号と前記第１の視点の画像信号とを参照して、これらの画像信号の階調に関する分布情報に基づいて階調変換パラメータを算出し、前記階調変換パラメータに従って、前記注目領域画像信号に対する階調変換を行うことを特徴とする請求項８に記載の画像表示装置。
　前記注目領域画像変換手段は、前記注目領域画像信号と前記第１の視点の画像信号を参照して、これらの画像信号の周波数領域の分布情報に基づいてフィルタリング処理パラメータを算出し、前記フィルタリング処理パラメータに従って前記注目領域画像信号に対して画像を鮮鋭にするフィルタリング処理を行うことを特徴とする請求項８に記載の画像表示装置。
　前記画像変換手段は、前記注目領域画像信号と前記入力画像信号とを参照して、これらの画像信号の階調に関する分布情報に基づいて階調変換パラメータを算出し、前記階調変換パラメータに従って前記入力画像信号に対して階調を低減する処理を行うことを特徴とする請求項６又は７に記載の画像表示装置。
　前記画像変換手段は、前記注目領域画像信号と前記入力画像信号とを参照して、これらの画像信号の周波数領域の分布情報に基づいてフィルタリング処理パラメータを算出し、前記フィルタリング処理パラメータに従って前記入力画像信号に対して画像の鮮鋭度を下げるフィルタリング処理を行うことを特徴とする請求項６又は７に記載の画像表示装置。
　第１の視点の画像信号と、前記第１の視点の画像信号の、注目領域における画像信号である注目領域画像信号と、注目領域形状情報とを入力として、前記第１の視点の画像信号における前記注目領域を異なる視点の画像である注目領域視差画像信号に変更して、第２の視点の画像信号を生成し、
　前記第１の視点の画像信号と前記第２の視点の画像信号とを用いて３次元画像表示を行う画像表示方法。
　前記注目領域形状情報は、前記注目領域の位置及び／又は形状を表わす信号である、請求項１４記載の画像表示方法。
　前記注目領域形状情報は、３次元空間での前記注目領域における視点と画像内の被写体との距離を表わすデプス画像信号を更に含む、請求項１５記載の画像表示方法。
　前記第１の視点の画像信号と、前記注目領域形状情報とを参照し、前記注目領域画像信号を生成する請求項１５又は１６記載の画像表示方法。
　第１の符号化データを復号して第１の視点の画像信号を生成し、
　第２の符号化データを復号して前記注目領域画像信号を生成し、
　第３の符号化データを復号して前記注目領域形状情報を復号すること　をさらに行うことを特徴とする請求項１５に記載の画像表示方法。
　前記注目領域画像信号を参照して、入力画像信号に対し視認度を下げる信号処理を行い、前記第１の視点の画像信号を生成する画像変換をさらに行う請求項１４に記載の画像表示方法。
　第１の符号化データを復号して前記入力画像信号を生成し、
　第２の符号化データを復号して前記注目領域画像信号を生成し、
　第３の符号化データを復号して前記注目領域形状情報を生成する
ことをさらに行うことを特徴とする請求項１９に記載の画像表示方法。
　前記視差画像を生成する際に、
　前記第１の視点の画像信号及び前記注目領域形状情報を参照して前記注目領域画像信号の変換処理を行い、前記注目領域視差画像信号を生成し、
　前記注目領域形状情報を参照して前記注目領域視差画像信号と前記第１の視点の画像信号とを合成して前記第２の視点の画像信号を生成することを特徴とする請求項１４から２０のいずれか１項に記載の画像表示方法。
　前記注目領域視差画像信号を生成する際、前記注目領域形状情報に含まれる幾何情報パラメータを参照し、指定された視点からの画像を生成する幾何変換を行うことを特徴とする請求項２１に記載の画像表示方法。
　前記注目領域視差画像信号を生成する際、前記注目領域画像信号と前記第１の視点の画像信号とを参照して、これらの画像信号の階調に関する分布情報に基づいて階調変換パラメータを算出し、前記階調変換パラメータに従って、前記注目領域画像信号に対する階調変換を行うことを特徴とする請求項２１に記載の画像表示方法。
　前記注目領域視差画像信号を生成する際、前記注目領域画像信号と前記第１の視点の画像信号を参照して、これらの画像信号の周波数領域の分布情報に基づいてフィルタリング処理パラメータを算出し、前記フィルタリング処理パラメータに従って前記注目領域画像信号に対して画像を鮮鋭にするフィルタリング処理を行うことを特徴とする請求項２１に記載の画像表示方法。
　前記第１の視点の画像信号を生成する際は、前記注目領域画像信号と前記入力画像信号とを参照して、これらの画像信号の階調に関する分布情報に基づいて階調変換パラメータを算出し、前記階調変換パラメータに従って前記入力画像信号に対して階調を低減する処理を行うことを特徴とする請求項１９又は２０に記載の画像表示方法。
　前記第１の視点の画像信号を生成する際は、前記注目領域画像信号と前記入力画像信号とを参照して、これらの画像信号の周波数領域の分布情報に基づいてフィルタリング処理パラメータを算出し、前記フィルタリング処理パラメータに従って前記入力画像信号に対して画像の鮮鋭度を下げるフィルタリング処理を行うことを特徴とする請求項１９又は２０に記載の画像表示方法。
　第１の視点の画像信号と、画像の部分領域である注目領域の画像信号である注目領域画像信号と、注目領域形状情報とを入力として、前記第１の視点の画像信号における前記注目領域を異なる視点の画像である注目領域視差画像信号に変更して、第２の視点の画像信号を生成し、
　前記第１の視点の画像信号と前記第２の視点の画像信号とを用いて３次元画像表示を実行させる画像表示装置のプログラムが格納された非一時的なコンピュータ可読媒体。
　前記注目領域形状情報は、前記注目領域の位置及び／又は形状を表わす信号である、請求項２７記載の画像表示装置のプログラムが格納された非一時的なコンピュータ可読媒体。
　前記注目領域形状情報は、３次元空間での前記注目領域における視点と画像内の被写体との距離を表わすデプス画像信号をさらに含む、請求項２８記載の画像表示装置のプログラムが格納された非一時的なコンピュータ可読媒体。
　前記第１の視点の画像信号と、前記注目領域形状情報とを参照し、前記注目領域画像信号を生成する処理を実行させる請求項２８又は２９記載の画像表示装置のプログラムが格納された非一時的なコンピュータ可読媒体。
　第１の符号化データを復号して前記第１の視点の画像信号を生成する画像復号処理と、
　第２の符号化データを復号して前記注目領域画像信号を生成する注目領域画像復号処理と、
　第３の符号化データを復号して前記注目領域形状情報を生成する注目領域形状情報復号処理と、
　を実行させる請求項２７に記載の画像表示装置のプログラムが格納された非一時的なコンピュータ可読媒体。
　前記注目領域画像信号を参照して、入力画像信号に対し視認度を下げる信号処理を行い、前記第１の視点の画像信号を生成する処理を実行させる請求項２７に記載の画像表示装置のプログラムが格納された非一時的なコンピュータ可読媒体。
　第１の符号化データを復号して前記入力画像信号を生成する処理と、
　第２の符号化データを復号して前記注目領域画像信号を生成する処理と、
　第３の符号化データを復号して前記注目領域形状情報を生成する処理と、
　をさらに実行させる請求項３２に記載の画像表示装置のプログラムが格納された非一時的なコンピュータ可読媒体。
　前記第２の視点の画像信号を生成する処理は、
　前記第１の視点の画像信号及び前記注目領域形状情報を参照して前記注目領域画像信号の変換処理を行い、前記注目領域視差画像信号を生成する処理と、
　前記注目領域形状情報を参照して前記注目領域視差画像信号と前記第１の視点の画像信号とを合成して前記第２の視点の画像信号を生成する処理と、
　を実行させる請求項２７から３３のいずれか１項に記載の画像表示装置のプログラムが格納された非一時的なコンピュータ可読媒体。
　入力される第１の画像信号と、前記第１の画像信号の注目領域内の画像信号であり視差を有する第２の画像信号とを合成して第３の画像信号を得る手段と、
　前記第３の映像信号と前記第１の映像信号とを用いて立体表示を行う手段と、
　を備える画像表示装置。
　第４の画像信号に対し前記第２の画像信号を参照して視認度を下げる変換処理を行い、前記第１の画像信号を生成する手段をさらに備える請求項３５に記載の画像表示装置。
　第１の視点の画像信号と、
　前記第１の視点の画像信号の、注目領域における画像信号である注目領域画像信号と、
　注目領域形状情報とを生成する画像生成装置。
　前記注目領域形状情報は、前記注目領域の位置及び／又は形状を表わす信号である、請求項３７記載の画像生成装置。
　前記注目領域形状情報は、３次元空間での前記注目領域における視点と画像内の被写体との距離を表わすデプス画像信号を更に含む請求項３８記載の画像生成装置。
　前記第１の視点の画像信号を符号化し、第１の符号化データを生成する画像符号化手段と、
　前記注目領域画像信号を符号化し、第２の符号化データを生成する注目領域画像符号化手段と、
　前記注目領域形状情報を符号化し、第３の符号化データを生成する注目領域形状情報符号化手段と、
　を備える請求項３７乃至３９のいずれか１項に記載の画像生成装置。
　入力される第１の画像信号と、前記第１の画像信号の注目領域内の画像信号であり視差を有する第２の画像信号とを合成して第３の画像信号を生成し、
　前記第３の画像信号と前記第１の画像信号とを用いて立体表示を行う、画像表示方法。
　第４の画像信号に対し前記第２の画像信号を参照して視認度を下げる変換処理を行い、前記第１の画像信号を生成することを特徴とする請求項４１に記載の画像表示方法。
　第１の視点の画像信号と、
　前記注目領域における画像信号である注目領域画像信号と、
　注目領域形状情報とを生成する画像生成方法。
　前記注目領域形状情報は、前記注目領域の位置及び／又は形状を表わす信号である、請求項４３記載の画像生成方法。
　前記注目領域形状情報は、３次元空間での前記注目領域における視点と画像内の被写体との距離を表わすデプス画像信号を更に含む請求項４４記載の画像生成方法。
　前記第１の視点の画像信号を符号化して、第１の符号化データを生成し、
　前記注目領域画像信号を符号化して、第２の符号化データを生成し、
　前記注目領域形状情報を符号化して、第３の符号化データを生成する請求項４３乃至４５のいずれか１項記載の画像生成方法。
　入力される第１の画像信号と、前記第１の画像信号の注目領域内の画像信号であり視差を有する第２の画像信号とを合成して第３の画像信号を生成し、前記第３の画像信号と前記第１の画像信号とを用いて立体表示を行う処理を実行させる画像表示装置のプログラムが格納された非一時的なコンピュータ可読媒体。
　第４の画像信号に対し前記第２の画像信号を参照して視認度を下げる変換処理を行い、前記第１の画像信号を生成する処理を実行させる請求項４７に記載の画像表示装置のプログラムが格納された非一時的なコンピュータ可読媒体。
　第１の視点の画像信号と、
　前記注目領域における画像信号である注目領域画像信号と、
　注目領域形状情報とを生成する処理を実行させる画像生成装置のプログラムが格納された非一時的なコンピュータ可読媒体。
　前記注目領域形状情報は、前記注目領域の位置及び／又は形状を表わす信号である、請求項４９記載の画像生成装置のプログラムが格納された非一時的なコンピュータ可読媒体。
　前記注目領域形状情報は、３次元空間での前記注目領域における視点と画像内の被写体との距離を表わすデプス画像信号をさらに含む、請求項５０記載の画像生成装置のプログラムが格納された非一時的なコンピュータ可読媒体。
　前記第１の視点の画像信号を符号化し、第１の符号化データを生成する処理と、
　前記注目領域画像信号を符号化し、第２の符号化データを生成する処理と、
　前記注目領域形状情報を符号化し、第３の符号化データを生成する処理と、
　を実行させる請求項４９乃至５１のいずれか１項に記載の画像生成装置のプログラムが格納された非一時的なコンピュータ可読媒体。