JP6028426B2 - 立体判別画像生成装置、立体判別画像生成方法、立体判別画像生成プログラム - Google Patents

Description

本発明は、画像データとは独立して画像データの奥行き情報を示す奥行きデータが与えられている場合に、奥行きデータが画像データに対応して適切に生成されているか否かを判別することができる立体判別画像生成装置、立体判別画像生成方法、立体判別画像生成プログラムに関する。

非立体画像の画像データと、この画像データとは独立して与えられているの奥行きデータとを用いて立体画像データを生成する場合がある。奥行きデータは、画像データが有する奥行き情報を明示的に示す。

例えば２視点の立体画像データを生成する立体画像生成装置は、画像データと奥行きデータとを用いて左目画像データと右目画像データとよりなる立体画像データを生成する。立体画像データを立体画像表示装置に供給すれば、立体画像を表示させることができる。

特開２０１１−２５８１５３号公報

例えば人為的な誤りによって、奥行きデータが画像データに対応して適切に生成されていない場合がある。そこで、画像データに基づいて奥行きデータを生成して立体画像コンテンツを製作する現場では、奥行きデータが画像データに対応して適切に生成されているか否かを確認することがある。

そこで、奥行きデータが画像データに対応して適切に生成されているか否かを視覚的に容易に判別することができる判別方法を確立することが求められる。

本発明はこのような要望に対応するため、奥行きデータが画像データに対応して適切に生成されているか否かを視覚的に容易に判別することができる立体判別画像生成装置、立体判別画像生成方法、立体判別画像生成プログラムを提供することを目的とする。

本発明は、上述した従来の技術の課題を解決するため、画像データの奥行き度を輝度レベルで表現した奥行きデータに基づいて、前記奥行きデータに含まれるオブジェクトの輪郭部分と輪郭部分以外とを識別し、さらに、前記輪郭部分の前景側の部分と背景側の部分とを識別して、前記前景側の部分と前記背景側の部分とで異なる輪郭抽出データを生成する輪郭抽出部（５）と、前記輪郭抽出データが輪郭部分以外を示すとき前記画像データをそのまま出力し、前記輪郭抽出データが輪郭部分を示すとき、前記画像データを前記前景側の部分と前記背景側の部分とで視覚的に異なる輪郭識別データに置換するか、前記画像データに前記前景側の部分と前記背景側の部分とで視覚的に異なる輪郭識別データを付加することによって、前記画像データに対して輪郭識別データを重畳して出力する輪郭識別データ重畳部（６）とを備えることを特徴とする立体判別画像生成装置を提供する。

上記の立体判別画像生成装置において、前記輪郭識別データ重畳部は、前記輪郭部分の前景側の部分と背景側の部分とで異なる色の輪郭識別データを重畳することが好ましい。

上記の立体判別画像生成装置において、前記輪郭抽出部は、前記奥行きデータにおける注目画素を中心とした少なくとも２１画素の領域より、中央レベルより大きいレベルの画素を上限値として検出する上限検出部（５２４）と、前記注目画素を中心とした少なくとも２１画素の領域より、中央レベルより小さいレベルの画素を下限値として検出する下限検出部（５２５）と、前記上限値と前記下限値との差分を算出する差分算出部（５２６）と、前記上限値と前記下限値との中間値を算出する中間値算出部（５２７）と、前記差分算出部で算出した差分が所定の値以上であるか否かを判定する第１の比較部（５２８）と、前記中間値算出部で算出した中間値が前記注目画素のデータ以上であるか否かを判定して、判定結果に応じて互いに極性が異なるデータ値を出力する第２の比較部（５２９）と、前記第１の比較部による比較結果に応じて、第２の比較部からのデータ値と値０とを選択する選択部（５３０）とを有することが好ましい。

また、本発明は、上述した従来の技術の課題を解決するため、画像データの奥行き度を輝度レベルで表現した奥行きデータに基づいて、前記奥行きデータに含まれるオブジェクトの輪郭部分と輪郭部分以外とを識別し、さらに、前記輪郭部分の前景側の部分と背景側の部分とを識別して、前記前景側の部分と前記背景側の部分とで異なる輪郭抽出データを生成し、前記輪郭抽出データが輪郭部分以外を示すとき前記画像データをそのまま出力し、前記輪郭抽出データが輪郭部分を示すとき、前記画像データを前記前景側の部分と前記背景側の部分とで視覚的に異なる輪郭識別データに置換するか、前記画像データに前記前景側の部分と前記背景側の部分とで視覚的に異なる輪郭識別データを付加することによって、前記画像データに対して輪郭識別データを重畳することを特徴とする立体判別画像生成方法を提供する。

また、本発明は、上述した従来の技術の課題を解決するため、コンピュータに、画像データの奥行き度を輝度レベルで表現した奥行きデータに基づいて、前記奥行きデータに含まれるオブジェクトの輪郭部分と輪郭部分以外とを識別し、さらに、前記輪郭部分の前景側の部分と背景側の部分とを識別して、前記前景側の部分と前記背景側の部分とで異なる輪郭抽出データを生成するステップと、前記輪郭抽出データが輪郭部分以外を示すとき前記画像データをそのまま出力するステップと、前記輪郭抽出データが輪郭部分を示すとき、前記画像データを前記前景側の部分と前記背景側の部分とで視覚的に異なる輪郭識別データに置換するか、前記画像データに前記前景側の部分と前記背景側の部分とで視覚的に異なる輪郭識別データを付加することによって、前記画像データに対して輪郭識別データを重畳するステップとを実行させることを特徴とする立体判別画像生成プログラムを提供する。

本発明の立体判別画像生成装置、立体判別画像生成方法、立体判別画像生成プログラムによれば、奥行きデータが画像データに対応して適切に生成されているか否かを視覚的に容易に判別することが可能となる。

本発明の立体判別画像生成装置の一実施形態を示すブロック図である。 立体表示する画像の例と、その画像に対して適切に生成された奥行きデータを示す図である。 立体表示する画像の例と、その画像に対して誤って生成された奥行きデータの例を示す図である。 立体表示する画像の例と、その画像に対して誤って生成された奥行きデータの他の例を示す図である。 図１中の輪郭抽出部５の具体的な構成例を示すブロック図である。 図５に示す輪郭抽出部５の動作を説明するための波形図である。 図１中の輪郭識別データ重畳部６の概念的な構成を示すブロック図である。 一実施形態による作用効果を示す図である。

以下、本発明の立体判別画像生成装置、立体判別画像生成方法、立体判別画像生成プログラムの一実施形態について、添付図面を参照して説明する。

図１において、入力端子１には非立体画像の画像データが入力される。入力端子２には、入力端子１に入力される画像データに対応して生成された奥行きデータが入力される。立体画像生成部３には、画像データと奥行きデータが入力される。

立体画像生成部３は、公知の方法によって立体画像データを生成する。立体画像生成部３が２視点の立体画像データを生成する立体画像生成装置であれば、立体画像生成部３は、入力された画像データをそのまま右目画像データとし、奥行きデータを参照して画像データの画素をシフトすることによって左目画像データを生成する。

立体画像生成部３は、入力された画像データをそのまま左目画像データとし、奥行きデータを参照して画像データの画素をシフトすることによって右目画像データを生成してもよい。立体画像生成部３は、入力された画像データをそのまま右目画像データまたは左目画像データとはせず、奥行きデータを参照し、入力された画像データに基づいて、左目画像データと右目画像データとをそれぞれ生成してもよい。

立体画像生成部３は、３視点以上のいわゆる多視点の立体画像データを生成する立体画像生成装置であってもよい。

立体画像生成部３によって生成された左目画像データ及び右目画像データは、立体画像表示装置（３Ｄ表示部４）に入力される。３Ｄ表示部４は、入力された左目画像データ及び右目画像データに基づいて立体画像を表示する。

ここで、入力端子２に入力される奥行きデータの形式について説明する。奥行き度を輝度レベルで表現した輝度データを奥行きデータとすることができる。奥行きデータを、輝度レベルが低い（暗い）ほど物体が手前側に位置し、輝度レベルが高い（明るい）ほど物体が奥側に位置する輝度データで表すこととする。

図２において、（ａ）は立体表示する画像の例であり、入力端子１に入力される画像データが示す画像であるとする。図２の（ａ）に示す画像は、遠景に山ＭＴ１，ＭＴ２があり、前景に人物ＨＢや所定の物体ＯＢ１〜ＯＢ５が存在し、前景と遠景との中間に木ＴＲが存在している画像を概念的に示している。

図２の（ａ）に示す画像の奥行きデータは、図２の（ｂ）に示すような複数の輝度レベルが存在するグレースケールの画像で表現することができる。山ＭＴ１，ＭＴ２、木ＴＲ、人物ＨＢ、物体ＯＢ１〜ＯＢ５は、それぞれ、グレーの画像ＧMT1，ＧMT2，ＧＴＲ，ＧＨＢ，ＧOB1〜ＧOB5で表現されている。ここでは特に符号を付して示していないが、地面や空も奥行き度に応じた輝度レベルで表現されている。

グレーの画像ＧMT1，ＧMT2，ＧＴＲ，ＧＨＢ，ＧOB1〜ＧOB5それぞれを被写体としての物体（オブジェクト）と称することとする。

図２の（ａ）に示す画像と、図２の（ｂ）に示す輝度データで表現した奥行きデータとを比較すれば、奥行きデータが画像データに対応して適切に生成されているか否かをある程度判別することができる。しかしながら、この第１の判別方法では、正確な判別が困難な場合がある。

図３は、奥行きデータが誤って生成された例を示している。図３の（ａ）に示す画像は図２の（ａ）に示す画像と同じである。図３の（ｂ）では、山ＭＴ１に対応するグレーの画像ＧMT1と木ＴＲに対応するグレーの画像ＧＴＲが正しい位置にはなく、誤った位置にある。人物ＨＢに対応するグレーの画像ＧＨＢの位置が正しい位置から少しずれており、画像ＧＨＢの位置も誤っている。

また、物体ＯＢ１〜ＯＢ５に対応するグレーの画像ＧOB1〜ＧOB5が存在せず、図３の（ａ）の画像には存在しないグレーの画像ＧOB6が存在している。

このように、元の画像と奥行きデータとが一見して明らかに異なる場合には、奥行きデータが画像データに対応して適切に生成されていないことは容易に判別できる。

図４は、奥行きデータが誤って生成された他の例を示している。図４の（ａ）に示す画像は図２の（ａ）に示す画像と同じである。図４の（ｂ）では、物体ＯＢ２に対応するグレーの画像ＧOB2の代わりにグレーの画像ＧOB20が表示され、物体ＯＢ３に対応するグレーの画像ＧOB3が存在しない。

このように、元の画像と奥行きデータとの違いがわずかな場合には、奥行きデータが画像データに対応して適切に生成されていないことを判別するのは容易ではない。

図３，図４のように、奥行きデータが画像データに対応して適切に生成されていない状態は、画像データに基づいて奥行きデータを生成して立体画像コンテンツを製作する現場において、人為的な誤りによって起こり得る。

そこで、立体画像生成部３で生成した立体画像データを３Ｄ表示部４に表示し、立体画像を確認することによって、奥行きデータが画像データに対応して適切に生成されているか否かを判別しなければならない。実際の立体画像を確認する第２の判別方法は、立体画像生成部３で立体画像データを生成して、３Ｄ表示部４に表示しなければならないため煩雑である。

次に、第１及び第２の判別方法による不具合を解消する本実施形態による判別方法について説明する。

図１において、奥行きデータは輪郭抽出部５に入力される。輪郭抽出部５は、奥行きデータに基づいて、奥行きデータに含まれるそれぞれのオブジェクトの輪郭部分と輪郭部分以外とを識別する輪郭抽出データを生成する。画像データは輪郭識別データ重畳部６に入力される。輪郭識別データ重畳部６は、輪郭抽出部５より出力された輪郭抽出データに基づいて、画像データに輪郭識別データを重畳する。

輪郭識別データが重畳された画像データは、非立体画像を表示する表示装置（２Ｄ表示部７）に入力される。２Ｄ表示部７は、輪郭識別データが重畳された画像データによる画像を表示する。

輪郭抽出部５及び輪郭識別データ重畳部６は、本実施形態の立体判別画像生成装置を構成している。

図５を用いて、輪郭抽出部５の具体的構成及び動作について説明する。図５において、入力端子５０１には奥行きデータを構成する画素データが順次入力される。画素データは１水平期間の遅延素子５０２〜５０５に順次入力され、１水平期間ずつ遅延される。遅延素子５０２〜５０５はラインメモリによって構成することができる。

入力端子５０１に入力された画素データは、１クロック遅延素子であるＤフリップフロップ５０６〜５０８に順次入力され、１クロックずつ遅延される。遅延素子５０２より出力された１水平期間遅延の画素データは、Ｄフリップフロップ５０９〜５１２に順次入力され、１クロックずつ遅延される。

遅延素子５０３より出力された２水平期間遅延の画素データは、Ｄフリップフロップ５１３〜５１６に順次入力され、１クロックずつ遅延される。遅延素子５０４より出力された３水平期間遅延の画素データは、Ｄフリップフロップ５１７〜５２０に順次入力され、１クロックずつ遅延される。

遅延素子５０５より出力された４水平期間遅延の画素データは、Ｄフリップフロップ５２１〜５２３に順次入力され、１クロックずつ遅延される。

遅延素子５０２〜５０４それぞれより出力された画素データと、Ｄフリップフロップ５０６〜５２３それぞれより出力された画素データは、上限検出部５２４，下限検出部５２５に入力される。

Ｄフリップフロップ５１４より出力された画素データを信号Ｓ１０１とする。信号Ｓ１０１の画素データを注目画素とする。

上限検出部５２４及び下限検出部５２５には、信号Ｓ１０１を中心として水平方向５画素，垂直方向５画素の領域内の２１画素の画素データが入力されることになる。信号Ｓ１０１は、時間の経過に伴って図６の（ａ）に示すようにレベル（輝度値）が変化する波形であるとする。

図６の（ａ）〜（ｈ）において、黒丸はそれぞれの信号を構成する画素データである。図６では、簡略化のため、それぞれの信号の水平方向の波形のみを示している。

図６の（ａ）に示すようにレベルが変化する信号Ｓ１０１において、破線は、相対的な前景の領域と背景の領域との境界面を示している。破線の左側の部分は前景の領域に相当し、右側の部分は背景の領域に相当する。

上限検出部５２４は、注目画素である信号Ｓ１０１の画素データを中心とする入力された２１画素の画素データを、レベルの小さい順（または大きい順）に１〜２１に順位付けする。上限検出部５２４は、その２１画素の画素データより、好ましくは、最大レベルの画素データではなく、例えば最大レベルから４番目に大きいレベルの画素データを検出する。

上限検出部５２４が検出した画素データは、図６の（ｂ）に示すような波形の信号Ｓ１０２として減算器５２６及び加算器５２７に入力される。

このように、上限検出部５２４は、入力された画素データのうちから上限値を検出する。上限検出部５２４は、上限値として最大レベルの画素データを検出してもよいが、ここでは、最大レベルの画素データを除き中央レベルより大きいレベルの画素データを検出する。

望ましくは、上限検出部５２４は、入力された画素データの最小レベルから最大レベルまでを小レベル部，中間レベル部，大レベル部に３等分し、その大レベル部のうち、最大レベルの画素データを除いたレベルの画素データを検出する。従って、図５の構成においては、上限検出部５２４は、２番目に大きいレベルの画素データ、３番目に大きいレベルの画素データ、５番目に大きいレベルの画素データを検出してもよい。

上限検出部５２４で最大レベルの画素データを除き中央レベルより大きいレベルの画素データを検出するのは、信号Ｓ１０１に図６の（ａ）の縦軸の上方向に突出するノイズが含まれている場合にノイズを除去するためである。上限検出部５２４がどのレベルの画素データを検出するかは、ノイズの除去効果と輪郭抽出の効果との関係で最適なものを選択すればよい。

下限検出部５２５は、注目画素である信号Ｓ１０１の画素データを中心とする入力された２１画素の画素データを、レベルの小さい順（または大きい順）に１〜２１に順位付けする。下限検出部５２５は、その２１画素の画素データより、好ましくは、最小レベルの画素データではなく、例えば最小レベルから４番目に小さいレベルの画素データを検出する。

下限検出部５２５が検出した画素データは、図６の（ｃ）に示すような波形の信号Ｓ１０３として減算器５２６及び加算器５２７に入力される。

このように、下限検出部５２５は、入力された画素データのうちから下限値を検出する。下限検出部５２５は、下限値として最小レベルの画素データを検出してもよいが、ここでは、最小レベルの画素データを除き中央レベルより小さいレベルの画素データを検出する。

望ましくは、下限検出部５２５は、入力された画素データの最小レベルから最大レベルまでを小レベル部，中間レベル部，大レベル部に３等分し、その小レベル部のうち、最小レベルの画素データを除いたレベルの画素データを検出する。従って、図５の構成においては、下限検出部５２５は、２番目に小さいレベルの画素データ、３番目に小さいレベルの画素データ、５番目に小さいレベルの画素データを検出してもよい。

下限検出部５２５で最小レベルの画素データを除き中央レベルより小さいレベルの画素データを検出するのは、信号Ｓ１０１に図６の（ａ）の縦軸の下方向に突出するノイズが含まれている場合にノイズを除去するためである。下限検出部５２５がどのレベルの画素データを検出するかは、ノイズの除去効果と輪郭抽出の効果との関係で最適なものを選択すればよい。

輪郭抽出部５に入力される奥行きデータにノイズが含まれていない場合には、上限検出部５２４で最大レベルを検出し、下限検出部５２５で最小レベルを検出してもよい。奥行きデータにノイズが含まれていても、ノイズを除去しない場合には、上限検出部５２４で最大レベルを検出し、下限検出部５２５で最小レベルを検出すればよい。

減算器５２６は、上限検出部５２４で検出された上限値から下限検出部５２５で検出された下限値を減算する。減算器５２６は、上限値と下限値との差分を算出する差分算出部である。減算器５２６で減算されたデータは、図６の（ｄ）に示すような波形の信号Ｓ１０４として比較部５２８に入力される。

加算器５２７は、上限検出部５２４で検出された上限値と下限検出部５２５で検出された下限値とを加算して１／２倍することによって、上限値と下限値の中間値を出力する。加算器５２７は、上限値と下限値との中間値を算出する中間値算出部である。加算器５２７より出力されたデータは、図６の（ｅ）に示すような波形の信号Ｓ１０５として比較部５２９に入力される。

比較部５２８は、減算器５２６より出力されたデータ（信号Ｓ１０４）が、図６の（ｄ）に示す所定の値Ｓth以上であれば“１”を、所定の値Ｓthより小さければ“０”を出力する。比較部５２８によって減算器５２６からのデータを所定の値Ｓthに対して大小比較した結果のデータは、図６の（ｆ）に示すような波形の信号Ｓ１０６として選択部５３０に入力される。

比較部５２８より出力された図６の（ｆ）に示す信号Ｓ１０６は、選択部５３０における選択を制御するための制御データとして選択部５３０に入力される。

比較部５２９は、加算器５２７より出力されたデータが注目画素の画素データである信号Ｓ１０１以上であれば“−１”を、信号Ｓ１０１より小さければ“１”を出力する。比較部５２９によって加算器５２７からのデータを信号Ｓ１０１に対して大小比較した結果のデータは、図６の（ｇ）に示すような波形の信号Ｓ１０７として選択部５３０の端子Ｔａに入力される。

選択部５３０の端子Ｔｂには、データ“０”が入力される。

選択部５３０は、比較部５２８より出力された信号Ｓ１０６が“１”のときは、端子Ｔａに接続して比較部５２９の出力を選択し、信号Ｓ１０６が“０”のときは、端子Ｔｂに接続して“０”を選択する。

選択部５３０より出力されたデータは、図６の（ｈ）に示すような波形の信号Ｓ１０８として出力端子５３１より出力される。

図６の（ｈ）に示すように、破線で示す境界面に対して左側の部分は前景の領域に相当し、右側の部分は背景の領域に相当する。輪郭抽出部５より出力された図６の（ｈ）に示すデータは、奥行きデータに含まれるオブジェクトの輪郭を抽出した輪郭抽出データである。

輪郭抽出データは、奥行きデータの局所的な前景となる領域と背景とを判別するための判別データとなっている。図５に示す構成によれば、信号Ｓ１０８の前景の領域と背景の領域との境界面に隣接する部分を極性が互いに異なる輪郭抽出データとすることができる。

オブジェクトの輪郭部分でプラス方向またはマイナス方向の一方の極性のみの輪郭抽出データとしてもよいが、信号Ｓ１０８のように前景の領域と背景の領域とで極性が異なる輪郭抽出データとすることが好ましい。

図６では、（ａ）に示すように信号Ｓ１０１が、低いレベルから高いレベルへと上昇するエッジ部を含む場合の輪郭抽出部５の各部の波形を示している。信号Ｓ１０１が、高いレベルから低いレベルへと下降するエッジ部を含む場合には、（ｈ）に示す信号Ｓ１０８は、破線で示す前景と背景との境界面の左側の部分で“１”、右側の部分で“−１”となる。

即ち、図５に示すように構成される輪郭抽出部５は、低いレベルから高いレベルへと上昇するエッジ部と、高いレベルから低いレベルへと下降するエッジ部とを区別する。輪郭抽出部５は、輪郭部分の前景側の部分と背景側の部分とで極性が異なる輪郭抽出データを生成することができる。

信号Ｓ１０８における境界面に隣接する前景の領域と背景の領域との部分の極性を、図６の（ｈ）とは逆になるように輪郭抽出部５を構成してもよい。

以上のようにして生成された輪郭抽出データは、輪郭識別データ重畳部６に入力される。

ところで、本実施形態においては、輪郭抽出部５は、水平方向５画素，垂直方向５画素の領域内の２１画素の画素データから上限値と下限値とを検出している。水平方向５画素，垂直方向５画素の２５画素の画素データから上限値と下限値とを検出してもよい。但し、次の理由によって２１画素の画素データから上限値と下限値とを検出することが好ましい。

２５画素とした場合には検出エリアが四角形となる。検出エリアを四角形とした場合には、縦横方向に対して斜め方向の距離が長いので、画像の横エッジや縦エッジに比べて角エッジや斜めエッジを検出しやすくなる。従って、検出される輪郭線が階段状（ギザギザ）になりやすくなる。

一方、本実施形態のように２１画素とした場合には、四隅の４画素を除いているので、検出エリアは円形に近い形状となる。検出エリアを円形に近付ければ、横エッジ，縦エッジ，角エッジ，斜めエッジを均等に検出するので、検出される輪郭線が滑らかとなる。

次に、輪郭識別データ重畳部６の構成及び動作について説明する。図７の概念図に示すように、輪郭識別データ重畳部６は、端子ＴＡに入力される画像データと、端子ＴＢに入力される固定の赤色データＤｆｒと、端子ＴＣに入力される固定の青色データＤｆｂとを選択的に切り換えるスイッチ６１を有する。

輪郭識別データ重畳部６は、輪郭抽出データが輪郭部分以外であることを示す“０”のとき、スイッチ６１を端子ＴＡに接続させて、画像データをそのまま出力する。

輪郭識別データ重畳部６は、輪郭抽出データが輪郭部分であることを示す“−１”のとき、スイッチ６１を端子ＴＢに接続させて、画像データの代わりに赤色データＤｆｒを出力する。輪郭識別データ重畳部６は、輪郭抽出データが輪郭部分であることを示す“１”のとき、スイッチ６１を端子ＴＣに接続させて、画像データの代わりに青色データＤｆｂを出力する。

赤色データＤｆｒ及び青色データＤｆｂは輪郭識別データの一例である。

輪郭識別データ重畳部６に入力される画像データによる画像が図２の（ａ）であり、輪郭抽出部５に入力される奥行きデータが図２の（ｂ）に示すような複数の輝度レベルで表現されているとする。

輪郭識別データ重畳部６より出力され、２Ｄ表示部７に表示される画像は、図８のようになる。図８に示すように、それぞれのオブジェクトは、赤色データＤｆｒによる赤色輪郭画像ImDfrと、青色データＤｆｂによる青色輪郭画像ImDfbとで２重に囲まれている。

図８に示す画像は、赤色輪郭画像ImDfrに囲まれた赤色輪郭画像ImDfrよりも内側の部分は、青色輪郭画像ImDfbよりも外側の部分（赤色輪郭画像ImDfrとは反対側の部分）よりも手前に配置されることを示している。

図８に示す赤色輪郭画像ImDfr及び青色輪郭画像ImDfbを重畳させた画像は、奥行きデータが画像データに対応して適切に生成されているか否かを視覚的に判別可能な立体判別画像である。

図３，図４に示すように、奥行きデータが画像データに対応して適切に生成されていない場合には、画像データにおいてオブジェクトが存在しない部分に赤色輪郭画像ImDfr及び青色輪郭画像ImDfbが重畳されたり、オブジェクトが存在する部分に赤色輪郭画像ImDfr及び青色輪郭画像ImDfbが重畳されなかったりする。

従って、本実施形態による立体判別画像を２Ｄ表示部７に表示させれば、奥行きデータが画像データに対応して適切に生成されているか否かを容易に判別することが可能となる。

本実施形態においては、輪郭識別データ重畳部６は、輪郭部分の前景側の部分を赤色輪郭画像ImDfrによって赤色とし、輪郭部分の背景側の部分を青色輪郭画像ImDfbによって青色としているが、色は赤と青に限定されない。

輪郭部分の前景側の部分と背景側の部分との色を異ならせる代わりに、または、色を異ならせるのに加えて、輝度を異ならせてもよい。

本実施形態においては、輪郭識別データ重畳部６は、画像データを赤色データＤｆｒや青色データＤｆｂに置換しているが、画像データに輪郭識別データを付加してもよい。輪郭識別データ重畳部６は、画像データに対して、輪郭部分に輪郭識別データを重畳すればよい。

輪郭識別データ重畳部６は、画像データに対して、輪郭部分の前景側の部分と背景側の部分とで視覚的に異なる輪郭識別データを重畳することが好ましい。

本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。本実施形態の立体判別画像生成装置をハードウェアによって構成してもよいし、コンピュータプログラムによるソフトウェアによって構成してもよい。

コンピュータに以上説明した立体判別画像生成装置及び方法と同様の処理を実行させる場合、立体判別画像生成プログラムを記録媒体より読み出してコンピュータにインストールさせてもよいし、立体判別画像生成プログラムを、ネットワークを介してコンピュータにインストールさせてもよい。

図１に示す構成では、３Ｄ表示部４と２Ｄ表示部７とを別々に設けているが、２Ｄ表示と３Ｄ表示とを切り換えることができる１つの表示装置を用いてもよい。

３ 立体画像生成部
４ 立体画像表示装置（３Ｄ表示部）
５ 輪郭抽出部
６ 輪郭識別データ重畳部
７ 表示装置（２Ｄ表示部）
５２４ 上限検出部
５２５ 下限検出部
５２６ 減算器（差分算出部）
５２７ 加算器（中間値算出部）
５２８，５２９ 比較部
５３０ 選択部

Claims (6)

1. 画像データの奥行き度を輝度レベルで表現した奥行きデータに基づいて、前記奥行きデータに含まれるオブジェクトの輪郭部分と輪郭部分以外とを識別し、さらに、前記輪郭部分の前景側の部分と背景側の部分とを識別して、前記前景側の部分と前記背景側の部分とで異なる輪郭抽出データを生成する輪郭抽出部と、
   前記輪郭抽出データが輪郭部分以外を示すとき前記画像データをそのまま出力し、前記輪郭抽出データが輪郭部分を示すとき、前記画像データを前記前景側の部分と前記背景側の部分とで視覚的に異なる輪郭識別データに置換するか、前記画像データに前記前景側の部分と前記背景側の部分とで視覚的に異なる輪郭識別データを付加することによって、前記画像データに対して輪郭識別データを重畳して出力する輪郭識別データ重畳部と、
   を備えることを特徴とする立体判別画像生成装置。
2. 前記輪郭識別データ重畳部は、前記前景側の部分と前記背景側の部分とで異なる色の輪郭識別データを重畳することを特徴とする請求項１に記載の立体判別画像生成装置。
3. 前記輪郭抽出部は、前記前景側の部分と前記背景側の部分とで極性の異なる輪郭抽出データを生成することを特徴とする請求項１または２に記載の立体判別画像生成装置。
4. 前記輪郭抽出部は、
   前記奥行きデータにおける注目画素を中心とした少なくとも２１画素の領域より、中央レベルより大きいレベルの画素を上限値として検出する上限検出部と、
   前記注目画素を中心とした少なくとも２１画素の領域より、中央レベルより小さいレベルの画素を下限値として検出する下限検出部と、
   前記上限値と前記下限値との差分を算出する差分算出部と、
   前記上限値と前記下限値との中間値を算出する中間値算出部と、
   前記差分算出部で算出した差分が所定の値以上であるか否かを判定する第１の比較部と、
   前記中間値算出部で算出した中間値が前記注目画素のデータ以上であるか否かを判定して、判定結果に応じて互いに極性が異なるデータ値を出力する第２の比較部と、
   前記第１の比較部による比較結果に応じて、第２の比較部からのデータ値と値０とを選択する選択部と、
   を有することを特徴とする請求項１〜３のいずれか１項に記載の立体判別画像生成装置。
5. 画像データの奥行き度を輝度レベルで表現した奥行きデータに基づいて、前記奥行きデータに含まれるオブジェクトの輪郭部分と輪郭部分以外とを識別し、さらに、前記輪郭部分の前景側の部分と背景側の部分とを識別して、前記前景側の部分と前記背景側の部分とで異なる輪郭抽出データを生成し、
   前記輪郭抽出データが輪郭部分以外を示すとき前記画像データをそのまま出力し、
   前記輪郭抽出データが輪郭部分を示すとき、前記画像データを前記前景側の部分と前記背景側の部分とで視覚的に異なる輪郭識別データに置換するか、前記画像データに前記前景側の部分と前記背景側の部分とで視覚的に異なる輪郭識別データを付加することによって、前記画像データに対して輪郭識別データを重畳する
   ことを特徴とする立体判別画像生成方法。
6. コンピュータに、
   画像データの奥行き度を輝度レベルで表現した奥行きデータに基づいて、前記奥行きデータに含まれるオブジェクトの輪郭部分と輪郭部分以外とを識別し、さらに、前記輪郭部分の前景側の部分と背景側の部分とを識別して、前記前景側の部分と前記背景側の部分とで異なる輪郭抽出データを生成するステップと、
   前記輪郭抽出データが輪郭部分以外を示すとき前記画像データをそのまま出力するステップと、
   前記輪郭抽出データが輪郭部分を示すとき、前記画像データを前記前景側の部分と前記背景側の部分とで視覚的に異なる輪郭識別データに置換するか、前記画像データに前記前景側の部分と前記背景側の部分とで視覚的に異なる輪郭識別データを付加することによって、前記画像データに対して輪郭識別データを重畳するステップと、
   を実行させることを特徴とする立体判別画像生成プログラム。