JP3990271B2

JP3990271B2 - 簡易ステレオ画像入力装置、方法、プログラム、および記録媒体

Info

Publication number: JP3990271B2
Application number: JP2002366342A
Authority: JP
Inventors: 康雄石榑; 一夫木村
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2002-12-18
Filing date: 2002-12-18
Publication date: 2007-10-10
Anticipated expiration: 2022-12-18
Also published as: JP2004200973A

Description

【０００１】
【発明の属する技術分野】
本発明は、撮影対象に対する照明の有無または強度を変えて撮影した複数の画像からステレオ画像を生成する簡易ステレオ画像入力装置、方法、プログラム、および記録媒体に関する。
【０００２】
【従来の技術】
従来、ステレオ画像表示装置用の自然画像入力装置としては、２台またはこれ以上のカメラを平行に、または若干の輻輳をつけて光軸が交差するように配置し、撮影した画像をそのまま左右眼用画像として表示装置に入力する方式が用いられてきた（非特許文献１参照）。この方法は最も簡単な構成ではあるが、カメラを複数台用いる必要があるため、より高価となる。また、携帯電話用途のように限られた大きさに複数台のカメラを配置することは、小型化の面で不利となる。
【０００３】
また、１台のカメラで撮影した２次元「動」画像からステレオ画像を生成する方法も提案されている（特許文献１参照）。この方法は、左右眼用画像のうち片眼の画像は入力用の２次元動画像をそのまま入力し、もう片眼用の画像を入力用２次元動画像の動きベクトルの大きさによりフレームの遅延量を変化させて入力することにより立体視させる方式である。この方法は、２次元動画像の動き情報を用いて、ステレオ画像の生成を行っているため、複数の物体が異なる方向に移動した場合には物体間の視差が逆転するため立体像が乱れる問題がある。
【０００４】
これに対し、２次元「静止」画像からステレオ画像を生成する方法も提案されている（特許文献２参照）。この方法は、１枚の静止画像からステレオ画像を生成するため、距離に関する情報が不足し、生成されるステレオ画像の画質レベルが低い欠点がある。
【０００５】
【特許文献１】
特許第２５９４２３５号明細書（２次元映像を３次元映像に変換する方法及び３次元映像生成装置）
【特許文献２】
特許第３０６７０９７号明細書（三次元画像データ生成方法）
【非特許文献１】
泉武博監修、ＮＨＫ放送技術研究所編、「３次元映像の基礎」、オーム社、１９９５年６月５日、ｐｐ．７１−７３
【０００６】
【発明が解決しようとする課題】
現在、カメラ付きの携帯電話やノート型ＰＣ、ＰＤＡ等の開発が盛んになっている。通常、これらに取り付けられているカメラで撮影される画像は２次元情報のみであるが、距離情報の取得・生成も可能になれば、ステレオ画像表示など応用の幅が広がる。しかし、これまでステレオ画像を入力するためには、通常、２台のカメラを用いる必要があり大きさや価格の点が普及の障壁となっていた。
【０００７】
【課題を解決するための手段】
本発明は上記の課題を解決するために発明したものであり、小型で手軽にステレオ画像の生成を可能とする。
【０００８】
本発明のステレオ画像入力装置は、複数の画像を記録する画像記録手段と、前記複数の画像における対応する画素ごとの画素値の差分を求め、求められた差分を閾値を用いて複数のレベルに切り分けることにより、複数のレベルの距離情報を得る画像演算手段と、前記画像演算手段によって得られた複数のレベルの距離情報を用いてステレオ画像として出力するための奥行き値を算出する奥行き値算出手段と、前記奥行き値算出手段により得られた奥行き値のうち背景以外の奥行き値を有する画像領域の重心を計算し、前記画像領域のうち前記重心から離れた距離にある画素ほど遠景に設定する処理を行いステレオ画像を生成するステレオ画像生成手段とを備える。
【０００９】
本発明によるステレオ画像入力装置は次のように動作する。撮影対象に対して異なる照明条件で複数画像を入力する。この複数の画像を比較することにより奥行き値を算出する。比較方法として例えば、照明条件として「照明あり」と「照明なし」を設定し、各条件下での画像の差分を取ったときに輝度差が大きいほど照明に近いとする。
【００１０】
このとき算出される奥行き値は照明光のムラや撮影対象の反射特性により粗いものとなるが、これを複数の奥行きレベルに分割し、各レベルに奥行き値に相当する視差を割り当て、書き割りのように立体像が知覚されることを回避するため、各レベル間の視差を変更し書き割り状態の撮影対象を１つの物体として認識させるようにする。
【００１１】
さらに、視差を付加したことに起因して発生するステレオ画像中のデータの欠落を、隣接するより遠方の奥行きレベルの画像情報を用いて補間処理を行うことにより、物体の遮蔽に関する情報もより忠実に再現でき、より自然なステレオ画像生成が可能である。
【００１２】
この方法では、撮影装置が１台で済むため複数台用いる場合に比べ小型化が可能である。また、粗い精度での検出であっても、物体の大まかな距離情報を用いて視差を画像処理により変更し、ステレオ画像生成によるデータの欠落処理を行うことで、書き割りの知覚を回避し観察者により高い品質の立体画像を提示することが可能である。
【００１３】
【発明の実施の形態】
図１は本発明の実施例の簡易ステレオ画像入力装置を示す。簡易ステレオ画像入力装置は撮影対象を照明する照明装置１−２を備えたあるいは接続した撮影装置１−１に接続され、撮影対象の画像データと取り込み保持する画像記録装置１−３、照明の強弱が異なる撮影対象の複数の画像を比較することにより被写体の大まかな距離情報を求め、その結果から撮影対象のステレオ画像生成を行う演算装置１−４、上記各手段を制御するシステム制御装置１−５より構成される。
【００１４】
次に、本発明の実施例の画像入力方法の概要を図２を用いて説明する。（Ａ）フラッシュありで撮影する。顔画像（前景）は明るく撮影されるが、カメラからの距離が遠い背景領域はフラッシュの明かりが届かないので暗く撮影される。（Ｂ）同じ画像をフラッシュなしで撮影する。顔画像（前景）も背景領域も暗く撮影される。（Ｃ）フラッシュありの画像とフラッシュなしの画像の濃淡値の引き算を行う。引き算の結果、明るさの差のある部分の映像が得られる。明るさの差が大きい部分が照明に近く、明るさの差の小さい部分が照明より遠いことから、前景と背景の大まかな距離情報を取得できる。（Ｄ）被写体の色・明るさの影響を吸収する為に２値化を行い２値化距離情報を得る。図の黒は前景であり、白は背景である。（Ｅ）前記２値化距離情報を用いて、撮影した映像の顔画像（前景）を取得し、これに視差を割り当て、右眼用画像と左眼用画像を作成する。しかし、このままでは、顔画像が平ら（書き割り）に見えるので、（Ｆ）右目用および左目用の顔画像に丸みを持たせ、自然に見えるように加工する。これにより、自然に見えるステレオ画像が得られる。
【００１５】
以下、簡易ステレオ画像入力装置の動作を図３に示す簡易ステレオ画像入力方法のフローチャートを用いて説明する。ある撮影対象に対して簡便にステレオ画像を生成する場合、まず照明条件と撮影枚数ｋを入力する（ステップ３−１）。照明条件および撮影枚数は予め決めておいても良い。次に照明装置１−２を用いて撮影対象をｊ番目の照明条件で照明し、撮影装置１−１により撮影した画像を入力する（ステップ３−２）。照明条件は照明の強弱で決定され、撮影装置１−１からの照明信号（例えば撮影のシャッターに同期したパルス光）にあわせて照明を行う。ｊ番目に入力された画像信号は画像記録装置１−３のフレームメモリｊに画像データとして格納される（ステップ３−３）。ステップ３−２からステップ３−３までの処理を撮影枚数ｋに達するまで繰り返す（ステップ３−４、３−５）。本実施例では撮影回数を２回（ｋ＝２）と想定しているので、画像記録手段１−３上のフレームメモリ（１−３１、１−３２）は２つであるが、撮影回数に応じてフレームメモリを増やしてもよい。画像の入力が終了すると、システム制御装置１−５の指令により撮影された画像データはフレームメモリから演算装置１−４の画像演算部１−４１に転送される（ステップ３−６）。
【００１６】
１−４１の画像演算部では、複数画像を用いて適切な明るさの色情報（２次元画像）の出力を行う（３−７）。また、画像演算部１−４１は照明条件の異なる複数の画像を比較し、複数画像間の明るさの差から大まかな距離情報を生成し、１−４２のステレオ画像生成部に出力する（３−８）。距離情報の計算には、画像の差分計算・除算・２値化・エッジ検出などを用いることができる。また、色情報の合成処理としては、各画像のコントラストが最大になるように変換し最もコントラストが高いものを抽出する方法や、それらを適当な重み付けで合成する方法などがある。これらの処理の組合せをシステム制御装置１−５の命令により選択させても良い。
【００１７】
図４は距離情報算出手順を示すフローチャートの例である。ここでは奥行き値として前後２値の奥行きとする。照明条件として「照明有り」「照明無し」の２つを設定し、撮影枚数は２枚とする。このとき「照明有り」のときの画像データのｉ番目の画素の画素値をＡｉ、「照明無し」のときの画像データのｉ番目の画素の画素値をＢｉ、２値化後のデータをＤｉで表す。奥行き値を計算するとき、まず閾値ｎ・画像サイズｓを決定する（ステップ４−１）。閾値ｎは画像を２値に分けるときのパラメータで任意に決定が可能である。また画像サイズｓは入力する画像データの横方向画素サイズｘと縦方向画素サイズｙを掛け合わせた値とする。次に画素値ＡｉとＢｉの差分を取り、閾値ｎ以上であればＤｉを１、そうでなければ０とする（ステップ４−２〜４−４）。ステップ４−２〜４−４の処理を画像データの全画素分繰り返す（ステップ４−５〜４−６）。２値化後のデータＤｉの値が１の画素は撮影装置の近くにあると判断し手前に、その他の画素は遠くにあると判断する。またステップ４−２において、（Ａｉ−Ｂｉ）／Ｂｉが、予め決められた割合より大きければＤｉを１、そうでなければ０としてもよい。また比較を行う複数の画像のデータがずれてしまう場合も、画素ｉの比較を行うときに近傍数画素の平均値をとることによって、ずれによる影響を軽減することが出来る他、動画対応も可能となる。
【００１８】
図３のステップ３−９では、画像演算部１−４１により得られた大まかな距離情報を用いて、ステレオ画像生成部１−４２により、実際にステレオ画像として出力するための奥行き値を計算する。ここでは、まず、最終的に出力（表示）されるステレオ画像中の被写体の飛び出し量Ｌを指定し、この距離に観察されるように画像中の各画素の奥行きを決定する。具体的には、まず、距離情報を前景と背景の２種類に分割（２値化）した場合、前景の最大飛び出し量Ｌとする。しかし、このままでは前景が書き割りのように厚みのない物体として観察される。これを防止するため、図５に示すように、（Ａ）に示された書き割り状態の右眼用画像と左眼用画像の各々について、（Ｂ）前景とされる物体の重心を計算し、（Ｃ）重心と前景内の各画素の距離を計算し、（Ｄ）前景領域のうちこの重心から離れた距離にある画素ほど遠景に設定するような処理を行う。この距離の決定方法は、遠景までの間を２次曲線で補間する方法、直線で補間する方法、重心を中心とした例えば３０％の長さまでを最大飛び出し量Ｌとしそこから前景の境界までを２次曲面で補間する方法など、また、物体の厚みを任意に指定できるようにするなどが設定可能である。（Ｅ）は表示画像である。
【００１９】
また遠景については、図６に示すように、前景の物体より遠方に観察されるように、奥行き値を決定する。具体的には、（Ａ）に示す背景画像（左右眼）を、背景画像を画面の奥側に配置するのであれば、（Ｂ）に示すように、左眼用の画像ではより左方向に移動させ、右眼用の画像ではより右に移動させれば画面奥側に表示が可能である。前景と背景の奥行き決定に関する処理は、以下に示す３−１０の処理と同一の処理に含めて行うことも可能である。
【００２０】
図３のステップ３−９で設定した奥行き値を、ステップ３−１０では画像上の視差情報に変換する。具体的には、ステップ３−９で指定した奥行きにステレオ画像を観察させるためには、両眼の間隔と画像中の１画素の大きさから三角測量の原理で計算される奥行き値と一致するように、ステレオ画像の視差を決定する。
【００２１】
ステップ３−１０で決定した視差に基づき、ステップ３−１１では実際にステレオ画像を生成する。具体的には、図７に示すように、まず、（Ａ）ステレオ画像（左右眼用画像）の元画像として、１−４１で出力される２次元画像か、または１−３１および１−３２で出力される画像を用意する。次に、（Ｂ）指定した視差量に応じて画面上で各画素に対応する視差量を左右眼用画像内で左右方向に移動させる。例えば、画像中のある１点が画面手前方向に視差ｄの奥行き情報を持っている場合、その画素値を右眼用にはｄ／２だけ画像の左方向に移動させて画像を生成し、左眼用にはｄ／２だけ画像の右方向に移動させて画像を生成する。この際、視差が０のものについては、左右眼用画像にそのままコピーする。この方法で、左右画像間の対応点が存在するデータについてはステレオ画像の生成が可能であるが、ここで生成される左右眼用画像には、画素値（色データ）が存在しない場合が発生する。これを次のステップ３−１２で処理する。
【００２２】
色データの存在しない画素については、図８（Ａ）に示すように、その画素の左右方向で色データが欠落していない画素の視差が左右で比較してより遠方に対応するデータを、欠落した画素の色データとする方法で実現できる（例１）。この他、色データの存在しない領域を隣接するより遠方の視差を持つ領域の色データで置き換える方法なども可能である（例２）。これにより、前景が背景を遮蔽する際に、前景と背景の左右方向の境界付近に発生する片眼のみに見える領域についても、背景領域の色データを用いて補間することで前景の遠方に存在しているという情報を与えられるため、ある程度自然なステレオ画像の生成が可能となる（図８（Ｂ））。
【００２３】
以上により、ステレオ画像の生成が可能である。
【００２４】
上記、ステレオ画像生成を行うためには、複数台のカメラを使用する必要がなく、また照明装置をカメラに隣接した位置に配置可能なため、従来の装置より小型化が可能であり、携帯端末等への搭載も可能となる。
【００２５】
本発明の装置はコンピュータプログラムによっても実現でき、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。
【００２６】
以上、本発明者によってなされた発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【００２７】
【発明の効果】
以上述べたように本発明によれば以下に示すような効果が生じる。
撮影装置が１台のみと複数用いる必要がないため、従来のステレオ画像撮影装置に比べ、小型化が可能となる。
単純な２値化処理の結果を大まかな２つの距離と設定することで、照明光のムラや撮影対象の反射特性に影響を受けにくい、また計算負荷が少ない高速な処理が可能となる。
複雑な計算処理をすることなく簡便に自然な奥行き知覚が得られるステレオ画像を生成することができる。
【図面の簡単な説明】
【図１】本発明の実施例の簡易ステレオ画像入力装置を示す図である。
【図２】本発明の実施例の画像入力方法の概要を示す図である。
【図３】簡易ステレオ画像入力方法のフローチャートの例を示す図である。
【図４】大まかな距離情報算出手順を示すフローチャートの例を示す図である。
【図５】書き割り回避処理を示す図である。
【図６】背景部の奥行き値決定方法を示す図である。
【図７】ステレオ画像生成方法を示す図である。
【図８】ステレオ画像生成により生じる色データの欠落の補間方法を示す図である。
【符号の説明】
１−１…撮像装置、１−２…照明装置、１−３…画像記録装置、１−４…演算装置、１−５…システム制御装置、１−１１…個体撮像素子、１−１２…Ａ／Ｄ変換部、１−３１…フレームメモリ１、１−３２…フレームメモリ２、１−４１…画像演算部、１−４２…ステレオ画像生成部、３−１〜３−１２…簡易ステレオ画像入力手順の各ステップ、４−１〜４−５…大まかな距離情報算出手順の各ステップ。

Claims

撮影対象に対する照明の有無または強度を変えて撮影した複数の画像からステレオ画像を生成する装置であって、
前記複数の画像を記録する画像記録手段と、
前記複数の画像における対応する画素ごとの画素値の差分を求め、求められた差分を閾値を用いて複数のレベルに切り分けることにより、複数のレベルの距離情報を得る画像演算手段と、
前記画像演算手段によって得られた複数のレベルの距離情報を用いてステレオ画像として出力するための奥行き値を算出する奥行き値算出手段と、
前記奥行き値算出手段により得られた奥行き値のうち背景以外の奥行き値を有する画像領域の重心を計算し、前記画像領域のうち前記重心から離れた距離にある画素ほど遠景に設定する処理を行いステレオ画像を生成するステレオ画像生成手段と
を備えることを特徴とする簡易ステレオ画像入力装置。
請求項１に記載の簡易ステレオ画像入力装置であって、
前記奥行き値をステレオ画像の視差情報に変換する手段と、
前記視差情報に基づき、ステレオ画像を生成する手段と、
前記ステレオ画像生成により発生する、データの欠落を周辺の画像データを用いて補間する手段と
を有することを特徴とする簡易ステレオ画像入力装置。
撮影対象に対する照明の有無または強度を変えて撮影した複数の画像からステレオ画像を生成する方法であって、
前記複数の画像を記録する画像記録過程と、
前記複数の画像における対応する画素ごとの画素値の差分を求め、求められた差分を閾値を用いて複数のレベルに切り分けることにより、複数のレベルの距離情報を得る画像演算過程と、
前記画像演算過程によって得られた複数のレベルの距離情報を用いてステレオ画像として出力するための奥行き値を算出する奥行き値算出過程と、
前記奥行き値算出過程により得られた奥行き値のうち背景以外の奥行き値を有する画像領域の重心を計算し、前記画像領域のうち前記重心から離れた距離にある画素ほど遠景に設定する処理を行いステレオ画像を生成するステレオ画像生成過程と
を備えることを特徴とする簡易ステレオ画像入力方法。
請求項３に記載の簡易ステレオ画像入力方法であって、
前記奥行き値をステレオ画像の視差情報に変換する過程と、
前記視差情報に基づき、ステレオ画像を生成する過程と、
前記ステレオ画像生成により発生する、データの欠落を周辺の画像データを用いて補間する過程と
を有することを特徴とする簡易ステレオ画像入力方法。
請求項３ないし４のいずれかに記載の簡易ステレオ画像入力方法における過程をコンピュータに実行させるための簡易ステレオ画像生成プログラム。
請求項３ないし４のいずれかに記載の簡易ステレオ画像入力方法における過程をコンピュータに実行させるための簡易ステレオ画像生成プログラムを記録した記録媒体。