JP4145121B2

JP4145121B2 - 画像処理装置

Info

Publication number: JP4145121B2
Application number: JP2002329718A
Authority: JP
Inventors: 義典長井; 恒介松原; 清水　　仁; 峰弘紺矢
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2002-11-13
Filing date: 2002-11-13
Publication date: 2008-09-03
Anticipated expiration: 2022-11-13
Also published as: JP2004164312A

Description

【０００１】
【発明の属する技術分野】
本発明は、左目用の画像（左の画像）及び右目用の画像（右の画像）を用いて、立体画像を表示するための画像処理装置に関する。
【０００２】
【従来の技術】
この種の従来の技術としては、特許文献１に記載のものがある。ここでは、左の被写体の画像及び背景画像を合成して、左の合成画像を形成すると共に、右の被写体の画像及び背景画像を合成して、右の合成画像を形成し、左の合成画像及び右の合成画像を用いて、立体画像を表示しており、被写体の撮影距離に応じて被写体の画像及び背景画像の合成位置を調節することにより、立体画像を表示したときの被写体の画像及び背景画像の位置関係の矛盾を解消している。
【０００３】
【特許文献１】
特開平５−３４６７７８号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、特許文献１では、被写体の画像及び背景画像を合成していても、被写体の画像そのものに他の画像を合成して、被写体の画像を加工し、その上で加工された被写体を立体的に見せてはおらず、その様な技術が望まれていた。
【０００５】
そこで、本発明は、上記従来の問題点に鑑みてなされたものであり、左の画像及び右画像を用いて、立体画像を表示する上で、被写体の画像そのものに他の画像を合成して、被写体の画像に修整や補足等を加えることが可能な画像処理装置を記録した記録媒体を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記従来の課題を解決するために、本発明の画像処理装置は、元の被写体を２視点もしくは２方向から見たときの左右の投影画像を生成する投影画像生成手段と、左右のテンプレート画像を記憶するテンプレート画像記憶手段と、左の投影画像及び左のテンプレート画像を合成して、加工された該被写体を一方の視点もしくは方向から見たときの左の合成画像を形成すると共に、右の投影画像及び右のテンプレート画像を合成して、加工された該被写体を他方の視点もしくは方向から見たときの右の合成画像を形成する画像合成手段とを備えている。
【０００７】
この様な構成の本発明によれば、元の被写体を示す左右の投影画像を生成し、左の投影画像及び左のテンプレート画像を合成して、左の合成画像を形成し、右の投影画像及び右のテンプレート画像を合成して、右の合成画像を形成している。すなわち、被写体を示す投影画像をテンプレート画像により加工して、左右の合成画像を形成している。従って、左右の合成画像を用いて、立体画像を表示すると、加工された被写体を立体視することができる。
【０００８】
また、各種のテンプレート画像を用意しておけば、被写体の投影画像を該各テンプレート画像に合成することができる。更に、テンプレート画像を繰り返し再利用することができ、テンプレート画像の生成のための撮影や演算処理を低減することができる。
【０００９】
一方、本発明の画像処理装置は、元の被写体を２視点もしくは２方向から見たときの左右の投影画像を生成する投影画像生成手段と、テンプレート画像及び該テンプレート画像の奥行きを示す奥行き情報を記憶する記憶手段と、記憶手段内のテンプレート画像及び奥行き情報を用いて、左右のテンプレート画像を生成するテンプレート画像生成手段と、左の投影画像及び左のテンプレート画像を合成して、加工された該被写体を一方の視点もしくは方向から見たときの左の合成画像を形成すると共に、右の投影画像及び右のテンプレート画像を合成して、加工された該被写体を他方の視点もしくは方向から見たときの右の合成画像を形成する画像合成手段とを備えている。
【００１０】
ここでは、テンプレート画像及び該テンプレート画像の奥行きを示す奥行き情報を記憶しておき、これらのテンプレート画像及び奥行き情報を用いて、左右のテンプレート画像を生成している。このため、奥行き情報の変更により、左右のテンプレート画像によって表される立体画像の奥行きを変更することができる。従って、相互に異なるそれぞれの奥行きのテンプレート画像を記憶する必要がなく、記憶容量の節減を果たすことができる。
【００１１】
そして、左の投影画像及び左のテンプレート画像を合成して、左の合成画像を形成し、右の投影画像及び右のテンプレート画像を合成して、右の合成画像を形成している。従って、左右の合成画像を用いて、立体画像を表示すると、加工された被写体を立体視することができる。
【００１２】
テンプレート画像は、階層付き画像データ、又はベクトルグラフィックスデータによって示されることが好ましい。
【００１３】
これらのデータは、テンプレート画像の拡大縮小にかかわらず、高品位のテンプレート画像の再生を可能にする。また、データ量が少なく、記憶容量の節減を果たすことができる。
【００１４】
また、本発明においては、画像合成手段は、投影画像及びテンプレート画像を該各画像の少なくとも一部を透過処理してから合成して、合成画像を形成している。
【００１５】
この様な透過処理により、投影画像及びテンプレート画像の合成をフレキシブルに行うことが可能になる。
【００１６】
更に、本発明においては、テンプレート画像は、濃淡の変化を含み、画像合成手段は、テンプレート画像の濃淡の変化を透過処理してから、投影画像及びテンプレート画像を合成して、合成画像を形成している。
【００１７】
この場合は、テンプレート画像を投影画像に合成することにより、合成画像に濃淡を付与することができる。
【００１８】
また、本発明においては、元の被写体が顔である。あるいは、テンプレート画像は、顔の輪郭及び頭髪部分の少なくとも一方を含んでいる。
【００１９】
この場合は、顔の投影画像及び顔の輪郭や頭髪部分のテンプレート画像を合成することになり、加工された被写体の顔を立体視することができる。
【００２７】
【発明の実施の形態】
まず、本発明の概略を説明する。
【００２８】
３次元ディスプレイでは、見る人の左右の目の視差、所謂両眼視差を考慮して、左の画像及び右の画像を作成し、これらの画像を左右の目で略同時に見ることにより被写体を立体的に見せる。左の画像及び右の画像は、２台のカメラを用いて、被写体を左右の２方向から撮影することにより作成するか、あるいはコンピュータグラフィックスを用いて、３次元の被写体を作成し、その上で該被写体を左右の２方向から見ることにより作成する。あるいは、カメラにより撮影された画像とコンピュータグラフィックスにより作成された画像の合成により、左の画像及び右の画像を作成しても構わない。
【００２９】
本発明においては、左の画像及び右の画像を用いて、被写体を立体的に見せるだけではなく、元の被写体を示す左右の投影画像を左右のテンプレート画像に合成して、元の被写体を示す投影画像をテンプレート画像により修整もしくは補足し、修整もしくは補足された被写体を立体的に見せる。
【００３０】
例えば、元の被写体が人の顔であり、左右のテンプレート画像が顔の陰影を示す濃淡パターンであれば、被写体を示す左右の投影画像を左右のテンプレート画像に合成して、陰影のある顔を立体的に見せる。あるいは、左右のテンプレート画像が顔の輪郭を示すものであれば、被写体を示す左右の投影画像を左右のテンプレート画像に合成して、輪郭が変更された顔を立体的に見せる。更に、左右のテンプレート画像として、様々な顔の陰影を示す濃淡パターンや様々な顔の輪郭を示すものを用意しておき、左右のテンプレート画像の選択的な適用により、顔を様々に修整もしくは補足して立体的に見せる。
【００３１】
次に、本発明の実施形態を添付図面を参照して詳細に説明する。
【００３２】
図１は、本発明の画像処理装置の第１実施形態を示すブロック図である。本実施形態の画像処理装置１０は、元の被写体を２視点もしくは２方向から見たときの左右の投影画像を生成する投影画像生成部１１と、左右のテンプレート画像を記憶するテンプレート画像記憶部１２と、左の投影画像及び左のテンプレート画像を合成して、左の合成画像を形成すると共に、右の投影画像及び右のテンプレート画像を合成して、右の合成画像を形成する画像合成部１３とを備えている。
【００３３】
図２は、画像処理装置１０の処理過程を示すフローチャートである。このフローチャートに従って、画像処理装置１０の処理過程を順次説明する。
【００３４】
まず、投影画像生成部１１は、元の被写体を２視点もしくは２方向から見たときの左右の投影画像を生成する（ステップＳ１０１）。
【００３５】
この左右の投影画像は、例えば図３に示す様に被写体２１を左右に離れたそれぞれの視点の画像面２２，２３に投影することにより生成される。実際には、被写体２１を左右に離れた２台のカメラにより撮影したり、被写体２１を１台のカメラとステレオアダプタにより撮影して、左右の投影画像を生成する。
【００３６】
あるいは、コンピュータグラフィックスのソフトウェアをパーソナルコンピュータ等により実行して、左右の投影画像を生成することもできる。コンピュータグラフィックスを用いる場合は、図４（ａ）に示す様な透視投影法又は図４（ｂ）に示す様な近似的手法の平行投影法を用いる。図４（ａ）の透視投影法では、２台の仮想カメラを左右に適宜の距離を開けて直線上に並べ、被写体２１を該各仮想カメラにより撮影して、左右の投影画像を生成する。また、図４（ｂ）の平行投影法では、２台の仮想カメラを左右に適宜の距離を開けて置き、該各仮想カメラを適宜の角度だけ被写体２１に向けて、該各仮想カメラ間に角度差を設定し、被写体２１を該各仮想カメラにより撮影して、左右の投影画像を生成する。
【００３７】
透視投影法の場合は、被写体２１が各仮想カメラのレンズ面から遠くなる程、左右の投影画像が小さくなり、左右の投影画像が実際の２台のカメラにより撮影されたものに近似するが、左右の投影画像を被写体２１と各仮想カメラのレンズ面間の距離で除算するという演算処理が必要となる。
【００３８】
平行投影法の場合は、被写体２１と各仮想カメラのレンズ面間の距離に応じて左右の投影画像の大きさが変化することはなく、透視投影法の様な演算処理を必要としない。特に、被写体２１の奥行きが短ければ、左右の投影画像に大きな誤差を生じることがなく、演算処理のためのコストを削減することができる。ただし、図５に示す様な各仮想カメラ間の距離ａもしくは角度差αが小さ過ぎると、左右の投影画像を左右の目で略同時に見たときの被写体２１の立体感が乏しくなり、逆に各仮想カメラ間の距離ａもしくは角度差αが大き過ぎると、左右の投影画像を左右の目で略同時に見たときの左右の対応が取り難く、立体視そのものが困難になる。３次元ディスプレイの仕様にもよるが、一般的には、角度差αを３度乃至１５度の範囲で設定することが望ましい。
【００３９】
次に、画像合成部１３は、左右の投影画像を投影画像生成部１１から受け取り、左右のテンプレート画像をテンプレート画像記憶部１２から読み出して、左の投影画像及び左のテンプレート画像を合成して、左の合成画像を形成すると共に、右の投影画像及び右のテンプレート画像を合成して、右の合成画像を形成する（ステップＳ１０２）。すなわち、元の被写体２１を示す左右の投影画像を左右のテンプレート画像に合成して、左右の投影画像を修整もしくは補正し、修整もしくは補足された被写体を示す左右の合成画像を形成する。
【００４０】
例えば、図６（ａ）に示す様な左右のテンプレート画像２４ａ，２４ｂ及び図６（ｂ）に示す様な被写体の左右の投影画像２５ａ，２５ｂを合成して、図６（ｃ）に示す様な修整もしくは補足された被写体の左右の合成画像２６ａ，２６ｂを形成する。
【００４１】
また、図７（ａ）に示す様な陰影パターンのテンプレート画像２７に透過処理を施してから、テンプレート画像２７及び図７（ｂ）に示す様な顔の投影画像２８を合成して、図７（ｃ）に示す様な修整もしくは補足された顔の合成画像２９を形成する。ここでは、陰影パターンのテンプレート画像２７及び顔の投影画像２８を合成して、陰影を有する顔の合成画像２９を形成している。
【００４２】
あるいは、図８（ａ）に示す様な輪郭パターンの各テンプレート画像３１ａ，３１ｂ，３１ｃ，３１ｄ及び図８（ｂ）に示す様な顔の投影画像３２の中央部分（点線の内側部分）を合成して、図８（ｃ）に示す様な輪郭を修整もしくは補足された顔の合成画像３３ａ，３３ｂ，３３ｃ，３３ｄを形成する。これにより、顔の輪郭を様々に変更することができる。
【００４３】
また、図９（ａ）に示す様な髪型の各テンプレート画像３４ａ，３４ｂ，３４ｃ，３４ｄ及び図９（ｂ）に示す様な顔の投影画像３５を合成して、図９（ｃ）に示す様な髪型を修整もしくは補足された顔の合成画像３６ａ，３６ｂ，３６ｃ，３６ｄを形成する。これにより、顔の髪型を様々に変更することができる。
【００４４】
尚、図７、図８、及び図９においては、左右の画像を別々に示さずに、１つの画像のみを示して簡略化している。また、図６乃至図９の他にも、多様な被写体の投影画像やテンプレート画像を想定することができる。
【００４５】
こうして左右の合成画像を形成し、３次元ディスプレイを用いて、左右の合成画像を左右の目で略同時に見ると、修整もしくは補足された被写体を立体的に見ることができる。
【００４６】
３次元ディスプレイとしては、左右の合成画像を表示するそれぞれの液晶ディスプレイパネルを備えるヘッドマウントディスプレイ、液晶方式の眼鏡により左右の合成画像を時分割で交互に表示する方式のディスプレイ、レンチキュラーレンズを用いる方式のディスプレイ、及び偏光フィルターを用いる方式のディスプレイ等があり、左右の合成画像を左右の目で略同時に見て、被写体を立体的に見ることができれば、他の方式のものであっても構わない。
【００４７】
図１０は、本発明の画像処理装置の第２実施形態を示すブロック図である。尚、図１０において、図１の装置と同様の作用を果たす部位には同じ符号を付す。
【００４８】
本実施形態の画像処理装置１０Ａは、図１の装置におけるテンプレート画像記憶部１２の代わりに、テンプレート画像及び該テンプレート画像の奥行きを示す奥行き情報を記憶する奥行き付きテンプレート記憶部４１、及び奥行き付きテンプレート記憶部４１内のテンプレート画像及び奥行き情報を用いて、左右のテンプレート画像を生成するテンプレート画像生成部４２を適用している。
【００４９】
図１１は、画像処理装置１０Ａの処理過程を示すフローチャートである。このフローチャートに従って、画像処理装置１０Ａの処理過程を順次説明する。
【００５０】
まず、投影画像生成部１１は、元の被写体を２視点もしくは２方向から見たときの左右の投影画像を生成する（ステップＳ２０１）。このステップＳ２０１の処理は、図２のステップＳ１０１の処理と同様である。
【００５１】
次に、テンプレート画像生成部４２は、テンプレート画像及び奥行き情報を奥行き付きテンプレート記憶部４１から読み出し、これらを用いて、左右のテンプレート画像を生成する（ステップＳ２０２）。
【００５２】
例えば、図１２（ａ）に示す様な各物体５１ａ，５１ｂを含むテンプレート画像５１及び各物体５１ａ，５１ｂの奥行き情報５２ａ，５２ｂを奥行き付きテンプレート記憶部４１から読み出し、図１２（ｂ）に示す様に奥行き情報５２ａによって示される奥行きに応じて物体５１ａを位置決めし、かつ奥行き情報５２ｂによって示される奥行きに応じて物体５１ｂを位置決めした左右のテンプレート画像５３，５４を生成する。
【００５３】
一般に、左の画像では物体をより右に位置決めし、右の画像では該物体をより左に位置決めし、これにより左右の画像を略同時に見たときに該物体を立体的に見せる。また、物体の奥行きの距離が短くなる程、左右への物体の移動距離が長くなる（物体の移動距離が奥行きの距離に反比例する）。
【００５４】
図１２（ａ）のテンプレート画像５１では、物体５１ａの奥行き情報５２ａの値が「１」であって、物体５１ｂの奥行き情報５２ｂの値が「３」であり、それらの値が大きい程、奥行きの距離が長くなる。奥行き情報５２ｂの値「３」は、奥行き情報５２ａの値「１」よりも３倍の奥行きの距離を示している。このため、図１２（ｂ）の左右のテンプレート画像５３，５４では、物体５１ａの移動距離が物体５１ｂの移動距離よりも長くなっている。
【００５５】
また、テンプレート画像５１は、階層付き画像データ、又はベクトルグラフィックスデータによって示されることが好ましい。これらのデータは、テンプレート画像５１の拡大縮小にかかわらず、高品位のテンプレート画像の再生を可能にする。また、データ量が少なく、奥行き付きテンプレート記憶部４１の容量の節減を果たすことができる。
【００５６】
次に、画像合成部１３は、左右の投影画像を投影画像生成部１１から受け取り、左右のテンプレート画像をテンプレート画像生成部４２から受け取り、左の投影画像及び左のテンプレート画像を合成して、左の合成画像を形成すると共に、右の投影画像及び右のテンプレート画像を合成して、右の合成画像を形成する（ステップＳ２０３）。
【００５７】
こうして左右の合成画像を形成し、３次元ディスプレイを用いて、左右の合成画像を左右の目で略同時に見ると、修整もしくは補足された被写体を立体的に見ることができる。
【００５８】
被写体の投影画像及びテンプレート画像は、第１実施形態と同様に、多様なものを想定することができる。
【００５９】
尚、本発明は、画像処理方法を実現するためのプログラムをＣＰＵ等のハードウェアあるいはコンピュータ等により実行することによりなされる。
【００６０】
プログラムは、磁気ディスク、光ディスク、コンピュータに内蔵のハードディスク等の記録媒体に記録されたり、通信ネットワークを通じて送受される。コンピュータやマイクロプロセッサ内蔵の端末装置等は、プログラムを記録媒体から読み出したり、プログラムをインターネット等の通信ネットワークを通じて受信し、このプログラムを実行して、本発明を実施することができる。プログラムをインターネット等の通信ネットワークを通じて受信する場合は、ダウンロード用のプログラムが必要になる。このダウンロード用のプログラムも、磁気ディスク、光ディスク、コンピュータに内蔵のハードディスク等の記録媒体に記録されたり、通信ネットワークを通じて送受される。また、これらのプログラムをインターネットを通じて定期的に端末装置にダウンロードすることもできる。
【００６１】
更に、コンピュータ等の端末装置及びネットワーク等からなるシステムにおいては、複数の処理をコンピュータ等の端末装置に分散して行い得る。従って、プログラムは、コンピュータ等の単一の端末装置だけではなく、システムにも適用し得る。このシステムは、テレビジョン、ビデオカメラ、パーソナルコンピュータ、ＣＲＴ、液晶ディスプレイ、プリンタ、サーバ等をネットワークを通じて接続したものである。ネットワークとしては、インターネット、ＬＡＮ等がある。
【００６２】
記録媒体としては、マスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュＲＯＭといった半導体記憶素子、ＩＣカード、ハードディスク、フレキシブルディスク、あるいはＭＯ、ＣＤ、ＭＤ、ＤＶＤ等の光ディスク、磁気テープ等を挙げることができ、プログラムを記録することが可能であれば他の種類の記録媒体であっても良い。
【００６３】
【発明の効果】
以上説明した様に本発明によれば、元の被写体を示す左右の投影画像を生成し、左の投影画像及び左のテンプレート画像を合成して、左の合成画像を形成し、右の投影画像及び右のテンプレート画像を合成して、右の合成画像を形成している。すなわち、被写体を示す投影画像をテンプレート画像により加工して、左右の合成画像を形成している。従って、左右の合成画像を用いて、立体画像を表示すると、加工された被写体を立体視することができる。
【００６４】
また、各種のテンプレート画像を用意しておけば、被写体の投影画像を該各テンプレート画像に合成することができる。更に、テンプレート画像を繰り返し再利用することができ、テンプレート画像の生成のための撮影や演算処理を低減することができる。
【００６５】
また、テンプレート画像及び該テンプレート画像の奥行きを示す奥行き情報を記憶しておき、これらのテンプレート画像及び奥行き情報を用いて、左右のテンプレート画像を生成している。このため、奥行き情報の変更により、左右のテンプレート画像によって表される立体画像の奥行きを変更することができる。従って、相互に異なるそれぞれの奥行きのテンプレート画像を記憶する必要がなく、記憶容量の節減を果たすことができる。
【００６６】
更に、テンプレート画像を階層付き画像データ、又はベクトルグラフィックスデータとして記憶しているので、テンプレート画像の拡大縮小にかかわらず、高品位のテンプレート画像の再生を可能である。また、データ量が少なく、記憶容量の節減を果たすことができる。
【００６７】
また、画像の少なくとも一部を透過処理してから合成して、合成画像を形成しているので、投影画像及びテンプレート画像の合成をフレキシブルに行うことが可能になる。
【図面の簡単な説明】
【図１】本発明の画像処理装置の第１実施形態を示すブロック図である。
【図２】図１の画像処理装置の処理過程を示すフローチャートである。
【図３】左右の投影画像の生成方法を示す図である。
【図４】（ａ）は左右の投影画像を生成するための透視投影法を示す図であり、（ｂ）は左右の投影画像を生成するための平行投影法を示す図である。
【図５】左右の投影画像を生成するための平行投影法を更に詳しく示す図である。
【図６】（ａ）、（ｂ）、及び（ｃ）は、左右のテンプレート画像、左右の投影画像、及び左右の合成画像の一例を示す図である。
【図７】（ａ）、（ｂ）、及び（ｃ）は、テンプレート画像、投影画像、及び合成画像の他の例を示す図である。
【図８】（ａ）、（ｂ）、及び（ｃ）は、テンプレート画像、投影画像、及び合成画像の別の例を示す図である。
【図９】（ａ）、（ｂ）、及び（ｃ）は、テンプレート画像、投影画像、及び合成画像の更に他の例を示す図である。
【図１０】本発明の画像処理装置の第２実施形態を示すブロック図である。
【図１１】図１０の画像処理装置の処理過程を示すフローチャートである。
【図１２】（ａ）はテンプレート画像及び奥行き情報を例示する図であり、（ｂ）は左右のテンプレート画像を例示する図である。
【符号の説明】
１０，１０Ａ画像処理装置
１１投影画像生成部
１２テンプレート画像記憶部
１３画像合成部
２１被写体
４１奥行き付きテンプレート記憶部
４２テンプレート画像生成部

Claims

元の被写体を２視点もしくは２方向から見たときの左右の投影画像を生成する投影画像生成手段と、
前記被写体の陰影パターンもしくは輪郭パターンを示す左右のテンプレート画像を記憶するテンプレート画像記憶手段と、
左の投影画像に左のテンプレート画像を合成して、左の投影画像を修正もしくは補足し、該被写体を一方の視点もしくは方向から見たときの左の合成画像を形成すると共に、右の投影画像に右のテンプレート画像を合成して、右の投影画像を修正もしくは補足し、該被写体を他方の視点もしくは方向から見たときの右の合成画像を形成する画像合成手段とを備え、陰影もしくは輪郭を付与された左右の合成画像を形成することを特徴とする画像処理装置。
元の被写体を２視点もしくは２方向から見たときの左右の投影画像を生成する投影画像生成手段と、
前記被写体の陰影パターンもしくは輪郭パターンを示すテンプレート画像及び該テンプレート画像の奥行きを示す奥行き情報を記憶する記憶手段と、
記憶手段内のテンプレート画像及び奥行き情報を用いて、左右のテンプレート画像を生成するテンプレート画像生成手段と、
左の投影画像に左のテンプレート画像を合成して、左の投影画像を修正もしくは補足し、該被写体を一方の視点もしくは方向から見たときの左の合成画像を形成すると共に、右の投影画像に右のテンプレート画像を合成して、右の投影画像を修正もしくは補足し、該被写体を他方の視点もしくは方向から見たときの右の合成画像を形成する画像合成手段とを備え、陰影もしくは輪郭を付与された左右の合成画像を形成することを特徴とする画像処理装置。
記憶手段内のテンプレート画像は、階層付き画像データ、又はベクトルグラフィックスデータによって示されることを特徴とする請求項２に記載の画像処理装置。
画像合成手段は、投影画像及びテンプレート画像を該各画像の少なくとも一部を透過処理してから合成して、合成画像を形成することを特徴とする請求項１又は２に記載の画像処理装置。
元の被写体が顔であることを特徴とする請求項１に記載の画像処理装置。