JP4033006B2

JP4033006B2 - Image processing apparatus and method, and program

Info

Publication number: JP4033006B2
Application number: JP2003067176A
Authority: JP
Inventors: 裕人松岡; 晃小野澤
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2003-03-12
Filing date: 2003-03-12
Publication date: 2008-01-16
Anticipated expiration: 2023-03-12
Also published as: JP2004282167A

Description

【０００１】
【発明の属する技術分野】
本発明は、被写体が撮影された画像から被写体部分だけを切り出し、別の２次元の画像上に被写体を合成する画像処理方法及び画像処理装置に関するものである。
【０００２】
【従来の技術】
撮影した被写体の画像を、全く別の背景画像上に合成する処理は、映画やテレビ等、また、被写体をあらゆる方向から撮影することにより３次元画像を得る場合等によく使われている。この処理では、撮影した被写体画像から背景の画像を除去するセグメント処理が必要である。
【０００３】
一般的なセグメンテーション手法の一つに、クロマキー手法がある。これは、背景をある決められた単色にして撮影して、背景と同色の部分を切り取る手法である。しかしながら、このクロマキー手法では、撮影環境等により背景に色むらが生じたり、また、被写体に背景色に近い色が使われている場合、うまく切り出せない問題がある。
【０００４】
また、被写体を置かない状態で、予め背景を撮影しておき、その画像と被写体が写っている画像とを比較して、抜き出す手法もある。この抜き出す手法では、背景が単色でなくても抜き出しが行えるメリットがあるが、クロマキー手法と同様、被写体の影等が背景に写った場合や、背景と同様な部分が物体にある場合には、うまく抜き出すことができない。
【０００５】
また、特開２００１−１４８０２１号公報（特許文献１）の手法では、背景を変えた複数の画像を用いることにより、上記セグメンテーション手法の問題を解決している。しかしながら、この手法でも、被写体の表面反射が強く背景が写り込む場合や、被写体が半透明で背景が透けて見える場合は、被写体に欠けが生じ、背景画像と合成した場合、被写体に不自然な欠けが生じるという問題が生じる。
【０００６】
また、特開２００１−１４３０８５号公報（特許文献２）では、白黒のストラップの背景を用いて、被写体表面の透明度を求める手法が提案されているが、この手法は被写体表面の透明度が均一である場合に限られている。
【０００７】
その他、画像から被写体部分を切り出すことに関連する技術として特許文献３、非特許文献１に記載された技術がある。
【０００８】
【特許文献１】
特開２００１−１４８０２１号公報
【０００９】
【特許文献２】
特開２００１−１４３０８５号公報
【００１０】
【特許文献３】
米国特許第６３７７２６９号公報
【００１１】
【非特許文献１】
H. Matsuoka, T. Takeuchi, H. Kitazawa and A. Onozawa, “Representation of Pseudo Inter-reflection and Transparency by Considering Characteristics of Human Vision", Proceedings of Eurographics 2002, pp503-510.
【００１２】
【発明が解決しようとする課題】
上述のように、従来のセグメンテーション手法では、被写体が半透明であったり、表面反射の強い物体では、被写体の切り出し画像に不自然に欠けが生じ、正確に、背景と被写体を切り分けることができず、その画像を、他の画像上に合成する場合、醜い画像となるという問題があった。
【００１３】
本発明は、上記条件でも正確に被写体部分を抽出し、他の画像等と合成した場合に、半透明性や反射性を再現し、自然な画像を得ることを可能とし、また、被写体が動物体の場合にも適用できる画像処理方法とその装置を提供することを課題とする。
【００１４】
【課題を解決するための手段】
上記の課題は、被写体の画像を別の画像に合成する画像処理装置であって、背景部分の画像に差が出るように異なる偏光条件で撮影された２枚の画像を入力する手段と、その２枚の画像を用いて被写体の透明度画像を求める手段と、その透明度画像を用いて、前記２枚の画像のうちの１枚の画像と背景画像とを合成する手段とを有し、前記被写体の透明度画像を求める手段は、前記２枚の画像を画像Ｐ１及び画像Ｐ２とし、画像Ｐ１上のある１点（ｘ，ｙ）の画素値をＰ１（ｘ，ｙ）、画像Ｐ２上のその点の画素値をＰ２（ｘ，ｙ）とし、その差の絶対値｜Ｐ１（ｘ，ｙ）−Ｐ２（ｘ，ｙ）｜の全画素における最大値をＰＰＭＡＸとしたときに、前記透明度画像上の各画素の画素値ＰＴ（ｘ，ｙ）を、ＰＴ（ｘ，ｙ）＝１−｜（Ｐ１（ｘ，ｙ）−Ｐ２（ｘ，ｙ））｜／ＰＰＭＡＸの式により求め、前記合成する手段は、前記透明度画像上の各画素の画素値である透明度に基づく比率で、前記２枚の画像のうちの１枚の画像と前記背景画像とを合成して合成画像を求めることを特徴とする画像処理装置により解決される。
【００１５】
本発明によれば、背景の異なる２枚の画像を入力とすることから、マスク画像として透明度画像を求めることができ、透明度画像を用いることにより半透明性や反射性を再現し、自然な画像を得ることが可能となる。また、偏光条件を異ならせることにより背景を異ならせるようにしたので、例えば、ビームスプリッタを用いることにより、背景の異なる画像を１度に撮影できる。従って、被写体が動物体の場合にも適用できる。
【００１８】
前記２枚の画像は、偏光を発する背景部分を含む被写体を撮影した画像と、同じ背景部分と被写体を、その偏光を遮断する偏光フィルタを介して撮影した画像であるとすることができる。
【００１９】
また、前記２枚の画像は、異なる偏光条件で撮影された３枚以上の画像うちの、背景部分の輝度の差が最大の２枚の画像とすることができる。これにより、合成画像を生成するのに最適な２枚の画像を容易に選択することができる。
【００２０】
また、上記の課題は、被写体の画像を別の画像に合成する画像処理装置であって、被写体が無い状態でｎ台の撮影装置Ｃ１〜Ｃｎにより異なる偏光条件で撮影を行ったｎ枚の画像ＰＥ１〜ＰＥｎと、被写体を置いてｎ台の撮影装置Ｃ１〜Ｃｎで被写体が無い状態と同じ偏光条件で撮影を行ったｎ枚の画像Ｐ１〜Ｐｎを入力する手段と、各画像の１点（ｘ、ｙ）における画像ＰＥｋ（１≦ｋ≦ｎ）の画素値をＰＥｋ（ｘ，ｙ）、画像Ｐｋの画素値をＰｋ（ｘ，ｙ）とし、画素値ＰＥ１（ｘ，ｙ）〜ＰＥｎ（ｘ，ｙ）のうちの全ての組み合わせの中で、画素値の差分が最大となる２枚の画像をＰＥａ、ＰＥｂとし、これらに対応する画像Ｐ１〜Ｐｎの中の画像ＰａとＰｂの画素値をＰａ（ｘ，ｙ）とＰｂ（ｘ，ｙ）としたときに、１−｜Ｐａ（ｘ，ｙ）−Ｐｂ（ｘ，ｙ）｜／｜ＰＥａ（ｘ，ｙ）−ＰＥｂ（ｘ，ｙ）｜の式を用いて透明度画像の各画素の画素値ＡＰ（ｘ，ｙ）を計算する処理を、全ての画素に対して行うことにより透明度画像を求める手段と、前記透明度画像上の各画素の画素値である透明度に基づく比率で、画像Ｐ１〜Ｐｎのうちの１枚の画像と背景画像とを合成して合成画像を求める手段とを有することを特徴とする画像処理装置によっても解決される。
【００２１】
すなわち、本発明によれば、偏光が画像内で一様でない場合でも、画素毎に、背景の差が最大となる偏光条件の２枚の画像を選択して透明度画像を求めるので、正確な合成画像を求めることができる。
【００２２】
また、上述した２枚の画像は、偏光を発生させる背景表示装置と、背景表示装置の前に置かれた被写体からの光を二つに分けるビームスプリッタと、ビームスプリッタの一方の出力光を撮影する第１の撮影装置と、ビームスプリッタの他方の出力光を撮影する第２の撮影装置と、ビームスプリッタと第１の撮影装置との間に備えられた偏光フィルタとを有する撮影システムを用いて取得することができる。
【００２３】
また、上記のｎ枚の画像は、偏光を発生させる背景表示装置と、背景表示装置の前に置かれた被写体からの光を３つ以上に分割するビームスプリッタと、ビームスプリッタからの各出力光を撮影する複数の撮影装置と、各撮影装置とビームスプリッタ間に設けられたそれぞれ偏光方向が異なる偏光フィルタとを有する撮影システムを用いて取得することができる。
【００２４】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
【００２５】
図１に、本発明の実施の形態における画像処理の対象となる複数の画像を撮影するための撮影システムの構成図を示す。図１に示すように、この撮影システムは、発光する背景表示装置１、背景表示装置１からの光を偏光にする偏光フィルタＡ２、被写体３及び背景表示装置１の発光面を撮影する撮影装置Ａ４と撮影装置Ｂ５、ビームスプリッタ６、撮影装置Ａ４とビームスプリッタ６との間に挿入される偏光フィルタＢ７を有している。また、撮影装置Ａ４、撮影装置Ｂ５により撮影された画像を、本発明の処理手順に従って処理する画像処理装置８を有している。なお、背景表示装置１と偏光フィルタＡ２とを合わせて背景表示装置とすることもできる。
【００２６】
ビームスプリッタ６は、光線のある部分は反射し、他の部分は透過する反射鏡あるいは光学素子である。また、偏光フィルタＡ２と偏光フィルタＢ７の偏光方向は直交している。
【００２７】
図２は図１の撮影システムを真上から見た場合の図であり、矢印が光の進行方向を示している。
【００２８】
背景表示装置１から出力した光は偏光フィルタＡ２を通して偏光となる。背景表示装置１からの偏光及び被写体３からの光は、ビームスプリッタ６により二分され、撮影装置Ａ４、撮影装置Ｂ５方向に同一の光が出される。そして、撮影装置Ａ４には二分された光のうちの一つがそのまま入射し、撮影装置Ｂ５には、二分された光のうちの一つが偏光フィルタＢ７を介して入射する。
【００２９】
このように、撮影装置Ａ４にはビームスプリッタ６から直接光が入射するので、撮影装置Ａ４により撮影された画像は、図３(a)に示すように背景が明るい画像となる。一方、撮影装置Ｂ５には、偏光フィルタＢ７を介してビームスプリッタ６からの光が入射する。すなわち、背景表示装置１からの光は、偏光フィルタＡ２と偏光フィルタＢ７を介して撮影装置Ｂ５に達することになる。ここで、偏光フィルタＡ２とＢ７の偏光方向が直交しているので、背景表示装置１からの光は偏光フィルタＢ７により遮断され、撮影装置Ｂ５により撮影された画像は、図３(b)に示すように背景が暗い画像となる。
【００３０】
なお、背景表示装置１と同様の光を発生させるテーブルを用い、その表面に偏光フィルタＡ２と同じ偏光方向の偏光フィルタを設け、被写体３をそのテーブルの上に置いて撮影装置Ａ４及び撮影装置Ｂ５を用いて撮影を行うようにしてもよい。
【００３１】
上記背景表示装置１、及び上記テーブルを構成するものとしては、例えば、ＥＬパネル、液晶パネル、液晶シャッター、投影型スクリーン、プラズマディスプレイ、ＣＲＴなどを使用することができる。
【００３２】
上記のようにして得られた、背景の明るい画像の画素値（例えば、輝度値）と背景の暗い画像の画素値との差分をとり、その差分が予め定めた閾値より小さい部分を被写体の部分とし、例えば、被写体の部分を１、背景の部分を０として２値化を行えば、図３(c)に示すような、被写体部分を示す２値マスク画像を生成することができる。そして、被写体部分を示す２値マスク画像を用いることにより、被写体画像と別の背景画像との合成を行うことができる。
【００３３】
ただし、２値化されたマスク画像では、ガラスのような透明な物や反射を表現することができない。そこで、２値化されたマスク画像ではなく、多値からなるマスク画像である透明度画像を生成し、その透明度画像を用いて、被写体と別の背景画像との合成を行うこともできる。以下、透明度画像を用いて、被写体と別の背景画像との合成を行う場合について説明する。なお、図４に記載の画像処置装置は、透明度画像を用いる方法の他、上記のように２値マスク画像を用いる方法にも適用できる。
【００３４】
図４に、本発明の実施の形態における画像処理装置８の構成を示す。画像処理装置８は画像入力部１１、画像処理部１２、画像出力部１３を有している。また、画像処理装置８には必要に応じて撮影装置Ａ４、撮影装置Ｂ５と画像表示装置２０が接続される。また、図示していない格納装置を有しており、合成の際に使用する背景画像などを格納する。なお、合成の際に使用する背景画像は、必要に応じて画像入力部１１から入力してもよい。
【００３５】
画像処理装置８は例えば画像入出力インタフェースを有するコンピュータを用いて構成することができ、その場合、画像処理部１２はコンピュータが有するＣＰＵ、記憶装置、及び本発明の方法における各ステップを実行する処理を行うプログラムなどにより実現される。また、そのプログラムはＣＤ−ＲＯＭなどの記録媒体に格納することができる。
【００３６】
画像処理装置８は撮影装置Ａ４により撮影した画像と撮影装置Ｂ５により撮影した画像とを入力し、画像処理部１２で画像処理を施し、画像出力部１３から被写体と背景画像とを合成した合成画像を出力する。なお、本明細書における“画像”とは、処理の対象となる画像データの意味を含む。
【００３７】
図５に、画像処理装置における処理のフローチャートを示す。
【００３８】
まず、図１、２に示した撮影システムで撮影された２枚の画像を画像入力部１１から入力する（ステップＳ１）。次に、２枚の画像を用いて透明度画像を生成する（ステップＳ２）。そして、透明度画像を用いて、撮影システムで撮影した画像のうちの１枚と別の背景画像とを合成した合成画像を生成する（ステップＳ３）。最後に、生成した合成画像を出力する（ステップＳ４）。ステップＳ２とＳ３が上記の画像処理に対応する。なお、２値マスク画像を用いる場合には、被写体の２値マスク画像を求めて、当該２値マスク画像を用いて、撮影画像と背景とを合成する処理が上記の画像処理に対応する。
【００３９】
上記の透明度画像は次のような計算を行うことにより生成する。
【００４０】
撮影装置Ａ４により撮影された画像を画像Ａとし、撮影装置Ｂ５により撮影された画像を画像Ｂとする。画像Ａ、Ｂ各々の横の画素数をｗ、縦の画素数をｈとし、画像Ａ及び画像Ｂの対応する点（ｘ，ｙ）（０≦ｘ＜ｗ，０≦ｙ＜ｈ）における画像Ａの画素値（本実施の形態では輝度値）をＰ１（ｘ，ｙ）、画像Ｂの画素値をＰ２(ｘ，ｙ)とする。そして、画像Ａ及び画像Ｂの対応する全画素でＰ１(ｘ，ｙ)−Ｐ２(ｘ，ｙ)の値の絶対値が最大となるときその絶対値（ＰＰＭＡＸとする）を求める。
【００４１】
そして、透明を０、不透明を１とし、透明度を０から１の実数で表すとき、透明度画像上の１点ＰＴ（ｘ，ｙ）の値を、
１−｜（Ｐ１(ｘ，ｙ)−Ｐ２(ｘ，ｙ)）／ＰＰＭＡＸ｜
の式により求める。すなわち、Ｐ１(ｘ，ｙ)とＰ２(ｘ，ｙ)の違いが大きいほどＰＴ（ｘ，ｙ）の値は０に近づき、その部分に対応する被写体は透明に近いことがわかる。また、Ｐ１(ｘ，ｙ)とＰ２(ｘ，ｙ)の違いが小さいほどＰＴ（ｘ，ｙ）の値は１に近づき、その部分に対応する被写体は不透明に近いことがわかる。そして、画像上の全ての画素について上記式で計算を行うことにより、透明度画像を求めることができる。求めた透明度画像の例を図６(a)に示す。
【００４２】
図５のフローチャートにおけるステップＳ３の合成画像は、透明度の比率でブレンディンクを行う一般的な式である、
ＰＳ（ｘ，ｙ）＝ＰＴ（ｘ，ｙ）×ＰＣ（ｘ，ｙ）＋（１−ＰＴ（ｘ，ｙ））×ＰＺ（ｘ，ｙ）
の式を用いることにより、計算することができる。ここで、ＰＣ（ｘ，ｙ）は、画像Ｐ１又はＰ２の色彩画素値を示し、ＰＺ（ｘ，ｙ）は背景画像の画素値を示す。
【００４３】
上記の式を用いて、図６(b)に示す背景画像と、撮影装置Ａ４の撮影画像である図３(a)に示す画像とを、透明度画像図６(a)を用いて合成した例を図６(c)に示す。図中のガラスコップの透明感が表現されていることが分る。
【００４４】
上記の実施の形態では、撮影装置の手前に配置する偏光フィルタの有無で背景の輝度が異なる画像の取得している。しかし、偏光フィルタはランダム偏光も５０％減衰させるので、撮影装置Ａ４、Ｂ５により撮影された２枚の撮影画像に写っている被写体の輝度も異なることになり、正確な合成画像を得られない場合が生じ得る。
【００４５】
そこで、ビームスプリッタ６と撮影装置Ａ４との間に偏光フィルタＣを付加し、偏光フィルタＣの偏光方向を偏光フィルタＢ７と直交させることにより、２画像間での被写体の輝度の変化を抑えることができる。
【００４６】
また、上記手法では偏光フィルタＡ２と偏光フィルタＢ７の偏光方向を直交させる必要がある。しかし、背景としてのテーブルに回転台などを用いることにより偏光方向が一様に定まらない場合には、背景がうまく除去できない場合がある。
【００４７】
そこで、このような場合には、背景及び被写体からの光を３以上に分光することができるビームスプリッタを用い、それぞれの光を分光の数と同じ台数の撮影装置で撮影する。このとき、各撮影装置とビームスプリッタとの間には、それぞれ異なる偏光方向の偏光フィルタを配置する。そして、複数の撮影装置で撮影された複数画像の中から、背景部分の輝度差が最大となる２枚の画像を選び、その２枚の画像に対してこれまでに説明した方法で２値マスク画像や透明度画像を求める処理を行えばよい。
【００４８】
また、どの２台の撮影装置から撮影された２枚の画像を選択するかを、画像の画素毎に行うことにより、背景からの光の偏光方向が様々であっても、正確に処理することができる。
【００４９】
この場合、ある１つの画素に対して、被写体が無い状態で撮影した複数の画像から、どの２台の撮影装置から撮影した２枚の画像を選ぶかを判断し、その２枚の画像に対応する被写体を置いて撮影した２枚の画像を用いて、背景か被写体かの判断、もしくは透明度画像の計算を行う。この処理を全ての画素に対して行う。
【００５０】
より詳細には、図４に示す画像処理装置８に、被写体が無い状態でｎ台の撮影装置Ｃ１〜Ｃｎで撮影したｎ枚の画像ＰＥ１〜ＰＥｎと、被写体を置いてｎ台の撮影装置Ｃ１〜Ｃｎで撮影したｎ枚の画像Ｐ１〜Ｐｎを入力する。そして、これら画像の横の画素数をｗ、縦の画素数をｈとし、各画像の１点（ｘ、ｙ）（０≦ｘ＜ｗ、０≦ｙ＜ｈ）における画像ＰＥｋ（１≦ｋ≦ｎ）の画素値（輝度値）をＰＥｋ（ｘ, ｙ）、画像Ｐｋの画素値をＰｋ（ｘ, ｙ）とし、画素値ＰＥ１（ｘ，ｙ）〜ＰＥｎ（ｘ，ｙ）のうちの全ての組み合わせの中で、その画素値の差分が最大となる２枚の画像をＰＥａ、ＰＥｂとすると、これらに対応する画像Ｐ１〜Ｐｎの中の画像ＰａとＰｂの画素値Ｐａ（ｘ,ｙ）と画素値Ｐｂ（ｘ,ｙ）の差が閾値より少なければ、その部分を被写体の部分とする処理を行う。この処理をすべての画素に対して行い、２値マスク画像を作成し、２値マスク画像を用いて被写体部分と、別の背景との合成画像を求めて出力する。
【００５１】
透明度画像を計算する場合には、上記の処理において、画像ＰａとＰｂを選択した後に、透明度画像の画素値をＡＰ（ｘ，ｙ）として、ＡＰ（ｘ，ｙ）＝１−｜Ｐａ（ｘ，ｙ）−Ｐｂ（ｘ，ｙ）｜／｜ＰＥａ（ｘ，ｙ）−ＰＥｂ（ｘ，ｙ）｜により透明度画像の画素値を計算する。上記の処理を全ての画素に対して行い、透明度画像を求め、上述したブレンディングの式を用いて被写体と別の背景との合成を行い、合成画像を出力する。
【００５２】
なお、上記の実施の形態のように偏光フィルタを用いて背景の異なる複数枚の画像を得る方法の他に、偏光フィルタを用いないで、背景を替えて異なる複数の画像を撮影する方法も考えられる。しかし、この手法では、背景が異なる被写体が同じ位置で写った２枚の画像が必要であり、背景を変えて２枚撮影する必要がある。このため、人や動物など動く被写体は、背景を変えている間に被写体の位置や形が変わるため、正確な２値マスク画像や透明度画像を得ることができない。従って、この方法では被写体は静止物に限られる。
【００５３】
一方、本実施の形態で説明したような偏光フィルタを用いる方法では、背景の異なる複数枚の画像を１回の撮影で得ることが可能になるので、被写体は静止物に限られることはなく、動物体でもよい。
【００５４】
なお、本発明は、上記の実施例に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【００５５】
【発明の効果】
以上述べたように、本発明を用いることにより、被写体が動物体でかつ半透明または表面反射の強い物体でも、被写体の切出し画像に不自然に欠けが生じたりすることがなく、正確に、背景と被写体を切り分けることができ、他の画像等と合成した場合に、半透明性や反射性を再現し、自然な画像を得ることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態における撮影システムの構成図である。
【図２】図１の撮影システムを真上から見た図である。
【図３】 (a)は撮影装置Ａ４により撮影された画像例を示し、(b)は撮影装置Ｂ５により撮影された画像例を示し、(c)は被写体部分を示す２値マスク画像の例を示す。
【図４】本発明の実施の形態における画像処理装置の構成を示す図である。
【図５】本発明の実施の形態における画像処理装置における処理のフローチャートである。
【図６】 (a)は透明度画像の例を示し、(b)は背景画像の例を示し、(c)は合成画像の例を示す。
【符号の説明】
１背景表示装置
２偏光フィルタＡ
３被写体
４撮影装置Ａ
５撮影装置Ｂ
６ビームスプリッタ
７偏光フィルタＢ
８画像処理装置
１１画像入力部
１２画像処理部
１３画像出力部
２０画像表示装置[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing method and an image processing apparatus for cutting out only a subject portion from an image of a subject and synthesizing the subject on another two-dimensional image.
[0002]
[Prior art]
The process of synthesizing a photographed subject image on a completely different background image is often used when a three-dimensional image is obtained by photographing a subject from any direction, such as a movie or a television. In this process, a segment process for removing the background image from the photographed subject image is necessary.
[0003]
One common segmentation technique is the chroma key technique. This is a technique in which the background is taken with a certain single color and a portion having the same color as the background is cut out. However, with this chroma key method, there are problems that color unevenness occurs in the background depending on the shooting environment or the like, and when a color close to the background color is used for the subject, it cannot be cut out well.
[0004]
In addition, there is a technique in which a background is photographed in advance without placing a subject, and the image is extracted by comparing the image with the subject. This extraction method has the merit that it can be extracted even if the background is not a single color, but like the chroma key method, when the subject's shadow etc. is reflected in the background, or when the object has the same part as the background, I can't get it out.
[0005]
Moreover, in the technique of Unexamined-Japanese-Patent No. 2001-148021 (patent document 1), the problem of the said segmentation technique is solved by using the several image from which the background was changed. However, even with this method, if the subject's surface reflection is strong and the background is reflected, or if the subject is translucent and the background is seen through, the subject will be chipped. The problem of chipping arises.
[0006]
Japanese Patent Laid-Open No. 2001-143085 (Patent Document 2) proposes a method for obtaining the transparency of the subject surface using the background of the black and white strap, but this method has a uniform transparency of the subject surface. Limited to cases.
[0007]
In addition, there are techniques described in Patent Document 3 and Non-Patent Document 1 as techniques related to extracting a subject portion from an image.
[0008]
[Patent Document 1]
Japanese Patent Laid-Open No. 2001-148021
[Patent Document 2]
Japanese Patent Laid-Open No. 2001-143085
[Patent Document 3]
US Pat. No. 6,377,269 [0011]
[Non-Patent Document 1]
H. Matsuoka, T. Takeuchi, H. Kitazawa and A. Onozawa, “Representation of Pseudo Inter-reflection and Transparency by Considering Characteristics of Human Vision”, Proceedings of Eurographics 2002, pp503-510.
[0012]
[Problems to be solved by the invention]
As described above, with the conventional segmentation method, the subject is not transparent when the subject is translucent or has a strong surface reflection, and the background and the subject cannot be accurately separated. When the image is combined with another image, there is a problem that the image becomes an ugly image.
[0013]
The present invention makes it possible to accurately extract a subject portion even under the above-described conditions, and to reproduce a translucency and reflectivity when combined with another image or the like to obtain a natural image. It is an object of the present invention to provide an image processing method and apparatus that can be applied to a body.
[0014]
[Means for Solving the Problems]
The above-described problem is an image processing apparatus that synthesizes an image of a subject with another image, a means for inputting two images taken under different polarization conditions so that a difference occurs in the background image, and its It means for determining a transparency image of a subject using two images, using the transparency image, and means for combining the one image and the background image of the two images, the subject Means for obtaining the transparency images of the two images as images P1 and P2, the pixel value of one point (x, y) on the image P1 is P1 (x, y), and that point on the image P2 Is the pixel value of P2 (x, y), and the absolute value of the difference | P1 (x, y) −P2 (x, y) | The pixel value PT (x, y) of each pixel is expressed as PT (x, y) = 1− | (P1 (x, y -P2 (x, y)) | / PPMAX, and the means for combining is one of the two images at a ratio based on transparency which is a pixel value of each pixel on the transparency image. This is solved by an image processing apparatus characterized in that a synthesized image is obtained by synthesizing the image and the background image .
[0015]
According to the present invention, since two images with different backgrounds are input, a transparency image can be obtained as a mask image. By using the transparency image, translucency and reflectivity are reproduced, and a natural image is obtained. Can be obtained. In addition, since the background is made different by changing the polarization condition, for example, by using a beam splitter, images with different backgrounds can be taken at a time. Therefore, the present invention can also be applied when the subject is a moving object.
[0018]
The two images may be an image obtained by photographing a subject including a background portion that emits polarized light, and an image obtained by photographing the same background portion and the subject through a polarization filter that blocks the polarization.
[0019]
The two images may be two images having a maximum difference in luminance of the background portion among three or more images taken under different polarization conditions. This makes it possible to easily select two images that are optimal for generating a composite image.
[0020]
In addition, the above problem is an image processing apparatus that synthesizes an image of a subject with another image, and n images captured under different polarization conditions by n imaging devices C1 to Cn in the absence of the subject. PE1 to PEn, means for inputting n images P1 to Pn photographed under the same polarization condition as when no subject is present with n photographing devices C1 to Cn, and one point ( The pixel value of the image PEk (1 ≦ k ≦ n) in x, y) is PEk (x, y), the pixel value of the image Pk is Pk (x, y), and the pixel values PE1 (x, y) to PEn ( Among all the combinations of x, y), the two images having the maximum difference in pixel values are designated as PEa and PEb, and the pixel values of the images Pa and Pb in the images P1 to Pn corresponding to these images. Is Pa (x, y) and Pb (x, y), 1− | Pa (x y) -Pb (x, y) | / | PEa (x, y) -PEb (x, y) | of the pixel value AP (x of each pixel of the transparency image using the equation, the process of calculating y) , means for determining a transparency image by performing for every pixel, a ratio based on a transparency which is the pixel value of each pixel on the transparency image, and one image and the background image among the image P1~Pn It is also solved by an image processing apparatus characterized by having means for obtaining a synthesized image by synthesizing.
[0021]
That is, according to the present invention, even if the polarization is not uniform in the image, the transparency image is obtained by selecting two images with the polarization condition that maximizes the background difference for each pixel, so that accurate synthesis is possible. An image can be obtained.
[0022]
The two images described above are taken from a background display device that generates polarized light, a beam splitter that divides light from a subject placed in front of the background display device into two, and one output light of the beam splitter. An imaging system having a first imaging device that performs imaging, a second imaging device that images the other output light of the beam splitter, and a polarization filter provided between the beam splitter and the first imaging device. Can be acquired.
[0023]
The n images include a background display device that generates polarized light, a beam splitter that divides light from a subject placed in front of the background display device into three or more, and each output light from the beam splitter. Can be obtained using an imaging system having a plurality of imaging devices that capture the image and a polarizing filter provided between each imaging device and the beam splitter and having different polarization directions.
[0024]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
[0025]
FIG. 1 shows a configuration diagram of a photographing system for photographing a plurality of images to be subjected to image processing in the embodiment of the present invention. As shown in FIG. 1, this photographing system includes a background display device 1 that emits light, a polarizing filter A2 that polarizes light from the background display device 1, a subject 3 and a photographing device A4 that photographs the light emitting surface of the background display device 1. And an imaging device B5, a beam splitter 6, and a polarizing filter B7 inserted between the imaging device A4 and the beam splitter 6. In addition, the image processing apparatus 8 has an image processing apparatus 8 that processes images captured by the image capturing apparatus A4 and the image capturing apparatus B5 according to the processing procedure of the present invention. The background display device 1 and the polarizing filter A2 can be combined to form a background display device.
[0026]
The beam splitter 6 is a reflecting mirror or an optical element that reflects a part of a light beam and transmits the other part. The polarization directions of the polarizing filter A2 and the polarizing filter B7 are orthogonal to each other.
[0027]
FIG. 2 is a view of the photographing system of FIG. 1 as viewed from directly above, and an arrow indicates a traveling direction of light.
[0028]
The light output from the background display device 1 is polarized through the polarizing filter A2. The polarized light from the background display device 1 and the light from the subject 3 are divided into two by the beam splitter 6, and the same light is emitted in the direction of the photographing devices A4 and B5. Then, one of the bisected lights is directly incident on the photographing apparatus A4, and one of the bisected lights is incident on the photographing apparatus B5 via the polarizing filter B7.
[0029]
As described above, since light is directly incident on the photographing apparatus A4 from the beam splitter 6, the image photographed by the photographing apparatus A4 is an image with a bright background as shown in FIG. On the other hand, the light from the beam splitter 6 enters the imaging device B5 via the polarizing filter B7. That is, the light from the background display device 1 reaches the photographing device B5 via the polarizing filter A2 and the polarizing filter B7. Here, since the polarization directions of the polarizing filters A2 and B7 are orthogonal to each other, the light from the background display device 1 is blocked by the polarizing filter B7, and an image photographed by the photographing device B5 is shown in FIG. As a result, the background becomes dark.
[0030]
Note that a table that generates light similar to that of the background display device 1 is used, a polarizing filter having the same polarization direction as the polarizing filter A2 is provided on the surface thereof, and the subject 3 is placed on the table, and the photographing device A4 and the photographing device B5. You may make it image | photograph using.
[0031]
For example, an EL panel, a liquid crystal panel, a liquid crystal shutter, a projection screen, a plasma display, or a CRT can be used as the background display device 1 and the table.
[0032]
The difference between the pixel value (for example, the luminance value) of the bright background image and the pixel value of the dark background image obtained as described above is taken, and the portion where the difference is smaller than a predetermined threshold is the portion of the subject. For example, if binarization is performed with the subject portion set to 1 and the background portion set to 0, a binary mask image showing the subject portion as shown in FIG. 3C can be generated. Then, by using the binary mask image indicating the subject portion, the subject image and another background image can be synthesized.
[0033]
However, a binary mask image cannot express a transparent object such as glass or reflection. Therefore, it is also possible to generate a transparency image that is a multi-value mask image instead of a binarized mask image, and to synthesize the subject and another background image using the transparency image. Hereinafter, a case where a subject and another background image are combined using a transparency image will be described. Note that the image processing apparatus shown in FIG. 4 can be applied to a method using a binary mask image as described above, in addition to a method using a transparency image.
[0034]
FIG. 4 shows the configuration of the image processing apparatus 8 in the embodiment of the present invention. The image processing apparatus 8 includes an image input unit 11, an image processing unit 12, and an image output unit 13. Further, the image processing device 8 is connected to a photographing device A4, a photographing device B5, and an image display device 20 as necessary. In addition, it has a storage device (not shown), and stores a background image and the like used for the composition. Note that the background image used in the synthesis may be input from the image input unit 11 as necessary.
[0035]
The image processing apparatus 8 can be configured using, for example, a computer having an image input / output interface. In this case, the image processing unit 12 is a CPU included in the computer, a storage device, and a process for executing each step in the method of the present invention. It is realized by a program that performs The program can be stored in a recording medium such as a CD-ROM.
[0036]
The image processing device 8 inputs an image photographed by the photographing device A4 and an image photographed by the photographing device B5, performs image processing by the image processing unit 12, and combines the subject and the background image from the image output unit 13. Is output. Note that “image” in this specification includes the meaning of image data to be processed.
[0037]
FIG. 5 shows a flowchart of processing in the image processing apparatus.
[0038]
First, two images photographed by the photographing system shown in FIGS. 1 and 2 are input from the image input unit 11 (step S1). Next, a transparency image is generated using two images (step S2). Then, using the transparency image, a synthesized image is generated by synthesizing one of the images photographed by the photographing system and another background image (step S3). Finally, the generated composite image is output (step S4). Steps S2 and S3 correspond to the image processing described above. When a binary mask image is used, a process of obtaining a binary mask image of a subject and using the binary mask image to synthesize a captured image and a background corresponds to the image processing described above.
[0039]
The transparency image is generated by performing the following calculation.
[0040]
An image photographed by the photographing apparatus A4 is referred to as an image A, and an image photographed by the photographing apparatus B5 is referred to as an image B. An image at a corresponding point (x, y) (0 ≦ x <w, 0 ≦ y <h) of the images A and B, where w is the number of horizontal pixels of the images A and B, and h is the number of vertical pixels. The pixel value of A (luminance value in this embodiment) is P1 (x, y), and the pixel value of image B is P2 (x, y). Then, when the absolute value of the value of P1 (x, y) −P2 (x, y) is the maximum in all the corresponding pixels of the image A and the image B, the absolute value (referred to as PPMAX) is obtained.
[0041]
Then, when transparency is 0, opacity is 1, and transparency is represented by a real number from 0 to 1, the value of one point PT (x, y) on the transparency image is
1− | (P1 (x, y) −P2 (x, y)) / PPMAX |
It is calculated by the following formula. That is, it can be seen that the larger the difference between P1 (x, y) and P2 (x, y), the closer the value of PT (x, y) is to 0, and the subject corresponding to that part is nearly transparent. It can also be seen that the smaller the difference between P1 (x, y) and P2 (x, y), the closer the value of PT (x, y) is to 1, and the subject corresponding to that part is nearly opaque. Then, a transparency image can be obtained by performing the calculation using the above formula for all the pixels on the image. An example of the obtained transparency image is shown in FIG.
[0042]
The composite image in step S3 in the flowchart of FIG. 5 is a general formula for blending with a transparency ratio.
PS (x, y) = PT (x, y) × PC (x, y) + (1−PT (x, y)) × PZ (x, y)
Can be calculated by using the following equation. Here, PC (x, y) represents the color pixel value of the image P1 or P2, and PZ (x, y) represents the pixel value of the background image.
[0043]
An example in which the background image shown in FIG. 6 (b) and the image shown in FIG. 3 (a), which is a photographed image of the photographing apparatus A4, are synthesized by using the above-described formula, using the transparency image FIG. 6 (a). Is shown in FIG. It can be seen that the transparency of the glass cup in the figure is expressed.
[0044]
In the above-described embodiment, images with different background brightness are obtained depending on the presence or absence of a polarizing filter arranged in front of the photographing apparatus. However, since the polarization filter attenuates random polarization by 50%, the brightness of the subject in the two captured images taken by the photographing apparatuses A4 and B5 is different, and an accurate composite image cannot be obtained. Can occur.
[0045]
Therefore, by adding a polarizing filter C between the beam splitter 6 and the photographing apparatus A4 and making the polarization direction of the polarizing filter C orthogonal to the polarizing filter B7, it is possible to suppress the change in the luminance of the subject between the two images. it can.
[0046]
Moreover, in the said method, it is necessary to make the polarization direction of polarizing filter A2 and polarizing filter B7 orthogonal. However, if the polarization direction is not uniformly determined by using a turntable or the like for the table as the background, the background may not be removed well.
[0047]
Therefore, in such a case, a beam splitter capable of splitting light from the background and the subject into three or more is used, and each light is photographed by the same number of photographing devices as the number of the spectra. At this time, polarizing filters having different polarization directions are arranged between the imaging devices and the beam splitter. Then, two images having the maximum luminance difference in the background portion are selected from a plurality of images photographed by a plurality of photographing devices, and a binary mask is applied to the two images by the method described above. What is necessary is just to perform the process which calculates | requires an image and a transparency image.
[0048]
In addition, it is possible to accurately process even when the polarization direction of light from the background is various by selecting for each pixel of the image which two images taken from which two photographing devices are to be selected. Can do.
[0049]
In this case, for a certain pixel, it is determined which two images taken from which two photographing devices are to be selected from a plurality of images taken without a subject, and the two images are supported. Using two images taken with the subject to be photographed, it is determined whether the subject is the background or the subject, or a transparency image is calculated. This process is performed for all pixels.
[0050]
More specifically, the image processing apparatus 8 shown in FIG. 4 includes n images PE1 to PEn photographed by n photographing devices C1 to Cn in a state where there is no subject, and n photographing devices C1 placed with the subject. Input n images P1 to Pn photographed at ~ Cn. The number of horizontal pixels of these images is w, the number of vertical pixels is h, and the image PEk (1 ≦ k) at one point (x, y) (0 ≦ x <w, 0 ≦ y <h) of each image. ≦ n) is assumed to be PEk (x, y), the pixel value of the image Pk is Pk (x, y), and pixel values PE1 (x, y) to PEn (x, y) If two images having the largest difference in pixel value among all the combinations are defined as PEa and PEb, the pixel values Pa (x, y) of the images Pa and Pb in the images P1 to Pn corresponding to these images. ) And the pixel value Pb (x, y) are less than the threshold value, the process is performed for that portion as the subject portion. This process is performed for all the pixels, a binary mask image is created, and a composite image of the subject portion and another background is obtained and output using the binary mask image.
[0051]
When calculating the transparency image, in the above processing, after selecting the images Pa and Pb, the pixel value of the transparency image is AP (x, y), and AP (x, y) = 1− | Pa (x , Y) −Pb (x, y) | / | PEa (x, y) −PEb (x, y) | The above processing is performed on all the pixels, a transparency image is obtained, the subject is combined with another background using the blending formula described above, and a composite image is output.
[0052]
In addition to the method of obtaining a plurality of images with different backgrounds using a polarizing filter as in the above embodiment, a method of taking a plurality of images with different backgrounds without using a polarizing filter is also considered. It is done. However, this method requires two images in which subjects with different backgrounds are captured at the same position, and it is necessary to shoot two images with different backgrounds. For this reason, moving subjects such as people and animals change the position and shape of the subject while changing the background, and thus an accurate binary mask image and transparency image cannot be obtained. Therefore, in this method, the subject is limited to a stationary object.
[0053]
On the other hand, in the method using the polarization filter as described in the present embodiment, it is possible to obtain a plurality of images with different backgrounds by one shooting, so the subject is not limited to a stationary object, It may be an animal body.
[0054]
The present invention is not limited to the above-described embodiments, and various modifications and applications are possible within the scope of the claims.
[0055]
【The invention's effect】
As described above, by using the present invention, even if the subject is a moving object and is semitransparent or has a strong surface reflection, the clipped image of the subject is not unnaturally chipped, and the background accurately And the subject can be separated, and when combined with other images, translucency and reflectivity can be reproduced and a natural image can be obtained.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a photographing system according to an embodiment of the present invention.
FIG. 2 is a view of the photographing system of FIG. 1 as viewed from directly above.
3A shows an example of an image taken by an imaging device A4, FIG. 3B shows an example of an image taken by an imaging device B5, and FIG. 3C shows an example of a binary mask image showing a subject portion. Indicates.
FIG. 4 is a diagram illustrating a configuration of an image processing apparatus according to an embodiment of the present invention.
FIG. 5 is a flowchart of processing in the image processing apparatus according to the embodiment of the present invention.
6A shows an example of a transparency image, FIG. 6B shows an example of a background image, and FIG. 6C shows an example of a composite image.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Background display apparatus 2 Polarizing filter A
3 Subject 4 Imaging device A
5 Shooting device B
6 Beam splitter 7 Polarizing filter B
8 Image Processing Device 11 Image Input Unit 12 Image Processing Unit 13 Image Output Unit 20 Image Display Device

Claims

被写体の画像を別の画像に合成する画像処理装置であって、
背景部分の画像に差が出るように異なる偏光条件で撮影された２枚の画像を入力する手段と、
その２枚の画像を用いて被写体の透明度画像を求める手段と、
その透明度画像を用いて、前記２枚の画像のうちの１枚の画像と背景画像とを合成する手段とを有し、
前記被写体の透明度画像を求める手段は、前記２枚の画像を画像Ｐ１及び画像Ｐ２とし、画像Ｐ１上のある１点（ｘ，ｙ）の画素値をＰ１（ｘ，ｙ）、画像Ｐ２上のその点の画素値をＰ２（ｘ，ｙ）とし、その差の絶対値｜Ｐ１（ｘ，ｙ）−Ｐ２（ｘ，ｙ）｜の全画素における最大値をＰＰＭＡＸとしたときに、前記透明度画像上の各画素の画素値ＰＴ（ｘ，ｙ）を、
ＰＴ（ｘ，ｙ）＝１−｜（Ｐ１（ｘ，ｙ）−Ｐ２（ｘ，ｙ））｜／ＰＰＭＡＸ
の式により求め、
前記合成する手段は、前記透明度画像上の各画素の画素値である透明度に基づく比率で、前記２枚の画像のうちの１枚の画像と前記背景画像とを合成して合成画像を求める
ことを特徴とする画像処理装置。An image processing apparatus that combines an image of a subject with another image,
Means for inputting two images taken under different polarization conditions so that a difference occurs in the background image;
Means for obtaining a transparency image of a subject using the two images;
Means for synthesizing one of the two images and a background image using the transparency image ;
The means for obtaining the transparency image of the subject is the image P1 and the image P2 of the two images, the pixel value of one point (x, y) on the image P1 is P1 (x, y), and the image P2 When the pixel value at that point is P2 (x, y) and the maximum value of all the pixels of the absolute value | P1 (x, y) −P2 (x, y) | The pixel value PT (x, y) of each pixel above is
PT (x, y) = 1- | (P1 (x, y) -P2 (x, y)) | / PPMAX
Calculated by
The synthesizing unit obtains a synthesized image by synthesizing one of the two images and the background image at a ratio based on transparency that is a pixel value of each pixel on the transparency image. An image processing apparatus.

前記合成する手段は、画像Ｐ１又は画像Ｐ２のあるThe means for combining is the image P1 or the image P2. 11 点（ｘ，ｙ）の色彩画素値をＰＣ（ｘ，ｙ）、前記背景画像のその点の画素値をＰＺ（ｘ，ｙ）としたときに、前記合成画像を、When the color pixel value of the point (x, y) is PC (x, y) and the pixel value of the point of the background image is PZ (x, y), the composite image is
ＰＴ（ｘ，ｙ）×ＰＣ（ｘ，ｙ）＋（１−ＰＴ（ｘ，ｙ））×ＰＺ（ｘ，ｙ） PT (x, y) x PC (x, y) + (1-PT (x, y)) x PZ (x, y)
の式を用いることにより求める請求項１に記載の画像処理装置。The image processing apparatus according to claim 1, wherein the image processing apparatus is obtained by using the formula:

前記２枚の画像は、偏光を発する背景部分を含む被写体を撮影した画像と、同じ背景部分と被写体を、その偏光を遮断する偏光フィルタを介して撮影した画像である請求項１又は２に記載の画像処理装置。The two images, an image obtained by photographing a subject comprising a background portion that emits polarized light, the same background portion and the object, according to claim 1 or 2 is a photographed image through a polarizing filter for blocking its polarization Image processing apparatus.

前記２枚の画像は、異なる偏光条件で撮影された３枚以上の画像のうちの、背景部分の輝度の差が最大の２枚の画像である請求項１又は２に記載の画像処理装置。The two images are different among the three or more images taken with the polarization condition, the image processing apparatus according to claim 1 or 2 difference in luminance of the background portion is a maximum of two images.

被写体の画像を別の画像に合成する画像処理装置であって、
被写体が無い状態でｎ台の撮影装置Ｃ１〜Ｃｎにより異なる偏光条件で撮影を行ったｎ枚の画像ＰＥ１〜ＰＥｎと、被写体を置いてｎ台の撮影装置Ｃ１〜Ｃｎで被写体が無い状態と同じ偏光条件で撮影を行ったｎ枚の画像Ｐ１〜Ｐｎを入力する手段と、
各画像の１点（ｘ、ｙ）における画像ＰＥｋ（１≦ｋ≦ｎ）の画素値をＰＥｋ（ｘ，ｙ）、画像Ｐｋの画素値をＰｋ（ｘ，ｙ）とし、画素値ＰＥ１（ｘ，ｙ）〜ＰＥｎ（ｘ，ｙ）のうちの全ての組み合わせの中で、画素値の差分が最大となる２枚の画像をＰＥａ、ＰＥｂとし、これらに対応する画像Ｐ１〜Ｐｎの中の画像ＰａとＰｂの画素値をＰａ（ｘ，ｙ）とＰｂ（ｘ，ｙ）としたときに、
１−｜Ｐａ（ｘ，ｙ）−Ｐｂ（ｘ，ｙ）｜／｜ＰＥａ（ｘ，ｙ）−ＰＥｂ（ｘ，ｙ）｜
の式を用いて透明度画像の各画素の画素値ＡＰ（ｘ，ｙ）を計算する処理を、全ての画素に対して行うことにより透明度画像を求める手段と、
前記透明度画像上の各画素の画素値である透明度に基づく比率で、画像Ｐ１〜Ｐｎのうちの１枚の画像と背景画像とを合成して合成画像を求める手段と
を有することを特徴とする画像処理装置。An image processing apparatus that combines an image of a subject with another image,
The n images PE1 to PEn photographed under different polarization conditions by the n photographing devices C1 to Cn in the absence of the subject, and the same as the state where the subject is placed and the n photographing devices C1 to Cn have no subject. Means for inputting n images P1 to Pn photographed under polarization conditions;
The pixel value of the image PEk (1 ≦ k ≦ n) at one point (x, y) of each image is PEk (x, y), the pixel value of the image Pk is Pk (x, y), and the pixel value PE1 (x , Y) to PEn (x, y), the two images having the largest difference in pixel values are designated as PEa and PEb, and the images in the images P1 to Pn corresponding to these images. When the pixel values of Pa and Pb are Pa (x, y) and Pb (x, y),
1− | Pa (x, y) −Pb (x, y) | / | PEa (x, y) −PEb (x, y) |
Means for obtaining a transparency image by performing the process of calculating the pixel value AP (x, y) of each pixel of the transparency image using the equation
A ratio based on a transparency which is the pixel value of each pixel on the transparency image, and having a means for obtaining a synthesized and the synthesized image and one image and the background image among the image P1~Pn Image processing device.

前記合成画像を求める手段は、画像Ｐ１〜Ｐｎのうちの１枚の画像のある The means for obtaining the composite image includes one of the images P1 to Pn. 11 点（ｘ，ｙ）の色彩画素値をＰＣ（ｘ，ｙ）、前記背景画像のその点の画素値をＰＺ（ｘ，ｙ）としLet the color pixel value of the point (x, y) be PC (x, y) and the pixel value of that point of the background image be PZ (x, y). たときに、前記合成画像を、When the composite image is
ＡＰ（ｘ，ｙ）×ＰＣ（ｘ，ｙ）＋（１−ＡＰ（ｘ，ｙ））×ＰＺ（ｘ，ｙ） AP (x, y) x PC (x, y) + (1-AP (x, y)) x PZ (x, y)
の式を用いることにより求める請求項５に記載の画像処理装置。The image processing apparatus according to claim 5, wherein the image processing apparatus is obtained by using the formula:

偏光を発生させる背景表示装置と、背景表示装置の前に置かれた被写体からの光を二つに分けるビームスプリッタと、ビームスプリッタの一方の出力光を撮影して画像Ｐ１を取得する第１の撮影装置と、ビームスプリッタの他方の出力光を撮影して画像Ｐ２を取得する第２の撮影装置と、ビームスプリッタと第１の撮影装置との間に備えられた偏光フィルタと、画像処理装置とを有する撮影システムであって、前記画像処理装置は、
背景部分の画像に差が出るように異なる偏光条件で撮影された画像Ｐ１と画像Ｐ２を入力する手段と、
画像Ｐ１と画像Ｐ２とを用いて被写体の透明度画像を求める手段と、
その透明度画像を用いて、画像Ｐ１又は画像Ｐ２と背景画像とを合成する手段とを有し、
前記被写体の透明度画像を求める手段は、画像Ｐ１上のある１点（ｘ，ｙ）の画素値をＰ１（ｘ，ｙ）、画像Ｐ２上のその点の画素値をＰ２（ｘ，ｙ）とし、その差の絶対値｜Ｐ１（ｘ，ｙ）−Ｐ２（ｘ，ｙ）｜の全画素における最大値をＰＰＭＡＸとしたときに、前記透明度画像上の各画素の画素値ＰＴ（ｘ，ｙ）を、
ＰＴ（ｘ，ｙ）＝１−｜（Ｐ１（ｘ，ｙ）−Ｐ２（ｘ，ｙ））｜／ＰＰＭＡＸ
の式により求め、
前記合成する手段は、前記透明度画像上の各画素の画素値である透明度に基づく比率で、前記２枚の画像のうちの１枚の画像と前記背景画像とを合成して合成画像を求める
ことを特徴とする撮影システム。A background display device that generates polarized light, a beam splitter that divides light from a subject placed in front of the background display device into two, and a first output that captures one output light of the beam splitter and acquires an image P1 An imaging apparatus; a second imaging apparatus that captures the other output light of the beam splitter to acquire an image P2; a polarizing filter provided between the beam splitter and the first imaging apparatus; and an image processing apparatus; The image processing apparatus includes:
Means for inputting an image P1 and an image P2 photographed under different polarization conditions so as to make a difference in the background image;
Means for obtaining a transparency image of the subject using the image P1 and the image P2,
Means for combining the image P1 or the image P2 and the background image using the transparency image;
The means for obtaining the transparency image of the subject is such that the pixel value of one point (x, y) on the image P1 is P1 (x, y) and the pixel value of that point on the image P2 is P2 (x, y). , The absolute value | P1 (x, y) −P2 (x, y) | of the difference is set to PPMAX, the pixel value PT (x, y) of each pixel on the transparency image. The
PT (x, y) = 1- | (P1 (x, y) -P2 (x, y)) | / PPMAX
Calculated by
The synthesizing unit obtains a synthesized image by synthesizing one image of the two images and the background image at a ratio based on transparency that is a pixel value of each pixel on the transparency image.
An imaging system characterized by that .

前記合成する手段は、画像Ｐ１又は画像Ｐ２のあるThe means for combining is the image P1 or the image P2. 11 点（ｘ，ｙ）の色彩画素値をＰＣ（ｘ，ｙ）、前記背景画像のその点の画素値をＰＺ（ｘ，ｙ）としたときに、前記合成画像を、When the color pixel value of the point (x, y) is PC (x, y) and the pixel value of the point of the background image is PZ (x, y), the composite image is
ＰＴ（ｘ，ｙ）×ＰＣ（ｘ，ｙ）＋（１−ＰＴ（ｘ，ｙ））×ＰＺ（ｘ，ｙ） PT (x, y) x PC (x, y) + (1-PT (x, y)) x PZ (x, y)
の式を用いることにより算出する請求項７に記載の撮影システム。The imaging system according to claim 7, wherein the imaging system is calculated by using the formula:

前記ビームスプリッタと前記第２の撮影装置との間に前記偏光フィルタと異なる偏光方向を有する偏光フィルタを備えた請求項７又は８に記載の撮影システム。Imaging system according to claim 7 or 8 with a polarizing filter having a polarization direction different from the polarization filter between the beam splitter and the second imaging device.

被写体を置くためのテーブルを更に備え、
そのテーブルは前記背景表示装置と同様の偏光を発生する請求項７ないし９のうちいずれか１項に記載の撮影システム。A table for placing a subject;
The imaging system according to claim 7, wherein the table generates polarized light similar to that of the background display device.

前記背景表示装置及び前記テーブルを、ＥＬパネル、液晶パネル、液晶シャッター、投影型スクリーン、プラズマディスプレイ、又はＣＲＴと、その表面に偏光フィルタを備えて構成した請求項１０に記載の撮影システム。 The imaging system according to claim 10, wherein the background display device and the table include an EL panel, a liquid crystal panel, a liquid crystal shutter, a projection screen, a plasma display, or a CRT, and a polarizing filter on a surface thereof.

偏光を発生させる背景表示装置と、背景表示装置の前に置かれた被写体からの光を３つ以上に分割するビームスプリッタと、ビームスプリッタからの各出力光を撮影する複数の撮影装置Ｃ１〜Ｃｎと、各撮影装置とビームスプリッタ間に設けられたそれぞれ偏光方向が異なる偏光フィルタと、画像処理装置とを有する撮影システムであって、前記画像処理装置は、
被写体が無い状態でｎ台の前記撮影装置Ｃ１〜Ｃｎにより異なる偏光条件で撮影を行ったｎ枚の画像ＰＥ１〜ＰＥｎと、被写体を置いてｎ台の撮影装置Ｃ１〜Ｃｎで被写体が無い状態と同じ偏光条件で撮影を行ったｎ枚の画像Ｐ１〜Ｐｎを入力する手段と、
各画像の１点（ｘ、ｙ）における画像ＰＥｋ（１≦ｋ≦ｎ）の画素値をＰＥｋ（ｘ，ｙ）、画像Ｐｋの画素値をＰｋ（ｘ，ｙ）とし、画素値ＰＥ１（ｘ，ｙ）〜ＰＥｎ（ｘ，ｙ）のうちの全ての組み合わせの中で、画素値の差分が最大となる２枚の画像をＰＥａ、ＰＥｂとし、これらに対応する画像Ｐ１〜Ｐｎの中の画像ＰａとＰｂの画素値をＰａ（ｘ，ｙ）とＰｂ（ｘ，ｙ）としたときに、
１−｜Ｐａ（ｘ，ｙ）−Ｐｂ（ｘ，ｙ）｜／｜ＰＥａ（ｘ，ｙ）−ＰＥｂ（ｘ，ｙ）｜
の式を用いて透明度画像の各画素の画素値ＡＰ（ｘ，ｙ）を計算する処理を、全ての画素に対して行うことにより透明度画像を求める手段と、
前記透明度画像上の各画素の画素値である透明度に基づく比率で、画像Ｐ１〜Ｐｎのうちの１枚の画像と背景画像とを合成して合成画像を求める手段とを有する
ことを特徴とする撮影システム。A background display device that generates polarized light, a beam splitter that divides light from a subject placed in front of the background display device into three or more, and a plurality of imaging devices C1 to Cn that shoot each output light from the beam splitter And an imaging system having a polarizing filter provided between each imaging device and the beam splitter, each having a different polarization direction, and an image processing device , wherein the image processing device comprises:
The n images PE1 to PEn photographed under different polarization conditions by the n imaging devices C1 to Cn in the absence of the subject, and the n imaging devices C1 to Cn in the absence of the subject. Means for inputting n images P1 to Pn photographed under the same polarization condition;
The pixel value of the image PEk (1 ≦ k ≦ n) at one point (x, y) of each image is represented by PEk (x, y), the pixel value of the image Pk is set to Pk (x, y), and among the combinations of all the pixel values PE1 (x, y) to PEn (x, y), the two images having the maximum difference in pixel values are designated as PEa and PEb, and these are supported. When the pixel values of the images Pa and Pb in the images P1 to Pn are Pa (x, y) and Pb (x, y),
1− | Pa (x, y) −Pb (x, y) | / | PEa (x, y) −PEb (x, y) |
Means for obtaining a transparency image by performing the process of calculating the pixel value AP (x, y) of each pixel of the transparency image using the equation
Means for obtaining a synthesized image by synthesizing one of the images P1 to Pn with a background image at a ratio based on transparency which is a pixel value of each pixel on the transparency image.
An imaging system characterized by that .

前記合成画像を求める手段は、画像Ｐ１〜Ｐｎのうちの１枚の画像のある The means for obtaining the composite image includes one of the images P1 to Pn. 11 点（ｘ，ｙ）の色彩画素値をＰＣ（ｘ，ｙ）、前記背景画像のその点の画素値をＰＺ（ｘ，ｙ）としたときに、前記合成画像を、When the color pixel value of the point (x, y) is PC (x, y) and the pixel value of the point of the background image is PZ (x, y), the composite image is
ＡＰ（ｘ，ｙ）×ＰＣ（ｘ，ｙ）＋（１−ＡＰ（ｘ，ｙ））×ＰＺ（ｘ，ｙ） AP (x, y) x PC (x, y) + (1-AP (x, y)) x PZ (x, y)
の式を用いることにより算出する請求項１２に記載の撮影システム。The imaging system according to claim 12, wherein the imaging system is calculated by using the formula:

被写体の画像を別の画像に合成する画像処理装置における画像処理方法であって、
背景部分の画像に差が出るように異なる偏光条件で撮影された２枚の画像を入力するステップと、
その２枚の画像を用いて被写体の透明度画像を求めるステップと、
その透明度画像を用いて、前記２枚の画像のうちの１枚の画像と背景画像とを合成するステップとを有し、
前記被写体の透明度画像を求めるステップにおいて、前記画像処理装置は、前記２枚の画像を画像Ｐ１及び画像Ｐ２とし、画像Ｐ１上のある１点（ｘ，ｙ）の画素値をＰ１（ｘ，ｙ）、画像Ｐ２上のその点の画素値をＰ２（ｘ，ｙ）とし、その差の絶対値｜Ｐ１（ｘ，ｙ）−Ｐ２（ｘ，ｙ）｜の全画素における最大値をＰＰＭＡＸとしたときに、前記透明度画像上の各画素の画素値ＰＴ（ｘ，ｙ）を、
ＰＴ（ｘ，ｙ）＝１−｜（Ｐ１（ｘ，ｙ）−Ｐ２（ｘ，ｙ））｜／ＰＰＭＡＸ
の式により求め、
前記合成するステップにおいて、前記画像処理装置は、前記透明度画像上の各画素の画素値である透明度に基づく比率で、前記２枚の画像のうちの１枚の画像と前記背景画像とを合成して合成画像を求める
ことを特徴とする画像処理方法。An image processing method in an image processing apparatus for combining an image of a subject with another image,
Inputting two images photographed under different polarization conditions so that a difference occurs in the background image;
Obtaining a transparency image of the subject using the two images;
Using the transparency image, it possesses a step of synthesizing the one image and the background image of the two images,
In the step of obtaining the transparency image of the subject, the image processing apparatus uses the two images as an image P1 and an image P2, and sets a pixel value of one point (x, y) on the image P1 to P1 (x, y ), The pixel value of the point on the image P2 is P2 (x, y), and the maximum value of all the pixels of the difference | P1 (x, y) −P2 (x, y) | Sometimes, the pixel value PT (x, y) of each pixel on the transparency image is
PT (x, y) = 1- | (P1 (x, y) -P2 (x, y)) | / PPMAX
Calculated by
In the combining step, the image processing device combines one image of the two images and the background image at a ratio based on transparency that is a pixel value of each pixel on the transparency image. An image processing method characterized in that a composite image is obtained.

前記合成するステップにおいて、前記画像処理装置は、画像Ｐ１又は画像Ｐ２のあるIn the synthesizing step, the image processing apparatus has an image P1 or an image P2. 11 点（ｘ，ｙ）の色彩画素値をＰＣ（ｘ，ｙ）、前記背景画像のその点の画素値をＰＺ（ｘ，ｙ）としたときに、前記合成画像を、When the color pixel value of the point (x, y) is PC (x, y) and the pixel value of the point of the background image is PZ (x, y), the composite image is
ＰＴ（ｘ，ｙ）×ＰＣ（ｘ，ｙ）＋（１−ＰＴ（ｘ，ｙ））×ＰＺ（ｘ，ｙ） PT (x, y) x PC (x, y) + (1-PT (x, y)) x PZ (x, y)
の式を用いることにより算出する請求項１４に記載の画像処理方法。The image processing method according to claim 14, which is calculated by using the formula:

前記２枚の画像は、偏光を発する背景部分を含む被写体を撮影した画像と、同じ背景部分と被写体を、その偏光を遮断する偏光フィルタを介して撮影した画像である請求項１４又は１５のうちいずれか１項に記載の画像処理方法。The two images, an image obtained by photographing a subject comprising a background portion that emits polarized light, the same background portion and the object, of the claims 14 or 15, which is a captured image through the polarizing filter for blocking its polarization The image processing method according to claim 1.

前記２枚の画像は、異なる偏光条件で撮影された３枚以上の画像うちの、背景部分の輝度の差が最大の２枚の画像である請求項１４又は１５のうちいずれか１項に記載の画像処理方法。16. The two images according to any one of claims 14 and 15, wherein the two images are two images having a maximum difference in luminance of a background portion among three or more images photographed under different polarization conditions. Image processing method.

被写体の画像を別の画像に合成する画像処理装置における画像処理方法であって、
被写体が無い状態でｎ台の撮影装置Ｃ１〜Ｃｎにより異なる偏光条件で撮影を行ったｎ枚の画像ＰＥ１〜ＰＥｎと、被写体を置いてｎ台の撮影装置Ｃ１〜Ｃｎで被写体が無い状態と同じ偏光条件で撮影を行ったｎ枚の画像Ｐ１〜Ｐｎを入力するステップと、
各画像の１点（ｘ、ｙ）における画像ＰＥｋ（１≦ｋ≦ｎ）の画素値をＰＥｋ（ｘ，ｙ）、画像Ｐｋの画素値をＰｋ（ｘ，ｙ）とし、画素値ＰＥ１（ｘ，ｙ）〜ＰＥｎ（ｘ，ｙ）のうちの全ての組み合わせの中で、画素値の差分が最大となる２枚の画像をＰＥａ、ＰＥｂとし、これらに対応する画像Ｐ１〜Ｐｎの中の画像ＰａとＰｂの画素値をＰａ（ｘ，ｙ）とＰｂ（ｘ，ｙ）としたときに、
１−｜Ｐａ（ｘ，ｙ）−Ｐｂ（ｘ，ｙ）｜／｜ＰＥａ（ｘ，ｙ）−ＰＥｂ（ｘ，ｙ）｜
の式を用いて透明度画像の各画素の画素値ＡＰ（ｘ，ｙ）を計算する処理を、全ての画素に対して行うことにより透明度画像を求めるステップと、
前記透明度画像上の各画素の画素値である透明度に基づく比率で、画像Ｐ１〜Ｐｎのうちの１枚の画像と背景画像とを合成して合成画像を求めるステップと
を有することを特徴とする画像処理方法。An image processing method in an image processing apparatus for combining an image of a subject with another image,
The n images PE1 to PEn photographed under different polarization conditions by the n photographing devices C1 to Cn in the absence of the subject, and the same as the state where the subject is placed and the n photographing devices C1 to Cn have no subject. Inputting n images P1 to Pn photographed under polarization conditions;
The pixel value of the image PEk (1 ≦ k ≦ n) at one point (x, y) of each image is PEk (x, y), the pixel value of the image Pk is Pk (x, y), and the pixel value PE1 (x , Y) to PEn (x, y), the two images having the largest difference in pixel values are designated as PEa and PEb, and the images in the images P1 to Pn corresponding to these images. When the pixel values of Pa and Pb are Pa (x, y) and Pb (x, y),
1− | Pa (x, y) −Pb (x, y) | / | PEa (x, y) −PEb (x, y) |
A process of calculating a pixel value AP (x, y) of each pixel of the transparency image using the equation of
A ratio based on a transparency which is the pixel value of each pixel on the transparency image, characterized by a step of obtaining a synthesized and the synthesized image and one image and the background image among the image P1~Pn Image processing method.

前記合成画像を求めるステップにおいて、前記画像処理装置は、画像Ｐ１〜Ｐｎのうちの１枚の画像のある In the step of obtaining the composite image, the image processing apparatus has one image among the images P1 to Pn. 11 点（ｘ，ｙ）の色彩画素値をＰＣ（ｘ，ｙ）、前記背景画像のその点の画素値をＰＺ（ｘ，ｙ）としたときに、前記合成画像を、When the color pixel value of the point (x, y) is PC (x, y) and the pixel value of the point of the background image is PZ (x, y), the composite image is
ＡＰ（ｘ，ｙ）×ＰＣ（ｘ，ｙ）＋（１−ＡＰ（ｘ，ｙ））×ＰＺ（ｘ，ｙ） AP (x, y) x PC (x, y) + (1-AP (x, y)) x PZ (x, y)
の式を用いることにより算出する請求項１８に記載の画像処理方法。The image processing method according to claim 18, which is calculated by using the formula:

請求項１４ないし１９のうちのいずれか１項に記載の画像処理方法における各ステップをコンピュータに実行させるプログラム。A program for causing a computer to execute each step in the image processing method according to any one of claims 14 to 19.