JP4121639B2 - 物体画像切り出し方法、装置、システム及びそのプログラムを記録した媒体 - Google Patents
物体画像切り出し方法、装置、システム及びそのプログラムを記録した媒体 Download PDFInfo
- Publication number
- JP4121639B2 JP4121639B2 JP32209898A JP32209898A JP4121639B2 JP 4121639 B2 JP4121639 B2 JP 4121639B2 JP 32209898 A JP32209898 A JP 32209898A JP 32209898 A JP32209898 A JP 32209898A JP 4121639 B2 JP4121639 B2 JP 4121639B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- background
- background color
- color
- lenticular
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
- G09G5/026—Control of mixing and/or overlay of colours in general
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
- G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/14—Solving problems related to the presentation of information to be displayed
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Processing Of Color Television Signals (AREA)
- Editing Of Facsimile Originals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、特定の背景を用いて物体を撮影し、撮影した画像の中から物体を切り出す物体画像切り出しに関する。
【０００２】
【従来の技術】
従来より、画像処理の一手法として、クロマキー技術が知られている。このクロマキー技術とは、放送局などでよく用いられている技術で、複数の映像を合成して新しい映像を作り出すための手法である。
【０００３】
例えば、ブルーバックの前で、アナウンサーなどの映像を撮り、これを映像１とする。一方、別に用意した天気図の画面などを映像２とする。そして、映像１の青色成分を透明と見なし、映像２と重ね合わせることで、あたかも天気図の画面の前にアナウンサーが立っているかのような映像を生成する。また、ゲストの写真をとり、これを各種の背景画と合成した写真を提供するサービスなども提供されており、これにもクロマキー技術が利用されている。
【０００４】
一方、各種製品の電子カタログや、インターネット上でのグラフィックデータ等として、三次元のＣＧ（コンピュータ・グラフィックス）が利用される機会が増加している。そして、このＣＧの元画像を作製する場合に、複数の物体画像（シルエット）情報から物体の三次元形状推定を行い、立体再構成（shape from silhouette）を行う手法がある。この手法により、元画像を作成する手間を大幅に減少し、かつ正確な形状の元画像を得ることができる。
【０００５】
この手法では、物体を含む画像の中から物体のシルエット情報を得る必要がある。クロマキー技術は物体のシルエット情報を得る一つの有効手段である。すなわち、例えば、物体をブルーバックの前で撮影し、青部分以外の部分を物体のシルエットと見なせば、物体に青色が含まれていない限り、正しいシルエット情報が得られる。
【０００６】
このように、クロマキー技術により、物体と異なる色の背景板を用いることで、物体のシルエットを切り出すことができる。
【０００７】
【発明が解決しようとする課題】
しかしながら、このクロマキー技術を用いる方法では、カラフルな物体の場合、１）背景板の色の選定が非常に難しい、２）物体の色および切り出しの閾値設定の関係によっては、現実的には物体の切り出しは不可能となる、などという問題があった。特に、２）に関していえば、例えば青色を透明処理する場合、ある程度許容値（例えばＨＳＶ空間でＨ＝２２０−２６０の間を透明化するなど）を設定しなければならず、カラフルな物体ではこの範囲に入る色が存在する場合が多く、その部分が背景部分と判定されてしまうため、正確な物体の切り出しが困難になってしまう。
【０００８】
本発明は、上記課題に鑑みなされたものであり、カラフルな物体でもその切り出しを確実に行うことができる物体画像切り出しに関する。
【０００９】
【課題を解決するための手段】
本発明は、特定の背景を用いて物体を撮影し、撮影した画像の中から物体を切り出す物体画像切り出し方法であって、第１背景色の背景の前に置いて物体を撮影し、得られた画像の中から第１背景色以外の部分を物体領域として切り出す第１切り出しステップと、前記第１背景色とは異なる第２背景色の背景の前に置いて物体を撮影し、得られた画像の中から第２背景色以外の部分を物体領域として切り出す第２切り出しステップと、第１及び第２切り出しステップにおいて得られた物体領域の論理和をとり物体画像を得る論理和ステップと、を有することを特徴とする。
【００１０】
このように、２つの背景色における物体の画像から切り出した物体領域の論理和をとることで、物体がカラフルなものでも正常な物体画像切り出しを行うことができる。
【００１１】
また、前記背景色に用いる第１背景色と、第２背景色とは、色空間において距離の遠い色相を有する色であることが好適である。より具体的には、例えば色相空間において６０度以上離れている色とすることが好適である。このように、２つの背景色を十分に遠い距離関係にある色相にすることにより、１つの背景色において、背景色領域と誤認識された物体領域は、他の背景色で必ず物体領域と認識される。このため、論理和をとったあとの最終的に切り出された物体画像は、正しいものになる。
【００１２】
また、前記第１および第２切り出しステップにおける物体の撮影を物体に対する方向を異ならせてそれぞれ複数回行い、前記論理和ステップでは、第１切り出しステップと第２切り出しステップにおいて得られた対応する物体領域同士の論理和をとり、複数の物体画像を得、得られた複数の物体画像に基づいて、物体の三次元画像を得ることが好適である。このような処理により、切り出された物体画像を用いて、物体の三次元画像を得ることができる。例えば、テーブルの上に三次元画像が欲しい物体を置き、これを回転させて撮影することで、その物体の三次元画像を得ることができる。そして、その三次元画像を元に各種のＣＧ画像を作成することができる。
【００１３】
また、第１及び第２背景色前の物体領域の対を視野角の異なる２つの撮像手段によって順次得、動く物体についての物体画像を切り出すことが好適である。上記視野角の違いが、物体画像に影響のない程度であれば、２つの撮像手段において得られる物体領域により正しい物体画像の切り出しが行える。
【００１４】
また、第１背景色の背景と、第２背景色の背景を高速に切り換え、物体の動きを無視できる第１及び第２背景色前の物体領域の対を物体の動きに応じて順次得、動く物体についての物体画像を切り出すことが好適である。
【００１５】
また、本発明は、上述した物体切り出し方法を実施する装置及びこの動作のためのプログラムを記憶した媒体に関する。
【００１６】
【発明の実施の形態】
以下、本発明の実施の形態（以下実施形態という）について、図面に基づいて説明する。
【００１７】
図１は、本発明に係る物体画像切り出し装置を含む画像処理装置の全体構成を示すブロック図である。ＣＣＤカメラなどで構成される画像入力部１０からの撮像データは、記憶部１２に供給され、記憶される。この記憶部１２は、ＲＡＭ、ハードディスク、光磁気ディスクなど各種のもので構成できる。
【００１８】
記憶部１２には、物体切り出し部１４が接続されている。この物体切り出し部１４は、記憶部１２に記憶されている特定の色の部分を排除し、物体の領域を切り出す。そして、その結果を記憶部１２に記憶する。ここで、物体の領域の切り出しの際には、画像データをＨＳＶデータに変換し、色が背景の色と同一と見なされる範囲内の部分を排除することで行う。例えば、青色であれば、Ｈ＝２２０−２６０の部分を背景部分と認識すればよい。
【００１９】
特に、本発明では、２種類の色の背景における画像のペアについて、それぞれ物体画像の領域（物体領域）を切り出し、切り出した物体領域の論理和をとることによって、最終的な物体画像を切り出す。そして、この切り出し結果の物体画像についてのデータを記憶部１２に記憶する。
【００２０】
記憶部１２には、画像処理部１６も接続されている。この画像処理部１６は、記憶部１２に記憶されている画像データについて、各種の処理を施す。本実施形態では、１つの物体について撮影角度が異なる画像データを複数得、この複数の二次元画像に基づいて、三次元形状を構築し、これを記憶部１２に記憶する。また、画像処理部１６は、生成した三次元形状データに基づいて、三次元ＣＧデータを生成する。
【００２１】
画像処理部１６には、画像出力部１８が接続されており、画像処理部１６において、作成した各種画像を表示する。画像出力部１８は、ＣＲＴやＬＣＤなどのディスプレイで構成される。なお、画像出力部１８には、記憶部１２に記憶される各種画像データに基づく表示も行われる。
【００２２】
ここで、上記構成のすべてを１つのコンピュータシステムとして構成してもよいが、カメラを別体としてコンピュータと通信で接続するように構成してもよい。この場合、カメラにメモリカードを内蔵し、そのメモリカードからのデータをコンピュータに入力することが好適である。
【００２３】
また、物体切り出し部１４、画像処理部１６の動作プログラムは記憶部１２に記憶されており、この動作プログラムに従って、コンピュータが動作することによって、物体切り出し部１４及び画像処理部１６の各種動作が達成される。動作プログラムは、ＣＤ−ＲＯＭなどの記憶媒体からロードすることもできるし、また通信で入手しロードすることもできる。
【００２４】
次に、本実施形態による物体画像の切り出しについて、図２に基づいて説明する。
【００２５】
まず、物体を背景色Ａと、背景色Ｂの前に置いて撮像し一対の画像データを画像入力部１０において得る。物体切り出し部１４においては、背景色Ａ及び背景色Ｂの色と同一の色の領域を一対の画像データからそれぞれ排除することによって、一対の切り出し物体領域を得る。この例では、物体の頭部の色が背景色Ａと同一であり、物体の左脚の色が背景色Ｂと同一である。従って、背景色Ａの画像から切り出した物体領域は、頭部が欠けており、背景色Ｂの画像から切り出した物体領域は左足が欠けている。しかし、両者の論理和をとることにより、完全な物体の領域が得られる。
【００２６】
背景Ａと背景Ｂとは、ＨＳＶ空間においてなるべく離れた関係（補色の関係）にある赤と青などの色を採用することが好適である。これによって、背景色Ａと同一と認識された物体部分は、必ず背景色Ｂとは異なり、最終的に物体の領域として切り出される。すなわち、色相の十分異なる２種類の背景板を使えば、仮に一つの背景色で背景と物体との差が認められない場合でも、もう一方の背景色では必ず背景と物体との差が認められる。従って、物体が、各種の色を含むカラフルなものであっても、物体を確実に切り出すことができる。
【００２７】
次に、このような物体切り出しを写真の合成に利用した場合の処理フローを図３に基づいて説明する。
【００２８】
まず、画像入力部１０からの背景色Ａでの画像を記憶部１２を介し、物体切り出し部１４に入力する（Ｓ１１）。次に、画像入力部１０からの背景色Ｂでの画像を記憶部１２を介し、物体切り出し部１４に入力する（Ｓ１２）。例えば、背景色Ａの背景板と、背景色Ｂの背景板を用意しておき、これを入れ替えて、物体を撮影すればよい。
【００２９】
そして、背景色Ａの色の領域を排除することで、物体の領域のマスク画像Ｃが切り出される（Ｓ１３）。次に、背景色Ｂの色の領域を排除することで、物体の領域のマスク画像Ｄが切り出される（Ｓ１４）。そして、マスク画像Ｃと画像Ｄの論理和をとることで最終的な物体画像の切り出しが行われ、最終マスク画像Ｅが得られる（Ｓ１５）。
【００３０】
さらに、最終マスク画像と、予め用意してある原画像を重ね合わせることによって、原画像上に物体画像を重ね合わせた合成写真が得られる（Ｓ１６）。なお、得られた最終マスク画像Ｅの各画素の色情報（ＲＧＢ情報）は、元々の２つの画像データ（背景色Ａ及び背景色Ｂの画像データ）のいずれかの色情報に基づき決定すればよい。なお、シルエット情報のみ必要な場合には、当然ながらＳ１６のステップは不要である。
【００３１】
ここで、三次元画像データを得る場合には、Ｓ１１〜Ｓ１５の処理を物体の撮影方向を変更して複数回繰り返す。例えば、物体を回転テーブルの上に置き、Ｓ１５の終了後、回転テーブルを所定角度回転させた後Ｓ１１に戻り、次の撮影方向の画像を得ればよい。なお、Ｓ１１、１２を行った後、回転テーブルを回転し撮影方向を変更し、またＳ１１に戻り、画像の取り込みを繰り返してもよい。これによって、一定撮影方向の２つの画像データの対を複数得ることができ、この処理によって複数の物体のマスク画像を得ることができる。
【００３２】
そして、複数の最終マスク画像から公知の手法によって、物体の三次元画像データを得る。このように、物体の三次元画像データを得ておけば、これについて任意の変更を容易に行うことができ、各種のＣＧ画面を生成したり、立体映像による電子カタログなどを容易に生成することができる。
【００３３】
ここで、本発明では、背景色を変更する必要がある。上述の例では、物体を載置した状態で、背景板を取り替えた。しかし、背景色の変更には、このほかに各種の方法がある。
【００３４】
図４に示したのは、背景色の変更にプロジェクタ３０を利用した例である。画像入力部１０であるカメラの前方に物体３２が配置されている。そして、その背後に、裏面からの投射画像を表示する背景板（スクリーン）３４が配置されている。プロジェクタ３０は、背景板３４に背景色Ａ、背景色Ｂを交互に投射する。これによって、背景板の入れ替えなどの作業を行うことなく、２つの背景色の画像データを得ることができる。
【００３５】
次に、物体が動く場合に、この動画から物体領域を切り出す処理について、説明する。
【００３６】
「レンチキュラの利用」
図５、６に示したのは、動画からの切り出しの一例を示す図であり、この例では、２つの背景色Ａ，Ｂのストライプが形成された背景板４０を用意する。そして、この背景板４０の手前側にレンチキュラ４２を配置する。レンチキュラ４２は、複数のシリンドリカルレンズを並べて配置したもので、背景板４０のストライプに合致したシリンドリカルレンズからなっている。従って、画像入力部１０である２つのカメラＡ，Ｂの視野角を所定角度だけ変更することで、カメラＡでは背景色Ａ、カメラＢでは背景色Ｂとなる（見える背景色は反対でもよい）。そこで、２つのカメラＡ，Ｂにおいて、背景色Ａ，Ｂの物体の画像の対を得ることができ、上述の同様の処理により、物体画像を切り出すことができる。そして、同時に２つの画像を得ることができるため、物体が動いていても問題なく一対の画像を得ることができ、動画からの物体画像の切り出しが行える。
【００３７】
なお、視野角の相違により、カメラＡ，Ｂとで、物体の画像が若干異なるが、ある程度物体から離れていれば、この差は無視することができる。また、この差に起因する物体の画像が存在する領域は、物体の位置及びカメラＡ，Ｂの位置に基づいてわかるため、この部分について所定の画像処理を行い、悪影響がでないようにしてもよい。
【００３８】
また、背景板４０またはレンチキュラ４２を移動させれば、カメラを１台として、背景色の異なる一対の画像を時系列で得ることができる。そこで、物体の動きに対し、十分高速で背景板４０またはレンチキュラ４２を移動し、ほぼ同一の位置における異なる背景色の画像を得ることで、動画に適用することができる。
【００３９】
「スリットバリアの利用」
図７に示したのは、スリットバリア５０を利用した例である。上述のレンチキュラを利用した場合と同様の２つの背景色Ａ，Ｂのストライプが形成された背景板５２の手前にストライプに対応したスリットを有するスリットバリア５０を配置する。これを上述の場合と同様の位置の異なるカメラＡ，Ｂで撮影することによって、カメラＡからは、背景板４０の背景色Ａのみが見え、カメラＢからは背景色Ｂのみが見えるようにできる（見える背景色は反対でもよい）。
【００４０】
このようにすることによって、カメラＡ，Ｂにおいて、レンチキュラを用いた場合と同様に、異なる背景色の画像を得ることができる。また、背景板５２またはスリットバリア５０のいずれかを移動してカメラを１台にすることもできる。
【００４１】
ここで、このスリットバリア５０を用いると、スリットバリア５０自体が撮影される。従って、このスリットバリア５０の画像を除去する必要がある。なお、スリットバリア５０としては、黒などが利用される。
【００４２】
このスリットバリア５０の除去には、撮影した画像について、ｍａｘ−ｍｉｎフィルタなどのフィルタ処理を利用することができる。
【００４３】
このｍａｘ−ｍｉｎフィルタとは画像に対し、一度ｍａｘフィルタをかけ、その後、ｍｉｎフィルタをかけるものである。
【００４４】
ｍａｘフィルタとは、対象画素（ｉ，ｊ）に対し、その周囲の所定範囲（±ｎ，±ｍ）内の最大値（例えば、輝度の最大値）を採用するフィルタである。処理対象の画素の値をｖ（ｉ，ｊ）とした場合、その値は次のように表される。
【００４５】
【数１】
ｖ（ｉ，ｊ）＝ ＭＡＸ（ｖ（ｋ，ｌ））
ｋ＝ｉ−ｎ〜ｉ＋ｎ，ｌ＝ｊ−ｍ〜ｊ＋ｍ
このｍａｘフィルタにより、黒の画素は、周囲の最大輝度に置き換えられ、黒のストライプは、除去される。
【００４６】
ｍｉｎフィルタとは、対象画素（ｉ，ｊ）に対し、その周囲の所定範囲（±ｎ，±ｍ）内の最小値（例えば、輝度の最小値）を採用するフィルタである。処理対象の画素の値をｖ（ｉ，ｊ）とした場合、その値は次のように表される。
【００４７】
【数２】
ｖ（ｉ，ｊ） ＝ ＭＩＮ（ｖ（ｋ，ｌ））
ｋ＝ｉ−ｎ〜ｉ＋ｎ，ｌ＝ｊ−ｍ〜ｊ＋ｍ
このｍａｘフィルタにより、一旦周囲の最大輝度に置き換えられた画素がその周囲の最小輝度に置き換えられる。これによって、黒のストライプは、除去され、背景色を均一化することができる。なお、ｍ，ｎは、通常１〜３とするが、ストライプの太さを対応させておくことが必要である。
【００４８】
また、ストライプは予めどのような画像になるか（ストライプの方向には連続することなど）わかっているため、ストライプの性状を考慮して除去のための画像処理を行うことが好適である。
【００４９】
また、カメラの焦点が対象物に合っているが、背景には合っておらず、黒ストライプが明確に写らない場合には、ｍａｘ−ｍｉｎフィルタが不要な場合もある。特に背景と対象物の距離が大きい場合や、焦点深度の浅いレンズを用いる場合には、このような場合が存在する。
【００５０】
「プロジェクタの利用」
図４に示したプロジェクタを利用する例において、プロジェクタ３０において、背景板３４に投射する背景色を高速に切り換えることで、２つの背景色Ａ，Ｂにおける物体の画像の対を得ることができる。物体の動きに比べて十分高速に背景色の切り換えを行えば、これによっても上述の場合と同様の物体画像の切り出しが行える。
【００５１】
「機械式」
図８に示したのは、機械式の背景色変換の機構を示す図である。この図の例では、背景板６０が複数の背景板素子６２からなっている。そして、この背景板素子６２は、表面と裏面において色が異なっている。従って、この背景板素子６２を回転させ、何れの面をカメラ側にするかで、背景板６０の色を変更することができる。すべての背景板素子６２を同時に高速で回転させ、背景板６０を背景色Ａから背景色Ｂに変更し、その前後の画像を得ることで、対象物についての背景色Ａ，Ｂの一対の画像を得ることができる。
【００５２】
「その他」
動画に対応する背景色の変更の例を上述したが、これらの構成は、静止する物体についても適用することが可能である。なお、この場合には、背景色を高速に切り換える必要はない。
【００５３】
また、本発明では、２つの異なる背景色の前に物体を置いて撮影する。そして、物体の色情報は、いずれかの背景において得られた画像データに基づいて決定する。背景によらず、物体の色を正確にカメラで撮影できれば問題ないが、物体の色情報が背景色の影響を受ける場合が多い。この場合には、背景色Ａ，Ｂにおいて撮影した各種物体の色と、背景がグレーなどの無彩色の場合の色との関係を予め調べておき、２つの背景色において得た物体の色情報から、所望の物体の色情報を算出することが好適である。
【００５４】
【発明の効果】
以上説明したように、本発明によれば、２つの背景色における物体の画像から切り出した物体領域（クロマキー物体領域切り出し）の論理和をとることで、物体がカラフルなものでも正常な物体画像切り出しを行うことができる。
【図面の簡単な説明】
【図１】 本発明に係る物体画像切り出し装置を含む画像処理装置の全体構成を示すブロック図である。
【図２】 論理和による物体領域切り出しを説明する図である。
【図３】 処理を説明するフローチャートである。
【図４】 プロジェクタを用いた例を示す図である。
【図５】 レンチキュラを用いた例を示す図である。
【図６】 レンチキュラを用いた例を示す平面図である。
【図７】 スリットバリアを用いた例を示す図である。
【図８】 機械式の背景板を用いた例を示す図である。
【符号の説明】
１０ 画像入力部、１２ 記憶部、１４ 物体切り出し部、１６ 画像処理部、１８ 画像出力部、３０ プロジェクタ、３４，４０，５２，６０ 背景板、４２ レンチキュラ、５０ スリットバリア、６２ 背景板素子。
【発明の属する技術分野】
本発明は、特定の背景を用いて物体を撮影し、撮影した画像の中から物体を切り出す物体画像切り出しに関する。
【０００２】
【従来の技術】
従来より、画像処理の一手法として、クロマキー技術が知られている。このクロマキー技術とは、放送局などでよく用いられている技術で、複数の映像を合成して新しい映像を作り出すための手法である。
【０００３】
例えば、ブルーバックの前で、アナウンサーなどの映像を撮り、これを映像１とする。一方、別に用意した天気図の画面などを映像２とする。そして、映像１の青色成分を透明と見なし、映像２と重ね合わせることで、あたかも天気図の画面の前にアナウンサーが立っているかのような映像を生成する。また、ゲストの写真をとり、これを各種の背景画と合成した写真を提供するサービスなども提供されており、これにもクロマキー技術が利用されている。
【０００４】
一方、各種製品の電子カタログや、インターネット上でのグラフィックデータ等として、三次元のＣＧ（コンピュータ・グラフィックス）が利用される機会が増加している。そして、このＣＧの元画像を作製する場合に、複数の物体画像（シルエット）情報から物体の三次元形状推定を行い、立体再構成（shape from silhouette）を行う手法がある。この手法により、元画像を作成する手間を大幅に減少し、かつ正確な形状の元画像を得ることができる。
【０００５】
この手法では、物体を含む画像の中から物体のシルエット情報を得る必要がある。クロマキー技術は物体のシルエット情報を得る一つの有効手段である。すなわち、例えば、物体をブルーバックの前で撮影し、青部分以外の部分を物体のシルエットと見なせば、物体に青色が含まれていない限り、正しいシルエット情報が得られる。
【０００６】
このように、クロマキー技術により、物体と異なる色の背景板を用いることで、物体のシルエットを切り出すことができる。
【０００７】
【発明が解決しようとする課題】
しかしながら、このクロマキー技術を用いる方法では、カラフルな物体の場合、１）背景板の色の選定が非常に難しい、２）物体の色および切り出しの閾値設定の関係によっては、現実的には物体の切り出しは不可能となる、などという問題があった。特に、２）に関していえば、例えば青色を透明処理する場合、ある程度許容値（例えばＨＳＶ空間でＨ＝２２０−２６０の間を透明化するなど）を設定しなければならず、カラフルな物体ではこの範囲に入る色が存在する場合が多く、その部分が背景部分と判定されてしまうため、正確な物体の切り出しが困難になってしまう。
【０００８】
本発明は、上記課題に鑑みなされたものであり、カラフルな物体でもその切り出しを確実に行うことができる物体画像切り出しに関する。
【０００９】
【課題を解決するための手段】
本発明は、特定の背景を用いて物体を撮影し、撮影した画像の中から物体を切り出す物体画像切り出し方法であって、第１背景色の背景の前に置いて物体を撮影し、得られた画像の中から第１背景色以外の部分を物体領域として切り出す第１切り出しステップと、前記第１背景色とは異なる第２背景色の背景の前に置いて物体を撮影し、得られた画像の中から第２背景色以外の部分を物体領域として切り出す第２切り出しステップと、第１及び第２切り出しステップにおいて得られた物体領域の論理和をとり物体画像を得る論理和ステップと、を有することを特徴とする。
【００１０】
このように、２つの背景色における物体の画像から切り出した物体領域の論理和をとることで、物体がカラフルなものでも正常な物体画像切り出しを行うことができる。
【００１１】
また、前記背景色に用いる第１背景色と、第２背景色とは、色空間において距離の遠い色相を有する色であることが好適である。より具体的には、例えば色相空間において６０度以上離れている色とすることが好適である。このように、２つの背景色を十分に遠い距離関係にある色相にすることにより、１つの背景色において、背景色領域と誤認識された物体領域は、他の背景色で必ず物体領域と認識される。このため、論理和をとったあとの最終的に切り出された物体画像は、正しいものになる。
【００１２】
また、前記第１および第２切り出しステップにおける物体の撮影を物体に対する方向を異ならせてそれぞれ複数回行い、前記論理和ステップでは、第１切り出しステップと第２切り出しステップにおいて得られた対応する物体領域同士の論理和をとり、複数の物体画像を得、得られた複数の物体画像に基づいて、物体の三次元画像を得ることが好適である。このような処理により、切り出された物体画像を用いて、物体の三次元画像を得ることができる。例えば、テーブルの上に三次元画像が欲しい物体を置き、これを回転させて撮影することで、その物体の三次元画像を得ることができる。そして、その三次元画像を元に各種のＣＧ画像を作成することができる。
【００１３】
また、第１及び第２背景色前の物体領域の対を視野角の異なる２つの撮像手段によって順次得、動く物体についての物体画像を切り出すことが好適である。上記視野角の違いが、物体画像に影響のない程度であれば、２つの撮像手段において得られる物体領域により正しい物体画像の切り出しが行える。
【００１４】
また、第１背景色の背景と、第２背景色の背景を高速に切り換え、物体の動きを無視できる第１及び第２背景色前の物体領域の対を物体の動きに応じて順次得、動く物体についての物体画像を切り出すことが好適である。
【００１５】
また、本発明は、上述した物体切り出し方法を実施する装置及びこの動作のためのプログラムを記憶した媒体に関する。
【００１６】
【発明の実施の形態】
以下、本発明の実施の形態（以下実施形態という）について、図面に基づいて説明する。
【００１７】
図１は、本発明に係る物体画像切り出し装置を含む画像処理装置の全体構成を示すブロック図である。ＣＣＤカメラなどで構成される画像入力部１０からの撮像データは、記憶部１２に供給され、記憶される。この記憶部１２は、ＲＡＭ、ハードディスク、光磁気ディスクなど各種のもので構成できる。
【００１８】
記憶部１２には、物体切り出し部１４が接続されている。この物体切り出し部１４は、記憶部１２に記憶されている特定の色の部分を排除し、物体の領域を切り出す。そして、その結果を記憶部１２に記憶する。ここで、物体の領域の切り出しの際には、画像データをＨＳＶデータに変換し、色が背景の色と同一と見なされる範囲内の部分を排除することで行う。例えば、青色であれば、Ｈ＝２２０−２６０の部分を背景部分と認識すればよい。
【００１９】
特に、本発明では、２種類の色の背景における画像のペアについて、それぞれ物体画像の領域（物体領域）を切り出し、切り出した物体領域の論理和をとることによって、最終的な物体画像を切り出す。そして、この切り出し結果の物体画像についてのデータを記憶部１２に記憶する。
【００２０】
記憶部１２には、画像処理部１６も接続されている。この画像処理部１６は、記憶部１２に記憶されている画像データについて、各種の処理を施す。本実施形態では、１つの物体について撮影角度が異なる画像データを複数得、この複数の二次元画像に基づいて、三次元形状を構築し、これを記憶部１２に記憶する。また、画像処理部１６は、生成した三次元形状データに基づいて、三次元ＣＧデータを生成する。
【００２１】
画像処理部１６には、画像出力部１８が接続されており、画像処理部１６において、作成した各種画像を表示する。画像出力部１８は、ＣＲＴやＬＣＤなどのディスプレイで構成される。なお、画像出力部１８には、記憶部１２に記憶される各種画像データに基づく表示も行われる。
【００２２】
ここで、上記構成のすべてを１つのコンピュータシステムとして構成してもよいが、カメラを別体としてコンピュータと通信で接続するように構成してもよい。この場合、カメラにメモリカードを内蔵し、そのメモリカードからのデータをコンピュータに入力することが好適である。
【００２３】
また、物体切り出し部１４、画像処理部１６の動作プログラムは記憶部１２に記憶されており、この動作プログラムに従って、コンピュータが動作することによって、物体切り出し部１４及び画像処理部１６の各種動作が達成される。動作プログラムは、ＣＤ−ＲＯＭなどの記憶媒体からロードすることもできるし、また通信で入手しロードすることもできる。
【００２４】
次に、本実施形態による物体画像の切り出しについて、図２に基づいて説明する。
【００２５】
まず、物体を背景色Ａと、背景色Ｂの前に置いて撮像し一対の画像データを画像入力部１０において得る。物体切り出し部１４においては、背景色Ａ及び背景色Ｂの色と同一の色の領域を一対の画像データからそれぞれ排除することによって、一対の切り出し物体領域を得る。この例では、物体の頭部の色が背景色Ａと同一であり、物体の左脚の色が背景色Ｂと同一である。従って、背景色Ａの画像から切り出した物体領域は、頭部が欠けており、背景色Ｂの画像から切り出した物体領域は左足が欠けている。しかし、両者の論理和をとることにより、完全な物体の領域が得られる。
【００２６】
背景Ａと背景Ｂとは、ＨＳＶ空間においてなるべく離れた関係（補色の関係）にある赤と青などの色を採用することが好適である。これによって、背景色Ａと同一と認識された物体部分は、必ず背景色Ｂとは異なり、最終的に物体の領域として切り出される。すなわち、色相の十分異なる２種類の背景板を使えば、仮に一つの背景色で背景と物体との差が認められない場合でも、もう一方の背景色では必ず背景と物体との差が認められる。従って、物体が、各種の色を含むカラフルなものであっても、物体を確実に切り出すことができる。
【００２７】
次に、このような物体切り出しを写真の合成に利用した場合の処理フローを図３に基づいて説明する。
【００２８】
まず、画像入力部１０からの背景色Ａでの画像を記憶部１２を介し、物体切り出し部１４に入力する（Ｓ１１）。次に、画像入力部１０からの背景色Ｂでの画像を記憶部１２を介し、物体切り出し部１４に入力する（Ｓ１２）。例えば、背景色Ａの背景板と、背景色Ｂの背景板を用意しておき、これを入れ替えて、物体を撮影すればよい。
【００２９】
そして、背景色Ａの色の領域を排除することで、物体の領域のマスク画像Ｃが切り出される（Ｓ１３）。次に、背景色Ｂの色の領域を排除することで、物体の領域のマスク画像Ｄが切り出される（Ｓ１４）。そして、マスク画像Ｃと画像Ｄの論理和をとることで最終的な物体画像の切り出しが行われ、最終マスク画像Ｅが得られる（Ｓ１５）。
【００３０】
さらに、最終マスク画像と、予め用意してある原画像を重ね合わせることによって、原画像上に物体画像を重ね合わせた合成写真が得られる（Ｓ１６）。なお、得られた最終マスク画像Ｅの各画素の色情報（ＲＧＢ情報）は、元々の２つの画像データ（背景色Ａ及び背景色Ｂの画像データ）のいずれかの色情報に基づき決定すればよい。なお、シルエット情報のみ必要な場合には、当然ながらＳ１６のステップは不要である。
【００３１】
ここで、三次元画像データを得る場合には、Ｓ１１〜Ｓ１５の処理を物体の撮影方向を変更して複数回繰り返す。例えば、物体を回転テーブルの上に置き、Ｓ１５の終了後、回転テーブルを所定角度回転させた後Ｓ１１に戻り、次の撮影方向の画像を得ればよい。なお、Ｓ１１、１２を行った後、回転テーブルを回転し撮影方向を変更し、またＳ１１に戻り、画像の取り込みを繰り返してもよい。これによって、一定撮影方向の２つの画像データの対を複数得ることができ、この処理によって複数の物体のマスク画像を得ることができる。
【００３２】
そして、複数の最終マスク画像から公知の手法によって、物体の三次元画像データを得る。このように、物体の三次元画像データを得ておけば、これについて任意の変更を容易に行うことができ、各種のＣＧ画面を生成したり、立体映像による電子カタログなどを容易に生成することができる。
【００３３】
ここで、本発明では、背景色を変更する必要がある。上述の例では、物体を載置した状態で、背景板を取り替えた。しかし、背景色の変更には、このほかに各種の方法がある。
【００３４】
図４に示したのは、背景色の変更にプロジェクタ３０を利用した例である。画像入力部１０であるカメラの前方に物体３２が配置されている。そして、その背後に、裏面からの投射画像を表示する背景板（スクリーン）３４が配置されている。プロジェクタ３０は、背景板３４に背景色Ａ、背景色Ｂを交互に投射する。これによって、背景板の入れ替えなどの作業を行うことなく、２つの背景色の画像データを得ることができる。
【００３５】
次に、物体が動く場合に、この動画から物体領域を切り出す処理について、説明する。
【００３６】
「レンチキュラの利用」
図５、６に示したのは、動画からの切り出しの一例を示す図であり、この例では、２つの背景色Ａ，Ｂのストライプが形成された背景板４０を用意する。そして、この背景板４０の手前側にレンチキュラ４２を配置する。レンチキュラ４２は、複数のシリンドリカルレンズを並べて配置したもので、背景板４０のストライプに合致したシリンドリカルレンズからなっている。従って、画像入力部１０である２つのカメラＡ，Ｂの視野角を所定角度だけ変更することで、カメラＡでは背景色Ａ、カメラＢでは背景色Ｂとなる（見える背景色は反対でもよい）。そこで、２つのカメラＡ，Ｂにおいて、背景色Ａ，Ｂの物体の画像の対を得ることができ、上述の同様の処理により、物体画像を切り出すことができる。そして、同時に２つの画像を得ることができるため、物体が動いていても問題なく一対の画像を得ることができ、動画からの物体画像の切り出しが行える。
【００３７】
なお、視野角の相違により、カメラＡ，Ｂとで、物体の画像が若干異なるが、ある程度物体から離れていれば、この差は無視することができる。また、この差に起因する物体の画像が存在する領域は、物体の位置及びカメラＡ，Ｂの位置に基づいてわかるため、この部分について所定の画像処理を行い、悪影響がでないようにしてもよい。
【００３８】
また、背景板４０またはレンチキュラ４２を移動させれば、カメラを１台として、背景色の異なる一対の画像を時系列で得ることができる。そこで、物体の動きに対し、十分高速で背景板４０またはレンチキュラ４２を移動し、ほぼ同一の位置における異なる背景色の画像を得ることで、動画に適用することができる。
【００３９】
「スリットバリアの利用」
図７に示したのは、スリットバリア５０を利用した例である。上述のレンチキュラを利用した場合と同様の２つの背景色Ａ，Ｂのストライプが形成された背景板５２の手前にストライプに対応したスリットを有するスリットバリア５０を配置する。これを上述の場合と同様の位置の異なるカメラＡ，Ｂで撮影することによって、カメラＡからは、背景板４０の背景色Ａのみが見え、カメラＢからは背景色Ｂのみが見えるようにできる（見える背景色は反対でもよい）。
【００４０】
このようにすることによって、カメラＡ，Ｂにおいて、レンチキュラを用いた場合と同様に、異なる背景色の画像を得ることができる。また、背景板５２またはスリットバリア５０のいずれかを移動してカメラを１台にすることもできる。
【００４１】
ここで、このスリットバリア５０を用いると、スリットバリア５０自体が撮影される。従って、このスリットバリア５０の画像を除去する必要がある。なお、スリットバリア５０としては、黒などが利用される。
【００４２】
このスリットバリア５０の除去には、撮影した画像について、ｍａｘ−ｍｉｎフィルタなどのフィルタ処理を利用することができる。
【００４３】
このｍａｘ−ｍｉｎフィルタとは画像に対し、一度ｍａｘフィルタをかけ、その後、ｍｉｎフィルタをかけるものである。
【００４４】
ｍａｘフィルタとは、対象画素（ｉ，ｊ）に対し、その周囲の所定範囲（±ｎ，±ｍ）内の最大値（例えば、輝度の最大値）を採用するフィルタである。処理対象の画素の値をｖ（ｉ，ｊ）とした場合、その値は次のように表される。
【００４５】
【数１】
ｖ（ｉ，ｊ）＝ ＭＡＸ（ｖ（ｋ，ｌ））
ｋ＝ｉ−ｎ〜ｉ＋ｎ，ｌ＝ｊ−ｍ〜ｊ＋ｍ
このｍａｘフィルタにより、黒の画素は、周囲の最大輝度に置き換えられ、黒のストライプは、除去される。
【００４６】
ｍｉｎフィルタとは、対象画素（ｉ，ｊ）に対し、その周囲の所定範囲（±ｎ，±ｍ）内の最小値（例えば、輝度の最小値）を採用するフィルタである。処理対象の画素の値をｖ（ｉ，ｊ）とした場合、その値は次のように表される。
【００４７】
【数２】
ｖ（ｉ，ｊ） ＝ ＭＩＮ（ｖ（ｋ，ｌ））
ｋ＝ｉ−ｎ〜ｉ＋ｎ，ｌ＝ｊ−ｍ〜ｊ＋ｍ
このｍａｘフィルタにより、一旦周囲の最大輝度に置き換えられた画素がその周囲の最小輝度に置き換えられる。これによって、黒のストライプは、除去され、背景色を均一化することができる。なお、ｍ，ｎは、通常１〜３とするが、ストライプの太さを対応させておくことが必要である。
【００４８】
また、ストライプは予めどのような画像になるか（ストライプの方向には連続することなど）わかっているため、ストライプの性状を考慮して除去のための画像処理を行うことが好適である。
【００４９】
また、カメラの焦点が対象物に合っているが、背景には合っておらず、黒ストライプが明確に写らない場合には、ｍａｘ−ｍｉｎフィルタが不要な場合もある。特に背景と対象物の距離が大きい場合や、焦点深度の浅いレンズを用いる場合には、このような場合が存在する。
【００５０】
「プロジェクタの利用」
図４に示したプロジェクタを利用する例において、プロジェクタ３０において、背景板３４に投射する背景色を高速に切り換えることで、２つの背景色Ａ，Ｂにおける物体の画像の対を得ることができる。物体の動きに比べて十分高速に背景色の切り換えを行えば、これによっても上述の場合と同様の物体画像の切り出しが行える。
【００５１】
「機械式」
図８に示したのは、機械式の背景色変換の機構を示す図である。この図の例では、背景板６０が複数の背景板素子６２からなっている。そして、この背景板素子６２は、表面と裏面において色が異なっている。従って、この背景板素子６２を回転させ、何れの面をカメラ側にするかで、背景板６０の色を変更することができる。すべての背景板素子６２を同時に高速で回転させ、背景板６０を背景色Ａから背景色Ｂに変更し、その前後の画像を得ることで、対象物についての背景色Ａ，Ｂの一対の画像を得ることができる。
【００５２】
「その他」
動画に対応する背景色の変更の例を上述したが、これらの構成は、静止する物体についても適用することが可能である。なお、この場合には、背景色を高速に切り換える必要はない。
【００５３】
また、本発明では、２つの異なる背景色の前に物体を置いて撮影する。そして、物体の色情報は、いずれかの背景において得られた画像データに基づいて決定する。背景によらず、物体の色を正確にカメラで撮影できれば問題ないが、物体の色情報が背景色の影響を受ける場合が多い。この場合には、背景色Ａ，Ｂにおいて撮影した各種物体の色と、背景がグレーなどの無彩色の場合の色との関係を予め調べておき、２つの背景色において得た物体の色情報から、所望の物体の色情報を算出することが好適である。
【００５４】
【発明の効果】
以上説明したように、本発明によれば、２つの背景色における物体の画像から切り出した物体領域（クロマキー物体領域切り出し）の論理和をとることで、物体がカラフルなものでも正常な物体画像切り出しを行うことができる。
【図面の簡単な説明】
【図１】 本発明に係る物体画像切り出し装置を含む画像処理装置の全体構成を示すブロック図である。
【図２】 論理和による物体領域切り出しを説明する図である。
【図３】 処理を説明するフローチャートである。
【図４】 プロジェクタを用いた例を示す図である。
【図５】 レンチキュラを用いた例を示す図である。
【図６】 レンチキュラを用いた例を示す平面図である。
【図７】 スリットバリアを用いた例を示す図である。
【図８】 機械式の背景板を用いた例を示す図である。
【符号の説明】
１０ 画像入力部、１２ 記憶部、１４ 物体切り出し部、１６ 画像処理部、１８ 画像出力部、３０ プロジェクタ、３４，４０，５２，６０ 背景板、４２ レンチキュラ、５０ スリットバリア、６２ 背景板素子。
Claims (3)
- 物体の背後に配置され、色が異なる第１背景色及び第２背景色のストライプが形成された背景板と、
前記背景板の物体側に配置されるレンチキュラと、
前記レンチキュラにより分離された前記第１背景色と前記物体とを撮像する第１撮像手段と、
前記レンチキュラにより分離された前記第２背景色と前記物体とを撮像する第２撮像手段と、
前記第１撮像手段により撮像された画像から前記第１背景色以外の部分を物体領域として切り出す第１切り出し手段と、
前記第２撮像手段により撮像された画像から前記第２背景色以外の部分を物体領域として切り出す第２切り出し手段と、
前記第１及び第２切り出し手段において得られた物体領域の論理和をとり物体画像を得る論理和手段と、を有することを特徴とする物体画像切り出し装置。 - 物体の背後に配置され、色が異なる第１背景色及び第２背景色のストライプが形成された背景板と、
前記背景板の物体側に配置されるスリットバリアと、
前記スリットバリアにより分離された前記第１背景色と前記物体とを撮像する第１撮像手段と、
前記スリットバリアにより分離された前記第２背景色と前記物体とを撮像する第２撮像手段と、
前記第１撮像手段により撮像された画像から前記第１背景色以外の部分を物体領域として切り出す第１切り出し手段と、
前記第２撮像手段により撮像された画像から前記第２背景色以外の部分を物体領域として切り出す第２切り出し手段と、
前記第１及び第２切り出し手段において得られた物体領域の論理和をとり物体画像を得る論理和手段と、を有することを特徴とする物体画像切り出し装置。 - 物体の背後に配置され、色が異なる第１背景色及び第２背景色のストライプが形成された背景板と、
前記背景板の物体側に配置されるレンチキュラと、
前記背景板、又はレンチキュラのいずれか一方を移動させる手段と、
前記レンチキュラにより分離された前記第１背景色と前記物体とを撮像して第１画像を取得したのち、前記レンチキュラにより分離された前記第２背景色と前記物体とを撮像して第２画像を取得する撮像手段と、
前記第１画像から前記第１背景色以外の部分を物体領域として切り出す第１切り出し手段と、
前記第２画像から前記第２背景色以外の部分を物体領域として切り出す第２切り出し手段と、
前記第１及び第２切り出し手段において得られた物体領域の論理和をとり物体画像を得る論理和手段と、を有することを特徴とする物体画像切り出し装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32209898A JP4121639B2 (ja) | 1998-11-12 | 1998-11-12 | 物体画像切り出し方法、装置、システム及びそのプログラムを記録した媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32209898A JP4121639B2 (ja) | 1998-11-12 | 1998-11-12 | 物体画像切り出し方法、装置、システム及びそのプログラムを記録した媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000152278A JP2000152278A (ja) | 2000-05-30 |
| JP4121639B2 true JP4121639B2 (ja) | 2008-07-23 |
Family
ID=18139904
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP32209898A Expired - Fee Related JP4121639B2 (ja) | 1998-11-12 | 1998-11-12 | 物体画像切り出し方法、装置、システム及びそのプログラムを記録した媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4121639B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008097191A (ja) * | 2006-10-10 | 2008-04-24 | Fujifilm Corp | 画像合成システム |
| PE20140057A1 (es) * | 2010-09-20 | 2014-03-01 | Fraunhofer Ges Forschung | Metodo para diferenciar entre el fondo y el frente del escenario y tambien metodo para reemplazar un fondo en las imagenes de un decorado |
-
1998
- 1998-11-12 JP JP32209898A patent/JP4121639B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000152278A (ja) | 2000-05-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10540806B2 (en) | Systems and methods for depth-assisted perspective distortion correction | |
| EP2603834B1 (en) | Method for forming images | |
| KR102013978B1 (ko) | 이미지들의 융합을 위한 방법 및 장치 | |
| CN109348119B (zh) | 一种全景监控*** | |
| Gvili et al. | Depth keying | |
| EP1889471B1 (en) | Method and apparatus for alternate image/video insertion | |
| US20150002636A1 (en) | Capturing Full Motion Live Events Using Spatially Distributed Depth Sensing Cameras | |
| AU2005331138A1 (en) | 3D image generation and display system | |
| US7999862B2 (en) | Method and apparatus for an automated background lighting compensation system | |
| KR20090009114A (ko) | 합성 이미지 구성 방법 | |
| CA2669016A1 (en) | System and method for compositing 3d images | |
| KR20070121712A (ko) | 디지털 카메라에서 배경화면과 관련해서 피사체를포지셔닝하는 방법 | |
| CN109146799B (zh) | 基于多张图的摩尔纹去除方法 | |
| Schmeing et al. | Depth image based rendering: A faithful approach for the disocclusion problem | |
| US20210125305A1 (en) | Video generation device, video generation method, program, and data structure | |
| KR102061152B1 (ko) | 증강현실 서비스 제공 시스템 및 이의 360도 회전 이미지 파일 생성 방법 | |
| JP4121639B2 (ja) | 物体画像切り出し方法、装置、システム及びそのプログラムを記録した媒体 | |
| CN115941920B (zh) | 裸眼3d视频生成方法、装置、设备及存储介质 | |
| Oliveira et al. | Lenslet light field panorama creation: a sub-aperture image stitching approach | |
| RU2571574C1 (ru) | Устройство объединения изображений в единую композицию с плавным переходом контрастности | |
| Smirnov et al. | Layered approach for improving the quality of free-viewpoint depth-image-based rendering images | |
| US20020033834A1 (en) | Method of and apparatus for secondary application of film image | |
| JP2004128588A (ja) | 撮像装置 | |
| JPH10341374A (ja) | 画像処理方法及び画像処理装置 | |
| WO2000064144A1 (en) | Method and apparatus for creating artificial reflection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050609 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070727 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070807 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071009 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20071113 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080115 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080311 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080408 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080430 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110509 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110509 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120509 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130509 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |