JP2010140097A - 画像生成方法、画像認証方法、画像生成装置、画像認証装置、プログラム、および記録媒体 - Google Patents
画像生成方法、画像認証方法、画像生成装置、画像認証装置、プログラム、および記録媒体 Download PDFInfo
- Publication number
- JP2010140097A JP2010140097A JP2008313518A JP2008313518A JP2010140097A JP 2010140097 A JP2010140097 A JP 2010140097A JP 2008313518 A JP2008313518 A JP 2008313518A JP 2008313518 A JP2008313518 A JP 2008313518A JP 2010140097 A JP2010140097 A JP 2010140097A
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- projection
- image generation
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 96
- 230000009466 transformation Effects 0.000 claims abstract description 4
- 230000008569 process Effects 0.000 claims description 13
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 abstract description 2
- 238000001514 detection method Methods 0.000 description 14
- 238000009877 rendering Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 241001198066 Solanum aethiopicum Species 0.000 description 1
- 235000018650 Solanum gilo Nutrition 0.000 description 1
- 208000027697 autoimmune lymphoproliferative syndrome due to CTLA4 haploinsuffiency Diseases 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Abstract
【解決手段】複数の元画像を取得するステップ1と、当該取得した複数の元画像をもとに3次元空間中で前記被写体の表面の色情報または輝度情報を推定するステップ2と、当該推定した情報に基づき基準視点位置画像を生成するステップ3とを有し、ステップ2は、元画像中で被写体が撮影されている領域を検出するステップと、前記検出した領域を、元画像を撮影した各カメラの視点位置を投影中心として3次元空間中に投影処理し、3次元空間上で被写体が存在する代表的な位置または範囲を推定し、1つ以上の投影面を設定するステップと、前記設定した各投影面について、各元画像に射影変換を施して複数の投影画像を生成するステップと、複数の投影画像の色または輝度情報の合成演算により、投影面上の各点における被写体の色または輝度情報を算出するステップとを有する。
【選択図】図2
Description
これらの技術の代表的なものとして、被写体の形状を推定し、所望の視点位置からレンダリングする幾何ベースの方法と、被写体から飛来する光線を所望の視点位置で再サンプリングする光線ベースの方法がある。
幾何ベースの方法では、被写体の幾何形状を推定するために画像間のステレオ対応を用いる方法(下記、非特許文献1参照)や、視体積交差法を用いる方法(下記、非特許文献2参照)がある。
また、光線ベースの方法は、光線の強度を位置、方向、時間、波長に対する関数であるplenoptic functionにより記述されることに基づき、その次元を落とし、ある視点位置を与えたときにそこを通る光線群を再サンプリングするのに適した表現方法として、いくつかの方式が提案されている。(下記、非特許文献3、4参照)
一般的に光線ベースの方法の方が計算機負荷は小さく、実時間処理が求められるアプリケーションに適している。しかし、光線ベースの方法では、被写体が存在すると仮定した面の付近でしか、正しく画像生成できないことが知られている。(下記、非特許文献5、6参照)
そのため、予め被写体の位置を利用者が仮定する必要があるため、利便性が悪く、また、被写体が動いた場合に正しく画像生成できないという欠点があった。
そこで、多層の投影面を設定し、被写体が存在すると仮定する範囲を拡げる手法が提案された。(下記、特許文献1参照)
T.Kanade,P.J.Narayanan,and P.W.Rander:"Virtualized Reality: Concepts and Early Results", In Proc. of IEEE Workshop of the Representation of Visual Scenes, pp.69-76(1995) W. Matusik,C.Buehler,R.Raskar,s.J.Gortler,and L McMillan: "Image-Based Visual Hulls", In Proc.of SIGGRAPH 2000, pp.369-374(2000) M. Levoy and P. Hanrahan: "Light Field Rendering" In Proc. of SIGGRAPH ’96, pp.31-41(1993) S.J.Gortler,R.Grzeszczuk,R.Szeliski,and M.F.Cohen: "The Lumigraph",In Proc. of SIGGRAPH ’96, pp.43-54(1996) Y.Kunita,M.Inami,T.Maeda,and S.Tachi: "Realtime Rendering System of Moving Objects", In Proc. of the 1999IEEE Workshop on Multi-View Modeling & Analysis of Visual Scenes (MVIEW ’99), pp.81-88(1999) J.-X. Chai, X. Tong, S.-C. Chan, and H.-Y. Shum: "Plenoptic Sampling",In Proc. of SIGGRAPH 2000, pp.307-318(2000)
また、たとえ多層の投影面が被写体をカバーしたとしても、投影面の数が多すぎると、メモリなどの計算機リソースを多く消費し、また、必要以上に多層の投影面の範囲が広いと、生成画像の劣化を招いていた。
また、多層投影面がカバーできていない被写体以外の場所は、多重像などが生じ、生成画像の見た目を悪くしていた。
本発明は、前記従来技術の問題点を解決するためになされたものであり、本発明の目的は、複数の画像に基づき所望の視点位置から被写体を撮影した画像を生成する際に、被写体の存在する場所が未知である場合にも、計算機リソースを節約しつつ適切に画像を生成し、また、被写体以外の場所の見栄えが悪くない画像を生成可能な画像生成方法および画像生成装置を提供することにある。
また、本発明の他の目的は、前述の画像生成方法を利用して個人を認証する画像認証方法と画像認証装置を提供することにある。
また、本発明の他の目的は、前述の画像生成方法をコンピュータに実行させるプログラムと、当該プログラムが記録された記録媒体を提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかにする。
(1)複数の異なる視点位置から被写体を撮影した複数の元画像を元に、所望の視点位置である基準視点から前記被写体を撮影した基準視点位置画像を生成する画像生成方法であって、前記複数の元画像を取得するステップ1と、前記ステップ1で取得した複数の元画像をもとに、3次元空間中で前記被写体の表面の色情報または輝度情報を推定するステップ2と、前記ステップ2で推定した情報に基づいて、前記基準視点位置画像を生成するステップ3とを有し、前記ステップ2は、前記複数の元画像中で前記被写体が撮影されている位置または領域である元画像被写体領域を検出するサブステップ2aと、前記サブステップ2aで検出した元画像被写体領域を、元画像を撮影した各カメラの視点位置を投影中心として3次元空間中に投影処理し、3次元空間上で前記被写体が存在する代表的な位置または範囲を推定し、前記位置または範囲を含む1つ以上の投影面を設定するサブステップ2bと、前記サブステップ2bで設定した前記1つ以上の投影面について、前記各元画像に射影変換を施して複数の投影画像を生成するサブステップ2cと、前記複数の投影画像の色または輝度情報の合成演算により、前記1つ以上の投影面上の各点における被写体の色または輝度情報を算出するサブステップ2dを有し、前記投影面が複数の場合に、前記ステップ3において、前記基準視点から見て重なりを持つ前記1つ以上の投影面上の各画素の輝度情報もしくは色情報を合成演算処理することにより前記基準視点位置画像を得ることを特徴とする。
(3)(2)において、前記存在情報は0から1までの階調的な値を持ち、前記存在情報は、前記1つ以上の投影面上の各点に対応する元画像における点の色または輝度情報の類似の程度により決定される。
(4)(1)ないし(3)の何れかにおいて、前記サブステップ2aにおいて、前記被写体の画像をその代表的な画像パターンと照合処理することにより、前記元画像被写体領域を検出する。
(5)(4)において、前記元画像を撮影するカメラの位置に応じて、前記被写体の方向に依存した画像パターンと照合処理する。
(6)(1)ないし(5)の何れかにおいて、前記サブステップ2bにおける投影面の設定は、過去の履歴を考慮して推定する。
(8)(1)ないし(7)の何れかにおいて、前記ステップ1で取得した前記複数の元画像に対して、被写体以外の領域をぼかす、もしくは除去するステップを有する。
(9)また、本発明は、前述の(1)ないし(8)の何れかの画像生成方法を用いて、ディスプレイの周辺で撮影した複数のカメラの画像により、ディスプレイ中心付近の実際にはカメラを設置していない視点位置からの顔画像を生成する画像生成方法である。
(10)また、本発明は、前述の(1)ないし(9)の何れかの画像生成方法を実現する画像生成装置である。
(11)また、本発明は、前述の(1)ないし(8)の何れかの画像生成方法を用いて、周辺で撮影した複数のカメラの画像から、正面向きの顔画像を生成し、個人の認証を行う画像認証方法および画像生成装置である。
(12)また、本発明は、前述の(1)ないし(10)の何れかの画像生成方法を、コンピュータに実行させるプログラムである。
(13)また、本発明は、前述のプログラムを記録したコンピュータ読み取り可能な記録媒体である。
本発明によれば、複数の異なる視点位置から被写体を撮影した画像を元に、所望の視点位置にて被写体を撮影した画像を生成する際に、被写体の存在する場所が未知である場合にも、計算機リソースを節約しつつ適切に画像を生成し、また、被写体以外の場所の見栄えが悪くない画像を生成することが可能となる。
ステップ1においては、複数の視点位置から被写体を撮影した画像(元画像){Ii(m)|i∈N}を得る。
ステップ2aにおいて、元画像中で被写体が映っている2次元領域または位置を検出する。画像中の被写体の検出方法としては、例えば、背景差分を用いる方法、既知の背景色との色の違いを用いる方法、被写体の形や色や濃淡パターンに仮定をおき(モデルを仮定し)、画像中で合致する領域を被写体がある領域として判別する方法、などが考えられる。いわゆる、パターンマッチングもこれに相当する。
また、元画像を撮影するカメラとは別に、例えば、赤外線イメージを撮影可能な装置を用いて、画像中で熱を持つ領域を検出することができる。
このようにして検出した元画像Ii(m)中の被写体が存在する領域をΓi(m)にて表し、Γi(m)=1なる画像座標では被写体が存在し、Γi(m)=0なる画像座標では被写体が存在しないものとする。
2次元画像上の被写体は、誤検出の可能性があり、必ずしも検出された被写体の像の位置を結ぶ光線が、被写体付近で交点を持つわけではない。
また、複数の被写体が撮影されている場合、それぞれのカメラで1つ以上の像が検出される。それぞれの像が、どの被写体による像かということは不明であり、どの光線とどの光線が交わりを持つかは分からない。
以下では、そのような場合でも、適切に被写***置の候補点を求める方法を説明する。
図5は、本発明の実施例1の画像生成方法において、交点候補を算出する処理手順を示すフローチャートである。
すべてのカメラで検出された被写体の像の代表点の集合をQとする。この中には、異なる被写体による像による代表点が混在し、また、実際には被写体が存在しない点が誤って検出されて含まれている。
また、計算の過程で推定される3次元空間中の被写体の候補点の集合をF、その要素fの十分近傍で近似的に交差する光線の集合をR(f)とする。また、計算の過程において、その時点でFのどの要素とも交差しない光線の集合をEとする。
まず、Qのすべての要素qについて、対応する光線r(q)を算出する。光線の算出は式(6)を用いる。(ステップ102,103)
Fのすべての要素fについて、r(q)がfに十分近いとき、光線r(q)をf近辺で交差する光線の集合R(f)に加え、fを更新する。(ステップ104、105、106、107、108)
すなわち、検出済みの交点の候補に対して、着目する光線が近い点を通るときには、その光線もその位置付近で交点を持つと判断し、かつ、当該光線を加えて新たに交点の位置を計算し直す。この判断にあたり、検出済みの交点の候補と光線との距離は、前述の(8)式を用いる。
また、新たな交点の位置の計算には、(16)式を用いる。
ただし、(16)式は、下記(17)式と書き直せるため、既存の光線の集合における左辺および右辺の行列をメモリ上に保持しておけば、新たに光線を加える際にはその分の項を加えるだけでよく、計算量を低減することができる。
すなわち、検出済みの交点の候補と交差しないと判断された光線の集合Eのすべての要素eについて、以下の手順を行う。
まず、eとr(q)が同一のカメラの光線の時は、2つの光線はカメラの視点位置で交点を持ち、被写体側では交点を持たない。よって以下の処理をスキップして、Qに関するループを進める。
それ以外の時は、(16)式により、eとr(q)を用いて、近似交点を計算する。(ステップ112)
近似交点の半径が十分に小さいとき(εより小さい)は、新たな近似交点が見つかったことになる。これをFに加え、また、eは近似交点を持つため、Eから除外する。(ステップ113、114、115、116)
これをすべての要素eについて行い、十分に近い近似交点が見つからなかったら、r(q)をEに加えて、Qに関するループを進める。(ステップ113、117、118)
例えば、カメラの総数がNのとき、過半数のカメラで撮影されていることを基準とすれば、R(f)の要素数>N/2がひとつの判断基準となる。
なお、εのオーダーは、被写体の大きさが目安となる。例えば、被写体のおよその半径がρと分かっているとき、その10分の1程度までの交点のぶれを許容するなら、ε=ρ10などと設定できる。
例えば、図6に示すように、2つの被写体(図6においては顔)があり、複数のカメラでパターンマッチングによりその矩形領域が検出されている。また、顔以外の領域も、誤って検出されている。
このような場合に上記の処理を経ると、3次元の顔位置として、F={f1,f2}が検出され、それぞれの顔位置に対応する光線の集合として、R(f1)={l1 1,l1 2,l1 3}、R(f2)={l2 1,l2 2,l2 3}が検出される。また、どの顔とも交点を持たない光線の集合として、E={l3,l4}が検出される。
前述の実施例1でも述べたとおり、元画像中において被写体が写っている領域は、テンプレートと呼ばれる代表的な画像のパターンと照合処理することで検出することができる。
ただし、例えば、正面顔のパターンでは、上から見た画像が照合できないなど、テンプレートの撮影角度と撮影された被写体の角度の違いによっては、検出できないことがある。
そこで、カメラの相対的な位置関係が既知であることを利用し、各カメラの元画像ごとに、異なるテンプレートにより照合処理をすることで、検出の成功率を向上させることができる。
すなわち、上のカメラからは被写体を上から見た画像のテンプレート、下のカメラからは被写体を下から見た画像のテンプレートを用いる。
動きのある被写体において、撮影時の雑音や、一時的にあるカメラからは被写体の表面が隠れてしまうなどの要因により、ある瞬間において被写体の検出に失敗することがある。
本実施例は、その状況においても適切な位置に投影面を配置するため、過去の履歴を考慮する。
そのいちばん単純な方法は、検出を失敗したときに、最後に検出に成功したときの投影面の配置を用いることである。
すなわち、ステップ2b中で投影面を検出できたかの判断を行い、検出できなかった場合は、1フレーム前の投影面の配置を用いる。また、時間に対する投影面の位置を時系列信号と見なし、ウィーナーフィルタなど、何らかのフィルタ処理により現時刻の投影面の配置を推定しても良い。
被写体以外の場所については、適切な位置に投影面を配置していないため、生成画像は多重像が生じるなど、画像が乱れることになる。
例えば、図8において、カメラ(C1,C2)で撮影され元画像から、顔をパターンマッチングにより検出し、存在する位置に投影面を配置した場合、その後ろにある背景の部分は投影面が配置されていないため、再現できない。
このような箇所において、乱れた画像を生成する代わりに、その箇所をぼかしたり、切り抜いて他の画像や色で埋めたりすることができる。
その一例として、図9の処理手順のステップ4、5に示すように、画像を生成したあと、生成画像中の被写体を検出し、その他の領域をぼかす・切り抜いて他の画像や色を埋めるなどの処理を行うことができる。なお、図9において、★1は、ぼかし処理を施す前の基準視点画像を、★2は基準視点画像中の被写体領域を、★3は、ぼかし処理を施した後の基準視点画像を示す。
また、他の例として、図10の処理手順のステップ2eに示すように、投影面の配置を決定するために元画像中の被写体を検出した際に、元画像中の被写体の領域をぼかす・切り抜いて他の画像や色を埋めるなどの処理を行うことができる。
本実施例では、周りのカメラから正面向きの画像を生成する装置を提供する。
また、このような端末を用いて、テレビ電話として用いることができる。
従来のテレビ電話は、カメラの位置とディスプレイの位置が異なるため、目線が合わず、実際に会って話している臨場感に乏しいという問題があった。
それを解決するために、ハーフミラーなどを用いて光学的にカメラの位置とディスプレイの位置を合わせる装置もあるが、装置構成が大がかりとなる問題があった。
また、半透過の特殊なスクリーンを用いる方法もあるが、スクリーンに投影した映像をカメラで撮影してしまうクロストークと呼ばれる現象があるなど、画質的に十分ではない。
そこで、ディスプレイの相手の目の位置から見た画像を生成し、相手側に提示することで、お互いの視線が合った映像によりコミュニケーションすることができる。
例えば、図11に示すように、ゲートの周りに配置したカメラ(C1〜C3)により正面顔を生成すれば、通る人に警戒されず、認証を行うことができる。
また、認証用の登録データが正面向きである場合、撮影データが横向きだと認証の精度が落ちるのを防止することができる。
また、図12に示すように、ATM端末の周りに小型のカメラ(C1,C2)を配置しておけば、利用者が操作している間に、利用者を煩わせることなく、また、警戒させることなく認証をすることができる。
以下、前述の本実施例の画像生成方法を実行する画像生成装置について説明する。
図13は、本発明の実施例の画像生成装置の概略構成を示すブロック図である。
図13において、200は画像生成装置、201は基準視点決定手段、202は被写体画像(元画像)取得手段、203はレンダリング手段、204は生成画像出力手段、210は被写体画像生成装置、211は元画像中被写体領域検出手段、212は3次元空間被写***置/領域検出手段、213は投影面決定手段、214はテクスチャ配列確保手段、215は色/輝度情報決定手段、221は視点位置入力手段、222は被写体撮影手段、223は画像表示手段である。
本実施例の画像生成装置では、利用者が視点位置入力手段221を用いて入力した視点(基準視点)のパラメータを決定する基準視点決定手段201と、複数の視点位置Ciにある被写体撮影手段(カメラ)222で撮影された被写体の画像(元画像)を取得する被写体画像取得手段202と、前記取得した元画像をもとに、被写体画像生成装置210とレンダリング手段203により、基準視点から被写体を見たときの画像(基準視点画像)を生成する。
3次元空間被写***置/領域検出手段212と投影面決定手段213は、図2のステップ2bの処理を実行する。即ち、3次元空間被写***置/領域検出手段212は、3次元空間中の被写***置または領域を算出し、投影面決定手段213は、投影面を設定する。
テクスチャ配列確保手段214は、図2のステップ2cの処理を実行する。
色/輝度情報決定手段215は図2のステップ2dの処理を実行する。
レンダリング手段203は、図2のステップ3の処理を実行する。
生成画像出力手段204は、レンダリング手段203により生成された基準画像を表示する。
なお、図13に示す画像生成装置は、コンピュータに実行させることも可能であり、その場合に、本実施例の画像生成方法は、コンピュータ内のハードディスクなどに格納されるプログラムを、コンピュータが実行することにより行われる。このプログラムは、CD−ROM、あるいは、ネットワークを介したダウンロードにより供給される。
また、被写体が存在する領域が限定されるため、被写体の位置や色(もしくは輝度)の推定の誤りが少なくなり、生成画像の画質向上を実現できる。たとえ、複数の元画像を1枚の2次元投影面上に射影変換し合成するなど、明示的に3次元情報を求めない場合においても、被写体が存在する3次元的な位置(奥行きなど)を仮定するが、この場合においても、適切な位置に奥行きを設定することができる。また、被写体が動いた場合でも、自動的に投影面位置を調整し、良好な画像を生成できる。
また、3次元空間中で奥行きを限定された2次元の投影面上で、さらに被写体の2次元的な領域が限定されるため、被写体が写っていない領域の元画像を用いて基準視点からの画像を生成することが少なくなり、さらなる画質向上および計算機リソースの低減の効果がある。
また、元画像中で特定の被写体を限定的に検出することができ、生成画像においても特定の被写体のみ効率的に画像生成することができ、計算機リソースの低減および画質の向上に効果がある。
また、被写体が撮影された向きによる検出の誤りを防ぎ、被写体の検出性能が向上することにより、生成画像の画質の向上に効果がある。
また、このような措置をとらなかった場合に被写体が検出できず、本発明が使用できなかったようなカメラの配置においても使用が可能となり、適用できる状況を拡げることができる。
また、あるタイミングにおいて一時的に元画像中での被写体像の位置検出に失敗した場合でも、投影面の配置を推定することができ、生成画像の画質安定の効果がある。
また、被写体として検出された部分以外の再現できていない部分(背景など)をぼかすまたは除去し、見た目に良好な画像を生成できる。
また、被写体として検出された部分以外の再現できていない部分(背景など)をぼかすまたは除去し、見た目に良好な画像を生成できる。
さらに、周りに配置したカメラにより正面顔を生成して認証を行うことで、正面向きで撮影した認証用の登録データと照合する際、正面向きではない撮影画像を用いるよりも、認証の精度を向上させることができる。
また、認証の対象となる人を煩わせることなく、また、意識させることなく、認証を行うことができる。
このように、本実施例によれば、複数の異なる視点位置から被写体を撮影した画像を元に、所望の視点位置にて被写体を撮影したのと同等の画像を生成する方法において、被写体の存在する場所が未知である場合にも、計算機リソースを節約しつつ適切に画像を生成し、また、被写体以外の場所の見栄えが悪くない画像生成方法およびそのような方法を実装した画像生成装置を提供できる。
以上、本発明者によってなされた発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
201 基準視点決定手段
202 被写体画像(元画像)取得手段
203 レンダリング手段
204 生成画像出力手段
210 被写体画像生成装置
211 元画像中被写体領域検出手段
212 3次元空間被写***置/領域検出手段
213 投影面決定手段
214 テクスチャ配列確保手段
215 色/輝度情報決定手段
221 視点位置入力手段
222 被写体撮影手段
223 画像表示手段
Claims (22)
- 複数の異なる視点位置から被写体を撮影した複数の元画像を元に、所望の視点位置である基準視点から前記被写体を撮影した基準視点位置画像を生成する画像生成方法であって、
前記複数の元画像を取得するステップ1と、
前記ステップ1で取得した複数の元画像をもとに、3次元空間中で前記被写体の表面の色情報または輝度情報を推定するステップ2と、
前記ステップ2で推定した情報に基づいて、前記基準視点位置画像を生成するステップ3とを有し、
前記ステップ2は、前記複数の元画像中で前記被写体が撮影されている位置または領域である元画像被写体領域を検出するサブステップ2aと、
前記サブステップ2aで検出した元画像被写体領域を、元画像を撮影した各カメラの視点位置を投影中心として3次元空間中に投影処理し、3次元空間上で前記被写体が存在する代表的な位置または範囲を推定し、前記位置または範囲を含む1つ以上の投影面を設定するサブステップ2bと、
前記サブステップ2bで設定した前記1つ以上の投影面について、前記各元画像に射影変換を施して複数の投影画像を生成するサブステップ2cと、
前記複数の投影画像の色または輝度情報の合成演算により、前記1つ以上の投影面上の各点における被写体の色または輝度情報を算出するサブステップ2dを有し、
前記投影面が複数の場合に、前記ステップ3において、前記基準視点から見て重なりを持つ前記1つ以上の投影面上の各画素の輝度情報もしくは色情報を合成演算処理することにより前記基準視点位置画像を得ることを特徴とする画像生成方法。 - 前記1つ以上の投影面上の各画素は、色情報もしくは輝度情報の他に前記被写体が各投影面に存在する可能性を示す存在情報を持ち、
前記投影面が複数の場合に、前記ステップ3において、各カメラの元画像被写体領域を共通の投影面上に射影して得られた投影面上の投影面被写体領域を取得し、前記複数のカメラの投影面被写体領域の積演算から存在情報を計算し、前記存在情報と、前記輝度情報もしくは色情報の合成演算により画像を生成することを特徴とする請求項1に記載の画像生成方法。 - 前記存在情報は0から1までの階調的な値を持ち、
前記存在情報は、前記1つ以上の投影面上の各点に対応する元画像における点の色または輝度情報の類似の程度により決定されることを特徴とする請求項2に記載の画像生成方法。 - 前記サブステップ2aにおいて、前記被写体の画像をその代表的な画像パターンと照合処理することにより、前記元画像被写体領域を検出することを特徴とする請求項1ないし請求項3のいずれか1項に記載の画像生成方法。
- 前記元画像を撮影するカメラの位置に応じて、前記被写体の方向に依存した画像パターンと照合処理することを特徴とする請求項4に記載の画像生成方法。
- 前記サブステップ2bにおける投影面の設定は、過去の履歴を考慮して推定することを特徴とする請求項1ないし請求項5のいずれか1項に記載の画像生成方法。
- 前記ステップ3において生成された画像に対し、さらに被写体以外の領域をぼかす、もしくは除去し、最終的な画像を生成するステップを有することを特徴とする請求項1ないし請求項6のいずれか1項に記載の画像生成方法。
- 前記ステップ1で取得した前記複数の元画像に対して、被写体以外の領域をぼかす、もしくは除去するステップを有することを特徴とする請求項1ないし請求項7のいずれか1項に記載の画像生成方法。
- 請求項1ないし請求項8のいずれか1項の画像生成方法を用いて、ディスプレイの周辺で撮影した複数のカメラの画像により、ディスプレイ中心付近の実際にはカメラを設置していない視点位置からの顔画像を生成することを特徴とする画像生成方法。
- 請求項1ないし請求項8のいずれか1項の画像生成方法を用いて、周辺で撮影した複数のカメラの画像から、正面向きの顔画像を生成し、個人の認証を行うことを特徴とする画像認証方法。
- 複数の異なる視点位置から被写体を撮影した複数の元画像を元に、所望の視点位置である基準視点から前記被写体を撮影した基準視点位置画像を生成する画像生成装置であって、
前記複数の元画像を取得する手段1と、
前記手段1で取得した複数の元画像をもとに、3次元空間中で前記被写体の表面の色情報または輝度情報を推定する手段2と、
前記手段2で推定した情報に基づいて、前記基準視点位置画像を生成する手段3とを有し、
前記手段2は、前記複数の元画像中で前記被写体が撮影されている位置または領域である元画像被写体領域を検出する手段2aと、
前記手段2aで検出した元画像被写体領域を、元画像を撮影した各カメラの視点位置を投影中心として3次元空間中に投影処理し、3次元空間上で前記被写体が存在する代表的な位置または範囲を推定し、前記位置または範囲を含む1つ以上の投影面を設定する手段2bと、
前記手段2bで設定した前記1つ以上の投影面について、前記各元画像に射影変換を施して複数の投影画像を生成する手段2cと、
前記複数の投影画像の色または輝度情報の合成演算により、前記1つ以上の投影面上の各点における被写体の色または輝度情報を算出する手段2dを有し、
前記投影面が複数の場合に、前記手段3において、前記基準視点から見て重なりを持つ前記1つ以上の投影面上の各画素の輝度情報もしくは色情報を合成演算処理することにより前記基準視点位置画像を得ることを特徴とする画像生成装置。 - 前記1つ以上の投影面上の各画素は、色情報もしくは輝度情報の他に前記被写体が各投影面に存在する可能性を示す存在情報を持ち、
前記投影面が複数の場合に、前記手段3において、各カメラの元画像被写体領域を共通の投影面上に射影して得られた投影面上の投影面被写体領域を取得し、前記複数のカメラの投影面被写体領域の積演算から存在情報を計算し、前記存在情報と、前記輝度情報もしくは色情報の合成演算により画像を生成することを特徴とする請求項11に記載の画像生成装置。 - 前記存在情報は0から1までの階調的な値を持ち、
前記存在情報は、前記1つ以上の投影面上の各点に対応する元画像における点の色または輝度情報の類似の程度により決定されることを特徴とする請求項12に記載の画像生成装置。 - 前記手段2aにおいて、前記被写体の画像をその代表的な画像パターンと照合処理することにより、前記元画像被写体領域を検出することを特徴とする請求項11ないし請求項13のいずれか1項に記載の画像生成装置。
- 前記元画像を撮影するカメラの位置に応じて、前記被写体の方向に依存した画像パターンと照合処理することを特徴とする請求項14に記載の画像生成装置。
- 前記手段2bにおける投影面の設定は、過去の履歴を考慮して推定することを特徴とする請求項11ないし請求項15のいずれか1項に記載の画像生成装置。
- 前記手段3において生成された画像に対し、さらに被写体以外の領域をぼかす、もしくは除去し、最終的な画像を生成する手段を有することを特徴とする請求項11ないし請求項16のいずれか1項に記載の画像生成装置。
- 前記手段1で取得した前記複数の元画像に対して、被写体以外の領域をぼかす、もしくは除去する手段を有することを特徴とする請求項11ないし請求項17のいずれか1項に記載の画像生成装置。
- 請求項11ないし請求項18のいずれか1項の画像生成装置を用いて、ディスプレイの周辺で撮影した複数のカメラの画像により、ディスプレイ中心付近の実際にはカメラを設置していない視点位置からの顔画像を生成することを特徴とする画像生成装置。
- 請求項11ないし請求項18のいずれか1項の画像生成装置を用いて、周辺で撮影した複数のカメラの画像から、正面向きの顔画像を生成し、個人の認証を行うことを特徴とする画像認証装置。
- 請求項1ないし請求項9のいずれか1項に記載の画像生成方法を、コンピュータに実行させるためのプログラム。
- 請求項21に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008313518A JP5015126B2 (ja) | 2008-12-09 | 2008-12-09 | 画像生成方法、画像認証方法、画像生成装置、画像認証装置、プログラム、および記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008313518A JP5015126B2 (ja) | 2008-12-09 | 2008-12-09 | 画像生成方法、画像認証方法、画像生成装置、画像認証装置、プログラム、および記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010140097A true JP2010140097A (ja) | 2010-06-24 |
JP5015126B2 JP5015126B2 (ja) | 2012-08-29 |
Family
ID=42350216
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008313518A Expired - Fee Related JP5015126B2 (ja) | 2008-12-09 | 2008-12-09 | 画像生成方法、画像認証方法、画像生成装置、画像認証装置、プログラム、および記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5015126B2 (ja) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012191351A (ja) * | 2011-03-09 | 2012-10-04 | Sony Corp | 撮像装置および画像処理方法 |
JP2015045920A (ja) * | 2013-08-27 | 2015-03-12 | 日本電信電話株式会社 | 仮想視点映像生成装置、仮想視点映像生成方法、及び仮想視点映像生成プログラム |
JP2015532483A (ja) * | 2012-10-04 | 2015-11-09 | エーティーアイ・テクノロジーズ・ユーエルシーAti Technologies Ulc | ビデオ映像の視点を変えるための方法および装置 |
JP2019516202A (ja) * | 2016-03-25 | 2019-06-13 | アウトワード・インコーポレーテッドOutward Incorporated | 任意ビューの生成 |
US10832468B2 (en) | 2016-03-25 | 2020-11-10 | Outward, Inc. | Arbitrary view generation |
US10909749B2 (en) | 2016-03-25 | 2021-02-02 | Outward, Inc. | Arbitrary view generation |
US11024076B2 (en) | 2016-03-25 | 2021-06-01 | Outward, Inc. | Arbitrary view generation |
US11222461B2 (en) | 2016-03-25 | 2022-01-11 | Outward, Inc. | Arbitrary view generation |
US11232627B2 (en) | 2016-03-25 | 2022-01-25 | Outward, Inc. | Arbitrary view generation |
US11972522B2 (en) | 2016-03-25 | 2024-04-30 | Outward, Inc. | Arbitrary view generation |
US11989821B2 (en) | 2016-03-25 | 2024-05-21 | Outward, Inc. | Arbitrary view generation |
US11989820B2 (en) | 2016-03-25 | 2024-05-21 | Outward, Inc. | Arbitrary view generation |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001126085A (ja) * | 1999-08-16 | 2001-05-11 | Mitsubishi Electric Corp | 画像生成システム、画像表示システム、画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体および画像生成方法 |
JP2002324249A (ja) * | 2001-02-26 | 2002-11-08 | Nabura:Kk | 画像表示システム及び方法 |
WO2004114224A1 (ja) * | 2003-06-20 | 2004-12-29 | Nippon Telegraph And Telephone Corporation | 仮想視点画像生成方法及び3次元画像表示方法並びに装置 |
JP2006244306A (ja) * | 2005-03-04 | 2006-09-14 | Nippon Telegr & Teleph Corp <Ntt> | 動画像生成システム、動画像生成装置、動画像生成方法、プログラム、及び記録媒体 |
JP2007189426A (ja) * | 2006-01-12 | 2007-07-26 | Fujifilm Corp | 画像出力装置及び画像出力方法 |
-
2008
- 2008-12-09 JP JP2008313518A patent/JP5015126B2/ja not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001126085A (ja) * | 1999-08-16 | 2001-05-11 | Mitsubishi Electric Corp | 画像生成システム、画像表示システム、画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体および画像生成方法 |
JP2002324249A (ja) * | 2001-02-26 | 2002-11-08 | Nabura:Kk | 画像表示システム及び方法 |
WO2004114224A1 (ja) * | 2003-06-20 | 2004-12-29 | Nippon Telegraph And Telephone Corporation | 仮想視点画像生成方法及び3次元画像表示方法並びに装置 |
JP2006244306A (ja) * | 2005-03-04 | 2006-09-14 | Nippon Telegr & Teleph Corp <Ntt> | 動画像生成システム、動画像生成装置、動画像生成方法、プログラム、及び記録媒体 |
JP2007189426A (ja) * | 2006-01-12 | 2007-07-26 | Fujifilm Corp | 画像出力装置及び画像出力方法 |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012191351A (ja) * | 2011-03-09 | 2012-10-04 | Sony Corp | 撮像装置および画像処理方法 |
JP2015532483A (ja) * | 2012-10-04 | 2015-11-09 | エーティーアイ・テクノロジーズ・ユーエルシーAti Technologies Ulc | ビデオ映像の視点を変えるための方法および装置 |
JP2015045920A (ja) * | 2013-08-27 | 2015-03-12 | 日本電信電話株式会社 | 仮想視点映像生成装置、仮想視点映像生成方法、及び仮想視点映像生成プログラム |
US11222461B2 (en) | 2016-03-25 | 2022-01-11 | Outward, Inc. | Arbitrary view generation |
JP7116142B2 (ja) | 2016-03-25 | 2022-08-09 | アウトワード・インコーポレーテッド | 任意ビューの生成 |
US10909749B2 (en) | 2016-03-25 | 2021-02-02 | Outward, Inc. | Arbitrary view generation |
JP2021044004A (ja) * | 2016-03-25 | 2021-03-18 | アウトワード・インコーポレーテッドOutward Incorporated | 任意ビューの生成 |
US11024076B2 (en) | 2016-03-25 | 2021-06-01 | Outward, Inc. | Arbitrary view generation |
JP2019516202A (ja) * | 2016-03-25 | 2019-06-13 | アウトワード・インコーポレーテッドOutward Incorporated | 任意ビューの生成 |
US11232627B2 (en) | 2016-03-25 | 2022-01-25 | Outward, Inc. | Arbitrary view generation |
US10832468B2 (en) | 2016-03-25 | 2020-11-10 | Outward, Inc. | Arbitrary view generation |
JP2022141937A (ja) * | 2016-03-25 | 2022-09-29 | アウトワード・インコーポレーテッド | 任意ビューの生成 |
US11544829B2 (en) | 2016-03-25 | 2023-01-03 | Outward, Inc. | Arbitrary view generation |
US11676332B2 (en) | 2016-03-25 | 2023-06-13 | Outward, Inc. | Arbitrary view generation |
US11875451B2 (en) | 2016-03-25 | 2024-01-16 | Outward, Inc. | Arbitrary view generation |
US11972522B2 (en) | 2016-03-25 | 2024-04-30 | Outward, Inc. | Arbitrary view generation |
US11989821B2 (en) | 2016-03-25 | 2024-05-21 | Outward, Inc. | Arbitrary view generation |
US11989820B2 (en) | 2016-03-25 | 2024-05-21 | Outward, Inc. | Arbitrary view generation |
US12002149B2 (en) | 2016-03-25 | 2024-06-04 | Outward, Inc. | Machine learning based image attribute determination |
Also Published As
Publication number | Publication date |
---|---|
JP5015126B2 (ja) | 2012-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5015126B2 (ja) | 画像生成方法、画像認証方法、画像生成装置、画像認証装置、プログラム、および記録媒体 | |
US10540806B2 (en) | Systems and methods for depth-assisted perspective distortion correction | |
US10701332B2 (en) | Image processing apparatus, image processing method, image processing system, and storage medium | |
EP2992508B1 (en) | Diminished and mediated reality effects from reconstruction | |
US8340422B2 (en) | Generation of depth map for an image | |
US20180300937A1 (en) | System and a method of restoring an occluded background region | |
US7103211B1 (en) | Method and apparatus for generating 3D face models from one camera | |
US10043278B2 (en) | Method and apparatus for reconstructing 3D face with stereo camera | |
WO2020063100A1 (zh) | 增强现实的图像展示方法、装置及设备 | |
JP5249221B2 (ja) | 画像から奥行きマップを決定する方法、奥行きマップを決定する装置 | |
US11348267B2 (en) | Method and apparatus for generating a three-dimensional model | |
KR101669820B1 (ko) | 볼륨 예측 기반 폐색 영역 양방향 복원 장치 및 방법 | |
KR20170008638A (ko) | 3차원 컨텐츠 생성 장치 및 그 3차원 컨텐츠 생성 방법 | |
CN105825478A (zh) | 在对象去除之后恢复图像中的缺失结构的结构分析方法 | |
JP7479729B2 (ja) | 三次元表現方法及び表現装置 | |
WO2014180255A1 (zh) | 一种数据处理方法、装置、计算机存储介质及用户终端 | |
JPWO2019050038A1 (ja) | 画像生成方法および画像生成装置 | |
JP2007053621A (ja) | 画像生成装置 | |
JP5361758B2 (ja) | 画像生成方法、画像生成装置、及びプログラム | |
KR102082277B1 (ko) | 파노라마 영상 생성 방법 및 그 장치 | |
JP7264308B2 (ja) | 二次元顔画像の2つ以上の入力に基づいて三次元顔モデルを適応的に構築するためのシステムおよび方法 | |
JP2002117403A (ja) | 画像処理装置および画像処理方法 | |
EP4013049A1 (en) | Apparatus and method for processing a depth map | |
TW201828691A (zh) | 視訊成像方法及其電子裝置 | |
Chen et al. | Accurate human body reconstruction for volumetric video |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120321 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120514 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120605 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120606 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150615 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5015126 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |