JP6967150B2 - 学習装置、画像生成装置、学習方法、画像生成方法及びプログラム - Google Patents
学習装置、画像生成装置、学習方法、画像生成方法及びプログラム Download PDFInfo
- Publication number
- JP6967150B2 JP6967150B2 JP2020525087A JP2020525087A JP6967150B2 JP 6967150 B2 JP6967150 B2 JP 6967150B2 JP 2020525087 A JP2020525087 A JP 2020525087A JP 2020525087 A JP2020525087 A JP 2020525087A JP 6967150 B2 JP6967150 B2 JP 6967150B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- view
- learning
- input
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Description
本発明は、学習装置、画像生成装置、学習方法、画像生成方法及びプログラムに関する。
実写の画像に基づいて設定される光源を用いて、リアルなコンピュータグラフィックス(CG)の画像やCGと実写の画像とを合成した画像を生成するイメージベースドライトニング(IBL)の技術が知られている。
生成される画像のリアリティを向上させるため、IBLにおいてはハイダイナミックレンジ(HDR)の360度画像などといった広画角画像に基づいて光源が設定されることが望ましい。しかし、広画角画像を得るためには全天周カメラや半天周カメラなどといった専用機材による撮影が必要であり、また、専門の知識も求められる。
そのため、撮影によって広画角画像を生成する代わりに、学習済の機械学習モデルなどによって実装された画像生成部を用いて広画角画像を生成することが行われている。この場合は例えば、一般的なカメラにより撮影される画像を画像生成部に入力することで、当該画像の画角の外の物体や風景などといった当該画像の画角の外の環境の推定結果が補われた広画角画像が生成される。
近年、スマートフォンのようにそれぞれの画角及び相対的な撮影方向が予め定められた複数のカメラを備えた撮影装置が多く存在している。そこでこのような撮影装置を用いて撮影された複数の画像を上述の画像生成部に入力することによって広画角画像を生成できれば、精度の高い広画角画像を容易に得ることができるものと期待される。
本発明は上記課題に鑑みてなされたものであって、その目的の1つは、精度の高い広画角画像を容易に得ることができる学習装置、画像生成装置、学習方法、画像生成方法及びプログラムを提供することにある。
上記課題を解決するために、本発明に係る学習装置は、予め定められたそれぞれの画角及び相対的な撮影方向で撮影された様子を表す複数の入力画像を取得する入力画像取得部と、前記複数の入力画像の画角のすべてを画角に含む広画角画像を取得する広画角画像取得部と、複数の画像の入力に応じて当該複数の画像の画角のすべてを画角に含む画像を生成して出力する広画角画像生成部に前記複数の入力画像を入力した際の出力と、前記広画角画像と、に基づいて、前記広画角画像生成部の学習を実行する学習部と、を含む。
本発明の一態様では、前記広画角画像に基づいて、前記複数の入力画像を生成する入力画像生成部、をさらに含み、前記入力画像取得部は、前記入力画像生成部により生成される前記複数の入力画像を取得する。
この態様では、前記入力画像生成部は、前記広画角画像に基づいて、表されている当該広画角画像内における位置がそれぞれ異なる前記複数の入力画像の組合せを複数生成し、前記入力画像生成部は、前記広画角画像に基づいて、前記組合せのそれぞれに対応付けられる前記広画角画像を生成し、前記学習部は、生成される複数の前記組合せを用いて、当該組合せに属する前記複数の入力画像と当該組合せに対応付けられる前記広画角画像とに基づく前記広画角画像生成部の学習を実行してもよい。
また、本発明にかかる画像生成装置は、予め定められたそれぞれの画角及び相対的な撮影方向で撮影装置が備える複数のカメラによりそれぞれ撮影される複数の入力画像を取得する入力画像取得部と、前記複数の入力画像の入力に応じて、当該複数の入力画像の画角のすべてを画角に含む画像を生成して出力する広画角画像生成部と、を含み、前記広画角画像生成部は、画像と、当該画像の画角の一部をそれぞれ含む複数の画像を当該広画角画像生成部に入力した際の出力と、に基づく学習が実行済の機械学習モデルである。
また、本発明の一態様では、前記複数のカメラは、それぞれ前記撮影装置の別の面に設けられている。
また、本発明に係る学習方法は、予め定められたそれぞれの画角及び相対的な撮影方向で撮影された様子を表す複数の入力画像を取得するステップと、前記複数の入力画像の画角のすべてを画角に含む広画角画像を取得するステップと、複数の画像の入力に応じて当該複数の画像の画角のすべてを画角に含む画像を生成して出力する広画角画像生成部に前記複数の入力画像を入力した際の出力と、前記広画角画像と、に基づいて、前記広画角画像生成部の学習を実行するステップと、を含む。
また、本発明に係る画像生成方法は、予め定められたそれぞれの画角及び相対的な撮影方向で撮影装置が備える複数のカメラによりそれぞれ撮影される複数の入力画像を取得するステップと、画像と、当該画像の画角の一部をそれぞれ含む複数の画像を入力した際の出力と、に基づく学習が実行済の機械学習モデルである広画角画像生成部に前記複数の入力画像を入力することで、当該広画角画像生成部に、当該複数の入力画像の画角のすべてを画角に含む画像を生成して出力させるステップと、を含む。
また、本発明に係るプログラムは、予め定められたそれぞれの画角及び相対的な撮影方向で撮影された様子を表す複数の入力画像を取得する手順、前記複数の入力画像の画角のすべてを画角に含む広画角画像を取得する手順、複数の画像の入力に応じて当該複数の画像の画角のすべてを画角に含む画像を生成して出力する広画角画像生成部に前記複数の入力画像を入力した際の出力と、前記広画角画像と、に基づいて、前記広画角画像生成部の学習を実行する手順、をコンピュータに実行させる。
また、本発明に係る別のプログラムは、予め定められたそれぞれの画角及び相対的な撮影方向で撮影装置が備える複数のカメラによりそれぞれ撮影される複数の入力画像を取得する手順、画像と、 当該画像の画角の一部をそれぞれ含む複数の画像を入力した際の出力と、に基づく学習が実行済の機械学習モデルである広画角画像生成部に前記複数の入力画像を入力することで、当該広画角画像生成部に、当該複数の入力画像の画角のすべてを画角に含む画像を生成して出力させる手順、をコンピュータに実行させる。
以下、本発明の一実施形態について図面に基づき詳細に説明する。
図1は、本実施形態に係る画像処理装置10の構成図である。本実施形態に係る画像処理装置10は、例えば、ゲームコンソールやパーソナルコンピュータなどのコンピュータである。図1に示すように、本実施形態に係る画像処理装置10は、例えば、プロセッサ12、記憶部14、操作部16、表示部18を含んでいる。
プロセッサ12は、例えば画像処理装置10にインストールされるプログラムに従って動作するCPU等のプログラム制御デバイスである。
記憶部14は、ROMやRAM等の記憶素子やハードディスクドライブなどである。記憶部14には、プロセッサ12によって実行されるプログラムなどが記憶される。
操作部16は、キーボード、マウス、ゲームコンソールのコントローラ等のユーザインタフェースであって、ユーザの操作入力を受け付けて、その内容を示す信号をプロセッサ12に出力する。
表示部18は、液晶ディスプレイ等の表示デバイスであって、プロセッサ12の指示に従って各種の画像を表示する。
なお、画像処理装置10は、ネットワークボードなどの通信インタフェース、DVD−ROMやBlu−ray(登録商標)ディスクなどの光ディスクを読み取る光ディスクドライブ、USB(Universal Serial Bus)ポートなどを含んでいてもよい。
本実施形態に係る画像処理装置10には学習済の機械学習モデルが実装される。そして当該機械学習モデルを用いて一般的なカメラで撮影される平面画像などといった二次元画像に基づいて、当該二次元画像の画角の外の物体や風景が補われた、当該二次元画像よりも画角が広い画像が生成される。
ここで例えば、スマートフォンなどの撮影装置が備える複数の一般的なカメラでそれぞれ撮影される複数の画像に基づいて、当該複数の画像のすべての画角を画角に含む画像が生成されてもよい。
また例えば、全天周画像(360度画像)や半天周画像(180度画像)などが生成されてもよい。また例えば、パノラマ画像が生成されてもよい。
以下、画像処理装置10に実装されている機械学習モデルの学習の一例について説明する。
本実施形態では、図2に示すように、広画角画像生成部20の学習が実行される。ここで広画角画像生成部20の学習に用いられるデータを学習データと呼ぶこととする。
以下、GAN(Generative Adversarial Network)の技術を用いて、広画角画像生成部20だけではなくドメイン識別部22の学習も併せて行われる学習の一例について説明する。
広画角画像生成部20は、例えば、畳み込みニューラルネットワーク(CNN)により実装された機械学習モデルである。広画角画像生成部20には、例えば、予め定められたそれぞれの画角及び相対的な撮影方向で撮影された様子を表す複数の二次元画像等の画像が入力される。ここで広画角画像生成部20に、スマートフォンなどの撮影装置が備える複数のカメラでそれぞれ撮影された複数の画像が入力されてもよい。当該複数のカメラのそれぞれの画角は予め定められている。また当該複数のカメラの相対的な撮影方向も予め定められている。
そして広画角画像生成部20は、例えば入力される複数の画像の画角の外の領域の物体や風景などといった当該複数の画像の画角の外の環境を推定する。そして広画角画像生成部20は例えば、当該推定の結果が反映された、入力される画像よりも画角が広い画像を生成する。
ここで例えば、入力される複数の画像の画角のすべてを画角に含む画像が生成されてもよい。また生成される画像は、入力される複数の画像の画角の外の領域を表す画像が補完された画像であってもよい。またここで例えば、全天周画像や半天周画像が生成されてもよい。また例えば、パノラマ画像が生成されてもよい。また生成される画像は、ハイダイナミックレンジ(HDR)の画像であってもよい。そして広画角画像生成部20は、生成された画像を出力する。
以下の説明では、広画角画像生成部20は、入力される2枚の二次元画像等の画像の画角の両方を画角に含む画像を生成して出力することとする。
ドメイン識別部22は、例えば、CNNにより実装された機械学習モデルである。ドメイン識別部22には、例えば、広画角画像生成部20により生成された画像、又は、広画角画像生成部20では生成されていない画像のいずれかが入力される。そしてドメイン識別部22は、例えば、ドメイン識別部22に入力される画像が広画角画像生成部20により生成された画像であるか否かの識別結果を出力する。ここでドメイン識別部22が、ドメイン識別部22に入力された画像が広画角画像生成部20により生成された画像である可能性の高さを示すデータを出力してもよい。
本実施形態に係る学習データには、例えば、第1学習入力画像24と、第2学習入力画像26と、学習広画角画像28と、が含まれている。
図3Aは、第1学習入力画像24の一例(第1学習入力画像24a)を模式的に示す図である。図3Bは、第2学習入力画像26の一例(第2学習入力画像26a)を模式的に示す図である。図4は、学習広画角画像28の一例(学習広画角画像28a)を模式的に示す図である。
図5Aは、第1学習入力画像24の別の一例(第1学習入力画像24b)を模式的に示す図である。図5Bは、第2学習入力画像26の別の一例(第2学習入力画像26b)を模式的に示す図である。図6は、学習広画角画像28の別の一例(学習広画角画像28b)を模式的に示す図である。
例えば1つの学習データには、第1学習入力画像24a、第2学習入力画像26a、及び、学習広画角画像28aの組合せが含まれる。また例えば別の1つの学習データには、第1学習入力画像24b、第2学習入力画像26b、及び、学習広画角画像28bの組合せが含まれる。
第1学習入力画像24と第2学習入力画像26とは、例えば、同じ位置から異なる方向を撮影した画像であってもよい。ここで例えば、第1学習入力画像24の撮影方向を基準とした第2学習入力画像26の相対的な撮影方向は予め定められていてもよい。また第1学習入力画像24や第2学習入力画像26は、スタンダードダイナミックレンジ(SDR)の画像であってもよい。なお図3A、図3B、図5A、及び、図5BにはSDRの画像に対して二値化処理がされた画像が示されている。
また第1学習入力画像24と第2学習入力画像26とは、例えば、複数のカメラを備える撮影装置において、当該複数のカメラのそれぞれが予め定められたそれぞれの画角及び相対的な撮影方向で撮影した画像であってもよい。具体的には例えば、スマートフォンの位置が固定された状態で、当該スマートフォンの前面に設けられている第1のカメラが撮影した画像が第1学習入力画像24であってもよい。そして当該スマートフォンの背面に設けられている第2のカメラが撮影した画像が第2学習入力画像26であってもよい。この場合は、第1学習入力画像24の撮影方向を基準とした第2学習入力画像26の相対的な撮影方向は必然的に予め固定されたものとなる。またどの方向を撮影しても第1のカメラの画角は同じである。またどの方向を撮影しても第2のカメラの画角は同じである。
学習広画角画像28は、例えば、広画角画像生成部20により生成された画像ではない、全天周カメラで撮影された全天周画像や半天周カメラで撮影された半天周画像などの広画角画像である。なお学習広画角画像28は、パノラマカメラで撮影されたパノラマ画像であってもよい。また、学習広画角画像28は、HDRの画像であってもよい。なお図4、及び、図6にはHDRの画像に対して二値化処理がされた画像が示されている。
また、学習データに含まれる学習広画角画像28として、当該学習データに含まれる第1学習入力画像24及び第2学習入力画像26に対応付けられる画像が用いられてもよい。例えば、学習データに含まれる学習広画角画像28は、例えば、当該学習データに含まれる第1学習入力画像24及び第2学習入力画像26と、同じ位置から撮影された画像であってもよい。
また本実施形態において、図2に示すように、学習入力画像生成部30が、学習広画角画像28に基づいて、学習広画角画像28の画角の一部をそれぞれ含む第1学習入力画像24及び第2学習入力画像26を生成してもよい。ここで例えば学習広画角画像28の画角の一部に対してノイズの付加や回転などといった加工が行われた第1学習入力画像24及び第2学習入力画像26が生成されてもよい。
例えば、学習広画角画像28a内の第1の所定の位置にある第1の所定の形状及び大きさの領域を占める部分画像を抽出し、当該部分画像に対して所定の幾何変換を実行することで第1学習入力画像24aが生成されてもよい。また学習広画角画像28内の第2の所定の位置にある第2の所定の形状及び大きさの領域を占める部分画像を抽出し、当該部分画像に対して所定の幾何変換を実行することで第2学習入力画像26aが生成されてもよい。ここで第2の所定の位置の、第1の所定の位置に対する相対的な位置は、予め定められたものであってもよい。この場合、第1学習入力画像24及び第2学習入力画像26は、予め定められた相対的な撮影方向で撮影された様子を表す画像となる。
また同様にして、学習広画角画像28bに基づいて、第1学習入力画像24b、及び、第2学習入力画像26bが生成されてもよい。
このようにすれば、学習広画角画像28に対応する第1学習入力画像24及び第2学習入力画像26の撮影を実際にわざわざ行う必要がない。
ここで例えば、第1の所定の位置は、学習広画角画像28内の中央付近の位置であり、第2の所定の位置は、学習広画角画像28内の左右端付近の位置であってもよい。また例えば、上述の所定の幾何変換は、全天周画像又は半天周画像を一般的なカメラで撮影されるような二次元画像(平面画像)に変換する幾何変換であってもよい。
また第1の所定の形状及び大きさと、第2の所定の形状及び大きさとは、同じであってもよいし、異なっていてもよい。例えばスマートフォンの前面に設けられているカメラの方がスマートフォンの背面に設けられているカメラよりも画角が広い場合がある。このことを踏まえ、第1の所定の大きさの方が第2の所定の大きさよりも大きくてもよい。
また学習入力画像生成部30は、1枚の学習広画角画像28に基づいて、表されている当該学習広画角画像28内における位置がそれぞれ異なる複数の学習入力画像の組合せを複数生成してもよい。また学習入力画像生成部30は、当該学習広画角画像28に基づいて、当該組合せのそれぞれに対応付けられる別の学習広画角画像28を生成してもよい。そして1枚の学習広画角画像28に基づいて、別の学習広画角画像28が複数生成されてもよい。
例えば、図4に示す学習広画角画像28aに基づいて、図3Aに示す第1学習入力画像24aと図3Bに示す第2学習入力画像26aとの組合せ、及び、図5Aに示す第1学習入力画像24bと図5Bに示す第2学習入力画像26bとの組合せが生成されてもよい。
この場合例えば学習広画角画像28a内の第1の所定の位置にある第1の所定の形状及び大きさの領域を占める部分画像を抽出し、当該部分画像に対して所定の幾何変換を実行することで第1学習入力画像24aが生成されてもよい。そして学習広画角画像28a内の第2の所定の位置にある第2の所定の形状及び大きさの領域を占める部分画像を抽出し、当該部分画像に対して所定の幾何変換を実行することで第2学習入力画像26aが生成されてもよい。そして学習広画角画像28a内の第3の所定の位置にある第3の所定の形状及び大きさの領域を占める部分画像を抽出し、当該部分画像に対して所定の幾何変換を実行することで第1学習入力画像24bが生成されてもよい。そして学習広画角画像28a内の第4の所定の位置にある第4の所定の形状及び大きさの領域を占める部分画像を抽出し、当該部分画像に対して所定の幾何変換を実行することで第2学習入力画像26bが生成されてもよい。
ここで第2の所定の位置の、第1の所定の位置に対する相対的な位置は、予め定められたものであってもよい。また第4の所定の位置の、第3の所定の位置に対する相対的な位置は、予め定められたものであってもよい。
そしてこの場合、図4に示す学習広画角画像28a、図5Aに示す第1学習入力画像24b、及び、図5Bに示す第2学習入力画像26bに基づいて、図6に示す学習広画角画像28bが生成されてもよい。
また例えば、学習広画角画像28aを平行移動させることで学習広画角画像28bが生成されるようにしてもよい。この場合、学習広画角画像28aの右側の一部については、学習広画角画像28aの残りの左側に配置されるようにしてもよい。例えば図4に示す学習広画角画像28aが実空間内におけるある位置から撮影された全天周画像又は半天周画像であることとする。この場合、図6に示す学習広画角画像28bは、学習広画角画像28aが撮影された位置において、撮影方向を変更させた上で撮影された様子を表す画像に相当することとなる。
そしてこのようにして学習広画角画像28aに基づいて生成された学習広画角画像28bに基づいて、第1学習入力画像24b及び第2学習入力画像26bが生成されてもよい。
このようにすれば、1つの学習広画角画像28に基づいて、複数の学習データを生成できることとなる。
本実施形態に係る学習において、まず、学習データに含まれる第1学習入力画像24及び第2学習入力画像26が、広画角画像生成部20に入力される。すると広画角画像生成部20は、当該第1学習入力画像24及び当該第2学習入力画像26の入力に応じて、当該第1学習入力画像24の画角及び当該第2学習入力画像26の画角の両方を画角に含む画像を生成する。このようにして生成される画像を生成広画角画像32と呼ぶこととする。
そしてドメイン識別部22に、学習データに含まれる第1学習入力画像24及び第2学習入力画像26に基づいて生成された生成広画角画像32、又は、学習データに含まれる学習広画角画像28のいずれかが入力される。
そしてドメイン識別部22は、例えば、ドメイン識別部22に入力された画像が生成広画角画像32である可能性の高さを示す生成可能性データ34を出力する。そして当該生成可能性データ34と、ドメイン識別部22に入力された画像が生成広画角画像32であるか学習広画角画像28であるかを示すドメイン識別データ36との誤差(比較結果)が特定される。
ここで例えばドメイン識別データ36の値として、生成広画角画像32又は学習広画角画像28のいずれかに対応付けられる値が設定されてもよい。
例えば生成可能性データ34が0以上1以下の値をとるデータであってもよい。この場合、ドメイン識別データ36は例えば、ドメイン識別部22に入力された画像が生成広画角画像32である場合に値として1をとり学習広画角画像28である場合に値として0をとるデータであってもよい。
また生成可能性データ34及びドメイン識別データ36が例えば2個の要素を含むベクトルとして表現されてもよい。例えば、生成可能性データ34の第1の要素の値がドメイン識別部22に入力された画像が生成広画角画像32である可能性の高さを示す値であってもよい。そして生成可能性データ34の第2の要素の値がドメイン識別部22に入力された画像が学習広画角画像28である可能性の高さを示す値であってもよい。この場合、生成広画角画像32に対応付けられるドメイン識別データ36の値が二次元ベクトル(1,0)で表現され、学習広画角画像28に対応付けられるドメイン識別データ36の値が二次元ベクトル(0,1)で表現されてもよい。
そして本実施形態では例えば、生成可能性データ34とドメイン識別データ36との誤差に基づいて、例えば誤差逆伝搬法により、広画角画像生成部20又はドメイン識別部22のいずれかのパラメータの値が更新される。
ここで本実施形態に係る学習では、所定数の学習データを用いた広画角画像生成部20のパラメータの値の更新と所定数の学習データを用いたドメイン識別部22のパラメータの値の更新とが、交互に繰り返し実行される。広画角画像生成部20パラメータの値の更新の際には、ドメイン識別部22のパラメータの値が固定された状態で、広画角画像生成部20のパラメータの値が更新される。また、ドメイン識別部22のパラメータの値の更新の際には、広画角画像生成部20のパラメータの値が固定された状態で、ドメイン識別部22のパラメータの値が更新される。
以上のようにして、画像処理装置10に実装されている機械学習モデルが学習される。
なお本実施形態に係る学習の方法は上述のものに限定されない。例えば図7に示すように、GANの技術を用いずに、本実施形態に係る学習が実行されてもよい。
図7の例ではドメイン識別部22を用いずに広画角画像生成部20の学習が実行される。図7に示す学習における学習データに含まれる学習広画角画像28は、当該学習データに含まれる第1学習入力画像24及び第2学習入力画像26に対応付けられる画像である。学習データに含まれる学習広画角画像28は、例えば、当該学習データに含まれる第1学習入力画像24及び第2学習入力画像26と同じ位置から撮影された画像である。ここで上述のように、学習入力画像生成部30が、学習データに含まれる学習広画角画像28に基づいて、当該学習データに含まれる第1学習入力画像24及び第2学習入力画像26を生成してもよい。
この場合例えば、学習データに含まれる第1学習入力画像24及び第2学習入力画像26に基づいて生成される生成広画角画像32と、当該学習データに含まれる学習広画角画像28との誤差(比較結果)が特定される。ここで例えば、平均絶対誤差(MAE)、平均二乗誤差(MSE)、平均平方二乗誤差(RMSE)が特定されてもよい。そして特定される誤差に基づいて、例えば誤差逆伝搬法により、広画角画像生成部20のパラメータの値が更新される。
本実施形態では例えば、以上のようにして学習が実行された機械学習モデルを用いて、一般的なカメラで撮影される平面画像などといった二次元画像に基づいて、当該二次元画像よりも画角が広い画像が生成される。例えば、2枚の画像に基づいて、当該2枚の画像の画角の両方を画角に含む画像が生成される。
以下、学習済の機械学習モデルを用いた画像の生成について図8を参照しながら説明する。
まず、スマートフォンの前面に設けられている第1のカメラが撮影した画像、及び、当該スマートフォンの背面に設けられている第2のカメラが撮影した画像が、学習済の広画角画像生成部20に入力される。以下、学習済の広画角画像生成部20に入力される、第1のカメラが撮影した画像を、第1ターゲット入力画像38と呼ぶこととする。また、学習済の広画角画像生成部20に入力される、第2のカメラが撮影した画像を、第2ターゲット入力画像40と呼ぶこととする。第1ターゲット入力画像38や第2ターゲット入力画像40は、SDRの画像であってもよい。
そして広画角画像生成部20が、当該第1ターゲット入力画像38及び当該第2ターゲット入力画像40に応じた画像を生成して出力する。ここで生成される画像は、例えば、第1ターゲット入力画像38の画角と第2ターゲット入力画像40の画角の両方を画角に含む画像である。また生成される画像は、第1ターゲット入力画像38の画角の外でも第2ターゲット入力画像40の画角の外でもある領域を表す画像が補完された画像であってもよい。以下、生成される画像をターゲット広画角画像42と呼ぶこととする。ターゲット広画角画像42は、HDRの画像であってもよい。そして広画角画像生成部20が、生成されたターゲット広画角画像42を出力する。
本実施形態では以上のようにして、広画角画像生成部20において、撮影方向の関係が予め定められている複数の画像の入力に応じた、当該複数の画像の画角の外の環境が推定される。そして当該推定の結果が反映されたターゲット広画角画像42が出力される。
このようにして本実施形態によれば、精度の高い広画角画像を容易に得ることができることとなる。例えば本実施形態に係る画像処理装置10で生成されるターゲット広画角画像42に基づいて、イメージベースドライトニング(IBL)における光源が設定されてもよい。なおもちろん、本実施形態に係る画像処理装置10で生成されるターゲット広画角画像42の用途はIBLには限定されない。
また本実施形態に係る広画角画像生成部20は、スマートフォンなどの撮影装置が備えるカメラにより撮影された画像に第1ターゲット入力画像38及び当該第2ターゲット入力画像40に応じたターゲット広画角画像42を生成する。そしてこのような広画角画像生成部20の学習を、スマートフォンなどの撮影装置が備えるカメラを用いることなく実行することができる。
以下、本実施形態に係る画像処理装置10の機能、及び、画像処理装置10で実行される処理についてさらに説明する。
図9は、本実施形態に係る画像処理装置10で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係る画像処理装置10で、図9に示す機能のすべてが実装される必要はなく、また、図9に示す機能以外の機能が実装されていても構わない。
図9に示すように、本実施形態に係る画像処理装置10には、機能的には例えば、広画角画像生成部20、ドメイン識別部22、学習入力画像生成部30、学習広画角画像取得部50、学習入力画像取得部52、学習部54、ターゲット入力画像取得部56、ターゲット広画角画像取得部58、が含まれる。以上の要素はプロセッサ12、及び、記憶部14を主として実装される。
本実施形態に係る画像処理装置10は、画像処理装置10に実装されている機械学習モデルの学習を実行する学習装置としての役割も学習済の機械学習モデルを用いた画像の生成を実行する画像生成装置としての役割も担っている。図9の例では、広画角画像生成部20、ドメイン識別部22、学習入力画像生成部30、学習広画角画像取得部50、学習入力画像取得部52、及び、学習部54が、学習装置としての役割に相当する。また、広画角画像生成部20、ドメイン識別部22、ターゲット入力画像取得部56、及び、ターゲット広画角画像取得部58が、画像生成装置としての役割に相当する。
以上の機能は、コンピュータである画像処理装置10にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ12で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介して画像処理装置10に供給されてもよい。
広画角画像生成部20は、上述のように本実施形態では例えば、予め定められたそれぞれの画角及び相対的な撮影方向で撮影された様子を表す複数の画像の入力に応じて当該複数の画像の画角のすべてを画角に含む画像を生成して出力する。ここで広画角画像生成部20は、入力される複数の画像の画角の外の領域を表す画像が補完された画像を生成して出力してもよい。また広画角画像生成部20は、CNNなどの機械学習モデルにより実装されていてもよい。
ドメイン識別部22は、上述のように本実施形態では例えば、ドメイン識別部22に入力される画像が広画角画像生成部20により生成された画像であるか否かの識別結果を出力する。またドメイン識別部22は、CNNなどの機械学習モデルにより実装されていてもよい。
学習入力画像生成部30は、上述のように本実施形態では例えば、学習広画角画像28に基づいて、複数の学習入力画像を生成する。例えば、学習入力画像生成部30は、学習広画角画像28に基づいて、第1学習入力画像24及び第2学習入力画像26を生成する。なお、学習入力画像生成部30が、学習広画角画像取得部50が取得する学習広画角画像28に基づいて、複数の学習入力画像を生成してもよい。
また学習入力画像生成部30は、学習広画角画像28aに基づいて、学習広画角画像28aに対応付けられる複数の学習入力画像を生成してもよい。そして学習入力画像生成部30は、学習広画角画像28aに基づいて、別の学習広画角画像28bを生成してもよい。また、学習入力画像生成部30は、別の学習広画角画像28bに対応付けられる複数の学習入力画像を生成してもよい。
学習広画角画像取得部50は、本実施形態では例えば、複数の学習入力画像の画角のすべてを画角に含む学習広画角画像28を取得する。
学習入力画像取得部52は、本実施形態では例えば、予め定められたそれぞれの画角及び相対的な撮影方向で撮影された様子を表す複数の学習入力画像を取得する。ここで例えば、学習入力画像取得部52は、学習入力画像生成部30により生成される学習入力画像を取得してもよい。なお学習入力画像取得部52が取得する複数の学習入力画像は、学習入力画像生成部30により生成されるものである必要はない。学習入力画像取得部52が取得する複数の学習入力画像は、例えばスマートフォンなどの撮影装置が備える一般的なカメラにより予め定められたそれぞれの画角及び相対的な撮影方向で撮影されたものであってもよい。
また学習入力画像取得部52は、学習入力画像取得部52が取得する複数の学習入力画像と、学習広画角画像取得部50が取得する学習広画角画像28と、を含む学習データを生成してもよい。この場合、学習広画角画像取得部50が取得する学習広画角画像28と、当該学習広画角画像28に基づいて生成される複数の学習入力画像と、を含む学習データが生成されてもよい。
学習部54は、本実施形態では例えば、学習入力画像取得部52が取得する複数の学習入力画像を広画角画像生成部20に入力した際の出力を特定する。当該出力は、上述の例における生成広画角画像32に相当する。そして学習部54は、本実施形態では例えば、特定される出力と、学習広画角画像取得部50が取得する学習広画角画像28と、に基づいて、広画角画像生成部20の学習を実行する。ここで広画角画像生成部20及びドメイン識別部22の学習が実行されてもよい。
ここで上述のように、学習入力画像生成部30が、学習広画角画像28に基づいて、表されている当該学習広画角画像28内における位置がそれぞれ異なる複数の学習入力画像の組合せを複数生成してもよい。また学習入力画像生成部30は、当該学習広画角画像28に基づいて、当該組合せのそれぞれに対応付けられる別の学習広画角画像28を生成してもよい。そしてここで1枚の学習広画角画像28に基づいて、別の学習広画角画像28が複数生成されてもよい。
そしてこの場合、例えば、学習部54が、生成される複数の組合せを用いて、当該組合せに属する複数の学習入力画像と当該組合せに対応付けられる学習広画角画像28とに基づく広画角画像生成部20の学習を実行してもよい。
例えば学習入力画像生成部30が、学習広画角画像28aに基づいて、別の学習広画角画像28bを生成したとする。この場合、学習部54が、学習広画角画像28aに対応付けられる複数の学習入力画像を広画角画像生成部20に入力した際の出力と、学習広画角画像28aと、に基づいて、広画角画像生成部20の学習を実行してもよい。また学習部54が、学習広画角画像28bに対応付けられる複数の学習入力画像を広画角画像生成部20に入力した際の出力と、学習広画角画像28bと、に基づいて、広画角画像生成部20の学習を実行してもよい。
なお学習部54は、学習入力画像取得部52が生成する学習データに含まれる複数の学習入力画像を広画角画像生成部20に入力した際の出力を特定してもよい。そして学習部54は、特定される出力と、当該学習データに含まれる学習広画角画像28と、に基づいて、広画角画像生成部20の学習を実行してもよい。
ターゲット入力画像取得部56は、本実施形態では例えば、学習済の広画角画像生成部20に入力される、複数のターゲット入力画像を取得する。ここで例えば、ターゲット入力画像取得部56は、第1ターゲット入力画像38及び第2ターゲット入力画像40を取得してもよい。
またターゲット入力画像取得部56は、撮影装置が備える複数のカメラによりそれぞれ撮影される複数のターゲット入力画像を取得してもよい。また、ターゲット入力画像取得部56は、それぞれスマートフォン等の撮影装置の別の面に設けられている複数のカメラによりそれぞれ撮影される複数のターゲット入力画像を取得してもよい。
ターゲット広画角画像取得部58は、本実施形態では例えば、上述したように複数のターゲット入力画像の入力に応じて広画角画像生成部20が生成して出力するターゲット広画角画像42を取得する。ターゲット広画角画像取得部58は、例えば、第1ターゲット入力画像38及び第2ターゲット入力画像40の入力に応じて広画角画像生成部20が生成して出力するターゲット広画角画像42を取得する。
ここで、本実施形態に係る画像処理装置10で行われる、広画角画像生成部20の学習処理の流れの一例を、図10に例示するフロー図を参照しながら説明する。図10に示す処理例は、図2を参照して説明した内容に相当する。図10に示す処理例では、ドメイン識別部22の学習も併せて行われる。
まず、学習広画角画像取得部50が、複数の学習広画角画像28を取得する(S101)。
そして、学習入力画像生成部30が、S101に示す処理で取得された複数の学習広画角画像28のそれぞれについて、当該学習広画角画像28に対応付けられる第1学習入力画像24及び第2学習入力画像26を生成して出力する(S102)。
そして学習入力画像取得部52が、S101に示す処理で取得された複数の学習広画角画像28、及び、S102に示す処理で出力された第1学習入力画像24及び第2学習入力画像26を取得する(S103)。
そして学習入力画像取得部52が、S103に示す処理で取得された複数の学習広画角画像28のそれぞれに対応付けられる学習データを生成する(S104)。S104に示す処理では例えば、複数の学習広画角画像28のそれぞれについて、当該学習広画角画像28と、当該学習広画角画像28に基づいて生成された第1学習入力画像24及び第2学習入力画像26とを含む学習データが生成されることとなる。
そして学習部54が、S104に示す処理で生成された複数の学習データを取得する(S105)。ここでは例えば、m×2n(m,nは整数)個の学習データが取得されることとする。また、m×2n個の学習データは、2n個ずつのデータ群に分割されていることとする。以下、i(1≦i≦m)番目のデータ群を第iデータ群と呼ぶこととする。
そして、学習部54が、変数iの値に1を設定する(S106)。
そして、学習部54が、第iデータ群に含まれるn個の学習データを用いて、広画角画像生成部20についての学習を実行する(S107)。S107に示す処理では、ドメイン識別部22のパラメータの値が固定された状態で、広画角画像生成部20のパラメータの値が更新される。
そして、学習部54が、第iデータ群に含まれる、S107に示す処理で用いられていない残りのn個の学習データを用いて、ドメイン識別部22についての学習を実行する(S108)。S108に示す処理では、広画角画像生成部20のパラメータの値が固定された状態で、ドメイン識別部22のパラメータの値が更新される。
そして、学習部54は、変数iの値がmであるか否かを確認する(S109)。値がmでない場合は(S109:N)、学習部54は、変数iの値を1増加させて(S110)、S107に示す処理に戻る。値がmである場合は(S109:Y)、本処理例に示す処理を終了する。
ここで、本実施形態に係る画像処理装置10で行われる広画角画像生成部20の学習処理の流れの別の一例を、図11に例示するフロー図を参照しながら説明する。図11に示す処理例は、図7を参照して説明した内容に相当する。
まず、学習広画角画像取得部50が、複数の学習広画角画像28を取得する(S201)。
そして、学習入力画像生成部30が、S201に示す処理で取得された複数の学習広画角画像28のそれぞれについて、当該学習広画角画像28に対応付けられる第1学習入力画像24及び第2学習入力画像26を生成して出力する(S202)。
そして学習入力画像取得部52が、S201に示す処理で取得された複数の学習広画角画像28、及び、S202に示す処理で出力された第1学習入力画像24及び第2学習入力画像26を取得する(S203)。
そして学習入力画像取得部52が、S203に示す処理で取得された複数の学習広画角画像28のそれぞれに対応付けられる学習データを生成する(S204)。S204に示す処理では例えば、複数の学習広画角画像28のそれぞれについて、当該学習広画角画像28と、当該学習広画角画像28に基づいて生成された第1学習入力画像24及び第2学習入力画像26とを含む学習データが生成されることとなる。
そして学習部54が、S204に示す処理で生成された複数の学習データを取得する(S205)。
そして、学習部54が、S205に示す処理で取得された複数の学習データを用いて、広画角画像生成部20の学習を実行して(S206)、本処理例に示す処理を終了する。
次に、本実施形態に係る画像処理装置10で行われる、ターゲット広画角画像42の生成処理の流れの一例を、図12に例示するフロー図を参照しながら説明する。
まず、ターゲット入力画像取得部56が、第1ターゲット入力画像38及び第2ターゲット入力画像40を取得する(S301)。
そして、ターゲット入力画像取得部56が、S301に示す処理で取得された第1ターゲット入力画像38及び第2ターゲット入力画像40を広画角画像生成部20に入力する(S302)。
そして、広画角画像生成部20は、S302に示す処理で入力された第1ターゲット入力画像38及び第2ターゲット入力画像40に応じたターゲット広画角画像42を生成して、当該ターゲット広画角画像42を出力する(S303)。
そして、ターゲット広画角画像取得部58が、S303に示す処理で出力されたターゲット広画角画像42を取得して(S304)、本処理例に示す処理を終了する。
なお、本発明は上述の実施形態に限定されるものではない。
例えば、スマートフォンなどの撮影装置が備える2個のカメラのそれぞれが前面及び背面に配置されている必要はない。例えば、撮影装置が備える2個のカメラが前面及び側面に配置されていてもよい。
また例えば、撮影装置が3個以上のカメラを備えることが考えられる。この場合例えば、広画角画像生成部20は、カメラの個数の画像の入力に応じて、当該カメラの個数の画像の画角のすべてを画角に含む画像を生成してもよい。この場合は、学習データには、カメラの個数の学習入力画像が含まれることとなる。またこの場合、学習入力画像生成部30は、学習広画角画像28に基づいて、カメラの個数の学習入力画像を生成することとなる。またこの場合は、撮影装置が備える3個以上のカメラが撮影した画像がターゲット入力画像として広画角画像生成部20に入力されることとなる。
また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。
Claims (9)
- 予め定められたそれぞれの画角及び相対的な撮影方向で撮影された様子を表す複数の入力画像を取得する入力画像取得部と、
前記複数の入力画像の画角のすべてを画角に含む広画角画像を取得する広画角画像取得部と、
複数の画像の入力に応じて当該複数の画像の画角のすべてを画角に含む画像を生成して出力する広画角画像生成部に前記複数の入力画像を入力した際の出力と、前記広画角画像と、に基づいて、前記広画角画像生成部の学習を実行する学習部と、
を含むことを特徴とする学習装置。 - 前記広画角画像に基づいて、前記複数の入力画像を生成する入力画像生成部、をさらに含み、
前記入力画像取得部は、前記入力画像生成部により生成される前記複数の入力画像を取得する、
ことを特徴とする請求項1に記載の学習装置。 - 前記入力画像生成部は、前記広画角画像に基づいて、表されている当該広画角画像内における位置がそれぞれ異なる前記複数の入力画像の組合せを複数生成し、
前記入力画像生成部は、前記広画角画像に基づいて、前記組合せのそれぞれに対応付けられる前記広画角画像を生成し、
前記学習部は、生成される複数の前記組合せを用いて、当該組合せに属する前記複数の入力画像と当該組合せに対応付けられる前記広画角画像とに基づく前記広画角画像生成部の学習を実行する、
ことを特徴とする請求項2に記載の学習装置。 - 予め定められたそれぞれの画角及び相対的な撮影方向で撮影装置が備える複数のカメラによりそれぞれ撮影される複数の入力画像を取得する入力画像取得部と、
前記複数の入力画像の入力に応じて、当該複数の入力画像の画角のすべてを画角に含む画像を生成して出力する広画角画像生成部と、を含み、
前記広画角画像生成部は、画像と、当該画像の画角の一部をそれぞれ含む複数の画像を当該広画角画像生成部に入力した際の出力と、に基づく学習が実行済の機械学習モデルである、
ことを特徴とする画像生成装置。 - 前記複数のカメラは、それぞれ前記撮影装置の別の面に設けられている、
ことを特徴とする請求項4に記載の画像生成装置。 - 予め定められたそれぞれの画角及び相対的な撮影方向で撮影された様子を表す複数の入力画像を取得するステップと、
前記複数の入力画像の画角のすべてを画角に含む広画角画像を取得するステップと、
複数の画像の入力に応じて当該複数の画像の画角のすべてを画角に含む画像を生成して出力する広画角画像生成部に前記複数の入力画像を入力した際の出力と、前記広画角画像と、に基づいて、前記広画角画像生成部の学習を実行するステップと、
を含むことを特徴とする学習方法。 - 予め定められたそれぞれの画角及び相対的な撮影方向で撮影装置が備える複数のカメラによりそれぞれ撮影される複数の入力画像を取得するステップと、
画像と、当該画像の画角の一部をそれぞれ含む複数の画像を入力した際の出力と、に基づく学習が実行済の機械学習モデルである広画角画像生成部に前記複数の入力画像を入力することで、当該広画角画像生成部に、当該複数の入力画像の画角のすべてを画角に含む画像を生成して出力させるステップと、
を含むことを特徴とする画像生成方法。 - 予め定められたそれぞれの画角及び相対的な撮影方向で撮影された様子を表す複数の入力画像を取得する手順、
前記複数の入力画像の画角のすべてを画角に含む広画角画像を取得する手順、
複数の画像の入力に応じて当該複数の画像の画角のすべてを画角に含む画像を生成して出力する広画角画像生成部に前記複数の入力画像を入力した際の出力と、前記広画角画像と、に基づいて、前記広画角画像生成部の学習を実行する手順、
をコンピュータに実行させることを特徴とするプログラム。 - 予め定められたそれぞれの画角及び相対的な撮影方向で撮影装置が備える複数のカメラによりそれぞれ撮影される複数の入力画像を取得する手順、
画像と、当該画像の画角の一部をそれぞれ含む複数の画像を入力した際の出力と、に基づく学習が実行済の機械学習モデルである広画角画像生成部に前記複数の入力画像を入力することで、当該広画角画像生成部に、当該複数の入力画像の画角のすべてを画角に含む画像を生成して出力させる手順、
をコンピュータに実行させることを特徴とするプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/023092 WO2019244200A1 (ja) | 2018-06-18 | 2018-06-18 | 学習装置、画像生成装置、学習方法、画像生成方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019244200A1 JPWO2019244200A1 (ja) | 2021-03-11 |
JP6967150B2 true JP6967150B2 (ja) | 2021-11-17 |
Family
ID=68982942
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020525087A Active JP6967150B2 (ja) | 2018-06-18 | 2018-06-18 | 学習装置、画像生成装置、学習方法、画像生成方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11202000B2 (ja) |
JP (1) | JP6967150B2 (ja) |
WO (1) | WO2019244200A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023090588A1 (en) * | 2021-11-17 | 2023-05-25 | Samsung Electronics Co., Ltd. | Method and electronic device for generating panoramic image |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6426594B2 (ja) | 2015-12-16 | 2018-11-21 | 日本電信電話株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
CA3021085A1 (en) * | 2016-05-20 | 2017-11-23 | Magic Leap, Inc. | Method and system for performing convolutional image transformation estimation |
WO2017208536A1 (ja) * | 2016-06-02 | 2017-12-07 | ソニー株式会社 | 画像処理装置と画像処理方法および学習装置と学習方法 |
JP6350695B2 (ja) | 2017-02-10 | 2018-07-04 | 株式会社リコー | 装置、方法、およびプログラム |
KR102005977B1 (ko) * | 2017-11-28 | 2019-08-08 | (주)씨프로 | 지능형 국방경계 감시 카메라 장치 |
-
2018
- 2018-06-18 WO PCT/JP2018/023092 patent/WO2019244200A1/ja active Application Filing
- 2018-06-18 US US17/058,332 patent/US11202000B2/en active Active
- 2018-06-18 JP JP2020525087A patent/JP6967150B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
WO2019244200A1 (ja) | 2019-12-26 |
US11202000B2 (en) | 2021-12-14 |
US20210218883A1 (en) | 2021-07-15 |
JPWO2019244200A1 (ja) | 2021-03-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111465962B (zh) | 用于手持式用户设备的增强现实的运动深度 | |
CN109242961B (zh) | 一种脸部建模方法、装置、电子设备和计算机可读介质 | |
CN108292362B (zh) | 用于光标控制的手势识别 | |
CN106663334B (zh) | 通过计算装置执行的方法、移动通信装置和存储介质 | |
US10726580B2 (en) | Method and device for calibration | |
JP2020507850A (ja) | 画像内の物体の姿の確定方法、装置、設備及び記憶媒体 | |
US9135678B2 (en) | Methods and apparatus for interfacing panoramic image stitching with post-processors | |
US11748913B2 (en) | Modeling objects from monocular camera outputs | |
CN113643414A (zh) | 一种三维图像生成方法、装置、电子设备及存储介质 | |
JP6980913B2 (ja) | 学習装置、画像生成装置、学習方法、画像生成方法及びプログラム | |
JP6967150B2 (ja) | 学習装置、画像生成装置、学習方法、画像生成方法及びプログラム | |
JP6892557B2 (ja) | 学習装置、画像生成装置、学習方法、画像生成方法及びプログラム | |
CN116128744A (zh) | 消除图像畸变的方法、电子设备、存储介质及车辆 | |
JP2017215706A (ja) | 映像合成方法、映像取得装置、映像合成装置、映像合成システム及びコンピュータプログラム。 | |
CA3169005A1 (en) | Face mesh deformation with detailed wrinkles | |
JP2020187626A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US20240161391A1 (en) | Relightable neural radiance field model | |
WO2024150339A1 (ja) | 学習装置、三次元再構成装置、学習方法、三次元再構成方法、及びプログラム | |
Hong et al. | A novel Gravity-FREAK feature extraction and Gravity-KLT tracking registration algorithm based on iPhone MEMS mobile sensor in mobile environment | |
CN117788524A (zh) | 基于多任务学***面目标追踪方法、装置、设备及介质 | |
CN117788658A (zh) | 用于渲染图像的方法、设备和计算机程序产品 | |
JP2023080290A (ja) | 情報処理装置、情報処理装置の制御方法およびプログラム | |
CN116301303A (zh) | 手部姿态获取方法、装置、电子设备及可读存储介质 | |
CN117635685A (zh) | 道路静态要素重建方法、***、介质及设备 | |
CN117152244A (zh) | 屏幕间位置关系确定方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200824 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211012 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211022 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6967150 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |