JP2013235537A - 画像作成装置、画像作成プログラム、及び記録媒体 - Google Patents

画像作成装置、画像作成プログラム、及び記録媒体 Download PDF

Info

Publication number
JP2013235537A
JP2013235537A JP2012109267A JP2012109267A JP2013235537A JP 2013235537 A JP2013235537 A JP 2013235537A JP 2012109267 A JP2012109267 A JP 2012109267A JP 2012109267 A JP2012109267 A JP 2012109267A JP 2013235537 A JP2013235537 A JP 2013235537A
Authority
JP
Japan
Prior art keywords
image
information
contour
dimensional
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012109267A
Other languages
English (en)
Inventor
Hiroaki Shimizu
広明 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2012109267A priority Critical patent/JP2013235537A/ja
Publication of JP2013235537A publication Critical patent/JP2013235537A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Generation (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

【課題】撮影画像を用いて対象部分に光演出を施した仮想画像を簡便に作成する。
【解決手段】実画像取得部11は、実画像を取得する。3次元情報取部12は、実画像と同時に奥行き情報を含む3次元情報を取得する。輪郭抽出部13aは、実画像と3次元情報とから輪郭画像をそれぞれ抽出する。補正部13bは、3D輪郭画像の輪郭を2D輪郭画像の輪郭に整合させる。3次元モデル推定部14では、3D輪郭画像を用いてオクルージョン部の形状推定を行い、シェーディング処理を施すための座標系に変換し、3D輪郭画像に含まれる物体の反射率を設定する。光源推定部21は、強調指定部20により実画像上で指定される対象部分を明るく演出するための光源情報を推定する。シェーディング処理部15は、推定された光源情報に基づいて仮想光源を3D輪郭画像の仮想空間に定義して、物体の反射率情報に基づいて陰影画像を生成し、2次元の陰影画像で出力する。ブレンディング部16は、陰影画像と実画像とを合成して2次元の仮想画像を作成する。
【選択図】図1

Description

深度マップと実画像とを使用して仮想画像を作成する画像作成装置、画像作成プログラム、及び記録媒体に関する。
印象のある写真を撮る技術として、外部ストロボやレフ板を設置し被写体に対してライティングを施し、奥行き感の演出や被写体の強調を行う技術がある。このような技術は任意光源下での撮影を可能にするものの、高価な機材やユーザーのスキルを必要とし一般ユーザーが気軽に実現するのは難しい。またこのようなライティング条件は撮影時において決定されるため、撮影後の画像の補正は困難である。
一方、コンピューターグラフィック内に実モデルを自然な見た目で配置する技術として、Image-Based Rendering(IBR)という技術が知られている(特許文献1)。IBRにおいては、複数の光源状態で撮影された複数の実モデルの画像を線形結合することで、任意光源下での画像イメージの作成を行う。すなわち、光源の照射方向を変えた複数の撮影画像を用いることで、任意光源下での画像イメージを作成することが可能である。
特開2001−52208号公報(段落[0002])
一般的なIBRの技術を用いると任意光源下での実モデルの画像イメージの作成が可能になるものの、通常の撮影時に異なる光源での複数の画像を撮影するのは極めて非現実的である。
本発明は、上記問題に鑑み、一回の撮影から得られる画像を用いて、所望する陰影や演出を実現した仮想画像を作成する画像作成装置、画像作成プログラム、及び記録媒体を提供することを目的とする。
本発明を例示する画像作成装置の一態様は、実画像を取得する実画像取得手段と、前記実画像に対応して奥行き情報を含む3次元情報を取得する3次元情報取得手段と、前記実画像と前記3次元情報とに基づいて3次元画像を生成する3次元画像生成手段と、前記実画像に対して光による演出を施す対象部分を指定する指定手段と、前記指定された対象部分に基づいて前記演出を施すための仮想光源に関する情報を推定する推定手段と、前記推定された前記情報に基づいて前記仮想光源を前記3次元画像の仮想空間に定義することで陰影情報を生成するシェーディング手段と、前記陰影情報を前記実画像に合成するブレンディング手段と、を備えたものである。なお、本発明としては、画像作成プログラムとしてもよい。また、画像作成プログラムを記録したコンピュータ読み取り可能な記録媒体としてもよい。
本発明によれば、所望する対象部分に対して光演出を施した仮想画像を簡便に作成することができる。
本発明の画像作成装置の概略を示すブロック図である。 画像作成装置の動作手順を示すフローチャートである。 実画像取得部が取得した実画像の一例を示す画像である。 深度マップ取得部が取得した深度マップの一例を示す画像である。 実画像から抽出した輪郭画像の一例を示す画像である。 深度マップから抽出した輪郭画像の一例を示す画像である。 実画像から抽出した輪郭画像をラスタスキャンして輪郭の各点をサンプリングする処理を説明する説明図である。 実画像の輪郭からサンプリングした各点に対して、深度マップの輪郭画像の点を対応付けする処理を示す説明図である。 実画像の輪郭に基づいて深度マップの輪郭を補正する処理を示す説明図である。 光源推定部の動作手順を示すフローチャートである。 実画像に対して対象部分を指定する様子を示す説明図である。 対象部分に対応する3次元の輪郭画像の範囲をメッシュ分割した状態を示す説明図である。 各メッシュから算出される面法線ベクトルを示す説明図である。 面法線ベクトルの和から求めた合成ベクトルの方向線上に定義される仮想光源を示す説明図である。 シェーディング部が生成した陰影情報を示す説明図である。 陰影情報と実画像とを合成した陰影画像を示す説明図である。 対象部分として被写体を指定して光演出を施す第2実施形態の動作手順を示すフローチャートである。 被写体をクラスタリング処理して距離に応じて被写体の輪郭像を抽出するクラスタリング処理を施した輪郭画像を仮想的に示す説明図である。 実画像に対して光演出を施す被写体を選択する画面を示す説明図である。 指定した被写体の輪郭像の後ろに仮想光源を定義して陰影情報を生成する状態を仮想的に示す説明図である。 陰影画像と実画像とを合成して生成した仮想画像を示す説明図である。
[第1実施形態]
画像作成装置10は、図1に示すように、実画像取得部11、深度マップ取得部12、3次元モデル推定部14、シェーディング処理部15、ブレンディング部16、物体推定部17、物体・反射率対応部18、反射率設定部19、強調指定部20、光源推定部21、光源情報変更操作部22、及び、ブレンド画像出力部23を備える。実画像取得部11は、実画像情報(以下、「実画像」と称す)を取得するための公知の撮像装置であり、取得した実画像を格納するメモリ11aを備える。
深度マップ取得部12は、奥行き情報である深度マップ、又はそれを含む3次元情報(以下、「深度マップ」と称す)を、実画像と同時に、同じ撮像範囲となるように取得するものであり、取得した深度マップを格納するメモリ12aを備える。なお、深度マップ取得部12は、周知の「ステレオカメラによる深度マップの生成手法」、「赤外光を利用したTOF(Time of Flight)手法」、「赤外光の反射パターンを利用した手法」、又は「動きベクトルからの深度マップの生成手法」等の何れかの技術を利用して取得するものであり、ここでは詳しい説明を省略する。深度マップは、例えばある基準位置を基に深さが深いピクセルの場合にはそのピクセルの輝度を高くする等、各ピクセルにおける深度に応じた輝度を求めたグレースケールの画像である。
深度マップ補正部13は、輪郭抽出部13aと補正部13bとを備える。輪郭抽出部13aは、深度マップと実画像とを入力として、ハイパスフィルタ処理等実行して深度マップと実画像とで輪郭を各々強調して輪郭を抽出する。補正部13bは、実画像の輪郭(2D輪郭)に合わせて深度マップの輪郭(3D輪郭)を補正する。3D輪郭画像と2D輪郭画像とでは、特に輪郭部で不整合が存在し、シェーディング時の陰影が実画像の輪郭からずれる。これを防止するために、実画像で抽出した輪郭(2D輪郭)に基づいて深度マップから抽出した輪郭(3D輪郭)の補正を行うことで、シェーディング処理部15での不整合を減少させる。
3次元モデル推定部14では、輪郭補正がなされた3D輪郭画像が入力され、座標変換、及び形状推定を行う。3次元モデル推定部14は、3D輪郭画像のうち物体に隠れて深度情報が得られていない領域、すなわちオクル―ジョン部の形状推定を行うオクルージョン処理部14a、シェーディング処理部15へ入力するための座標系に変換する座標変換部14b、及び反射率設定部19から入力される反射率の情報を基に3次元モデルに対する反射率の設定を行う反射率設定処理部14cを有する。
深度マップでは、手前の物体に遮られて奥の物体が見えなくなっている領域の3次元情報を取得するのは難しく、これは一般的にオクルージョンと呼ばれている。そのため、オクルージョン処理部14aに入力される3D輪郭画像は、3次元情報の一部(オクルージョン部)に欠損が生じている。オクルージョン処理部14aでは、深度マップを用いてオクルージョン部の形状推定を行い、シェーディング処理をするための3次元情報を補完する。また、座標変換部14bでは、深度マップ取得部12で取得した深度マップの座標系からシェーディング処理を施すための座標系に変換する。反射率設定処理部14cは、3D輪郭画像に含まれる物体の反射率を設定する。
シェーディング処理部15では、補間した3D輪郭画像と物体の反射率情報と、光源推定部21から入力される仮想光源に関する情報とを入力として、3D輪郭画像の仮想空間に仮想光源を定義して3次元の陰影画像を生成し、実画像のカメラ位置に基づいて3次元の陰影画像から2次元の陰影画像を出力する。なお、シェーディング処理部15としては、レイトレーシング法、又はラディオシティ法等の周知の技術を用い、例えばグレースケールで表現される陰影画像を生成するのが好適である。
ブレンディング部16は、2次元の陰影画像と実画像とを入力として、これら2つの画像をブレンドする。なお、ブレンド処理としては、周知のαブレンディングの技術を使用してもよい。ブレンド画像出力部23は、ブレンディング部16で生成された2次元の仮想画像を、該装置10に外部接続される、例えば表示部、又はプリンタ等に出力する。
物体推定部17では、実画像、及び深度マップから得られる色、及び形状に基づいて、実画像に含まれる物体の推定を行う。物体推定には、物体推定には、人の顔認識のような幾何学形状を用いた手法や、テンプレートとの相違を用いるテンプレートマッチング法を用いてもよい。このような物体推定の手法は、認識・学習アルゴリズムの分野で広く知られているものである。
物体・反射率対応部18では、物体と反射率とを予め対応づけたDB(データベース)18aを用いて、物体推定部17で推定された物体に対する反射率を求める。
反射率設定部19は、推定された物体に対応する反射率を3次元モデル推定部14に出力する。なお、ユーザーが選択した物体の反射率を任意に設定することがきる設定操作部を設け、設定操作部から入力される反射率を3次元モデル推定部14に出力するように構成してもよい。
強調指定部20は、明るくする演出を施す対象部分を指定する。例えば、図示していないが、タッチパネル付きの表示部を設け、その表示部に実画像を表示し、タップ操作やタッチ操作に応答してその操作位置を含む範囲に、選択ツールである枠やなげなわを実画像上に重ねて表示して、ドラッグ操作やピンチ操作により前記枠やなげなわを広げたり縮めたりすることで範囲指定を行って、画面に表示される決定ボタンの操作に応答してその時点で設定されている前記枠やなげなわの座標を入力する構成が好ましい。ここで、強調指定部20は、指定手段の一例である。
光源推定部21は、強調指定部20で指定した対象部分に対して明るくなる演出を施すための仮想光源に関する情報(以下、「光源情報」と称す)を推定する。ここで、光源情報としては、位置、向き(照射方向)、光源分布、及び光源波長を含む。本実施形態では、これらの情報のうち位置情報を推定し、他の情報は予め決めた値を用いる。なお、全ての情報を推定してもよいし、複数の情報を推定し、残りの情報は予め決めた値を使用してもよい。
光源情報変更操作部22は、推定した光源情報を所望する情報に変更するための操作部である。シェーディング処理部15は、光源情報変更操作部22からの操作により変更された情報に基づいて、仮想光源を定義し直して陰影画像を生成する。なお、光源情報変更操作部22を操作する時には、変更される光源情報が直ぐに反映されるように、陰影画像を表示部に表示するように構成するのが、変更操作が簡便に行えるので望ましい。なお、光源情報変更操作部22は、光源情報変更手段の一例である。なお、光源情報変更操作部22を省略してもよい。
次に、本実施形態の作用を、図2を参照しながら説明する。まず、実画像取得部11は、例えば図3に示す実画像を取得する(S−1)。取得した実画像は、メモリ11aに記憶される。実画像は、その後、メモリ11aから読み出されて深度マップ補正部13に送られる。深度マップ補正部13では、実画像に対してハイパスフィルタ処理を施して輪郭抽出を行う(S−2)。抽出された2D輪郭画像は、図4に示すように、輪郭がハイライトで強調された画像となる。
次に、深度マップ取得部12は、実画像に対応する深度マップを取得する(S−3)。深度マップは、例えば図5に示すように、ある基準位置からの深度が浅いピクセル程、ハイライトの輝度で得られるのに対し、輪郭がぼやけた画像となる。取得した深度マップは、メモリ12aに格納される。なお、深度マップは、撮像範囲、及び被写体画像が略同じであれば実画像と同時に取得しなくてもよい。
次に、得られた深度マップは、メモリ12aから読み出されて深度マップ補正部13に送られる。深度マップ補正部13は、深度マップに対してハイパスフィルタ処理を施して輪郭抽出を行う(S−4)。深度マップから輪郭を抽出した3次元画像(以下、「3D輪郭画像」と称す)は、図6に示すように、輪郭がハイライトで強調された画像となるが、図4で説明した2D輪郭画像と比較して輪郭が階段状にギザギザした画像となっている。その後、深度マップ補正部13は、2D輪郭画像と3D輪郭画像とで位置合わせを行い、3D輪郭画像の輪郭を2D輪郭画像の輪郭に整合するように補正する(S−5)。
3D輪郭画像の輪郭補正を詳しく説明する。図7に示すように、実画像から抽出した2D輪郭画像30の左上からラスタスキャンを行い、2D輪郭画像の輪郭の点をサンプリングする。2D輪郭画像は、通常グレースケール画像になり、ラスタスキャン時に閾値を超える点を輪郭の点としてサンプリングする。このようにすることで、2D輪郭画像の輪郭の点を、ラスタスキャンのサンプリングレートにより取得することができる。なお、2D輪郭画像30としては、前述した閾値処理の代わりに、ラベリング処理による領域抽出やエッジ検出処理により抽出してもよい。その後、同様な処理により、図8に示すように、深度マップから3D輪郭画像31を抽出する。
2D輪郭画像の輪郭の各点に対して、3D輪郭画像の輪郭と対応づけを行う。これは、2D輪郭画像の輪郭の各点に対して、3D輪郭画像中で最近傍にある輪郭の点を、同様の輪郭の点として対応つける。例えば、2D輪郭画像に含まれる物体のうちのサイコロの輪郭に対しては、2D輪郭画像の位置(x,y)にある輪郭の点A(図7参照)が、3D輪郭画像の輪郭のうちの前記位置(x,y)の近傍である位置(x1,y1)にある点A‘(図8参照)として対応付けされる。
上記の方法で、3D輪郭画像の輪郭の各点と2D輪郭画像の輪郭の各点との対応付けを行い、図9(A)に示す3D輪郭画像の輪郭32の各点を、対応する2D輪郭画像の輪郭点の位置に移動して、同図(B)に示すように、3D輪郭画像の輪郭を補正する。この補正には、周知のレンズのゆがみ補正やキャリブレーションで用いられる座標変換等の技術を使用することができる。
補正された3D輪郭画像は、3次元モデル推定部14に送られる。3次元モデル推定部14のオクルージョン処理部14aは、3D輪郭画像に含まれるオクルージョン部の形状推定を行って3D輪郭画像を補間する(S−6)。補間された3D輪郭画像は、座標変換部14bにより3D輪郭画像の座標系からシェーディング処理をするためのワールド座標系に変換される(S−7)。座標変換された3D輪郭画像は、反射率設定処理部14cに送られる。
反射率設定処理部14cには、3D輪郭画像に含まれる物体(被写体)毎の反射率情報が反射率設定部19から入力されている(S−8)。反射率設定部19には、物体推定部17が実画像に基づいて推定した物体の情報が入力されている(S−9)。反射率設定部19は、特定した物体に基づいてDB18aを参照して反射率を特定する。反射率設定処理部14cは、物体毎の反射率の情報に基づいて3D輪郭画像に含まれる物体の表面に反射率を設定する(S−10)。この物体毎の表面に設定される反射率の情報は、シェーディング処理部15に送られる。
明るくする演出を施すための対象部分は、強調指定部20を使用して実画像に対して予め指定されている(S−11)。なお、強調部を指定する順は、前述した順に限らず、例えば図2で説明する手順の一番先でもよい。この場合には、指定された対象部分の座標をいったんメモリに記憶しておけばよい。光源推定部21は、強調指定部20で指定される対象部分に基づいて、その対象部分に対応する3D輪郭画像の指定範囲に対して、明るくなる演出を施すための光源情報を推定する(S−11)。
光源情報を推定する手順の一例を、図10を参照しながら説明する。実画像33を、例えば表示部に表示する。強調指定部20を操作して、図11に示すように、表示される実画像33に対して光演出を施す範囲36’を指定する。光源推定部21は、図12に示すように、実画像33に指定した範囲36’に対応する3D輪郭画像35での指定範囲36を、複数の三角形状のメッシュ37に分割する(S−13)。その後、図13に示すように、分割された各メッシュ37の面法線ベクトル38をそれぞれ算出し(S−14)、複数の面法線ベクトル38の和をとることで合成ベクトル39を算出する(S−15)。そして、光源推定部21は、図14に示すように、合成ベクトル39が示す方向線上に定義されるように仮想光源40を推定する(S−16)。
光源推定部21で推定された光源情報は、シェーディング処理部15に送られる。シェーディング処理部15は、推定した光源情報に基づいて3D輪郭画像の仮想空間に仮想光源40を定義し、さらに、物体毎の表面に設定される反射率の情報に基づいて、図15に示すように、物体に対して仮想光源40とは逆側に陰影41を付けた陰影画像を生成する(S−17)。生成した陰影画像は、実画像のカメラ位置と同じ方向から見た2次元の陰影画像に変換して出力される。
ブレンディング部16は、陰影画像と実画像とを入力として、これら2つの画像をブレンドして、実画像に対して仮想的な陰影を付加した仮想画像を生成する(S−18)。そして、ブレンド画像出力部23により表示部又はプリンタに出力される(S−19)。これにより、図16に示すように、実画像のうちの所望する対象範囲に対して明るい演出を施した仮想画像43を得ることができる。
[第2実施形態]
第2実施形態では、強調指定部20を使用して、実画像に対して光演出を施したい被写体を対象部分として指定することで、光源推定部21が指定した被写体の境界を後ろから照らす仮想光源、例えばバックライト(Back Light)の推定を行う。
具体的には、光源推定部21は、図17に示すように、実画像と深度マップとに基づいて被写体毎にクラスタリング処理を行う(S−17)。クラスタリング処理は、例えば、図18に示すように、実画像から抽出される特徴(色や輝度の情報)情報と、深度マップから抽出される距離情報とに基づいて、距離が同じクラスタの集合として複数の被写体A〜Dの輪郭像を抽出した3D輪郭画像45を生成する。その後、深度マップ補正部13で3D輪郭画像45の補正を行ってもよいが、省略してもよい。
その後、図19に示すように、例えば表示部に表示される実画像48に対して強調指定部20を用いて所望する被写体D‘を指定する(S−18)。この指定としては、被写体D’をタッチ操作してもよいし、被写体D‘の輪郭49をなぞるように指定してもよい。その後、指定された被写体D’を含む範囲に基づいて、クラスタリングされた被写体の輪郭像のうち、対応する被写体の輪郭像を3D輪郭画像45から選択する(S−19)。
その後、図20に示すように、選択された被写体Dの境界部分が明るく強調されるように、前記被写体Dの背後に定義される仮想光源46を推定する(S−20)。その後、シェーディング処理部15は、推定した光源情報に基づいて、クラスタリングされた被写体Dの背後に仮想光源46を定義し、かつ物体毎に表面に設定される反射率の情報に基づいて被写体の表面上の輝度を計算することによって被写体にレンダリングを施して3次元の陰影画像を生成する。そして、シェーディング処理部15は、3次元の陰影画像から2次元の陰影画像を出力する。ブレンディング部16は、2次元の陰影画像を実画像に合成して仮想画像を生成する。これにより、図21に示すように、所望する被写体Dの境界49に対して背後から自然な明るさで照らす光演出を施した仮想画像50を得ることができる。
ところで、従来、2次元の画像処理アプリケーションソフトでの輪郭強調処理では、例えば指定した被写体の輪郭を全体的に強調するため、不自然さが残っていた。上記実施形態では、ソリッドのように境界がはっきりしている被写体だけでなく、髪の毛や着物、布等のはっきりしない境界に対しても、2次元での画像処理では得られない自然な陰影による立体感を作り出すことができる。また、本発明では、対象部分又は被写体の境界に対して距離感を考慮した自然な陰影、すなわち、その被写体だけでなく周りの被写体にも陰影を施す等の演出を付与することができる。さらに、同じ色の服を着ている被写体同士では境界を区別できないのに対し、本発明では深度マップ(距離情報)を用いるため区別することができる。
上記実施形態では、光源推定部21が仮想光源に関する情報のうち、位置情報の推定を行っているが、本発明では位置情報だけに限らず、分布、波長、及び向き等の情報を推定してもよい。また、分布、波長、及び向き等の情報の変更を簡便に行えるように、例えば点光源や面光源等のライトの種類を変更するライト変更手段を光源情報変更操作部22に設けてもよい。
上記各実施形態の光源推定部21では、対象部分に対して明るくなる演出を施すように仮想光源の情報を推定しているが、本発明ではこれに限らず、例えば影を付ける演出を施すように仮想光源の情報を推定してもよい。また、本発明では、深度マップ補正部13での輪郭補正を省略してもよい。
以上、本発明を好適な実施の形態に基づき具体的に説明したが、本発明は上記のものに限定されるものではなく、その要旨を逸脱しない範囲で種種変更可能であることは言うまでもない。
上記各実施形態では、画像作成装置として説明しているが、本発明としては、画像作成方法としてもよい。さらに本発明は、画像作成方法をコンピュータに実行させるためのプログラム、並びにそのプログラムを記録したコンピュータ読み取り可能な記録媒体の発明としてもよい。
10 画像作成装置
14 3次元モデル推定部
15 シェーディング処理部
20 強調指定部
21 光源推定部

Claims (8)

  1. 実画像を取得する実画像取得手段と、
    前記実画像に対応して奥行き情報を含む3次元情報を取得する3次元情報取得手段と、
    前記実画像と前記3次元情報とに基づいて3次元画像を生成する3次元画像生成手段と、
    前記実画像に対して光による演出を施す対象部分を指定する指定手段と、
    前記指定手段で指定された対象部分に基づいて前記演出を施すための仮想光源に関する情報を推定する推定手段と、
    前記推定手段で推定した前記情報に基づいて前記仮想光源を前記3次元画像の仮想空間に定義して陰影情報を生成するシェーディング手段と、
    前記陰影情報を前記実画像に合成するブレンディング手段と、
    を備えることを特徴とする画像作成装置。
  2. 請求項1に記載の画像作成装置において、
    前記仮想光源に関する情報を変更する光源情報変更手段を備えていることを特徴とする画像作成装置。
  3. 請求項1又は2に記載の画像作成装置において、
    前記指定手段は、強調させる範囲を指定する手段であり、
    前記指定手段で指定した範囲に対応する前記3次元画像での範囲をメッシュ分割する手段と、
    前記分割された各メッシュの面法線ベクトルを算出する手段と、
    前記複数の面法線ベクトルの和をとることで合成ベクトルを算出する手段と、
    前記合成ベクトルが示す方向線上に定義するための前記仮想光源を推定する手段と、
    を含むことを特徴とする画像作成装置。
  4. 請求項1又は2に記載の画像作成装置において、
    前記指定手段は、強調する被写体、又は被写体の境界を指定する手段であり、
    前記推定手段は、
    前記指定手段で指定した前記被写体を含む領域、又は前記境界を含む領域に対応する前記3次元画像での領域に対してクラスタリング処理を施して前記領域を抽出する手段と、
    前記抽出された領域の背後に定義するための前記仮想光源を推定する手段と、
    を含むことを特徴とする画像作成装置。
  5. 請求項1から4のいずれか1項に記載の画像作成装置において、
    前記3次元画像生成手段は、
    前記実画像と前記3次元情報とから輪郭画像をそれぞれ抽出する輪郭抽出手段と、
    前記3次元情報の輪郭を前記実画像の輪郭に整合させるように前記3次元情報を補正して3次元画像を生成する補正手段と、
    を含むことを特徴とする画像作成装置。
  6. 請求項5に記載の画像作成装置において、
    前記実画像に含まれる物体の反射率を特定し特定した反射率を、前記補正手段により補正をした後の前記3次元画像に含まれる物体毎に設定する反射率設定手段と、
    を備えることを特徴とする画像作成装置。
  7. 実画像を取得する実画像取得ステップと、
    前記実画像に対応して奥行き情報を含む3次元情報を取得する3次元情報取ステップと、
    前記実画像と前記3次元情報とに基づいて3次元画像を生成する3次元画像生成ステップと、
    前記実画像に対して光による演出を施す対象部分を指定する指定ステップと、
    前記指定された対象部分に基づいて前記演出を施すための仮想光源に関する情報を推定する推定ステップと、
    前記推定された情報に基づいて前記仮想光源を前記3次元画像の仮想空間に定義することで陰影情報を生成するシェーディングステップと、
    前記陰影情報を前記実画像に合成するブレンディングステップと、
    をコンピュータに実行させるための画像作成プログラム。
  8. 請求項7に記載の画像作成プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2012109267A 2012-05-11 2012-05-11 画像作成装置、画像作成プログラム、及び記録媒体 Pending JP2013235537A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012109267A JP2013235537A (ja) 2012-05-11 2012-05-11 画像作成装置、画像作成プログラム、及び記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012109267A JP2013235537A (ja) 2012-05-11 2012-05-11 画像作成装置、画像作成プログラム、及び記録媒体

Publications (1)

Publication Number Publication Date
JP2013235537A true JP2013235537A (ja) 2013-11-21

Family

ID=49761587

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012109267A Pending JP2013235537A (ja) 2012-05-11 2012-05-11 画像作成装置、画像作成プログラム、及び記録媒体

Country Status (1)

Country Link
JP (1) JP2013235537A (ja)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015194488A1 (en) * 2014-06-18 2015-12-23 Canon Kabushiki Kaisha Image processing apparatus and image processing method thereof
WO2016047072A1 (en) * 2014-09-26 2016-03-31 Canon Kabushiki Kaisha Image processing apparatus and control method thereof
JP2016208098A (ja) * 2015-04-15 2016-12-08 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP2016218729A (ja) * 2015-05-20 2016-12-22 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US9609206B2 (en) 2014-03-31 2017-03-28 Canon Kabushiki Kaisha Image processing apparatus, method for controlling image processing apparatus and storage medium
JP2017147658A (ja) * 2016-02-18 2017-08-24 キヤノン株式会社 画像処理装置、撮像装置、制御方法及びプログラム
JP2018524896A (ja) * 2015-06-16 2018-08-30 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 画像の深度マップを決定する方法および装置
KR101919077B1 (ko) * 2017-08-24 2018-11-16 에스케이텔레콤 주식회사 증강 현실 표시 방법 및 장치
JP2019037004A (ja) * 2018-11-26 2019-03-07 キヤノン株式会社 画像処理装置、その制御方法、プログラム
JP2019205205A (ja) * 2015-04-15 2019-11-28 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP2020013291A (ja) * 2018-07-18 2020-01-23 コニカミノルタ株式会社 物体検出システム及び物体検出プログラム
JP2020184295A (ja) * 2019-04-26 2020-11-12 Arithmer株式会社 寸法データ算出装置、製品製造装置、及びシルエット画像生成装置
US11030799B2 (en) 2017-03-27 2021-06-08 Canon Kabushiki Kaisha Image processing apparatus, image processing method and storage medium. With estimation of parameter of real illumination based on normal information on pixel included in high luminance area
US11106938B2 (en) 2015-04-15 2021-08-31 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium for lighting processing on image using model data
JP2021145385A (ja) * 2019-08-21 2021-09-24 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
CN115278080A (zh) * 2022-07-28 2022-11-01 北京五八信息技术有限公司 一种蒙版生成方法、设备及存储介质
US11922649B2 (en) 2018-11-30 2024-03-05 Arithmer Inc. Measurement data calculation apparatus, product manufacturing apparatus, information processing apparatus, silhouette image generating apparatus, and terminal apparatus
JP7462464B2 (ja) 2020-04-15 2024-04-05 キヤノン株式会社 画像処理装置および方法、プログラム、記憶媒体

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9609206B2 (en) 2014-03-31 2017-03-28 Canon Kabushiki Kaisha Image processing apparatus, method for controlling image processing apparatus and storage medium
JP2016005203A (ja) * 2014-06-18 2016-01-12 キヤノン株式会社 画像処理装置およびその制御方法
US10574961B2 (en) 2014-06-18 2020-02-25 Canon Kabushiki Kaisha Image processing apparatus and image processing method thereof
WO2015194488A1 (en) * 2014-06-18 2015-12-23 Canon Kabushiki Kaisha Image processing apparatus and image processing method thereof
US10063826B2 (en) 2014-06-18 2018-08-28 Canon Kabushiki Kaisha Image processing apparatus and image processing method thereof
US10475237B2 (en) 2014-09-26 2019-11-12 Canon Kabushiki Kaisha Image processing apparatus and control method thereof
WO2016047072A1 (en) * 2014-09-26 2016-03-31 Canon Kabushiki Kaisha Image processing apparatus and control method thereof
EP3896643A1 (en) * 2014-09-26 2021-10-20 Canon Kabushiki Kaisha Image processing apparatus and control method thereof
JP2016072692A (ja) * 2014-09-26 2016-05-09 キヤノン株式会社 画像処理装置およびその制御方法
US11948282B2 (en) 2015-04-15 2024-04-02 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium for lighting processing on image using model data
JP2016208098A (ja) * 2015-04-15 2016-12-08 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US11106938B2 (en) 2015-04-15 2021-08-31 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium for lighting processing on image using model data
JP2019205205A (ja) * 2015-04-15 2019-11-28 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP2016218729A (ja) * 2015-05-20 2016-12-22 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP2018524896A (ja) * 2015-06-16 2018-08-30 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 画像の深度マップを決定する方法および装置
US10694111B2 (en) 2016-02-18 2020-06-23 Canon Kabushiki Kaisha Image processing apparatus, image capture apparatus, and control method for adding an effect of a virtual light source to a subject
US11503219B2 (en) 2016-02-18 2022-11-15 Canon Kabushiki Kaisha Image processing apparatus, image capture apparatus, and control method for adding an effect of a virtual light source to a subject
JP2017147658A (ja) * 2016-02-18 2017-08-24 キヤノン株式会社 画像処理装置、撮像装置、制御方法及びプログラム
US11030799B2 (en) 2017-03-27 2021-06-08 Canon Kabushiki Kaisha Image processing apparatus, image processing method and storage medium. With estimation of parameter of real illumination based on normal information on pixel included in high luminance area
KR101919077B1 (ko) * 2017-08-24 2018-11-16 에스케이텔레콤 주식회사 증강 현실 표시 방법 및 장치
JP2020013291A (ja) * 2018-07-18 2020-01-23 コニカミノルタ株式会社 物体検出システム及び物体検出プログラム
JP2019037004A (ja) * 2018-11-26 2019-03-07 キヤノン株式会社 画像処理装置、その制御方法、プログラム
US11922649B2 (en) 2018-11-30 2024-03-05 Arithmer Inc. Measurement data calculation apparatus, product manufacturing apparatus, information processing apparatus, silhouette image generating apparatus, and terminal apparatus
JP2020184295A (ja) * 2019-04-26 2020-11-12 Arithmer株式会社 寸法データ算出装置、製品製造装置、及びシルエット画像生成装置
JP2021145385A (ja) * 2019-08-21 2021-09-24 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP7462464B2 (ja) 2020-04-15 2024-04-05 キヤノン株式会社 画像処理装置および方法、プログラム、記憶媒体
CN115278080A (zh) * 2022-07-28 2022-11-01 北京五八信息技术有限公司 一种蒙版生成方法、设备及存储介质

Similar Documents

Publication Publication Date Title
JP2013235537A (ja) 画像作成装置、画像作成プログラム、及び記録媒体
JP5818773B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6493395B2 (ja) 画像処理装置と画像処理方法
JP4966431B2 (ja) 画像処理装置
KR101560508B1 (ko) 3차원 이미지 모델 조정을 위한 방법 및 장치
US20210134049A1 (en) Image processing apparatus and method
JP4246516B2 (ja) 人物動画像生成システム
US9224245B2 (en) Mesh animation
JP5916248B2 (ja) 画像生成装置、画像生成方法、プログラムおよびコンピュータ読取り可能な情報記憶媒体
JP5762600B1 (ja) 情報処理装置及び情報処理方法
JP2017204673A (ja) 画像処理装置、画像処理方法及びプログラム
JPWO2016151691A1 (ja) 画像処理装置、画像処理システム、画像処理方法及びプログラム
JP6541920B1 (ja) 情報処理装置、プログラム及び情報処理方法
US11138743B2 (en) Method and apparatus for a synchronous motion of a human body model
JP2016071645A (ja) オブジェクト3次元モデル復元方法、装置およびプログラム
JP2009211513A (ja) 画像処理装置及びその方法
KR20190062102A (ko) 비디오 영상기반 2d/3d ar 실감체험 방법 및 장치
JP6552266B2 (ja) 画像処理装置、画像処理方法およびプログラム
KR102131923B1 (ko) 가상 피팅을 위한 실시간 3d 아바타 생성 방법 및 시스템
US11682234B2 (en) Texture map generation using multi-viewpoint color images
JP6362401B2 (ja) 画像処理装置及び画像処理装置の制御方法
JP7476511B2 (ja) 画像処理システム、画像処理方法及びプログラム
JP6896811B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US12020363B2 (en) Surface texturing from multiple cameras
JP5807569B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム