JP6974978B2 - Image processing equipment, image processing methods, and programs - Google Patents
Image processing equipment, image processing methods, and programs Download PDFInfo
- Publication number
- JP6974978B2 JP6974978B2 JP2017156642A JP2017156642A JP6974978B2 JP 6974978 B2 JP6974978 B2 JP 6974978B2 JP 2017156642 A JP2017156642 A JP 2017156642A JP 2017156642 A JP2017156642 A JP 2017156642A JP 6974978 B2 JP6974978 B2 JP 6974978B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- weight
- viewpoint
- interest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Color Image Communication Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、画像処理装置、画像処理方法、及びプログラムに関する。 The present invention relates to an image processing apparatus, an image processing method, and a program.
被写体を複数の撮像装置で撮像して得られた画像から、任意の仮想視点から被写体を観察した際に得られる画像を再構成する技術が知られている。特許文献１には、以下の方法が開示されている。まず、複数のカメラにより撮像された被写体の撮像画像と、カメラの位置情報とを用いて、被写体の三次元モデルを作成する。次に、三次元モデル上の各位置のテクスチャ画像を、複数の撮像画像に写っているテクスチャ画像をブレンドすることにより生成する。最後に、ブレンドテクスチャ画像を三次元モデルにテクスチャマッピングすることにより、カメラが配置されていない仮想視点からの画像を再構成することができる。
There is known a technique for reconstructing an image obtained when a subject is observed from an arbitrary virtual viewpoint from an image obtained by capturing the subject with a plurality of image pickup devices.
特許文献１には、仮想視点からの視認状態に近い再構成画像を生成するために、ブレンドテクスチャ画像を生成する際に用いる撮像画像の選択方法についても記載されている。例えば、特許文献１は、仮想視点に近いカメラにより撮像された被写体の撮像画像を選択することを提案している。別の方法として、特許文献１は、仮想視点と近い視線方向を有するカメラにより撮像された被写体の撮像画像を選択することも提案している。また、特許文献１には、仮想視点により近い又は仮想視点とより近い視線方向を有するカメラにより撮像された被写体の撮像画像について、混合比率を高めることも記載されている。
照明等の影響により、被写体の同じ部位であっても、それぞれの撮像装置により得られる撮像画像上での色が異なることがある。このため、特に異なる撮像画像がブレンドされている領域の間で、不自然な色の変化が見られることがあった。 Due to the influence of lighting and the like, the colors on the captured image obtained by each imaging device may differ even in the same portion of the subject. For this reason, unnatural color changes may be seen, especially between regions where different captured images are blended.
本発明は、仮想視点からの再構成画像において、領域間の色の違いに起因する違和感を低減することを目的とする。 An object of the present invention is to reduce a sense of discomfort caused by a difference in color between regions in a reconstructed image from a virtual viewpoint.
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を有する。すなわち、
仮想視点の位置の情報と前記仮想視点からの視線方向の情報を含む仮想視点情報を取得する取得手段と、
前記取得手段により取得された仮想視点情報により特定される仮想視点に対応する仮想視点画像の着目画素の色情報を、複数の撮像装置で撮像されることにより取得された複数の撮像画像と、前記複数の撮像画像それぞれにおける端部から前記着目画素に対応する画素までの距離に応じた重みとに基づいて決定する決定手段と、
前記決定手段により決定された色情報に基づいて、前記仮想視点画像を生成する生成手段と、
を有し、
前記重みは、
前記撮像画像における端部から前記着目画素に対応する画素までの距離が所定の閾値を超えている場合、一定の重みであり、
前記撮像画像における端部から前記着目画素に対応する画素までの距離が所定の閾値以下である場合、前記一定の重みより小さい重みである
ことを特徴とする。
In order to achieve the object of the present invention, for example, the image processing apparatus of the present invention has the following configuration. That is,
An acquisition means for acquiring virtual viewpoint information including information on the position of the virtual viewpoint and information on the line-of-sight direction from the virtual viewpoint, and
A plurality of captured images acquired by capturing the color information of the pixel of interest of the virtual viewpoint image corresponding to the virtual viewpoint identified by the virtual viewpoint information acquired by the acquisition means by a plurality of imaging devices, and the above-mentioned. A determination means for determining based on the weight according to the distance from the end of each of the plurality of captured images to the pixel corresponding to the pixel of interest.
A generation means for generating the virtual viewpoint image based on the color information determined by the determination means, and a generation means.
Have a,
The weight is
When the distance from the end portion of the captured image to the pixel corresponding to the pixel of interest exceeds a predetermined threshold value, the weight is constant.
When the distance from the end portion of the captured image to the pixel corresponding to the pixel of interest is equal to or less than a predetermined threshold value, the weight is smaller than the constant weight .
仮想視点からの再構成画像において、領域間の色の違いに起因する違和感を低減することができる。 In the reconstructed image from the virtual viewpoint, it is possible to reduce the discomfort caused by the difference in color between the regions.
以下、本発明の実施形態を図面に基づいて説明する。ただし、本発明の範囲は以下の実施形態に限定されるものではない。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. However, the scope of the present invention is not limited to the following embodiments.
［実施形態１］
以下、本発明の実施形態１に係る画像処理装置について説明する。本実施形態に係る画像処理装置は、例えばプロセッサー及びメモリを備えるコンピュータでありうる。図１は、本実施形態に係る画像処理装置１００のハードウェア構成例を示す。ＣＰＵ１０１は、画像処理装置１００全体を制御する。ＲＡＭ１０２は、プログラム又はデータ等を一時記憶するランダムアクセスメモリである。ＲＯＭ１０３は、プログラム又はパラメータ等を格納する読み出し専用メモリである。二次記憶装置１０４は、プログラム又はデータ等を長期間保管可能な記憶装置であり、例えばハードディスク又はメモリカード等でありうる。
[Embodiment 1]
Hereinafter, the image processing apparatus according to the first embodiment of the present invention will be described. The image processing apparatus according to the present embodiment may be, for example, a computer including a processor and a memory. FIG. 1 shows a hardware configuration example of the
入力インターフェース１０５は、画像処理装置１００と入力デバイスとを接続するインターフェースである。入力デバイスとは画像処理装置１００にデータを入力する装置であり、その種類は特に制限されない。例えば、入力インターフェース１０５は、被写体の画像を撮像する撮像装置１０８又は外部記憶装置１０９からのデータを受け取ることができ、画像処理装置１００は受け取ったデータを用いて処理を行うことができる。出力インターフェース１０６は、画像処理装置１００と出力デバイスとを接続するインターフェースである。出力デバイスとは画像処理装置１００からのデータを受け取る装置であり、その種類は特に制限されない。例えば、出力インターフェース１０６は、画像処理装置１００からのデータを、外部記憶装置１０９又は表示装置１１０へと出力することができる。
The
例えば図３に示されるような、以下で説明される各部の動作は、以下のようにして実現できる。すなわち、ＲＯＭ１０３、二次記憶装置１０４、又は外部記憶装置１０９等の、コンピュータ読み取り可能な記憶媒体に格納された各部の動作に対応するプログラムを、ＲＡＭ１０２に展開する。そして、このプログラムに従ってＣＰＵ１０１が動作することにより、以下で説明される各部の動作を実現できる。もっとも、後述する各部のうち全部又は一部の動作は、ＡＳＩＣ等の専用のハードウェアによって実現されてもよい。
For example, the operation of each part described below as shown in FIG. 3 can be realized as follows. That is, a program corresponding to the operation of each part stored in a computer-readable storage medium such as the
本実施形態に係る画像処理装置１００は、被写体の画像を撮像する複数の撮像装置１０８から撮像画像を取得し、仮想視点からの再構成画像を生成する処理を行う。本明細書において、再構成画像とは、仮想視点に基づいて生成される被写体（オブジェクト）の仮想視点画像（オブジェクト画像）であり、仮想カメラを仮想視点に配置した場合に得られるであろう被写体の撮像画像に相当する。再構成画像は、自由視点画像とも呼ばれる。これら複数の撮像装置１０８は、例えば被写体の周りを取り囲むように配置することができる。このような撮像装置１０８の配置例を図２に示す。図２は体育館に配置された撮像装置１０８を示し、世界座標系２０１が示されている。図２（Ａ）に示すように撮像装置１０８は上方から床面を見下ろすように配置されており、図２（Ｂ）に示すように撮像装置１０８は体育館の側面に沿って配置されている。そして、これらの撮像装置１０８は、体育館の床面及び側面、並びに体育館で活動している人物等の被写体を様々な方向から同期して撮像することができる。こうして、複数の撮像装置１０８は、同じ時刻における様々な方向からの被写体の撮像画像を生成することができる。もっとも、図２に示す撮像装置１０８の配置方法は一例にすぎず、他の配置方法を採用することもできる。
The
図１において、画像処理装置１００は複数の撮像装置１０８と接続されており、画像処理装置１００及び複数の撮像装置１０８を備える画像処理システムを形成している。このような構成によれば、リアルタイムに仮想視点からの再構成画像を生成することができる。しかしながら、画像処理装置１００に撮像装置１０８が接続されることは必須ではなく、例えば画像処理装置１００は記憶媒体を介して撮像装置１０８から撮像画像を取得してもよい。なお、撮像装置１０８は動画像を撮像してもよい。この場合、画像処理装置１００は、複数の撮像装置１０８により略同時刻に撮像されたフレーム画像を用いて、以下の処理を行うことができる。
In FIG. 1, the
図３は、本実施形態に係る画像処理装置１００が備える機能構成を示す。図３に示すように、画像処理装置１００は、入力視点情報取得部３１０、出力視点情報取得部３２０、距離マップ取得部３３０、画像取得部３４０、レンダリング部３５０、及び画像出力部３６０を備える。
FIG. 3 shows a functional configuration included in the
入力視点情報取得部３１０及び出力視点情報取得部３２０は、仮想視点及び複数の撮像装置の位置姿勢情報を取得する。本実施形態において入力視点情報取得部３１０は、入力視点に関する情報（以下、入力視点情報と呼ぶ）を取得する。本実施形態において、入力視点とは撮像装置１０８の視点のことを指し、入力視点情報とは、複数の撮像装置１０８それぞれについての情報のことを意味する。入力視点情報には、所定の座標系内での撮像装置１０８の位置姿勢情報が含まれ、例えば、撮像装置１０８の位置情報及び光軸方向を示す姿勢情報を含む。また、入力視点情報には、焦点距離又は主点位置等、撮像装置１０８の画角情報を含めることもできる。これらの情報を用いて、撮像画像の各画素と、撮像装置１０８から被写体への向きと、を対応づけることができる。このため、被写体の特定箇所について、撮像画像上の対応する画素を特定することができ、その色情報を取得することが可能となる。さらに、入力視点情報には、撮像装置１０８により撮像される画像の歪曲を示す歪曲パラメータ、並びにＦ値、シャッタースピード及びホワイトバランス等の撮影パラメータを含むことができる。
The input viewpoint
また、本実施形態において、出力視点情報取得部３２０は、出力視点に関する情報（以下、出力視点情報と呼ぶ）を取得する。本実施形態において、出力視点とは、画像処理装置１００が生成する再構成画像の仮想視点のことを指し、出力視点情報とは、仮想視点についての情報のことを意味する。出力視点情報には、入力視点情報と同様、所定の座標系内での仮想視点の位置姿勢情報が含まれ、例えば、仮想視点の位置情報及び光軸方向を示す姿勢情報を含む。また、出力視点情報には、仮想視点からの画角情報、再構成画像の解像度情報等を含むこともできる。さらに、出力視点情報は、歪曲パラメータ及び撮影パラメータ等を含むこともでき、これらを用いて得られた再構成画像に対して画像処理を行うこともできる。
Further, in the present embodiment, the output viewpoint
入力視点情報取得部３１０及び出力視点情報取得部３２０は、仮想視点及び撮像装置１０８の位置姿勢情報を取得する代わりに、撮像装置及び仮想視点の相対的な位置姿勢関係を示す情報を取得してもよい。
The input viewpoint
距離マップ取得部３３０は、空間内の被写体の位置情報を取得する。この位置情報は、仮想視点と被写体の相対的な位置関係を示す。本実施形態において、距離マップ取得部３３０は、仮想視点から被写体までの距離マップ（デプスマップ）を取得する。複数の撮像装置１０８により得られた被写体の撮像画像に基づいて距離マップを生成する方法は公知であり、任意の方法を採用することができる。例えば、特許文献１に記載されている視体積公差法又はステレオマッチング法を用いて、被写体の三次元モデルを生成することができる。そして、仮想視点と被写体の三次元モデルとの関係に基づいて、仮想視点からの再構成画像の各画素について、仮想視点から対応する被写体までの距離を求め、こうして距離マップを生成することができる。距離マップの生成方法は被写体の撮像画像に基づく方法に限られず、何らかのトラッカー等を用いて被写体の三次元モデルを生成し、この三次元モデルに基づいて距離マップを生成してもよい。また、事前にレンジセンサなどで仮想視点から対応する被写体までの距離を計測し、距離マップを取得してもよい。
The distance
画像取得部３４０は、複数の撮像装置１０８のそれぞれにより撮像された被写体の撮像画像を取得する。
The
レンダリング部３５０は、仮想視点から各方向に存在する被写体の色情報を、複数の撮像画像から決定する。例えば、レンダリング部３５０は、被写体の位置情報（距離マップ取得部３３０が取得した距離マップ）、入力視点情報及び出力視点情報（撮像装置１０８及び仮想視点の位置姿勢情報）を参照して、仮想視点からの再構成画像を生成することができる。この際に、レンダリング部３５０は、画像取得部３４０が取得した被写体の撮像画像のそれぞれから、仮想視点からの着目方向に存在する被写体の色情報を取得する。そして、レンダリング部３５０は、後述するように撮像装置の向きと撮像装置の視野内における被写体の位置とに応じた重みを用いて、取得した色情報を合成することにより、着目方向に存在する被写体の色情報を決定する。レンダリング部３５０は、こうして再構成画像の各画素に対応する各着目方向について被写体の色情報を決定することにより、再構成画像を生成する。
The
画像出力部３６０は、レンダリング部３５０が生成した再構成画像を出力する。例えば、画像出力部３６０は、再構成画像を表示装置１１０に出力し、再構成画像を表示装置１１０に表示させることができる。
The
次に、レンダリング部３５０についてより詳しく説明する。まず、レンダリング処理の概略について説明する。レンダリング部３５０が行う処理は、着目方向に存在する被写体の位置を距離マップに基づいて特定し、この被写体の色情報を撮像画像から抽出する処理に相当する。言い換えれば、レンダリング部３５０は、再構成画像中の着目画素について、着目画素に写る被写体の位置を距離マップに基づいて特定し、着目画素に写る被写体の色情報を撮像画像から抽出する。より詳しく説明すると、レンダリング部３５０は、仮想視点から着目方向に存在する被写体までの距離と、仮想視点と撮像装置との間の位置姿勢関係とに基づいて、着目方向に存在する被写体に対応する撮像画像上の画素を特定することができる。そして、レンダリング部３５０は、特定された画素の色情報を着目方向に存在する被写体の色情報として取得することができる。
Next, the
この処理は、例えば以下のように行うことができる。以下の説明では、再構成画像中の着目画素の座標を（ｕ０，ｖ０）とする。着目画素に写る被写体の位置は、式（１）に従って、出力視点におけるカメラ座標系で表すことができる。
次に、着目画素に写る被写体について、出力視点におけるカメラ座標を、式（２）に従って世界座標に変換することができる。
次に、世界座標（Ｘ０，Ｙ０，Ｚ０）に存在する被写体が写っている、入力視点からの撮像画像上の座標を、式（４）に従って算出することができる。
式（４）に従うと、まずｔを求めることができ、さらに得られたｔを用いて（ｕｉ，ｖｉ）を求めることができる。このように、再構成画像中の着目画素の座標（ｕ０，ｖ０）は、撮像画像中の画素の座標（ｕｉ，ｖｉ）に変換することができる。再構成画像中の着目画素（ｕ０，ｖ０）と撮像画像中の画素（ｕｉ，ｖｉ）とは、同じ被写体に対応する可能性が高い。したがって、撮像画像中の画素（ｕｉ，ｖｉ）の画素値（色情報）を、再構成画像中の着目画素（ｕ０，ｖ０）の画素値（色情報）として用いることができる。
According to equation (4), first t can be obtained can be determined by the (u i, v i) using the further resulting t. Thus, the target pixel in the reconstructed image coordinates (u 0, v 0) can be converted to the coordinates (u i, v i) of the pixels in the captured image. The target pixel in the
しかしながら、視線方向の違いのために、再構成画像中の着目画素（ｕ０，ｖ０）と撮像画像中の画素（ｕｉ，ｖｉ）とが同じ被写体に対応するとは限らない。また、光源方向等の影響により、これらが同じ被写体に対応したとしても、撮像画像間で色が異なっている可能性もある。このため、本実施形態において、レンダリング部３５０は、複数の撮像画像から、着目画素（ｕ０，ｖ０）に対応する画素（ｕｉ，ｖｉ）（ｉ＝１〜Ｎ：Ｎは撮像装置１０８の数）を特定し、特定された画素の画素値を重み付け合成する。ここで、被写体が撮像範囲外にあるなどの理由で、着目画素に対応する被写体が写っていない撮像画像については、合成の対象から外すことができる。このような重み付け合成により得られた画素値が、着目画素（ｕ０，ｖ０）の画素値として用いられる。このように、１つ以上の撮像装置による撮像画像における被写体の色情報を用いて、再構成画像における被写体の色情報を決定することができる。一実施形態においては、２つ以上の撮像装置による撮像画像における被写体の色情報を用いて、再構成画像における被写体の色情報が決定される。
However, because of the line of sight differences, noted pixel in the reconstructed image (u 0, v 0) and pixels in the captured image (u i, v i) and does not necessarily correspond to the same object. Further, due to the influence of the light source direction and the like, even if they correspond to the same subject, there is a possibility that the colors are different between the captured images. Therefore, in the present embodiment, the
以下に、レンダリング部３５０の詳細な構成について、図４を参照して説明する。レンダリング部３５０は、歪曲補正部４１０、方向重み算出部４２０、位置重み算出部４３０、及び画素値算出部４４０を備える。
The detailed configuration of the
歪曲補正部４１０は、画像取得部３４０が取得した撮像画像に対して歪曲補正処理を行い、歪曲補正処理後の撮像画像を画素値算出部４４０に送る。例えば、歪曲補正部４１０は、画像取得部３４０が取得した撮像画像に対して、入力視点情報取得部３１０が取得したそれぞれの撮像装置１０８の歪曲パラメータを参照して、歪曲補正処理を行うことができる。歪曲補正部４１０は、歪曲補正後の撮像画像を、方向重み算出部４２０及び位置重み算出部４３０に送ってもよい。このように歪曲補正された撮像画像を用いて再構成画像を生成することにより、より違和感の少ない再構成画像を生成することが可能となる。もっとも、レンダリング部３５０が歪曲補正部４１０を備えることは必須ではない。
The
方向重み算出部４２０は、撮像装置の向きに応じて、撮像画像のそれぞれに対して重みを設定する。本実施形態において、方向重み算出部４２０は、入力視点の向きと出力視点の向きとの関係に応じて、撮像画像のそれぞれに対して重みを設定する。入力視点から被写体への方向が、出力視点から被写体への方向により近いほど、撮像画像に写る被写体像は仮想視点からの被写体像により近いと考えられる。したがって、入力視点から被写体への方向が、出力視点から被写体への方向により近いほど、大きな重みを与えることができる。より具体的には、入力視点から被写体への方向ベクトル（大きさは任意）と、出力視点から被写体への方向ベクトル（大きさは任意）と、がなす角度が小さいほど、大きな重みを与えることができる。
The direction
方向重み算出部４２０は、１つの撮像画像中のそれぞれの画素に対して異なる重みを設定することができる。この場合、方向重み算出部４２０は、撮像装置の向きとして、着目方向に存在する被写体への撮像装置からの方向を用いて、重みを設定できる。例えば、上記の例であれば、再構成画像中の着目画素（ｕ０，ｖ０）についての出力視点からの方向と、撮像画像中の対応する画素（ｕｉ，ｖｉ）についての入力視点からの方向と、に応じて画素（ｕｉ，ｖｉ）に重みを設定することができる。一方で、計算を簡単にするために、方向重み算出部４２０は、撮像装置（入力視点）の向きとして、撮像装置（入力視点）の光軸方向を用いて、重みを設定することもできる。このように、１つの撮像画像中のそれぞれの画素に関して同じ重みを設定してもよい。また、計算を簡単にするために、仮想視点（出力視点）の向きとしては、着目方向を用いてもよいし、出力視点の光軸方向を用いることもできる。すなわち、仮想視点の光軸方向又は着目方向と、撮像装置の向きとの間の角度に応じて、方向重みを設定することができる。
The direction
方向重み算出部４２０は、画素値算出部４４０による処理に必要になった際に方向重みを算出してもよいし、画素値算出部４４０による処理の前に撮像画像中の各画素について方向重みを予め算出しておいてもよい。後者の場合、方向重み算出部４２０は、上述のように算出された重みを撮像画像の画素のそれぞれに対応づける。そして、画素値算出部４４０は、後述するように着目画素に写る被写体の画素値を撮像画像から抽出する際に、撮像画像上における着目画素に対応する画素に対応づけられた方向重みを、撮像画像の重みとして使用する。
The direction
位置重み算出部４３０は、撮像装置の視野内における、着目方向に位置する被写体の位置に応じて、撮像画像のそれぞれに対して重みを設定する。まず、この構成の意義について説明する。１つの入力視点からの撮像範囲は限られるため、再構成画像に写る全ての被写体が１つの入力視点からの撮像画像に写っていることは少ない。したがって、再構成画像には、１つの入力視点からの撮像画像に写っておりこの撮像画像の色情報が反映される領域と、１つの入力視点からの撮像画像に写っていないためこの撮像画像の色情報が反映されない領域とが含まれることが多い。一方、特に出力視点と向きが近い入力視点からの撮像画像には、方向重み算出部４２０により大きい重みが与えられる。
The position
例えば、図５（Ａ）に示される再構成画像５００には、入力視点Ａからの視野内に含まれる領域５１０と、入力視点Ｂからの視野内に含まれる領域５２０と、入力視点Ａ及び入力視点Ｂからの双方の視野内に含まれる領域５３０が示されている。言い換えれば、領域５１０は入力視点Ａからの撮像画像Ａにのみ写っている領域であり、領域５２０は入力視点Ｂからの撮像画像Ｂにのみ写っている領域であり、領域５３０は撮像画像Ａ及び撮像画像Ｂの双方に写っている領域である。図５（Ｂ）は、図５（Ａ）の線分Ｘ−Ｘ’に沿った撮像画像Ａ及び撮像画像Ｂのそれぞれの重みの例を示す。この例において、入力視点Ｂと比較して、入力視点Ａの向きは出力視点の向きに近いため、撮像画像Ａにはより大きい重みが与えられている。図５（Ｂ）から明らかなように、撮像画像Ａの寄与が大きい領域５３０と、撮像画像Ａが寄与しない領域５２０との間では、撮像画像Ａの寄与が大きく異なっている。このため、領域５２０と領域５３０との境界Ｙ付近において色が急に変化する可能性がある。
For example, in the
本実施形態において、位置重み算出部４３０は、着目方向に存在する被写体が撮像装置の視野の周辺部に存在する場合、撮像装置の視野の中心部に存在する場合よりも小さい重みを設定する。すなわち、位置重み算出部４３０は、被写体が入力視点からの視野の周辺部に相当する場合に、被写体が視野の中心部に相当する場合よりも小さい重みを設定する。結果として、入力視点からの視野内において被写体が周辺部分に位置する場合に、撮像画像の方向重みを小さくする効果が得られる。図５（Ｃ）の例では、上記の領域５３０のうち、境界Ｙ付近の画素については、撮像画像Ａに対してはより小さい重みが設定され、撮像画像Ｂに対してはより大きい重みが設定されている。このような構成によれば、上記の領域５３０のうち、境界Ｙ付近において撮像画像Ａの寄与が小さくなるため、領域５２０と領域５３０との境界Ｙ付近における色の変化を小さくすることができる。
In the present embodiment, the position
位置重み算出部４３０による具体的な重みの設定方法としては、様々な方法が挙げられる。一実施形態において、撮像装置の視野内における被写体の位置は、着目方向に存在する被写体の、撮像画像中における位置である。そして、位置重み算出部４３０は、被写体が写っている撮像画像中の座標に従って、中心部分よりも周辺部分の方が小さくなるように重みを設定することができる。上記の例であれは、再構成画像中の着目画素（ｕ０，ｖ０）に対応する撮像画像中の画素（ｕｉ，ｖｉ）が周辺部分に位置する場合に、この撮像画像の重みを小さくすることができる。
As a specific method for setting the weight by the position
別の方法として、位置重み算出部４３０は、再構成画像中において入力視点から見える領域を判定することができる。そして、位置重み算出部４３０は、判定された領域中の被写体が写っている位置が周辺部分に近いほど重みが小さくなるように、この入力視点からの撮像画像に重みを設定することができる。例えば、再構成画像中の着目画素（ｕ０，ｖ０）が判定された領域の中心部分にある場合よりも周辺部分にある場合の方が小さくなるように、重みを設定することができる。
Alternatively, the position
なお、入力視点からの視野内における位置に応じた重みの設定方法は、上記の方法には限られない。例えば、より品質の高い撮像が行える視線方向にある被写体を撮像して得られた撮像画像の重みを大きくすることができる。また、再構成画像中において撮像画像の色情報が反映される領域を判定し、判定された領域中の被写体が写っている位置が周辺部分に近いほど重みが小さくなるように、この撮像画像に重みを設定することもできる。このような構成は、例えば色情報を重み付け合成する撮像画像の数を制限する場合に有効である。この場合、再構成画像中において入力視点から見える領域と撮像画像の色情報が反映される領域とが一致せず、入力視点から見えるにもかかわらず撮像画像の色情報が反映されない領域が存在する可能性がある。例えば、視点の向きに基づいて２つの撮像画像を選択して合成する場合、互いに隣接する領域の一方においては撮像画像Ａと撮像画像Ｂとの色情報が用いられ、他方においては撮像画像Ａと撮像画像Ｃとの色情報が用いられるかもしれない。この結果、これらの領域の境界において色が急激に変化する可能性がある。一方、このような構成を用いることにより、この境界周辺において撮像画像Ｂ及び撮像画像Ｃの重みが小さくなり、色の急激な変化を抑えることができる。 The method of setting the weight according to the position in the visual field from the input viewpoint is not limited to the above method. For example, it is possible to increase the weight of the captured image obtained by imaging a subject in the line-of-sight direction that enables higher quality imaging. Further, the region in which the color information of the captured image is reflected is determined in the reconstructed image, and the weight is reduced as the position in the determined region in which the subject is captured is closer to the peripheral portion. You can also set the weight. Such a configuration is effective, for example, when limiting the number of captured images for weighting and synthesizing color information. In this case, in the reconstructed image, the area visible from the input viewpoint and the area where the color information of the captured image is reflected do not match, and there is a region where the color information of the captured image is not reflected even though it is visible from the input viewpoint. there is a possibility. For example, when two captured images are selected and combined based on the orientation of the viewpoint, the color information of the captured image A and the captured image B is used in one of the regions adjacent to each other, and the captured image A is used in the other. Color information with the captured image C may be used. As a result, colors can change abruptly at the boundaries of these areas. On the other hand, by using such a configuration, the weights of the captured image B and the captured image C become small around this boundary, and a sudden change in color can be suppressed.
位置重み算出部４２０は、画素値算出部４４０による処理に必要になった際に位置重みを算出してもよいし、画素値算出部４４０による処理の前に撮像画像中の各画素について位置重みを予め算出しておいてもよい。後者の場合、位置重み算出部４３０は、上述のように算出された重みを撮像画像の画素のそれぞれに対応づける。そして、画素値算出部４４０は、後述するように着目画素に写る被写体の画素値を撮像画像から抽出する際に、撮像画像上における着目画素に対応する画素に対応づけられた位置重みを、撮像画像の重みとして使用する。
The position
画素値算出部４４０は、再構成画像中の着目画素について、着目画素に写る被写体の位置を距離マップに基づいて特定し、着目画素に写る被写体の画素値を撮像画像から抽出する。この処理は、上記の式（１）〜（４）に従って行うことができる。そして、画素値算出部４４０は、それぞれの撮像画像から抽出した画素値を、方向重み算出部４２０及び位置重み算出部４３０が算出した重みを用いて重み付け合成する。こうして、再構成画像中のそれぞれの着目画素について画素値（色情報）が決定される。すなわち、以上の処理により、画素値算出部４４０は再構成画像を生成する。
The pixel
最後に、本実施形態に係る画像処理装置１００が行う画像処理方法について、図６（Ａ）を参照して説明する。ステップＳ６１０において、入力視点情報取得部３１０は、上述のように入力視点情報を取得する。ステップＳ６２０において、画像取得部３４０は、上述のように撮像画像を取得する。ステップＳ６３０において、出力視点情報取得部３２０は、上述のように出力視点情報を取得する。ステップＳ６４０において、距離マップ取得部３３０は、上述のように距離マップを取得する。ステップＳ６５０において、レンダリング部３５０は、上述のように再構成画像を生成する。ステップＳ６６０において、画像出力部３６０は、上述のように再構成画像を出力する。
Finally, the image processing method performed by the
次に、レンダリング部３５０が行う処理について、図６（Ｂ）を参照して説明する。ステップＳ６５１において、歪曲補正部４１０は、上述のように撮像画像に対して歪曲補正処理を行う。ステップＳ６５２〜ステップＳ６５７は、再構成画像のそれぞれの画素を処理対象として繰り返される。これらのステップにおいて、処理対象の画素を着目画素と呼ぶ。ステップＳ６５３において、方向重み算出部４２０は、着目画素に関して、画素値を決定する際に参照するそれぞれの撮像画像に対して、上述のように視線の向きに基づいて重みを設定する。ステップＳ６５４において、位置重み算出部４３０は、着目画素に関して、画素値を決定する際に参照するそれぞれの撮像画像に対して、上述のように被写体の位置に基づいて重みを設定する。ステップＳ６５５において、画素値算出部４４０は、上述のように、それぞれの撮像画像から抽出した画素値を重み付け合成することにより、着目画素の画素値を決定する。
Next, the processing performed by the
以上の構成によれば、仮想視点からの再構成画像において、異なる撮像画像がブレンドされている領域の境界部における急激な色の変化を抑制し、違和感を低減することができる。 According to the above configuration, in the reconstructed image from the virtual viewpoint, it is possible to suppress a sudden change in color at the boundary portion of the region where different captured images are blended, and to reduce the sense of discomfort.
（実装例）
実施形態１ではそれぞれの撮像画像に対して方向重み及び位置重みを設定し、それぞれの撮像画像からの画素値を重み付け合成する場合に説明した。しかしながら、本発明はこのような実施形態に限られず、処理精度及び処理負荷を考慮して様々な実装を採用することができる。例えば、２枚の撮像画像からの画素値を重み付け合成することで、２枚の撮像画像に基づく再構成画像を生成することができる。さらに、この再構成画像と、別の撮像画像又は別の撮像画像に基づく再構成画像と、に基づいて、より多くの撮像画像に基づく再構成画像を生成することができる。また、このように複数段階に分けて撮像画像を合成する場合、それぞれの段階で異なる合成方法を採用することができる。以下では、このような実装例の１つについて説明するとともに、位置重み及び方向重みの具体的な算出方法の１つについて説明する。
(Implementation example)
In the first embodiment, the direction weight and the position weight are set for each captured image, and the pixel values from the respective captured images are weighted and combined. However, the present invention is not limited to such an embodiment, and various implementations can be adopted in consideration of processing accuracy and processing load. For example, by weighting and synthesizing the pixel values from the two captured images, a reconstructed image based on the two captured images can be generated. Further, based on this reconstructed image and another captured image or a reconstructed image based on another captured image, it is possible to generate a reconstructed image based on more captured images. Further, when the captured image is synthesized in a plurality of stages in this way, a different synthesis method can be adopted in each stage. In the following, one such implementation example will be described, and one of the specific calculation methods of the position weight and the direction weight will be described.
ステップＳ６５０において、画素値算出部４４０は、まず向きが出力視点に最も近い２つの入力視点のペアを選択する。ここでは、１番目の入力視点と２番目の入力視点が選択されたものとする。画素値算出部４４０は、着目画素に対応する撮像画像中の画素の画素値を、式（１）〜（４）に従って抽出する。そして、画素値算出部４４０は、１番目の入力視点からの撮像画像から抽出した画素値Ｉ１と、２番目の入力視点からの撮像画像から抽出した画素値Ｉ２とを、式（５）に従って重み付け合成し、画素値Ｉ１２を算出する。
In step S650, the pixel
Ｉｎｍ＝（（ｍｉｎ（ｗｎ，ｗｍ）・ｗ’ｎ＋（１−（ｍｉｎ（ｗｎ，ｗｍ））・ｗｎ）・Ｉｎ＋（ｍｉｎ（ｗｎ，ｗｍ）・ｗ’ｍ＋（１−ｍｉｎ（ｗｎ，ｗｍ））・ｗｍ）・Ｉｍ）／Ｗ ……（５）
式（５）において、ｗｎ，ｗｍはｎ，ｍ番目の入力視点についての位置重みを表す。ｗ’ｎ，ｗ’ｍはｎ，ｍ番目の入力視点についての方向重みを表す。Ｗは重みの和を表す。
I nm = ((min (w n, w m) · w 'n + (1- (min (w n, w m)) · w n) · I n + (min (w n, w m) · w ' m + (1-min (w n , w m )) ・ w m ) ・Im ) / W …… (5)
In equation (5), w n and w m represent the position weights for the n and mth input viewpoints. w 'n, w' m represents the direction weight of n, the m-th input viewpoint. W represents the sum of the weights.
位置重みｗｎは、着目画素に対応する撮像画像中の画素の、撮像画像中における位置に従って、位置重み算出部４３０が求めている。一例として、位置重み算出部４３０は、撮像画像上で、着目方向に存在する被写体の撮像画像の端部からの距離が所定の閾値を超えている場合、一定の重みを設定することができる。また、位置重み算出部４３０は、撮像画像上で、着目方向に存在する被写体の撮像画像の端部からの距離が所定の閾値以下である場合、一定の重みより小さい重みを設定することができる。このような位置重みの設定は、式（６）に従って行うことができる。位置重みｗｍも同様に求めることができる。
ｗｎ＝ｍｉｎ（ｄ０，ｄ１，ｄ２，ｄ３，ｄ’）／ｄ’ ……（６）
式（６）において、ｄ０〜ｄ３は、図７（Ａ）に示すように、着目画素に対応する撮像画像７１０中の画素７２０の、外縁までの距離を示す。ｄ’は端部ブレンド幅を示し、外縁までの距離がｄ’を下回ると位置重みが小さくなる。
Position weight w n is the pixel in the captured image corresponding to the target pixel, according to the position in the captured image, the
w n = min (d 0 , d 1 , d 2 , d 3 , d') / d'... (6)
In the formula (6), d 0 to d 3 indicate the distance to the outer edge of the
方向重みｗ’ｎ，ｗ’ｍは、入力視点から着目画素に写っている被写体への方向と、出力視点からの着目画素に対応する方向とに従って、方向重み算出部４２０が式（７）を用いて求めている。なお、入力視点から着目画素に写っている被写体への方向は、入力視点のカメラ位置及び被写体の世界座標等を用いて容易に算出することができる。
ｗ’ｎ＝θｍ／（θｎ＋θｍ）
ｗ’ｍ＝θｎ／（θｎ＋θｍ） ……（７）
式（７）において、図７（Ｂ）に示すように、θｎは、１つの入力視点から着目画素に写っている被写体７５０への方向７７０と、出力視点からの着目画素に対応する方向７６０と、がなす角を示す。また、θｍは、別の入力視点から着目画素に写っている被写体７５０への方向７８０と、出力視点からの着目画素に対応する方向７６０と、がなす角を示す。
Directional weights w 'n, w' m is the direction from the input viewpoint to the object that is reflected in the target pixel, according to a direction corresponding to the target pixel from the output viewpoint, direction weight calculating section 420 a formula (7) I am seeking using it. The direction from the input viewpoint to the subject reflected in the pixel of interest can be easily calculated by using the camera position of the input viewpoint, the world coordinates of the subject, and the like.
w 'n = θ m / ( θ n + θ m)
w 'm = θ n / ( θ n + θ m) ...... (7)
In equation (7), as shown in FIG. 7 (B), θ n is a
また、画素値算出部４４０は、合成された画素値Ｉ１２の重みｗ１２を、式（８）を用いて算出する。
ｗｎｍ＝ｍａｘ（ｗｎ，ｗｍ） ……（８）
Further, the pixel
w nm = max (w n , w m ) …… (8)
画素値算出部４４０は、同様に、向きが出力視点に３番目及び４番目に近い２つの入力視点のペアを選択する。そして、式（５）を用いて合成された画素値Ｉ３４を算出し、式（８）を用いて合成された画素値Ｉ３４の重みｗ３４を算出する。
Similarly, the pixel
さらに、画素値算出部４４０は、画素値Ｉ１２と画素値Ｉ３４とを合成する。選択された入力視点のペアに基づいて得られた画素値Ｉｑ，Ｉｒの合成は、式（９）に基づいて行われ、合成された画素値Ｉｓが得られる。式（９）において、Ｉｑ及びｗｑはＩ１に基づく合成画素値（例えば、画素値Ｉ１２、及び画素値Ｉ１２とＩ３４とが合成された画素値等）及びその重みを表す。Ｉｒ及びｗｒは、Ｉ１に基づかない合成画素値（例えば、画素値Ｉ３４及びＩ５６等）及びその重みを表す。
Ｉｓ＝ｗｑ・Ｉｑ＋（１−ｗｑ）・Ｉｒ ……（９）
前述のとおり、合成画素値の重みは式（８）を用いて計算できる。言い換えれば、合成画素値Ｉｓの重みｗｓは、ｗｓ＝ｍａｘ（ｗｑ，ｗｒ）と表すことができる。
Further, the pixel
I s = w q · I q + (1-w q) · I r ...... (9)
As described above, the weight of the composite pixel value can be calculated using the equation (8). In other words, the weight w s of the composite pixel value Is can be expressed as w s = max (w q , wr).
画素値算出部４４０は、さらに、向きが出力視点に５番目及び６番目に近い２つの入力視点のペアを選択し、式（５）（８）を用いて合成画素値Ｉ５６及びその重みｗ５６を算出する。そして、画素値算出部４４０は、式（９）を用いて合成画素値Ｉ５６をＩ１〜Ｉ４の合成画素値に合成する。このような処理を繰り返すことにより、着目画素の画素値が算出される。
The pixel
この実装例に基づく画素値の合成方法について、図８（Ａ）〜（Ｃ）を参照して説明する。図８（Ａ）〜（Ｃ）は、再構成画像上における、それぞれの入力視点の視野範囲（すなわち、各撮像画像の投影範囲）を示す。本実装例においては、１つの着目画素の画素値を決定する際に、まず第１の入力視点ペアからの撮像画像に基づいて、第１の入力視点ペアの視野範囲８１０について画素値が決定される。次に、第２の入力視点ペアからの撮像画像に基づいて、第２の入力視点ペアの視野範囲８２０について画素値が決定され、第１の入力視点ペアの視野範囲８１０の画素値と合成される。第３の入力視点ペア及びさらなる入力視点ペアからの撮像画像に基づいて、さらなる視野範囲８３０について画素値が逐次決定され、既に得られた画素値と合成される。
A method of synthesizing pixel values based on this implementation example will be described with reference to FIGS. 8A to 8C. 8 (A) to 8 (C) show the visual field range of each input viewpoint (that is, the projection range of each captured image) on the reconstructed image. In this implementation example, when determining the pixel value of one pixel of interest, the pixel value is first determined for the field of
この方法によれば、出力視点と向きが近い２つの入力視点を選択して画素値を合成した後に、さらなる２つの入力視点に基づく合成画素値がさらに逐次的に合成される。式（５）に従う２つの画素値の合成は実施形態１と同様である。また、式（９）に従う合成画素値同士の合成も、実施形態１と同様の考えに基づいている。すなわち、合成画素値の重みｗｎｍは２つの入力視点の向きが出力視点の向きに近いほど大きくなるし、被写体が２つの入力視点の視野範囲の周辺部に近いほど小さくなる。このように、合成処理においては、異なる２つの方法を組み合わせることが可能である。また、本発明に係る方法と、その他の方法とを組み合わせて用いることもできる。 According to this method, after selecting two input viewpoints whose orientations are close to those of the output viewpoint and synthesizing the pixel values, the combined pixel values based on the further two input viewpoints are further sequentially combined. The composition of the two pixel values according to the equation (5) is the same as that of the first embodiment. Further, the synthesis of the composite pixel values according to the equation (9) is also based on the same idea as in the first embodiment. That is, the weight w nm of the composite pixel value becomes larger as the orientation of the two input viewpoints is closer to the direction of the output viewpoint, and becomes smaller as the subject is closer to the peripheral portion of the visual field range of the two input viewpoints. In this way, in the synthesis process, it is possible to combine two different methods. Further, the method according to the present invention can be used in combination with other methods.
とりわけ、この実装例において、画素値算出部４４０は、向きが仮想視点と近い２つの撮像装置を選択し、選択された撮像装置により撮像された撮像画像を用いて、着目方向に存在する被写体の色情報を決定する第１の処理をまず行う。この処理は、第１の入力視点ペアからの撮像画像に基づく、第１の入力視点ペアの視野範囲８１０における画素値の決定に相当する。ここで、本実施形態において、式（６）によれば入力視点の視野の中央部においては位置重みｗｎが１となり、方向重みｗｎ’は１未満である。したがって、視野範囲８１０の中央部分の重みｗｎｍは１であり、周辺部分のみ重みｗｎｍが１未満となる。
In particular, in this implementation example, the pixel
したがって、式（９）に従って第２の入力視点ペアの視野範囲８２０における画素値を合成する第２の処理を行うと、視野範囲８１０の中央部分の画素値は更新されず、視野範囲８１０の周辺部分の画素値のみが更新される。また、視野範囲８１０の外については、第２の入力視点ペアからの撮像画像に基づく画素値が用いられる。まとめると、第２の処理において、画素値算出部４４０は、着目方向に存在する被写体が２つの撮像装置（第１の入力視点ペア）の視野内の中央部に存在する場合、第１の処理により決定された被写体の色情報を更新しない。また、着目方向に存在する被写体が２つの撮像装置（第１の入力視点ペア）の視野内の周辺部に存在する場合、画素値算出部４４０は次の処理を行う。すなわち、画素値算出部４４０は、２つの撮像装置とは異なる撮像装置（第２の入力視点ペア）により撮像された撮像画像を用いて決定された着目方向に存在する被写体の色情報を、第１の処理により決定された被写体の色情報と合成する。そして、着目方向に存在する被写体が２つの撮像装置の視野外に存在する場合、画素値算出部４４０は次の処理を行う。すなわち、画素値算出部４４０は、２つの撮像装置（第１の入力視点ペア）とは異なる撮像装置（第２の入力視点ペア）により撮像された撮像画像を用いて、着目方向に存在する被写体の色情報を決定する。
Therefore, when the second process of synthesizing the pixel values in the field of
このような実装例においては、向きが仮想視点と近い撮像装置からの撮像画像が、再構成画像の生成において重視されるため、より違和感の少ない画像を合成することができる。なお、具体的な合成方法は特に限定されず、撮像画像のペアに基づく画素値を合成する代わりに、１つの撮像画像に基づく画素値を合成してもよい。 In such an implementation example, since the image captured from the image pickup device whose orientation is close to the virtual viewpoint is emphasized in the generation of the reconstructed image, it is possible to synthesize an image with less discomfort. The specific synthesizing method is not particularly limited, and instead of synthesizing the pixel values based on the pair of captured images, the pixel values based on one captured image may be synthesized.
［実施形態２］
実施形態１では、時間とともに位置及び形状が変化する人物のような被写体と、時間とともに位置がほとんど変化しない壁面のような被写体と、の双方について、仮想視点からの距離に基づいて仮想視点からの画像を再構成した。一方で、例えば壁面、床、及び天井のような背景は撮像装置１０８との位置姿勢関係が一定である。したがって、仮想視点の位置姿勢が決まれば、撮像画像に対するホモグラフィ変換を行うことで、背景の再構成画像のうち、この撮像画像に対応する領域の画像を生成することができる。そして、それぞれの撮像画像から得られた背景の画像をブレンディングすることにより、背景の再構成画像を生成することができる。別途、式（１）〜（４）を用いて、又は実施形態１と同様の方法で人物等の背景以外の画像を生成して背景に合成することで、人物等を含む再構成画像を生成することもできる。実施形態２では、このような処理について説明する。なお、以下の説明において、時間とともに位置又は形状が変化する被写体のことを動体と呼び、時間とともに位置及び形状が変化しない被写体のことを背景と呼ぶ。
[Embodiment 2]
In the first embodiment, both a subject such as a person whose position and shape change with time and a subject such as a wall surface whose position hardly changes with time are viewed from a virtual viewpoint based on the distance from the virtual viewpoint. The image was reconstructed. On the other hand, the positional relationship with the
実施形態２に係る画像処理装置は、図３及び図４に示す画像処理装置１００と同様の構成を有し、以下では異なる点について主に説明する。また、実施形態２に係る処理は、ステップＳ６４０及びＳ６５０の処理が異なることを除き、実施形態１と同様に行うことができる。
The image processing apparatus according to the second embodiment has the same configuration as the
ステップＳ６４０において、距離マップ取得部３３０は、仮想視点から被写体までの距離マップに加えて、背景の位置を示す位置情報を取得する。本実施形態において、背景は、複数の面で構成される被写体のモデルにより表される。本実施形態で用いられる位置情報の例を図９に示す。背景は体育館の壁面、床、及び天井であり、背景の位置情報は４頂点ポリゴンモデル９１０で表される。もっとも、位置情報の種類は特に限定されない。なお、動体の再構成画像を生成しない場合、仮想視点から被写体までの距離マップを取得することは必要ではない。
In step S640, the distance
ステップＳ６４０において、距離マップ取得部３３０はさらに、再構成画像の各画素について、撮像画像中の対応する画素を判定する。ここで、対応する画素とは、背景の同じ位置が写っている画素のことを指す。入力視点、出力視点、及び背景モデルの位置姿勢関係が既知であるため、この処理は任意の方法を用いて行うことができる。例えば、背景モデルに含まれる背景平面を出力視点からの再構成画像及び入力視点からの撮像画像に射影することにより、再構成画像中の画素位置を撮像画像中の画素位置に変換するホモグラフィ行列を算出することができる。本実施形態の場合、背景モデルに含まれる背景平面は、４頂点ポリゴンの１つを意味する。このような処理をそれぞれの背景平面について繰り返すことにより、再構成画像中の各画素に対応する背景平面が決定される。また、背景平面ごとに、それぞれの撮像画像について、再構成画像中の着目画素に対応する画素位置を算出するためのホモグラフィ行列が得られる。このホモグラフィ行列を用いて、それぞれの撮像画像について、再構成画像中の着目画素に対応する画素位置を算出することができる。なお、着目画素がどの背景平面にも対応しない場合、及び着目画素が動体が写っている領域にある場合には、本実施形態では実施形態１と同様に着目画素の画素値が算出されるため、着目画素に対応する撮像画像中の画素を判定するこの処理は行わなくてもよい。
In step S640, the distance
以下、ステップＳ６５０における処理について説明する。ステップＳ６５１は実施形態１と同様に行うことができる。ステップＳ６５２〜Ｓ６５６は、実施形態１と同様、再構成画像の各画素について行われ、着目画素の画素値が算出される。以下では、再構成画像のうち、背景が写っている画素の画素値を算出する処理について説明する。再構成画像のうち、動体が写っている画素又は対応する背景平面が存在しない画素の画素値は、例えば実施形態１と同様の方法により算出することができる。また、再構成画像のうち、背景が写っている領域と動体が写っている領域との識別は、従来知られている方法により行うことができる。例えば、動体が存在していない場合の距離マップと、動体が存在する場合の距離マップとを比較し、画素値の差分が閾値以上である画素を動体が写っている領域と判定することができる。 Hereinafter, the processing in step S650 will be described. Step S651 can be performed in the same manner as in the first embodiment. Steps S652 to S656 are performed for each pixel of the reconstructed image as in the first embodiment, and the pixel value of the pixel of interest is calculated. Hereinafter, the process of calculating the pixel value of the pixel in which the background is reflected in the reconstructed image will be described. Among the reconstructed images, the pixel values of the pixels in which the moving object is shown or the pixels in which the corresponding background plane does not exist can be calculated by, for example, the same method as in the first embodiment. Further, in the reconstructed image, the area in which the background is shown and the area in which the moving object is shown can be distinguished by a conventionally known method. For example, the distance map when the moving object does not exist and the distance map when the moving object exists can be compared, and it can be determined that the pixel whose pixel value difference is equal to or larger than the threshold value is the area where the moving object is reflected. ..
ここまでの処理で、着目画素に対応する撮像画像中の画素は既知である。したがって、実施形態１と同様に、ステップＳ６５３で方向重み算出部４２０はそれぞれの撮像画像について方向重みを算出することができ、ステップＳ６５４で位置重み算出部４３０はそれぞれの撮像画像について位置重みを算出することができる。そして、ステップＳ６５５で画素値算出部４４０は着目画素の画素値を決定することができる。例えば、画素値算出部４４０は、仮想視点からの画像への背景モデル面の射影像と、撮像画像への背景モデル面の射影像と、の間の座標変換を用いて、着目方向に存在する被写体に対応する撮像画像上の画素を特定することができる。そして、画素値算出部４４０は、特定された画素の色情報を着目方向に存在する被写体の色情報として取得することができる。最後に、画素値算出部４４０は、それぞれの撮像画像から抽出した色情報を方向重み及び位置重みを用いて重み付け合成することにより、着目方向に存在する被写体の色情報を決定することができる。
By the processing up to this point, the pixels in the captured image corresponding to the pixel of interest are known. Therefore, similarly to the first embodiment, the direction
本実施形態によれば、背景画像については、再構成画像中の画素に対応する撮像画像中の画素を特定するために式（１）〜（４）の計算を行わなくてもよいため、処理を高速化することができる。 According to the present embodiment, for the background image, it is not necessary to perform the calculations of the equations (1) to (4) in order to specify the pixels in the captured image corresponding to the pixels in the reconstructed image. Can be speeded up.
前記背景の位置を示す位置情報には、透過方向を示す情報を設定することができる。この場合、仮想視点からの視線が、背景の透過方向に従って背景を横切るならば、背景を描画しないことができる。また、仮想視点からの視線が、背景の反射方向に従って背景を横切るならば、背景を描画することができる。このような処理により、例えば、仮想視点が床の上方にある場合に床を描画し、仮想視点が床の下方にある場合には床を描画しないように、制御を行うことができる。このような処理によれば、より自由な仮想視点からの再構成画像を生成することが可能となる。 Information indicating the transmission direction can be set in the position information indicating the position of the background. In this case, if the line of sight from the virtual viewpoint crosses the background according to the transparent direction of the background, the background can not be drawn. Further, if the line of sight from the virtual viewpoint crosses the background according to the reflection direction of the background, the background can be drawn. By such processing, for example, it is possible to control so that the floor is drawn when the virtual viewpoint is above the floor and the floor is not drawn when the virtual viewpoint is below the floor. By such processing, it becomes possible to generate a reconstructed image from a more free virtual viewpoint.
具体的な一例として、背景の位置を示すポリゴンモデルの各面に、反射面か透過面かを示す情報を与えることができる。ここで、１つのポリゴンについては、両面に独立に反射面か透過面かを示す情報を与えることができる。仮想視点がポリゴンの透過面側に存在する場合、このポリゴンは存在しないものとして扱いながら、再構成画像の各画素について、撮像画像中の対応する画素を判定することができる。例えば、仮想視点がポリゴンの透過面側に存在する場合、このポリゴンについてはホモグラフィ行列の算出及びそのための射影処理を行わなくてよい。このような例においては、床を示すポリゴンのうち、表面（内面）に反射面を示す情報を設定し、裏面（外面）に透過面を示す情報を設定することにより、上記のような制御が可能となる。なお、ポリゴンの反射面側に、仮想視点と撮像装置との双方が存在する場合に、このポリゴンが存在するものとして扱うこともできる。 As a specific example, information indicating whether the surface is a reflective surface or a transparent surface can be given to each surface of the polygon model indicating the position of the background. Here, for one polygon, information indicating whether it is a reflecting surface or a transmitting surface can be independently provided on both sides. When the virtual viewpoint exists on the transparent surface side of the polygon, it is possible to determine the corresponding pixel in the captured image for each pixel of the reconstructed image while treating the polygon as if it does not exist. For example, when the virtual viewpoint exists on the transparent surface side of the polygon, it is not necessary to calculate the homography matrix and perform the projection processing for that polygon. In such an example, among the polygons indicating the floor, by setting the information indicating the reflective surface on the front surface (inner surface) and setting the information indicating the transmissive surface on the back surface (outer surface), the above control can be performed. It will be possible. When both the virtual viewpoint and the image pickup device are present on the reflective surface side of the polygon, it can be treated as if this polygon is present.
［実施形態３］
実施形態１では、実装例として、２つの入力視点ペアからの撮像画像に基づいて出力視点からの画像を得て、各画像を合成することにより、再構成画像を生成する例について説明した。実施形態３では、３つ以上の入力視点からの撮像画像に基づいて再構成画像を生成する例について説明する。
[Embodiment 3]
In the first embodiment, as an implementation example, an example of generating a reconstructed image by obtaining an image from an output viewpoint based on an image captured from two input viewpoint pairs and synthesizing each image has been described. In the third embodiment, an example of generating a reconstructed image based on captured images from three or more input viewpoints will be described.
本実施形態においては、以下のようにして再構成画像上の着目画素の画素値が決定される。まず、入力視点からの撮像画像において、着目画素の方向（着目方向）に存在する被写体が撮像画像に写っているような入力視点が選択される。次に、既に説明したように、入力視点の撮像方向に応じた方向重み（又は角度重み）が算出され、入力視点からの視野内におけるオブジェクトの位置に応じた位置重みが算出される。そして、方向重みと位置重みとを合成することで、入力視点の向きと入力視点の視野内におけるオブジェクトの位置とに応じた重みが算出される。このようにして、方向重み（又は角度重み）と位置重みとの双方を考慮して、それぞれの入力視点に重みが設定される。そして、入力視点からの撮像画像から既に説明したように得られた着目画素の画素値を、入力視点に設定された重みに応じて重み付け合成することにより、着目画素の画素値が決定される。 In the present embodiment, the pixel value of the pixel of interest on the reconstructed image is determined as follows. First, in the captured image from the input viewpoint, the input viewpoint in which the subject existing in the direction of the pixel of interest (direction of interest) is reflected in the captured image is selected. Next, as described above, the direction weight (or angle weight) according to the imaging direction of the input viewpoint is calculated, and the position weight according to the position of the object in the field of view from the input viewpoint is calculated. Then, by synthesizing the direction weight and the position weight, the weight corresponding to the direction of the input viewpoint and the position of the object in the field of view of the input viewpoint is calculated. In this way, weights are set for each input viewpoint in consideration of both the directional weight (or the angular weight) and the position weight. Then, the pixel value of the pixel of interest is determined by weighting and synthesizing the pixel value of the pixel of interest obtained from the captured image from the input viewpoint according to the weight set in the input viewpoint.
以下、本実施形態における再構成画像生成方法の具体例について、図１０に示す入力視点が３視点の場合を例として説明する。図１０（Ａ）は、再構成画像１０００上での入力視点１〜３の可視範囲１００１〜１００３を示す。本実施形態においては、撮像画像の端部からの距離に基づいて位置重みが設定される。従って、再構成画像１０００上での位置重みは、可視範囲の端部から内側に向かって増大し、十分に内側の領域では一定値となる。例えば、図１０（Ｃ）は、線分１００４に沿った各位置における位置重みを示す。領域１００９〜１０１１は、それぞれ入力視点１〜３の位置重みに対応する。
Hereinafter, a specific example of the reconstructed image generation method in the present embodiment will be described by taking the case where the input viewpoints shown in FIG. 10 are three viewpoints as an example. FIG. 10A shows the
本実施形態では、再構成画像１０００を、着目方向に存在する被写体が撮像画像に写っているような入力視点の組み合わせに応じて分割し、それぞれの領域について角度重みを設定する。すなわち、角度重みによる重み付けは、着目画素に対応する被写体が見えている視点の組ごとに行われる。図１０（Ｂ）は、このような分割の例を示す。
In the present embodiment, the
入力視点１及び２から見えている領域１００５に対しては、入力視点１，２に基づく角度重みを設定する。領域１００５における角度重みの設定方法を、概念図１００６を参照して説明する。概念図１００６においては、円が光線方向を表しており、矢印が出力視点からの光線、白丸が被写体が見えている入力視点からの光線を表している。領域１００５については、概念図１００６に示される角度ｄ１（入力視点１からの光線と出力視点からの光線とがなす角度）と、角度ｄ２（入力視点２からの光線と出力視点からの光線とがなす角度）に基づき角度重みが設定される。
For the
また、概念図１００８に示されるように、領域１００７については、角度ｄ１と、角度ｄ２と、に基づき角度重みが設定される。このように、被写体が見えている入力視点が３つ以上である場合、出力視点と距離又は光線が近い２つの入力視点についての角度ｄ１及びｄ２に基づいて、角度重みが設定される。
Further, as shown in a conceptual diagram 1008, the
入力視点の組み合わせのそれぞれについて角度重みを設定した後は、位置重みの設定及び再統合が行われる。図１０（ｄ）は、線分１００４に沿った、入力視点の組み合わせのそれぞれについての位置重みを表した図である。領域１０１２は、入力視点１のみからなる組の成分についての重みであり、領域１０１３は入力視点１及び２からなる組についての成分の重みであり、領域１０１４は入力視点１と２と３とからなる組についての成分の重みである。各組の位置重みの設定方法は特に限定されない。例えば、組に含まれるそれぞれの入力視点について実施形態１と同様に設定される位置重みのうち、最小の位置重みに基づいて、組についての位置重みを設定することができる。具体例としては、入力視点数の多い組から順に、被写体が見えている入力視点についての位置重みのうち最小のものに入力視点数を乗じ、得られた値を位置重みとして割り当てていく方法が挙げられる。
After setting the angle weights for each of the combinations of input viewpoints, the position weights are set and reintegrated. FIG. 10D is a diagram showing position weights for each of the combinations of input viewpoints along the
実施形態３におけるレンダリング部３５０の構成例を図１１に示す。歪曲補正部４１０及び位置重み算出部４３０の構成及び処理は実施形態１と同様である。可視判定部１１０１は、オブジェクトが複数の撮像装置のそれぞれから見えているか否かを判定する。例えば、可視判定部１１０１は、再構成画像上の着目画素に対応する被写体が、各入力視点からの撮像画像上で見えているかを判定し、判定結果を可視視点情報として生成する。
FIG. 11 shows a configuration example of the
視点選択部１１０２は、オブジェクトが見えている撮像装置群から選択された１以上の撮像装置の組を示す視点組み合わせ情報（選択情報）を生成する。例えば、視点選択部１１０２は、被写体が見えている入力視点の組から、１以上の入力視点の組を選択することにより視点組み合わせ情報を生成する。合成位置重み算出部１１０３は、視点組み合わせ情報に基づいて、各入力視点についての位置重みから合成位置重みを算出する。また、合成位置重み算出部１１０３は、重みを使い切った入力視点を無効化し、重みを使い切った入力視点の情報を視点選択部１１０２に通知することにより視点選択部１１０２による選択の対象から外す。方向重み算出部１１０４は、視点組み合わせ情報に基づいて角度重みを決定する。重み算出部１１０５は、合成位置重みと角度重みとに基づいて合成重みを算出する。画素値算出部１１０６は、合成重みと歪曲補正画像とに基づいて画素値を算出する。
The
図１２は、視点選択部１１０２及び合成位置重み算出部１１０３の詳細な構成例を示す。視点組み合わせ生成部１２０１は、有効視点バッファ１２０２に格納されている有効視点情報に基づいて入力視点の組み合わせを選択することにより、視点組み合わせ情報を生成する。ここで、視点組み合わせ生成部１２０１は、選択する時点で有効となっている入力視点を選択する。有効視点バッファ１２０２は有効視点情報を保持するバッファであり、有効視点情報は各入力視点について有効か無効かを示す。有効視点情報は、再構成画像上の着目画素が変わるたびに、可視視点情報に基づいて、被写体が見えている入力視点が有効となるように初期化される。
FIG. 12 shows a detailed configuration example of the
位置重み和算出部１２０４は、各入力視点についての位置重みの総和を算出する。なお、不可視の入力視点、すなわち再構成画像上の着目画素に対応する被写体が見えていない入力視点についての位置重みは０として算出が行われる。位置重みバッファ１２０５は、各入力視点についての位置重みを保持するバッファであり、再構成画像上の着目画素が変わる度に、各入力視点について位置重み算出部４３０が得た位置重みを用いて初期化される。具体的には、初期化の際には、位置重みバッファ１２０５には、各入力視点についての位置重みを位置重みの総和で割った値が格納される。
The position weight
最小位置重み算出部１２０６は、視点組み合わせ情報に基づいて、選択された入力視点から、位置重みバッファ１２０５に格納されている位置重みが最小である入力視点を選択する。選択された入力視点の情報は有効視点更新部１２０３に通知され、有効視点更新部１２０３は、選択された入力視点が無効視点となるように有効視点バッファ１２０２を更新する。また、重み更新部１２０７は、位置重みバッファ１２０５が保持する位置重みについて、視点組み合わせ生成部１２０１が選択した入力視点についての位置重みから、最小位置重み算出部１２０６が選択した入力視点についての位置重みを減算する更新処理を行う。重み決定部１２０８は、最小位置重み算出部１２０６が選択した入力視点についての位置重みに、視点組み合わせ生成部１２０１が選択した入力視点の数を乗じることで、合成位置重みを算出する。
The minimum position
実施形態３におけるレンダリング部３５０による処理の流れを図１３に示す。ステップＳ６５１、ステップＳ６５２、ステップＳ６５６は実施形態１と同様に行われる。ステップＳ１３０１において可視判定部１１０１は上述のように可視視点情報を生成する。ステップＳ１３０２において可視判定部１１０１は上述のように可視視点情報に基づいて有効視点バッファ１２０２の初期化を行う。ステップＳ１３０３において位置重み算出部４３０は上述のように各入力視点についての位置重みを算出する。ステップＳ１３０４において位置重み和算出部１２０４は上述のように各入力視点についての位置重みの総和を算出し、位置重みバッファ１２０５の初期化を行う。
FIG. 13 shows the flow of processing by the
ステップＳ１３０５において視点組み合わせ生成部１２０１は、上述のように有効視点情報に基づいて入力視点の組み合わせを選択し、視点組み合わせ情報を生成する。例えば、視点組み合わせ生成部１２０１は、有効な入力視点をすべて選択する。ステップＳ１３０６において最小位置重み算出部１２０６は、視点組み合わせ情報と位置重みバッファ１２０５に格納された位置重みとに基づいて、位置重みが最小である入力視点を上述のように選択する。ステップＳ１３０７において有効視点更新部１２０３は、ステップＳ１３０６で選択された入力視点が無効化されるように、上述のように有効視点バッファ１２０２を更新する。ステップＳ１３０８において重み更新部１２０７は、上述のように位置重みバッファ１２０２を更新する。具体的には、重み更新部１２０７は、ステップＳ１３０５で選択された選択された各入力視点について、現在の位置重みからステップＳ１３０６で選択された入力視点についての位置重みを減算する。ステップＳ１３０９において重み決定部１２０８は、ステップＳ１３０６で選択された入力視点についての位置重みに、ステップＳ１３０５で選択された入力視点の数を乗じることで、上述のように合成位置重みを算出する。こうして算出された合成位置重みは、ステップＳ１３０５で選択された入力視点の組み合わせについての合成位置重みとして用いられる。
In step S1305, the viewpoint
ステップＳ１３１０において、方向重み算出部１１０４は、上述のように視点組み合わせ情報に基づいて方向重みを決定する。この方向重みは、ステップＳ１３０５で選択された入力視点の組み合わせについて、各入力視点の重みを示す方向重みとして用いられる。ステップＳ１３１１において重み算出部１１０５は、ステップＳ１３１０で各入力視点について決定された方向重みに、ステップＳ１３０９で算出された合成位置重みを乗じることにより、各入力視点についての重みの更新量を算出する。
In step S1310, the direction
ステップＳ１３１２において重み算出部１１０５は、ステップＳ１３１１で算出された更新量を、これまでの各入力視点についての累積重みに加算することで、各入力視点についての累積重みを更新する。なお、各入力視点についての累積重みは、再構成画像上の着目画素が変わる度に０に初期化されている。そして、これまでの各入力視点についての累積重みは、現在の視点組み合わせ情報とは異なる視点組み合わせ情報に基づいて算出された重みの更新量を累積することにより得られている。ステップＳ１３１３において、視点組み合わせ生成部１２０１は、有効視点が残っているか否かを判定する。有効視点が残っていなければ処理はステップＳ６５６に進み、残っていれば処理はステップＳ１３０５に戻り、別の有効視点の組み合わせについて処理が繰り返される。
In step S1312, the
ステップＳ１３１４において画素値算出部１１０６は、各入力視点についての歪曲補正画像と、各入力視点についての累積重みと、に基づいて着目画素の画素値を決定する。具体的には、着目画素に対応する歪曲補正画像上の画素の画素値を、累積重みを用いて重み付け合成することにより、着目画素の画素値を決定することができる。ここで、各入力視点についての累積重みは、位置重みと方向重みとの双方を考慮した重みである。
In step S1314, the pixel
図１４（図１４−１〜図１４−３）は、入力視点が５つある場合における、本実施形態における重み算出処理の流れを例示する。図１４（Ａ）は、各入力視点についての位置重みが、４回の更新を経てどのように変化するかを表している。また、図１４（Ｂ）は、有効視点が４回の更新を経てどのように変化するかを表している。図１４（Ｂ）では、１が有効、０が無効を表している。入力視点５からは着目画素に対応する被写体は可視でないため、初期状態において入力視点は無効であり、累積重みは０となる。図１４（Ｃ）は、各更新により得られる最小重み視点（位置重みが最小となる入力視点）、最小位置重み（最小重み視点の位置重み）、有効視点数、及び合成位置重みを表している。 14 (14-1 to 14-3) exemplify the flow of the weight calculation process in the present embodiment when there are five input viewpoints. FIG. 14A shows how the position weight for each input viewpoint changes after four updates. Further, FIG. 14B shows how the effective viewpoint changes after four updates. In FIG. 14B, 1 represents valid and 0 represents invalid. Since the subject corresponding to the pixel of interest is not visible from the input viewpoint 5, the input viewpoint is invalid in the initial state, and the cumulative weight is 0. FIG. 14C shows the minimum weight viewpoint (input viewpoint with the minimum position weight), the minimum position weight (position weight of the minimum weight viewpoint), the number of effective viewpoints, and the combined position weight obtained by each update. ..
初期値においては、有効視点１，２，３，４の中では、入力視点２が最小重み視点であり、その位置重みは０．１である。したがって１回目の更新では入力視点１，２，３，４についての位置重みから最小位置重みの０．１が引かれ、視点２が無効化される。また、有効視点数は４であるので、合成位置重みは０．４となる。１回更新後においては、有効視点１，３，４の中では、入力視点３が最小重み視点であり、その位置重みは０．１である。したがって２回目の更新では、視点１，３，４についての位置重みから最小位置重みの０．１が引かれ、視点３が無効化される。また、有効視点数は３であるので、合成位置重みは０．３となる。２回更新後においては、有効視点１，４の中では、有効視点１が最小重み視点であり、その位置重みは０．１である。したがって３回目の更新では、視点１，４についての位置重みから最小位置重みの０．１が引かれ、入力視点２が無効化される。また有効視点数は２であるので、合成位置重みは０．２となる。３回更新後においては、入力視点４が唯一有効であるから、入力視点４が最小重み視点であり、その位置重みは０．１である。したがって４回目の更新では、入力視点４が無効化され、繰り返しが終了する。また、有効視点数は１であるので、合成位置重みは０．１となる。
In the initial value, among the
図１４（Ｄ）は、一例における、出力視点からの光線と、各入力視点からの光線とがなす角を表す。ここでは、出力視点からの光線は、入力視点２と入力視点３の光線の間に位置している。方向重みは、出力視点と出力視点から左回り方向に最近傍の入力視点とのなす角、及び出力視点と出力視点から右回り方向に最近傍の入力視点とのなす角に基づいて、式（７）にしたがって算出できる。ここで、出力視点からの光線としては、出力視点から、再構成画像上の着目画素に対応する被写体への光線を算出して用いることができる。また、入力視点からの光線としては、入力視点から、再構成画像上の着目画素に対応する被写体への光線を算出して用いることができる。なお、入力視点からの光線は、実施形態１で説明した入力視点から着目画素に写っている被写体への方向に、出力視点からの光線は、実施形態１で説明した出力視点からの着目画素に対応する方向に、それぞれ対応する。したがって、入力視点及び出力視点からの光線としては、実施形態１と同様のものを用いることができる。例えば、画素毎に光線を算出する代わりに、各視点の光軸ベクトル、又は各視点位置から基準点へのベクトルを、光線として用いることができる。さらに、光線がなす角は、光線を基準面に射影して得られる２次元ベクトルがなす角を用いてもよいし、３次元空間中において光線がなす角を用いてもよい。
FIG. 14D shows the angle formed by the light rays from the output viewpoint and the light rays from each input viewpoint in one example. Here, the light rays from the output viewpoint are located between the light rays of the
図１４（Ｅ）は、図１４（Ｄ）に示す光線がなす角に基づいて算出された、方向重みの例を示す。ステップＳ１３１０の通り、「１回目更新」の欄は、入力視点１〜４の組み合わせに対する各入力視点の方向重みを表す。図１４（Ｅ）の例では、入力視点１〜４の組み合わせに対応する画素値成分は、入力視点２からの撮像画像と、入力視点３からの撮像画像とに基づいて設定される。本実施形態では、２以上の入力視点の組み合わせに対応する画素値成分は、２つの入力視点からの撮像画像から得られた画素値の組み合わせで表されるため、上述のように２つの入力視点について重みが設定されている。同様に、「２回目更新」「３回目更新」及び「４回目更新」の欄は、入力視点１，３，４の組み合わせ、入力視点１，４の組み合わせ、及び入力視点４からなる組み合わせについての方向重みを表す。
14 (E) shows an example of directional weights calculated based on the angle formed by the light rays shown in FIG. 14 (D). As in step S1310, the “first update” column represents the directional weight of each input viewpoint for the combination of the
図１４（Ｆ）は、図１４（Ｃ）に示す合成位置重みに、図１４（Ｅ）に示す方向重みを乗じて得られる値を示し、これは重みの更新量として用いられる。図１４の例において、着目画素の画素値成分は、以下の画素値成分の組み合わせで表される。すなわち、入力視点１〜４の組み合わせに対応する画素値成分と、入力視点１，３，４の組み合わせに対応する画素値成分と、入力視点１，４の組み合わせに対応する画素値成分と、入力視点４からなる組み合わせに対応する画素値成分と、の組み合わせである。図１４（Ｆ）に示される重みの更新量は、入力視点の組み合わせの１つに対応する画素値成分を算出する際に用いられる、各入力視点の重みに相当する。そして、重みの更新量を更新毎に加算して累積していくと、図１４（Ｇ）に示す最終的な入力視点毎の重みが得られる。この重みで、各入力視点からの撮像画像において着目画素に対応する画素の画素値を重み付き平均することにより、着目画素の画素値が得られる。各入力視点からの撮像画像における着目画素に対応する画素の画素値の算出は、実施形態１，２と同様に行うことができる。
14 (F) shows a value obtained by multiplying the combined position weight shown in FIG. 14 (C) by the directional weight shown in FIG. 14 (E), which is used as the weight update amount. In the example of FIG. 14, the pixel value component of the pixel of interest is represented by a combination of the following pixel value components. That is, the pixel value component corresponding to the combination of the
ここで示した合成位置重みの算出方法は一例であり、合成位置重みは他の方法で算出することもできる。例えば、入力視点ごとに算出した位置重みを用いる代わりに、入力視点の組み合わせに応じて分割した領域のそれぞれについて、端部のブレンド幅を適宜設定し、この領域の端部からの距離に応じて設定された位置重みを合成位置重みとして用いることができる。また、有効視点を全て選択する代わりに、出力視点光線と入力視点光線とのなす角が小さい２つの入力視点を選択し、選択された入力視点を含むような入力視点の組み合わせ全てに対して重みを減じる処理を繰り返すこともできる。また、方向重みの算出方法も一例であり、方向重みは他の方法で算出することもできる。例えば、３以上の入力視点について方向重みを設定してもよいし、非線形な重みを設定することもできる。また、最近傍の入力視点について算出した重みと、被写体が可視である視点の間で平均的に設定された重みと、を基準面と光線とがなす角に基づきブレンドすることもできる。このような方法によれば、光線方向が基準面に対して垂直となる位置の近傍で急激に重みが変化する現象を抑制することもできる。 The method for calculating the combined position weight shown here is an example, and the combined position weight can be calculated by another method. For example, instead of using the position weight calculated for each input viewpoint, the blend width of the end portion is appropriately set for each of the regions divided according to the combination of the input viewpoints, and the distance from the end portion of this region is set. The set position weight can be used as the composite position weight. Also, instead of selecting all the effective viewpoints, two input viewpoints with a small angle between the output viewpoint ray and the input viewpoint ray are selected, and weights are given to all combinations of input viewpoints including the selected input viewpoint. It is also possible to repeat the process of reducing. Further, the method of calculating the directional weight is also an example, and the directional weight can be calculated by another method. For example, directional weights may be set for three or more input viewpoints, or non-linear weights may be set. It is also possible to blend the weight calculated for the nearest input viewpoint and the weight set on average between the viewpoints where the subject is visible, based on the angle formed by the reference plane and the light beam. According to such a method, it is possible to suppress the phenomenon that the weight changes suddenly in the vicinity of the position where the light ray direction is perpendicular to the reference plane.
［実施形態４］
実施形態３までは、概略円環状に配置された入力視点からの撮像画像を用いる例を示した。実施形態４では、主たる撮像画像の他に、背景撮像画像又は環境情報などを用いて再構成画像を生成する例を示す。
[Embodiment 4]
Up to the third embodiment, an example of using an image taken from an input viewpoint arranged in a substantially annular shape has been shown. In the fourth embodiment, an example of generating a reconstructed image by using a background captured image, environmental information, or the like in addition to the main captured image is shown.
実施形態４に係るレンダリング部３５０の構成例を図１５に示す。本実施形態における主レンダリング部１５０１及び背景レンダリング部１５０２は、実施形態１〜３におけるレンダリング部３５０と同様の構成及び処理を行い、それぞれ主レンダリング画像及び背景レンダリング画像を生成する。例えば、主レンダリング部１５０１は動体である被写体の画像を主レンダリング画像として生成することができ、背景レンダリング部１５０２は背景である被写体の画像を背景レンダリング画像として生成することができる。このような処理は、例えば実施形態２の方法を応用することにより行うことができる。本実施形態において、主レンダリング部１５０１及び背景レンダリング部１５０２は、それぞれ概略円環状に配置されている、異なるグループの撮像装置により得られた撮像画像を用いてレンダリングを行う。すなわち、主レンダリング部１５０１は、主撮像部グループにより得られた主撮像画像群に基づいて色情報を決定する。また、背景レンダリング部１５０２は、背景撮像部グループにより得られた背景撮像画像群に基づいて色情報を決定する。
FIG. 15 shows a configuration example of the
また、主レンダリング部１５０１及び背景レンダリング部１５０２は、レンダリング画像の他に、レンダリング画像の各画素についての位置重みを示す主重みマップ及び背景重みマップを生成する。この重みマップは、レンダリング画像の各画素に対して、各画素に対応する全入力視点の位置重みのうちの最大の位置重みを格納している。ブレンディング部１５０３は、主レンダリング画像と背景レンダリング画像とを重みマップに基づきブレンド（合成）することにより、オブジェクトの色情報を決定し、こうしてブレンド画像を出力する。ブレンド方法の一例としては、主レンダリング画像には位置重みを乗じ、背景レンダリング画像には（１−位置重み）を乗じて、加算平均する方法が挙げられる。ここで用いられる位置重みとしては、正規化された、主重みマップに示される位置重みを用いることができる。また、重み算出部１５０４は、主重みマップと背景重みマップとから新たな重みマップを生成する。重み算出部は、主重みマップに示される重みと背景重みマップに示される重みとの最大値を、新たな重みマップに示される重みとして算出することができる。
Further, the
環境レンダリング部１５０５は、環境レンダリング画像を生成する。環境レンダリング部１５０５は、例えば、各光線方向に対して画素値が定義された環境マップ又は単色を示す色情報のような環境情報を用いてレンダリングを行うことにより、環境レンダリング画像を生成することができる。ブレンディング部１５０６は、ブレンディング部１５０３が生成したブレンド画像と、環境レンダリング画像とをブレンディングすることにより、最終的な出力画像を生成することができる。ここで、ブレンディング部１５０６は、重み算出部１５０４が生成した重みマップに基づいて、ブレンディング部１５０３と同様にブレンディングを行うことができる。
The
実施形態３におけるレンダリング部３５０が行う処理の流れを図１６に示す。ステップＳ１６０１において、主レンダリング部１５０１は主撮像画像に基づき主レンダリング画像を生成する。ステップＳ１６０２において、背景レンダリング部１５０２は背景撮像画像に基づいて背景レンダリング画像を生成する。ステップＳ１６０３において、環境レンダリング部１５０５は環境情報に基づいて環境レンダリング画像を生成する。ステップＳ１６０４においてブレンディング部１５０３は主レンダリング画像と背景レンダリング画像とをブレンディングする。ステップＳ１６０５において重み算出部１５０４は主重みマップと背景重みマップとを合成する。ステップＳ１６０６では、ステップＳ１６０５で得られた重みマップに基づいて、ブレンディング部１５０６が、ステップＳ１６０４で生成した画像と環境レンダリング画像とをブレンディングする。
FIG. 16 shows the flow of processing performed by the
本実施形態では、主撮像画像、背景撮像画像、及び環境情報を用いて画像を生成する例を示したが、用いる画像群はこれより多くても少なくても構わない。また、ここに示したブレンディング方法は一例に過ぎず、他の方法を用いることもできる。例えば、基準面と光線のなす角、又は出力視点の位置に基づき、画像のブレンディング比率を変えることもできる。 In the present embodiment, an example of generating an image using a main captured image, a background captured image, and environmental information is shown, but the number of image groups used may be larger or smaller than this. Further, the blending method shown here is only an example, and other methods can be used. For example, the blending ratio of the image can be changed based on the angle between the reference plane and the light beam or the position of the output viewpoint.
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
(Other examples)
The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
３１０：入力視点情報取得部、３２０：出力視点情報取得部、３３０：距離マップ取得部、３４０：画像取得部、３５０：レンダリング部、３６０：画像出力部、４１０：歪曲補正部、４２０：方向重み算出部、４３０：位置重み算出部 310: Input viewpoint information acquisition unit, 320: Output viewpoint information acquisition unit, 330: Distance map acquisition unit, 340: Image acquisition unit, 350: Rendering unit, 360: Image output unit, 410: Distortion correction unit, 420: Direction weight Calculation unit, 430: Position weight calculation unit
Claims (13)
前記取得手段により取得された仮想視点情報により特定される仮想視点に対応する仮想視点画像の着目画素の色情報を、複数の撮像装置で撮像されることにより取得された複数の撮像画像と、前記複数の撮像画像それぞれにおける端部から前記着目画素に対応する画素までの距離に応じた重みとに基づいて決定する決定手段と、
前記決定手段により決定された色情報に基づいて、前記仮想視点画像を生成する生成手段と、
を有し、
前記重みは、
前記撮像画像における端部から前記着目画素に対応する画素までの距離が所定の閾値を超えている場合、一定の重みであり、
前記撮像画像における端部から前記着目画素に対応する画素までの距離が所定の閾値以下である場合、前記一定の重みより小さい重みである
ことを特徴とする画像処理装置。 An acquisition means for acquiring virtual viewpoint information including information on the position of the virtual viewpoint and information on the line-of-sight direction from the virtual viewpoint, and
A plurality of captured images acquired by capturing the color information of the pixel of interest of the virtual viewpoint image corresponding to the virtual viewpoint identified by the virtual viewpoint information acquired by the acquisition means by a plurality of imaging devices, and the above-mentioned. A determination means for determining based on the weight according to the distance from the end of each of the plurality of captured images to the pixel corresponding to the pixel of interest.
A generation means for generating the virtual viewpoint image based on the color information determined by the determination means, and a generation means.
Have a,
The weight is
When the distance from the end portion of the captured image to the pixel corresponding to the pixel of interest exceeds a predetermined threshold value, the weight is constant.
An image processing apparatus characterized in that when the distance from the end portion of the captured image to the pixel corresponding to the pixel of interest is equal to or less than a predetermined threshold value, the weight is smaller than the constant weight.
前記決定手段は、前記取得手段により取得された前記仮想視点情報と前記撮像装置情報とに基づいて、仮想視点画像の色情報を決定するために用いる２以上の撮像装置を特定し、特定された前記２以上の撮像装置で撮像されることにより取得された２以上の撮像画像と、前記２以上の撮像画像それぞれにおける端部から前記着目画素に対応する画素までの距離に応じた重みとに基づいて、前記仮想視点画像の色情報を決定することを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。 The acquisition means further acquires image pickup device information including information on the positions of the plurality of image pickup devices and information on the line-of-sight direction of the plurality of image pickup devices.
The determination means identifies and identifies two or more image pickup devices used for determining the color information of the virtual viewpoint image based on the virtual viewpoint information and the image pickup device information acquired by the acquisition means. Based on the two or more captured images acquired by being imaged by the two or more imaging devices and the weight according to the distance from the end of each of the two or more captured images to the pixel corresponding to the pixel of interest. The image processing apparatus according to any one of claims 1 to 6 , wherein the color information of the virtual viewpoint image is determined.
仮想視点の位置の情報と前記仮想視点からの視線方向の情報を含む仮想視点情報を取得する工程と、
取得された前記仮想視点情報により特定される仮想視点に対応する仮想視点画像の着目画素の色情報を、複数の撮像装置で撮像されることにより取得された複数の撮像画像と、前記複数の撮像画像それぞれにおける端部から前記着目画素に対応する画素までの距離に応じた重みとに基づいて決定する工程と、
決定された前記色情報に基づいて、前記仮想視点画像を生成する工程と、
を有し、
前記重みは、
前記撮像画像における端部から前記着目画素に対応する画素までの距離が所定の閾値を超えている場合、一定の重みであり、
前記撮像画像における端部から前記着目画素に対応する画素までの距離が所定の閾値以下である場合、前記一定の重みより小さい重みである
ことを特徴とする画像処理方法。 It is an image processing method performed by an image processing device.
The process of acquiring virtual viewpoint information including information on the position of the virtual viewpoint and information on the line-of-sight direction from the virtual viewpoint, and
A plurality of captured images acquired by capturing the color information of the pixel of interest of the virtual viewpoint image corresponding to the acquired virtual viewpoint image specified by the acquired virtual viewpoint information by a plurality of imaging devices, and the plurality of imaging. A step of determining based on the weight according to the distance from the end of each image to the pixel corresponding to the pixel of interest, and
A process of generating the virtual viewpoint image based on the determined color information, and
Have a,
The weight is
When the distance from the end portion of the captured image to the pixel corresponding to the pixel of interest exceeds a predetermined threshold value, the weight is constant.
An image processing method characterized in that when the distance from the end portion of the captured image to the pixel corresponding to the pixel of interest is equal to or less than a predetermined threshold value, the weight is smaller than the constant weight.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/686,491 US10559095B2 (en) | 2016-08-31 | 2017-08-25 | Image processing apparatus, image processing method, and medium |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016170069 | 2016-08-31 | ||
| JP2016170069 | 2016-08-31 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2018042237A JP2018042237A (en) | 2018-03-15 |
| JP2018042237A5 JP2018042237A5 (en) | 2020-09-10 |
| JP6974978B2 true JP6974978B2 (en) | 2021-12-01 |
Family
ID=61626620
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017156642A Active JP6974978B2 (en) | 2016-08-31 | 2017-08-14 | Image processing equipment, image processing methods, and programs |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6974978B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7123736B2 (en) * | 2018-10-23 | 2022-08-23 | キヤノン株式会社 | Image processing device, image processing method, and program |
| KR102612539B1 (en) * | 2019-12-17 | 2023-12-11 | 한국전자통신연구원 | Multiview video encoding and decoding method |
| JP2022030985A (en) * | 2020-08-07 | 2022-02-18 | ソニーグループ株式会社 | Information processing device, information processing method and information processing system |
| CN115512038B (en) * | 2022-07-22 | 2023-07-18 | 北京微视威信息科技有限公司 | Real-time drawing method for free viewpoint synthesis, electronic device and readable storage medium |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001320616A (en) * | 2000-02-29 | 2001-11-16 | Matsushita Electric Ind Co Ltd | Image pickup system |
| JP2004537082A (en) * | 2001-01-26 | 2004-12-09 | ザクセル システムズ インコーポレイテッド | Real-time virtual viewpoint in virtual reality environment |
| JP3695377B2 (en) * | 2001-10-01 | 2005-09-14 | 日産自動車株式会社 | Image composition apparatus and image composition method |
| JP4111834B2 (en) * | 2003-01-07 | 2008-07-02 | 株式会社ソニー・コンピュータエンタテインメント | Image generation method and apparatus |
| KR100779634B1 (en) * | 2003-06-20 | 2007-11-26 | 니폰 덴신 덴와 가부시끼가이샤 | Virtual visual point image generating method and 3-d image display method and device |
| JP4739122B2 (en) * | 2006-06-05 | 2011-08-03 | パナソニック株式会社 | In-vehicle camera image composition apparatus and image composition method |
| JP4801549B2 (en) * | 2006-09-25 | 2011-10-26 | パナソニック株式会社 | Composite video display device and integrated circuit |
-
2017
- 2017-08-14 JP JP2017156642A patent/JP6974978B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018042237A (en) | 2018-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6425780B1 (en) | Image processing system, image processing apparatus, image processing method and program | |
| JP7080613B2 (en) | Image processing equipment, image processing methods and programs | |
| JP6088094B1 (en) | System for creating a mixed reality environment | |
| JP4804256B2 (en) | Information processing method | |
| JP7007348B2 (en) | Image processing equipment | |
| JP6974978B2 (en) | Image processing equipment, image processing methods, and programs | |
| US10559095B2 (en) | Image processing apparatus, image processing method, and medium | |
| JP3450833B2 (en) | Image processing apparatus and method, program code, and storage medium | |
| JP5011168B2 (en) | Virtual viewpoint image generation method, virtual viewpoint image generation apparatus, virtual viewpoint image generation program, and computer-readable recording medium recording the program | |
| JP5872923B2 (en) | AR image processing apparatus and method | |
| JP4828506B2 (en) | Virtual viewpoint image generation device, program, and recording medium | |
| US20130335535A1 (en) | Digital 3d camera using periodic illumination | |
| JP7123736B2 (en) | Image processing device, image processing method, and program | |
| JP2020514909A (en) | Mixed reality system with multi-source virtual content composition and method of using the same to generate virtual content | |
| JP2006053694A (en) | Space simulator, space simulation method, space simulation program and recording medium | |
| WO2019123547A1 (en) | Image generator, reference image data generator, image generation method, and reference image data generation method | |
| JP5361758B2 (en) | Image generation method, image generation apparatus, and program | |
| WO2019123548A1 (en) | Image generation device and image generation method | |
| JP2008217593A (en) | Subject area extraction device and subject area extraction program | |
| CN111742352A (en) | 3D object modeling method and related device and computer program product | |
| JP6679966B2 (en) | Three-dimensional virtual space presentation system, three-dimensional virtual space presentation method and program | |
| JP6756679B2 (en) | Decision device, image processing device, decision method and decision program | |
| CA3155612A1 (en) | Method and system for providing at least a portion of content having six degrees of freedom motion | |
| US20230005213A1 (en) | Imaging apparatus, imaging method, and program | |
| JP7366563B2 (en) | Image generation device, image generation method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200729 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200729 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210708 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210726 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210921 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211008 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211105 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6974978 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |