JP2012173858A - Omnidirectional image generation method, image generation device and program - Google Patents
Omnidirectional image generation method, image generation device and program Download PDFInfo
- Publication number
- JP2012173858A JP2012173858A JP2011033402A JP2011033402A JP2012173858A JP 2012173858 A JP2012173858 A JP 2012173858A JP 2011033402 A JP2011033402 A JP 2011033402A JP 2011033402 A JP2011033402 A JP 2011033402A JP 2012173858 A JP2012173858 A JP 2012173858A
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- reliability
- layer
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000012545 processing Methods 0.000 description 22
- 239000011159 matrix material Substances 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
Abstract
Description
全方位画像生成方法、画像生成装置およびプログラムに係り、特に、互いに重なりあうように方向を変えて撮像した複数の画像から、任意の視点を中心とした全方位画像を生成する技術に関する。 The present invention relates to an omnidirectional image generation method, an image generation apparatus, and a program, and more particularly, to a technique for generating an omnidirectional image centered on an arbitrary viewpoint from a plurality of images captured by changing directions so as to overlap each other.
カメラの近くに人物などの被写体が存在する奥行きのあるシーンの全方位画像を複数の画像から生成する場合において、複数の画像を連続的に合成するためには、画像間の見え方の違い、すなわち、被写体の奥行き情報(3次元情報)を考慮して合成する必要がある。 In the case of generating omnidirectional images of a scene with a depth where a subject such as a person exists near the camera from a plurality of images, in order to continuously synthesize a plurality of images, the difference in appearance between the images, That is, it is necessary to synthesize them in consideration of subject depth information (three-dimensional information).
しかし、2次元の画像から奥行き情報(3次元情報)を推定することは難しく、様々な奥行き推定手法が提案されている。その1つに、撮像したシーンを多層のレイヤとして表現し、レイヤ上に被写体が存在する位置を信頼度として表すことで、高品質な3次元画像を生成する方法がある(例えば、特許文献1参照)。 However, it is difficult to estimate depth information (three-dimensional information) from a two-dimensional image, and various depth estimation methods have been proposed. One of them is a method of generating a high-quality three-dimensional image by expressing the captured scene as a multilayer layer and expressing the position where the subject exists on the layer as the reliability (for example, Patent Document 1). reference).
しかしながら、特許文献1に記載の方法にあっては、被写体の奥行きに曖昧さを持たせているため、推定が良好な画素にも不要な情報が付加され、生成画像の品質が劣化するという問題がある。また、被写体をカバーするレイヤ数が多くなると、メモリなどの計算機リソースを多く消費すると同時に、計算時間が増加するという問題もある。
However, in the method described in
本発明は、このような事情に鑑みてなされたもので、互いに重なり合うように撮像した画像から、全方位画像を生成する際に、計算機リソースを節約しつつ、適切に画像を生成することができる全方位画像生成方法、画像生成装置およびプログラムを提供することを目的とする。 The present invention has been made in view of such circumstances, and can appropriately generate an image while saving computer resources when generating an omnidirectional image from images captured so as to overlap each other. An object is to provide an omnidirectional image generation method, an image generation apparatus, and a program.
本発明は、複数の画像から被写体の全方位画像を生成する全方位画像生成方法であって、複数の視点位置から被写体を撮像した画像を取得する画像取得ステップと、前記取得したそれぞれの画像を予め定義した複数のレイヤ面に投影する画像投影ステップと、前記画像が投影された前記レイヤ面上における前記被写体の色情報または輝度情報とを算出する色輝度情報算出ステップと、前記画像取得ステップによる取得した画像上の被写体の点を前記レイヤ面上に投影した画像の点との類似度を求めることにより、前記レイヤ面上の各点における被写体の存在確率を表す信頼度を算出する信頼度算出ステップと、前記信頼度に基づき、前記被写体の信頼度が最も高い前記レイヤを中心として複数のレイヤを選択するレイヤ選択ステップと、前記選択されたレイヤ面上における前記被写体の色情報または輝度情報と信頼度情報に基づき、前記被写体の全方位画像を生成する画像生成ステップとを有することを特徴とする。 The present invention is an omnidirectional image generation method for generating an omnidirectional image of a subject from a plurality of images, an image acquisition step of acquiring an image of the subject from a plurality of viewpoint positions, and the acquired respective images. An image projecting step for projecting onto a plurality of predefined layer surfaces, a color luminance information calculating step for calculating color information or luminance information of the subject on the layer surface on which the image is projected, and an image acquiring step A reliability calculation for calculating a reliability representing the existence probability of the subject at each point on the layer surface by obtaining a similarity between the point of the subject on the acquired image and a point of the image projected on the layer surface And a layer selection step of selecting a plurality of layers around the layer having the highest reliability of the subject based on the reliability, and Color information or brightness information of the subject in-option by Layer plane and on the basis of the reliability information, and having an image generating step of generating an omnidirectional image of the object.
本発明は、複数の画像から被写体の全方位画像を生成する全方位画像生成方法であって、複数の視点位置から被写体を撮像した画像を取得する画像取得ステップと、前記取得したそれぞれの画像を予め定義した複数のレイヤ面に投影する画像投影ステップと、前記画像が投影された前記レイヤ面上における前記被写体の色情報または輝度情報とを算出する色輝度情報算出ステップと、前記画像取得ステップによる取得した画像上の被写体の領域内の代表点を抽出する領域・代表点検出ステップと、前記画像取得ステップによる取得した画像上の被写体の点を前記レイヤ面上に投影した画像の点との類似度を求めることにより、前記レイヤ面上の各点における被写体の存在確率を表す信頼度を算出する信頼度算出ステップと、前記代表点の信頼度に基づき、前記領域において、前記被写体の信頼度が高い前記レイヤ範囲を選択するレイヤ選択ステップと、前記選択されたレイヤ面上における前記被写体の色情報または輝度情報と信頼度情報に基づき、前記被写体の全方位画像を生成する画像生成ステップとを有することを特徴とする。 The present invention is an omnidirectional image generation method for generating an omnidirectional image of a subject from a plurality of images, an image acquisition step of acquiring an image of the subject from a plurality of viewpoint positions, and the acquired respective images. An image projecting step for projecting onto a plurality of predefined layer surfaces, a color luminance information calculating step for calculating color information or luminance information of the subject on the layer surface on which the image is projected, and an image acquiring step Similarity between a region / representative point detection step of extracting a representative point in a region of a subject on the acquired image and a point of an image obtained by projecting the point of the subject on the image acquired by the image acquisition step on the layer surface A reliability calculation step for calculating a reliability indicating the existence probability of the subject at each point on the layer surface by obtaining a degree; and the reliability of the representative point Based on the layer selection step for selecting the layer range in which the reliability of the subject is high in the region, and based on the subject color information or luminance information and reliability information on the selected layer surface And an image generation step of generating an omnidirectional image.
本発明は、複数の画像から被写体の全方位画像を生成する全方位画像生成方法であって、複数の視点位置から被写体を撮像した画像を取得する画像取得ステップと、前記取得したそれぞれの画像を予め定義した複数のレイヤ面に投影する画像投影ステップと、前記画像が投影された前記レイヤ面上における前記被写体の色情報または輝度情報とを算出する色輝度情報算出ステップと、前記画像取得ステップによる取得した画像上の被写体の点を前記レイヤ面上に投影した画像の点との類似度を求めることにより、前記レイヤ面上の各点における被写体の存在確率を表す信頼度を算出する信頼度算出ステップと、前記信頼度に基づき、前記被写体の信頼度が所定値以上である前記レイヤを選択するレイヤ選択ステップと、前記選択されたレイヤ面上における前記被写体の色情報または輝度情報と信頼度情報に基づき、前記被写体の全方位画像を生成する画像生成ステップとを有し、前記レイヤ選択ステップは、前記被写体の信頼度が所定値を満たさない場合は、前記信頼度算出ステップの信頼度とすることを特徴とする。 The present invention is an omnidirectional image generation method for generating an omnidirectional image of a subject from a plurality of images, an image acquisition step of acquiring an image of the subject from a plurality of viewpoint positions, and the acquired respective images. An image projecting step for projecting onto a plurality of predefined layer surfaces, a color luminance information calculating step for calculating color information or luminance information of the subject on the layer surface on which the image is projected, and an image acquiring step A reliability calculation for calculating a reliability representing the existence probability of the subject at each point on the layer surface by obtaining a similarity between the point of the subject on the acquired image and a point of the image projected on the layer surface A layer selection step for selecting the layer whose reliability of the subject is greater than or equal to a predetermined value based on the reliability, and the selected layer An image generation step of generating an omnidirectional image of the subject based on the color information or luminance information of the subject and reliability information, wherein the reliability of the subject satisfies a predetermined value. If not, the reliability in the reliability calculation step is set as the reliability.
本発明は、複数の画像から被写体の全方位画像を生成する全方位画像生成方法であって、複数の視点位置から被写体を撮像した画像を取得する画像取得ステップと、前記取得したそれぞれの画像を予め定義した複数のレイヤ面に投影する画像投影ステップと、前記画像が投影された前記レイヤ面上における前記被写体の色情報または輝度情報とを算出する色輝度情報算出ステップと、前記画像取得ステップによる取得した画像上の被写体の領域内の代表点を抽出する領域・代表点検出ステップと、前記画像取得ステップによる取得した画像上の被写体の点を前記レイヤ面上に投影した画像の点との類似度を求めることにより、前記レイヤ面上の各点における被写体の存在確率を表す信頼度を算出する信頼度算出ステップと、前記代表点の信頼度に基づき、前記被写体の信頼度が最も高い前記レイヤが変化した場合のみに、前記信頼度に基づき複数のレイヤを選択するレイヤ選択ステップと、前記選択されたレイヤ面上における前記被写体の色情報または輝度情報と信頼度情報に基づき、前記被写体の全方位画像を生成する画像生成ステップとを有することを特徴とする。 The present invention is an omnidirectional image generation method for generating an omnidirectional image of a subject from a plurality of images, an image acquisition step of acquiring an image of the subject from a plurality of viewpoint positions, and the acquired respective images. An image projecting step for projecting onto a plurality of predefined layer surfaces, a color luminance information calculating step for calculating color information or luminance information of the subject on the layer surface on which the image is projected, and an image acquiring step Similarity between a region / representative point detection step of extracting a representative point in a region of a subject on the acquired image and a point of an image obtained by projecting the point of the subject on the image acquired by the image acquisition step on the layer surface A reliability calculation step for calculating a reliability indicating the existence probability of the subject at each point on the layer surface by obtaining a degree; and the reliability of the representative point And a layer selection step of selecting a plurality of layers based on the reliability only when the layer having the highest reliability of the subject changes, and color information of the subject on the selected layer surface or And an image generation step of generating an omnidirectional image of the subject based on the luminance information and the reliability information.
本発明は、複数の画像から被写体の全方位画像を生成する全方位画像生成方法であって、複数の視点位置から被写体を撮像した画像を取得する画像取得ステップと、前記取得したそれぞれの画像を予め定義した複数のレイヤ面に投影する画像投影ステップと、前記画像が投影された前記レイヤ面上における前記被写体の色情報または輝度情報とを算出する色輝度情報算出ステップと、前記被写体の位置が変化する領域において、前記画像取得ステップによる取得した画像上の被写体の点を前記レイヤ面上に投影した画像の点との類似度を求めることにより、前記レイヤ面上の各点における被写体の存在確率を表す信頼度を算出する信頼度算出ステップと、前記信頼度に基づき複数のレイヤを選択するレイヤ選択ステップと、前記選択されたレイヤ面上における前記被写体の色情報または輝度情報と信頼度情報に基づき、前記被写体の全方位画像を生成する画像生成ステップとを有し、前記信頼度算出ステップは、前記被写体の位置が変化しない領域には、取得した画像の各フレームの信頼度は初期フレームで算出した前記信頼度とすることを特徴とする。 The present invention is an omnidirectional image generation method for generating an omnidirectional image of a subject from a plurality of images, an image acquisition step of acquiring an image of the subject from a plurality of viewpoint positions, and the acquired respective images. An image projecting step for projecting onto a plurality of predefined layer surfaces, a color luminance information calculating step for calculating color information or luminance information of the subject on the layer surface on which the image is projected, and a position of the subject In the changing area, the object existence probability at each point on the layer surface is obtained by calculating the similarity between the point of the object on the image acquired by the image acquisition step and the point of the image projected on the layer surface. A reliability calculation step for calculating a reliability representing the level, a layer selection step for selecting a plurality of layers based on the reliability, and the selected level An image generation step of generating an omnidirectional image of the subject based on color information or luminance information of the subject on the surface and reliability information, and the reliability calculation step does not change the position of the subject The region is characterized in that the reliability of each frame of the acquired image is the reliability calculated in the initial frame.
本発明は、複数の画像から被写体の全方位画像を生成する画像生成装置であって、複数の視点位置から被写体を撮像した画像を取得する画像取得手段と、前記取得したそれぞれの画像を予め定義した複数のレイヤ面に投影する画像投影手段と、前記画像が投影された前記レイヤ面上における前記被写体の色情報または輝度情報とを算出する色輝度情報算出手段と、前記画像取得手段による取得した画像上の被写体の点を前記レイヤ面上に投影した画像の点との類似度を求めることにより、前記レイヤ面上の各点における被写体の存在確率を表す信頼度を算出する信頼度算出手段と、前記信頼度に基づき、前記被写体の存在確率が最も高い前記レイヤを中心として複数のレイヤを選択するレイヤ選択手段と、前記選択されたレイヤ面上における前記被写体の色情報または輝度情報と信頼度情報に基づき、前記被写体の全方位画像を生成する画像生成手段とを備えることを特徴とする。 The present invention is an image generation apparatus that generates an omnidirectional image of a subject from a plurality of images, and includes an image acquisition unit that acquires an image of the subject from a plurality of viewpoint positions, and the acquired images are defined in advance. Acquired by the image acquisition means for projecting onto the plurality of layer surfaces, color luminance information calculation means for calculating color information or luminance information of the subject on the layer surface on which the image is projected, and acquired by the image acquisition means Reliability calculating means for calculating a reliability indicating the existence probability of the subject at each point on the layer surface by obtaining a similarity to the image point obtained by projecting the point of the subject on the image onto the layer surface; , A layer selection unit that selects a plurality of layers around the layer having the highest probability of existence of the subject based on the reliability, and on the selected layer surface Based on the serial color information or brightness information and the reliability information of the object, characterized in that it comprises an image producing means for producing an omnidirectional image of the object.
本発明は、複数の画像から被写体の全方位画像を生成する画像生成装置上のコンピュータに、全方位画像を生成させる全方位画像生成プログラムであって、複数の視点位置から被写体を撮像した画像を取得する画像取得ステップと、前記取得したそれぞれの画像を予め定義した複数のレイヤ面に投影する画像投影ステップと、前記画像が投影された前記レイヤ面上における前記被写体の色情報または輝度情報とを算出する色輝度情報算出ステップと、前記画像取得ステップによる取得した画像上の被写体の点を前記レイヤ面上に投影し画像の点との類似度を求めることにより、前記レイヤ面上の各点における被写体の存在確率を表す信頼度を算出する信頼度算出ステップと、前記信頼度に基づき、前記被写体の存在確率が最も高い前記レイヤを中心として複数のレイヤを選択するレイヤ選択ステップと、前記選択されたレイヤ面上における前記被写体の色情報または輝度情報と信頼度情報に基づき、前記被写体の全方位画像を生成する画像生成ステップとを前記コンピュータに行わせることを特徴とする。 The present invention is an omnidirectional image generation program that causes a computer on an image generation apparatus that generates an omnidirectional image of a subject from a plurality of images to generate an omnidirectional image, and that captures an image of a subject from a plurality of viewpoint positions. An image acquisition step of acquiring, an image projecting step of projecting each of the acquired images onto a plurality of predefined layer surfaces, and color information or luminance information of the subject on the layer surface on which the image is projected By calculating the color luminance information calculation step to be calculated, and projecting the point of the subject on the image acquired by the image acquisition step on the layer surface, and calculating the similarity with the point of the image, each point on the layer surface A reliability calculating step for calculating a reliability indicating the existence probability of the subject, and the layer having the highest existence probability of the subject based on the reliability A layer selection step of selecting a plurality of layers as the center, and an image generation step of generating an omnidirectional image of the subject based on color information or luminance information and reliability information of the subject on the selected layer surface The computer is made to perform.
本発明によれば、互いに重なり合うように撮像した画像から、任意の視点の位置から撮像した全方位画像を生成する際に、計算機リソースを節約しつつ、適切に画像を生成することが可能になるという効果が得られる。 According to the present invention, when generating an omnidirectional image captured from an arbitrary viewpoint position from images captured so as to overlap each other, it is possible to appropriately generate an image while saving computer resources. The effect is obtained.
<第1の実施形態>
以下、図面を参照して、本発明の第1の実施形態による画像生成装置を説明する。図1は同実施形態の構成を示すブロック図である。この図において、符号1は、被写体Aの画像を撮像するカメラであり、撮像した画像をデジタルの画像データとして出力する。なお、カメラ1は、アナログ信号を出力するカメラであり、アナログ信号をデジタルデータに変換して出力するものであってもよい。符号2は、コンピュータ装置によって構成し、カメラ1から出力する複数の画像データを入力し、被写体Aの全方位画像を生成して出力する画像処理部である。符号3は、作業者が入力操作を行う入力部である。符号4は、画像の表示を行う表示部である。
<First Embodiment>
Hereinafter, an image generation apparatus according to a first embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing the configuration of the embodiment. In this figure,
符号5は、被写体Aの全方位の画像をカメラ1によって撮像するために、カメラ1の視点を移動させるカメラ移動部であり、アクチュエータなどによって構成する。符号6は、画像処理部2からの指示に基づき、カメラ移動部5の移動量を制御するカメラ位置制御部である。なお、図1においては、カメラ移動部5によってカメラ1の視点を移動させる構成を示したが、被写体Aを移動できる場合は、被写体Aの向きを制御することにより、被写体Aの全方位からの画像を撮像する構成であってもよい。また、予め多数のカメラを被写体の周囲に配置しておき、それぞれのカメラにおいて撮像した画像の画像データを画像処理部に入力する構成であってもよい。
次に、図3を参照して、カメラ1の配置関係について説明する。図3において、カメラ1の集合をCi(i∈N)、カメラ1により撮像された元画像Ii(m)とする。ここで、Nは自然数の有限集合を表す。また、mは画像iの左上を原点とした画像座標系における画像の画素の位置を表している。
Next, the positional relationship of the
次に、図2を参照して、図1に示す画像処理部2の処理動作を説明する。まず、画像処理部2は、カメラ位置制御部6に指示を出して、カメラ1を移動させて、複数の視点位置から、被写体Aを撮像した画像Ii(m)(i∈N)を取得する(ステップS1)。このとき、全ての領域において、少なくとも2枚以上の画像が重なるように撮像して得られた画像データを取得する。
Next, the processing operation of the
次に、画像処理部2は、全方位画像の基準となる視点位置に仮想カメラCvを設定し、仮想カメラCvから奥行き方向に多層レイヤLj(m)(j∈M)を設定する。ここで、Mは自然数の有限集合を表す。このとき、レイヤの形状は、被写体Aの表現方法によって、平面、円筒面、球面など適切なものを選択する。次に、各レイヤに画像Ii(m)を投影する(ステップS2)。レイヤの形状が平面の場合、画像IiからレイヤLjへの変換は、射影変換となり、一般的にホモグラフィと呼ばれる行列によって対応付けられる。すなわち、カメラCiの画像Ii上の点mから、投影面Ljを介した画像Iproj ij上の点mvへの変換は、(1)式、(2)式によって表される。
Next, the
ここで、画像iの左上を原点とした画像座標系における、画像の画素の位置をm=[u,v]tと表した場合において、m〜[u,v,1]t(〜はmの頭に付く)は拡張ベクトルを表す。またRv←i,tv←iは、カメラCiのカメラ座標系から仮想カメラ座標系に変換する回転行列と並進ベクトル、Avは仮想カメラの内部行列、AiはカメラCiの内部行列を表す。 Here, in a case where the pixel position of the image is expressed as m = [u, v] t in the image coordinate system with the upper left of the image i as the origin, m˜ [u, v, 1] t (˜ is m Represents the extension vector. R v ← i and t v ← i are rotation matrices and translation vectors for conversion from the camera coordinate system of the camera C i to the virtual camera coordinate system, A v is the internal matrix of the virtual camera, and A i is the internal of the camera C i Represents a matrix.
なお、カメラの内部行列、外部行列は、公知のキャリブレーション手法により求められているものとする。キャリブレーション手法として、「Tsaiの方法」や「Zhangの方法」を用いることができる。djは、仮想カメラ座標系の原点からレイヤLjまでの距離、nは平面レイヤの正規ベクトルを表す。なお、レイヤの形状が平面の場合、画像Iiの特徴点と対応関係から、ホモグラフィ行列Hv←i jを求めることも可能である。 Note that the internal matrix and external matrix of the camera are obtained by a known calibration method. As a calibration method, a “Tsai method” or a “Zhang method” can be used. d j is a distance from the origin of the virtual camera coordinate system to the layer L j , and n is a normal vector of the plane layer. When the shape of the layer is a plane, the homography matrix H v ← i j can be obtained from the feature points of the image I i and the corresponding relationship.
次に、画像処理部2は、レイヤ上の各点における被写体の色情報または輝度情報を表す色マップを算出する(ステップS3)。色マップIcolor jは、ステップS2で各レイヤに投影した画像をブレンディングすることによって、(3)式によって生成する。
Next, the
重み係数wij(m)の代表的な例としては、各画像の寄与が均等であるとして、(4)式のように設定することができる。 As a representative example of the weighting factor w ij (m), it can be set as shown in equation (4) on the assumption that the contribution of each image is equal.
ここで、Num()は引数として集合を取り、その要素数を返す関数とする。また、重み係数wij(m)は、画像の位置関係により重みづけを設定することもできる。例えば、位置関係を角度によって表した場合、重み係数は(5)式により計算する。 Here, Num () is a function that takes a set as an argument and returns the number of elements. Further, the weighting factor w ij (m) can be set to be weighted according to the positional relationship of the images. For example, when the positional relationship is represented by an angle, the weighting coefficient is calculated by equation (5).
ここで、φij(m)は画像Ii(m)を撮像したカメラCiの中心とレイヤ上の点mを結ぶ直線と、全方位画像の中心とレイヤ上の点mを結ぶ直線がなす角を表す。また、εは分母が0になるのを防ぐための微小値である。 Here, φ ij (m) is a straight line connecting the center of the camera C i that captured the image I i (m) and the point m on the layer, and a straight line connecting the center of the omnidirectional image and the point m on the layer. Represents a corner. Ε is a minute value for preventing the denominator from becoming zero.
次に、画像処理部2は、レイヤ上の各点における被写体の存在確率を表す信頼度マップを算出する(ステップS4)。信頼度マップIprob jは、各レイヤ上に被写体が存在する確率を表し、この値が大きいほどその位置に被写体が存在する可能性が高いことを表す。具体的には、信頼度マップIprob j上の点に対応する画像Iiの点、すなわち、投影画像Iproj ij上の点との類似度Sjによって(6)式により求める。
Next, the
類似度Sj(m)は、レイヤ上の点に対応する投影画像上の点mとの類似度を表すものであり、対応点の画素値、および、近傍の画素値によって計算される。例えば、画素値の相関値を用いて、(7)式、(8)式によって求める。 The similarity S j (m) represents the similarity with the point m on the projection image corresponding to the point on the layer, and is calculated by the pixel value of the corresponding point and the neighboring pixel value. For example, using the correlation value of the pixel value, it is obtained by Equations (7) and (8).
ここで、Bは画素mの近傍領域を表し、画像の特性に応じて決められる値である。εは分母が0になるのを防ぐための微小値、nは相関値のピークを調整するためのパラメータである。 Here, B represents a neighborhood region of the pixel m, and is a value determined according to the characteristics of the image. ε is a minute value for preventing the denominator from becoming 0, and n is a parameter for adjusting the peak of the correlation value.
次に、画像処理部2は、ステップS4において算出された信頼度マップIprob jの情報から被写体が存在する可能性が高いレイヤを選択する。シーン全体を表現するために必要なレイヤ数に対して、レイヤ上の点mが存在する可能性のあるレイヤ数は少なく、それ以外のレイヤでの推定誤差が合成品質を低下させる。ここでは、図4に示すように、レイヤ上の点mごとに、被写体Aが存在する可能性が高いレイヤ付近の情報を採用する。レイヤを手前から奥に(あるいはその逆に奥から手前)走査していき、信頼度Iprob j(m)が最大となるレイヤ付近の複数のレイヤの値を採用し、それ以外のレイヤの値を0とする((9)式、(10)式、(11)式)。
Next, the
ここで、αは選択するレイヤ数を表し、0以上の整数値をとる。α=0の場合は、選択するレイヤは1枚のみで、これはデプスマップと同義である。α≠0の場合は、信頼度が最大となるレイヤを中心に複数のレイヤを選択する。この処理をレイヤ上の全ての点に施した後、信頼度マップIprob jの情報を(12)式により再正規化する(ステップS5)。 Here, α represents the number of layers to be selected, and takes an integer value of 0 or more. When α = 0, only one layer is selected, which is synonymous with depth map. When α ≠ 0, a plurality of layers are selected around the layer having the maximum reliability. After this process is performed on all points on the layer, the information of the reliability map I prob j is renormalized by the equation (12) (step S5).
次に、画像処理部2は、各レイヤにおいてステップS5で求めた被写体が存在する可能性を表す信頼度マップIprob‘ j(m)と、ステップS3で求めた被写体の色情報または輝度情報を表す色マップIcolor j(m)をブレンディングし、全レイヤの情報を加算することによって、全方位画像Iv(m)を(13)式により生成する(ステップS6)。
Next, the
<第2の実施形態>
次に、本発明の第2の実施形態による画像生成装置を説明する。前述したステップS5において、第1の実施形態では、レイヤ上の点ごとに信頼度を採用するレイヤを決定したが、画素毎に処理を行うため計算機負荷が高い。そこで、元画像から被写体の領域を検出した後、その領域の代表的な点が存在する範囲のレイヤの信頼度を採用する。なお、複数の被写体が存在する場合は、被写体ごとに領域を分割し、各領域で最適なレイヤの範囲を決定する。
<Second Embodiment>
Next, an image generation apparatus according to a second embodiment of the present invention will be described. In step S5 described above, in the first embodiment, a layer that employs reliability is determined for each point on the layer. However, since processing is performed for each pixel, the computer load is high. Therefore, after detecting the region of the subject from the original image, the reliability of the layer in the range where the representative points of the region exist is adopted. When there are a plurality of subjects, the region is divided for each subject, and the optimum layer range is determined in each region.
本実施形態における処理動作を図5に示す。図5において、図2に示す処理動作と同一の部分には同一の符号を付し、その説明を省略する。まず、元画像から画像間で共通に存在する被写体Aの領域f(f∈F)を検出する(ステップS7)。ここで、Fは領域の集合である。被写体Aの検出方法としては、例えば、背景差分を用いる方法、既知の背景色との色の違いを用いる方法、被写体の形状や色に仮定をおき、一致する領域を探す方法などが適用可能である。続いて、被写体Aの領域から画像間で共通に存在する複数の代表的な点を抽出する(ステップS8)。代表的な点の決定方法としては、例えば、複数のエッジが交差する点を用いる方法、色合いが急峻に変化する点を用いる方法、テクスチャが変化する点を用いる方法などが適用可能である。そして、元画像の代表的な点を(1)式、(2)式を用いて、最前レイヤ(あるいは最後レイヤ)から順番に手前から奥に(あるいはその逆に奥から手前)に投影した点mf k(k∈P)に対して、信頼度Iprob j(mf k)が最大となるレイヤlkを探索する(ステップS5a;(14)式)。ここで、Pは代表点を識別するためのインデクスの集合である。 The processing operation in this embodiment is shown in FIG. In FIG. 5, the same parts as those in the processing operation shown in FIG. First, a region f (fεF) of the subject A that exists in common between the images is detected from the original image (step S7). Here, F is a set of regions. As a method of detecting the subject A, for example, a method using a background difference, a method using a difference in color from a known background color, a method of assuming a shape and a color of the subject, and searching for a matching area can be applied. is there. Subsequently, a plurality of representative points that exist in common between the images are extracted from the area of the subject A (step S8). As a representative point determination method, for example, a method using a point where a plurality of edges intersect, a method using a point where the hue changes abruptly, a method using a point where the texture changes can be applied. And the point which projected the typical point of the original image from the front layer to the back in order from the foremost layer (or the last layer) using the formulas (1) and (2) (or vice versa) For m f k (kεP), the layer l k having the maximum reliability I prob j (m f k ) is searched (step S5a; equation (14)). Here, P is a set of indexes for identifying representative points.
図6に示すように、被写体Aは、mink∈plk<j<maxk∈plkの間に存在する可能性が高いため、被写体Aが存在する領域fの全ての点において、この範囲のレイヤの値は採用し、それ以外のレイヤの値を0とする((15)式、(16)式)。 As shown in FIG. 6, the subject A is likely to exist between min k ∈ p lk <j <max k ∈ p lk, and therefore, at all points in the region f where the subject A exists, The values of the layers in this range are adopted, and the values of the other layers are set to 0 (Equations (15) and (16)).
この処理を元画像から抽出された全ての領域に施した後、信頼度マップIprob jの情報を(17)式により再正規化する(ステップS5b)。なお、元画像から抽出されなかった被写体以外の領域については、ステップS4において算出した信頼度の値を採用する。 After this processing is performed on all the regions extracted from the original image, the information of the reliability map I prob j is renormalized by the equation (17) (step S5b). Note that the reliability value calculated in step S4 is adopted for regions other than the subject not extracted from the original image.
<第3の実施形態>
次に、本発明の第3の実施形態による画像生成装置を説明する。第1の実施形態および第2の実施形態においては、信頼度が最大値となるレイヤを中心に複数レイヤの信頼度の値を採用したが、信頼度のピークが複数ある場合や、信頼度のピークがない場合には、最大値を判定することが困難である。そこで、第3の実施形態では、図7に示すように、レイヤ上の点mについて手前から奥に(あるいはその逆に奥から手前)走査し、閾値Th以上の信頼度が1レイヤ以上ある場合は、閾値Thとなるレイヤの情報を採用する((18)式、(19)式)。レイヤ上の点mについて手前から奥に(あるいはその逆に奥から手前)走査し、閾値Th以上の信頼度を満たすレイヤがない場合は、ステップS4の信頼度の値とする。
<Third Embodiment>
Next, an image generating apparatus according to a third embodiment of the present invention will be described. In the first embodiment and the second embodiment, the reliability value of a plurality of layers is adopted around the layer having the maximum reliability. However, when there are a plurality of reliability peaks, When there is no peak, it is difficult to determine the maximum value. Therefore, in the third embodiment, as shown in FIG. 7, when a point m on the layer is scanned from the front to the back (or vice versa), there is a reliability of one layer or more above the threshold Th. Adopts information of a layer having a threshold value Th (equations (18) and (19)). When the point m on the layer is scanned from the front to the back (or vice versa), if there is no layer that satisfies the reliability equal to or greater than the threshold value Th, the reliability value of step S4 is set.
この処理を全領域に施した後、信頼度マップIprob jの情報を(20)式により再正規化する。 After this processing is applied to the entire area, the information of the reliability map I prob j is renormalized by the equation (20).
<第4の実施形態>
次に、本発明の第4の実施形態による画像生成装置を説明する。第4の実施形態では、映像の各フレームに対して、信頼度を採用するレイヤを決定するのは、計算機負荷が大きいため、被写体の位置が大きく変動した場合のみ、ステップS5の処理を施す。
<Fourth Embodiment>
Next, an image generating apparatus according to a fourth embodiment of the present invention will be described. In the fourth embodiment, the layer that adopts the reliability is determined for each frame of the video because the computer load is large, so that the process of step S5 is performed only when the position of the subject greatly fluctuates.
本実施形態における処理動作を図8に示す。図8において、図2に示す処理動作と同一の部分には同一の符号を付し、その説明を省略する。まず、元画像から被写体の領域を検出する(ステップS7)。被写体の検出方法としては、例えば、背景差分を用いる方法、既知の背景色との色の違いを用いる方法、被写体の形状や色に仮定をおき、一致する領域を探す方法などを適用できる。続いて、被写体の領域から複数の代表的な点を抽出する(ステップS8)。代表的な点の決定方法としては、例えば、複数のエッジが交差する点を用いる方法、色合いが急峻に変化する点を用いる方法、テクスチャが変化する点を用いる方法などを適用できる。そして、元画像の代表的な点を(1)式、(2)式を用いて、最前レイヤ(あるいは最後レイヤ)から順番に手前から奥に(あるいはその逆に奥から手前)に投影した点mf k(k∈P)に対して、信頼度Iprob j(mk)が最大となるレイヤ位置を記憶する。前フレームのレイヤ位置と、信頼度が最大となるレイヤ位置との差がβ以上となったとき、ステップS5c、S5dの処理を施す。βはフレーム間でのレイヤ位置の変化幅を表すパラメータであり、被写体の動き量に応じて決められる値である。ステップS5は、第1、第2、第3の実施形態のうち、適切な処理を選択すればよい。
なお、被写体Aは奥行き方向以外にも移動するため、被写体の領域検出、および、代表点の抽出は繰り返し実施する。被写体の領域、および、代表点が前フレームから変化した場合は、それらの値を記憶し、信頼度を補正する領域を変更する。
The processing operation in this embodiment is shown in FIG. In FIG. 8, the same parts as those in the processing operation shown in FIG. First, a subject area is detected from the original image (step S7). As a subject detection method, for example, a method using a background difference, a method using a difference in color from a known background color, a method of searching for a matching region by assuming an object shape or color, and the like can be applied. Subsequently, a plurality of representative points are extracted from the subject area (step S8). As a representative point determination method, for example, a method using a point where a plurality of edges intersect, a method using a point where the hue changes abruptly, a method using a point where the texture changes can be applied. And the point which projected the typical point of the original image from the front layer to the back in order from the foremost layer (or the last layer) using the formulas (1) and (2) (or vice versa) For m f k (kεP), the layer position where the reliability I prob j (m k ) is maximum is stored. When the difference between the layer position of the previous frame and the layer position where the reliability is maximum is equal to or greater than β, the processes of steps S5c and S5d are performed. β is a parameter representing the change width of the layer position between frames, and is a value determined according to the amount of movement of the subject. In step S5, an appropriate process may be selected from the first, second, and third embodiments.
Since subject A moves in directions other than the depth direction, subject region detection and representative point extraction are repeatedly performed. When the area of the subject and the representative point have changed from the previous frame, those values are stored, and the area for correcting the reliability is changed.
<第5の実施形態>
次に、本発明の第5の実施形態による画像生成装置を説明する。第5の実施形態では、映像の各フレームに対して、信頼度を採用するレイヤを決定するのは、計算機負荷が大きいため、図9に示すように、被写体が存在し奥行きが変動する領域と、静物体のみで奥行きが変動しない領域に分割し、ステップS4において、前者の領域は毎フレーム、後者の領域は初回フレームのみ信頼度を計算する。ステップS5は、第1、第2、第3の実施形態のうち、適切な処理を選択すればよい。
<Fifth Embodiment>
Next, an image generating apparatus according to a fifth embodiment of the present invention will be described. In the fifth embodiment, the layer that adopts the reliability is determined for each frame of the video because the computer load is large. Therefore, as shown in FIG. In step S4, the reliability is calculated for each frame of the former area and only for the first frame of the latter area. In step S5, an appropriate process may be selected from the first, second, and third embodiments.
以上説明したように、被写体Aが3次元空間中の各点に存在する確率を表す信頼度の情報のうち、信頼度の低い、すなわち、奥行きの推定精度の低い情報を補正することによって、生成画像の品質劣化を解決することができる。また、被写体およびシーンごとに必要なレイヤのみを計算することによって、メモリなどの計算機リソースと処理時間を削減することができる。 As described above, it is generated by correcting information with low reliability, that is, with low depth estimation accuracy, among the reliability information indicating the probability that the subject A exists at each point in the three-dimensional space. Image quality degradation can be solved. Also, by calculating only the necessary layers for each subject and scene, computer resources such as memory and processing time can be reduced.
なお、図1における画像処理部2の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより全方位画像生成処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境(あるいは表示環境)を備えたWWWシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。
Note that a program for realizing the function of the
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。 The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, what is called a difference file (difference program) may be sufficient.
互いに重なりあうように方向を変えて撮像した複数の画像から、任意の視点を中心とした全方位画像を生成することが不可欠な用途にも適用できる。 The present invention can also be applied to applications where it is indispensable to generate an omnidirectional image centered on an arbitrary viewpoint from a plurality of images picked up by changing directions so as to overlap each other.
A・・・被写体、1・・・カメラ、2・・・画像処理部、3・・・入力部、4・・・表示部、5・・・カメラ移動部、6・・・カメラ位置制御部、7・・・画像取得部 A ... Subject, 1 ... Camera, 2 ... Image processing unit, 3 ... Input unit, 4 ... Display unit, 5 ... Camera moving unit, 6 ... Camera position control unit , 7 ... Image acquisition unit
Claims (7)
複数の視点位置から被写体を撮像した画像を取得する画像取得ステップと、
前記取得したそれぞれの画像を予め定義した複数のレイヤ面に投影する画像投影ステップと、
前記画像が投影された前記レイヤ面上における前記被写体の色情報または輝度情報を算出する色輝度情報算出ステップと、
前記画像取得ステップによる取得した画像上の被写体の点を前記レイヤ面上に投影した画像の点との類似度を求めることにより、前記レイヤ面上の各点における被写体の存在確率を表す信頼度を算出する信頼度算出ステップと、
前記信頼度に基づき、前記被写体の信頼度が最も高い前記レイヤを中心として複数のレイヤを選択するレイヤ選択ステップと、
前記選択されたレイヤ面上における前記被写体の色情報または輝度情報と信頼度情報に基づき、前記被写体の全方位画像を生成する画像生成ステップと
を有することを特徴とする全方位画像生成方法。 An omnidirectional image generation method for generating an omnidirectional image of a subject from a plurality of images,
An image acquisition step of acquiring an image of a subject from a plurality of viewpoint positions;
An image projecting step of projecting each acquired image onto a plurality of predefined layer surfaces;
A color luminance information calculating step for calculating color information or luminance information of the subject on the layer surface on which the image is projected;
By calculating the similarity between the point of the subject on the image acquired by the image acquisition step and the point of the image projected on the layer surface, the reliability representing the existence probability of the subject at each point on the layer surface is obtained. A reliability calculation step to calculate,
A layer selection step of selecting a plurality of layers around the layer having the highest reliability of the subject based on the reliability;
An omnidirectional image generation method comprising: an image generation step of generating an omnidirectional image of the subject based on color information or luminance information of the subject on the selected layer surface and reliability information.
複数の視点位置から被写体を撮像した画像を取得する画像取得ステップと、
前記取得したそれぞれの画像を予め定義した複数のレイヤ面に投影する画像投影ステップと、
前記画像が投影された前記レイヤ面上における前記被写体の色情報または輝度情報を算出する色輝度情報算出ステップと、
前記画像取得ステップによる取得した画像上の被写体の領域内の代表点を抽出する領域・代表点検出ステップと、
前記画像取得ステップによる取得した画像上の被写体の点を前記レイヤ面上に投影した画像の点との類似度を求めることにより、前記レイヤ面上の各点における被写体の存在確率を表す信頼度を算出する信頼度算出ステップと、 前記信頼度に基づき、前記領域において、前記被写体の信頼度が高い前記レイヤ範囲を選択するレイヤ選択ステップと、
前記選択されたレイヤ面上における前記被写体の色情報または輝度情報と信頼度情報に基づき、前記被写体の全方位画像を生成する画像生成ステップと
を有することを特徴とする全方位画像生成方法。 An omnidirectional image generation method for generating an omnidirectional image of a subject from a plurality of images,
An image acquisition step of acquiring an image of a subject from a plurality of viewpoint positions;
An image projecting step of projecting each acquired image onto a plurality of predefined layer surfaces;
A color luminance information calculating step for calculating color information or luminance information of the subject on the layer surface on which the image is projected;
A region / representative point detecting step for extracting a representative point in the region of the subject on the image obtained by the image obtaining step;
By calculating the similarity between the point of the subject on the image acquired by the image acquisition step and the point of the image projected on the layer surface, the reliability representing the existence probability of the subject at each point on the layer surface is obtained. A reliability calculation step for calculating, and a layer selection step for selecting the layer range in which the reliability of the subject is high in the region based on the reliability,
An omnidirectional image generation method comprising: an image generation step of generating an omnidirectional image of the subject based on color information or luminance information of the subject on the selected layer surface and reliability information.
複数の視点位置から被写体を撮像した画像を取得する画像取得ステップと、
前記取得したそれぞれの画像を予め定義した複数のレイヤ面に投影する画像投影ステップと、
前記画像が投影された前記レイヤ面上における前記被写体の色情報または輝度情報を算出する色輝度情報算出ステップと、
前記画像取得ステップによる取得した画像上の被写体の点を前記レイヤ面上に投影した画像の点との類似度を求めることにより、前記レイヤ面上の各点における被写体の存在確率を表す信頼度を算出する信頼度算出ステップと、
前記信頼度に基づき、前記被写体の信頼度が所定値以上である前記レイヤを選択するレイヤ選択ステップと、
前記選択されたレイヤ面上における前記被写体の色情報または輝度情報と信頼度情報に基づき、前記被写体の全方位画像を生成する画像生成ステップとを有し、
前記レイヤ選択ステップは、前記被写体の信頼度が所定値を満たさない場合は、前記信頼度算出ステップの信頼度とすることを 特徴とする全方位画像生成方法。 An omnidirectional image generation method for generating an omnidirectional image of a subject from a plurality of images,
An image acquisition step of acquiring an image of a subject from a plurality of viewpoint positions;
An image projecting step of projecting each acquired image onto a plurality of predefined layer surfaces;
A color luminance information calculating step for calculating color information or luminance information of the subject on the layer surface on which the image is projected;
By calculating the similarity between the point of the subject on the image acquired by the image acquisition step and the point of the image projected on the layer surface, the reliability representing the existence probability of the subject at each point on the layer surface is obtained. A reliability calculation step to calculate,
A layer selection step of selecting the layer based on the reliability, the reliability of the subject being a predetermined value or more;
An image generation step of generating an omnidirectional image of the subject based on color information or luminance information and reliability information of the subject on the selected layer surface;
The omnidirectional image generation method, wherein the layer selection step uses the reliability of the reliability calculation step when the reliability of the subject does not satisfy a predetermined value.
複数の視点位置から被写体を撮像した画像を取得する画像取得ステップと、
前記取得したそれぞれの画像を予め定義した複数のレイヤ面に投影する画像投影ステップと、
前記画像が投影された前記レイヤ面上における前記被写体の色情報または輝度情報を算出する色輝度情報算出ステップと、
前記画像取得ステップによる取得した画像上の被写体の領域内の代表点を抽出する領域・代表点検出ステップと、
前記画像取得ステップによる取得した画像上の被写体の点を前記レイヤ面上に投影した画像の点との類似度を求めることにより、前記レイヤ面上の各点における被写体の存在確率を表す信頼度を算出する信頼度算出ステップと、
前記代表点の信頼度に基づき、前記被写体の信頼度が最も高い前記レイヤが変化した場合のみに、前記信頼度に基づき複数のレイヤを選択するレイヤ選択ステップと、
前記選択されたレイヤ面上における前記被写体の色情報または輝度情報と信頼度情報に基づき、前記被写体の全方位画像を生成する画像生成ステップと
を有することを特徴とする全方位画像生成方法。 An omnidirectional image generation method for generating an omnidirectional image of a subject from a plurality of images,
An image acquisition step of acquiring an image of a subject from a plurality of viewpoint positions;
An image projecting step of projecting each acquired image onto a plurality of predefined layer surfaces;
A color luminance information calculating step for calculating color information or luminance information of the subject on the layer surface on which the image is projected;
A region / representative point detecting step for extracting a representative point in the region of the subject on the image obtained by the image obtaining step;
By calculating the similarity between the point of the subject on the image acquired by the image acquisition step and the point of the image projected on the layer surface, the reliability representing the existence probability of the subject at each point on the layer surface is obtained. A reliability calculation step to calculate,
A layer selection step of selecting a plurality of layers based on the reliability only when the layer having the highest reliability of the subject changes based on the reliability of the representative point;
An omnidirectional image generation method comprising: an image generation step of generating an omnidirectional image of the subject based on color information or luminance information of the subject on the selected layer surface and reliability information.
複数の視点位置から被写体を撮像した画像を取得する画像取得ステップと、
前記取得したそれぞれの画像を予め定義した複数のレイヤ面に投影する画像投影ステップと、
前記画像が投影された前記レイヤ面上における前記被写体の色情報または輝度情報を算出する色輝度情報算出ステップと、
前記被写体の位置が変化する領域において、前記画像取得ステップによる取得した画像上の被写体の点を前記レイヤ面上に投影した画像の点との類似度を求めることにより、前記レイヤ面上の各点における被写体の信頼度を表す信頼度を算出する信頼度算出ステップと、
前記信頼度に基づき、前記信頼度に基づき複数のレイヤを選択するレイヤ選択ステップと、
前記選択されたレイヤ面上における前記被写体の色情報または輝度情報と信頼度情報に基づき、前記被写体の全方位画像を生成する画像生成ステップとを有し、
前記信頼度算出ステップは、前記被写体の位置が変化しない領域には、取得した画像の各フレームの信頼度は初期フレームで算出した信頼度とすることを特徴とする全方位画像生成方法。 An omnidirectional image generation method for generating an omnidirectional image of a subject from a plurality of images,
An image acquisition step of acquiring an image of a subject from a plurality of viewpoint positions;
An image projecting step of projecting each acquired image onto a plurality of predefined layer surfaces;
A color luminance information calculating step for calculating color information or luminance information of the subject on the layer surface on which the image is projected;
In the region where the position of the subject changes, each point on the layer surface is obtained by obtaining a similarity to the point of the image on the layer surface obtained by projecting the point of the subject on the image acquired by the image acquisition step. A reliability calculating step for calculating a reliability representing the reliability of the subject in
A layer selection step of selecting a plurality of layers based on the reliability based on the reliability;
An image generation step of generating an omnidirectional image of the subject based on color information or luminance information and reliability information of the subject on the selected layer surface;
The omnidirectional image generation method characterized in that the reliability calculation step sets the reliability of each frame of the acquired image to the reliability calculated in the initial frame in an area where the position of the subject does not change.
複数の視点位置から被写体を撮像した画像を取得する画像取得手段と、
前記取得したそれぞれの画像を予め定義した複数のレイヤ面に投影する画像投影手段と、
前記画像が投影された前記レイヤ面上における前記被写体の色情報または輝度情報を算出する色輝度情報算出手段と、
前記画像取得手段による取得した画像上の被写体の点を前記レイヤ面上に投影した画像の点との類似度を求めることにより、前記レイヤ面上の各点における被写体の存在確率を表す信頼度を算出する信頼度算出手段と、
前記信頼度に基づき、前記被写体の信頼度が最も高い前記レイヤを中心として複数のレイヤを選択するレイヤ選択手段と、
前記選択されたレイヤ面上における前記被写体の色情報または輝度情報と信頼度情報に基づき、前記被写体の全方位画像を生成する画像生成手段と
を備えることを特徴とする画像生成装置。 An image generation device that generates an omnidirectional image of a subject from a plurality of images,
Image acquisition means for acquiring an image of a subject from a plurality of viewpoint positions;
Image projecting means for projecting each acquired image onto a plurality of predefined layer surfaces;
Color luminance information calculating means for calculating color information or luminance information of the subject on the layer surface on which the image is projected;
By calculating the similarity between the point of the subject on the image acquired by the image acquisition means and the point of the image projected on the layer surface, the reliability representing the existence probability of the subject at each point on the layer surface is obtained. A reliability calculation means for calculating;
Based on the reliability, a layer selection means for selecting a plurality of layers around the layer having the highest reliability of the subject;
An image generation apparatus comprising: an image generation unit configured to generate an omnidirectional image of the subject based on color information or luminance information of the subject on the selected layer surface and reliability information.
複数の視点位置から被写体を撮像した画像を取得する画像取得ステップと、
前記取得したそれぞれの画像を予め定義した複数のレイヤ面に投影する画像投影ステップと、
前記画像が投影された前記レイヤ面上における前記被写体の色情報または輝度情報を算出する色輝度情報算出ステップと、
前記画像取得ステップによる取得した画像上の被写体の点を前記レイヤ面上に投影した画像の点との類似度を求めることにより、前記レイヤ面上の各点における被写体の存在確率を表す信頼度を算出する信頼度算出ステップと、
前記信頼度に基づき、前記被写体の存在確率が最も高い前記レイヤを中心として複数のレイヤを選択するレイヤ選択ステップと、
前記選択されたレイヤ面上における前記被写体の色情報または輝度情報と信頼度情報に基づき、前記被写体の全方位画像を生成する画像生成ステップと
を前記コンピュータに行わせることを特徴とする全方位画像生成プログラム。 An omnidirectional image generation program for causing a computer on an image generation device that generates an omnidirectional image of a subject from a plurality of images to generate an omnidirectional image,
An image acquisition step of acquiring an image of a subject from a plurality of viewpoint positions;
An image projecting step of projecting each acquired image onto a plurality of predefined layer surfaces;
A color luminance information calculating step for calculating color information or luminance information of the subject on the layer surface on which the image is projected;
By calculating the similarity between the point of the subject on the image acquired by the image acquisition step and the point of the image projected on the layer surface, the reliability representing the existence probability of the subject at each point on the layer surface is obtained. A reliability calculation step to calculate,
A layer selection step of selecting a plurality of layers around the layer having the highest probability of existence of the subject based on the reliability;
An omnidirectional image that causes the computer to perform an image generation step of generating an omnidirectional image of the subject based on color information or luminance information and reliability information of the subject on the selected layer surface. Generation program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011033402A JP5478533B2 (en) | 2011-02-18 | 2011-02-18 | Omnidirectional image generation method, image generation apparatus, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011033402A JP5478533B2 (en) | 2011-02-18 | 2011-02-18 | Omnidirectional image generation method, image generation apparatus, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012173858A true JP2012173858A (en) | 2012-09-10 |
JP5478533B2 JP5478533B2 (en) | 2014-04-23 |
Family
ID=46976735
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011033402A Expired - Fee Related JP5478533B2 (en) | 2011-02-18 | 2011-02-18 | Omnidirectional image generation method, image generation apparatus, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5478533B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101929042B1 (en) | 2012-10-30 | 2018-12-14 | 엘지디스플레이 주식회사 | Disparity calculation unit and stereoscopic image display device including the same and disparity calculation method |
WO2019164179A1 (en) * | 2018-02-21 | 2019-08-29 | 삼성전자 주식회사 | Information displaying method and electronic device therefor |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3470880B1 (en) * | 2016-06-08 | 2020-08-19 | Panasonic Semiconductor Solutions Co., Ltd. | Distance-measuring system and distance-measuring method |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004114224A1 (en) * | 2003-06-20 | 2004-12-29 | Nippon Telegraph And Telephone Corporation | Virtual visual point image generating method and 3-d image display method and device |
JP2009116532A (en) * | 2007-11-05 | 2009-05-28 | Nippon Telegr & Teleph Corp <Ntt> | Method and apparatus for generating virtual viewpoint image |
JP2009193221A (en) * | 2008-02-13 | 2009-08-27 | Nippon Telegr & Teleph Corp <Ntt> | Omnidirectional image generation method, program and recording medium |
-
2011
- 2011-02-18 JP JP2011033402A patent/JP5478533B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004114224A1 (en) * | 2003-06-20 | 2004-12-29 | Nippon Telegraph And Telephone Corporation | Virtual visual point image generating method and 3-d image display method and device |
JP2009116532A (en) * | 2007-11-05 | 2009-05-28 | Nippon Telegr & Teleph Corp <Ntt> | Method and apparatus for generating virtual viewpoint image |
JP2009193221A (en) * | 2008-02-13 | 2009-08-27 | Nippon Telegr & Teleph Corp <Ntt> | Omnidirectional image generation method, program and recording medium |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101929042B1 (en) | 2012-10-30 | 2018-12-14 | 엘지디스플레이 주식회사 | Disparity calculation unit and stereoscopic image display device including the same and disparity calculation method |
WO2019164179A1 (en) * | 2018-02-21 | 2019-08-29 | 삼성전자 주식회사 | Information displaying method and electronic device therefor |
US11205404B2 (en) | 2018-02-21 | 2021-12-21 | Samsung Electronics Co., Ltd. | Information displaying method and electronic device therefor |
Also Published As
Publication number | Publication date |
---|---|
JP5478533B2 (en) | 2014-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2019205852A1 (en) | Method and apparatus for determining pose of image capture device, and storage medium therefor | |
JP5847924B2 (en) | 2D image capture for augmented reality representation | |
WO2018112788A1 (en) | Image processing method and device | |
US20130010073A1 (en) | System and method for generating a depth map and fusing images from a camera array | |
EP2328125A1 (en) | Image splicing method and device | |
WO2016074620A1 (en) | Parallax tolerant video stitching with spatial-temporal localized warping and seam finding | |
WO2013054499A1 (en) | Image processing device, imaging device, and image processing method | |
WO2021017589A1 (en) | Image fusion method based on gradient domain mapping | |
JP2014010495A (en) | Image processing device and imaging device provided with the same, image processing method and image processing program | |
DK3189493T3 (en) | PERSPECTIVE CORRECTION OF DIGITAL PHOTOS USING DEPTH MAP | |
JP7312026B2 (en) | Image processing device, image processing method and program | |
JP5478533B2 (en) | Omnidirectional image generation method, image generation apparatus, and program | |
JP6730695B2 (en) | A method for reconstructing 3D multi-view by feature tracking and model registration. | |
JP5820716B2 (en) | Image processing apparatus, image processing method, computer program, recording medium, and stereoscopic image display apparatus | |
US11758101B2 (en) | Restoration of the FOV of images for stereoscopic rendering | |
JP6320165B2 (en) | Image processing apparatus, control method therefor, and program | |
KR102146839B1 (en) | System and method for building real-time virtual reality | |
JP6103942B2 (en) | Image data processing apparatus and image data processing program | |
WO2017109997A1 (en) | Image processing device, image processing method, and program | |
JP2009042900A (en) | Imaging device and image selection device | |
JP6071142B2 (en) | Image converter | |
KR102697687B1 (en) | Method of merging images and data processing device performing the same | |
JP6525693B2 (en) | Image processing apparatus and image processing method | |
JP6089549B2 (en) | Information processing apparatus, information processing system, and program | |
JP2016163130A (en) | Camera parameter estimation device and camera parameter estimation program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130122 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20130605 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20130726 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131126 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140117 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140204 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140210 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5478533 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |