JP4403421B2 - Image processing apparatus and image processing method - Google Patents

Image processing apparatus and image processing method Download PDF

Info

Publication number
JP4403421B2
JP4403421B2 JP2006222796A JP2006222796A JP4403421B2 JP 4403421 B2 JP4403421 B2 JP 4403421B2 JP 2006222796 A JP2006222796 A JP 2006222796A JP 2006222796 A JP2006222796 A JP 2006222796A JP 4403421 B2 JP4403421 B2 JP 4403421B2
Authority
JP
Japan
Prior art keywords
image
dimensional
mapping
omnidirectional
planar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006222796A
Other languages
Japanese (ja)
Other versions
JP2006309802A (en
Inventor
フランク ニールセン
宏輔 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006222796A priority Critical patent/JP4403421B2/en
Publication of JP2006309802A publication Critical patent/JP2006309802A/en
Application granted granted Critical
Publication of JP4403421B2 publication Critical patent/JP4403421B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Generation (AREA)

Description

本発明は、カメラにより撮影された映像データに対して圧縮、蓄積、再生などの処理を行なう画像処理装置及び画像処理方法に係り、特に、複数のカメラにより撮影された映像データを貼り合せて構成される画像に対して圧縮、蓄積、再生などの処理を行なう画像処理装置及び画像処理方法に関する。   The present invention relates to an image processing apparatus and an image processing method for performing processing such as compression, storage, and reproduction on video data photographed by a camera, and in particular, is configured by pasting video data photographed by a plurality of cameras. The present invention relates to an image processing apparatus and an image processing method for performing processing such as compression, accumulation, and reproduction on an image to be processed.

さらに詳しくは、本発明は、複数のカメラにより撮影された映像データを貼り合せて非平面状に構成される画像に対して圧縮、蓄積、再生などの処理を行なう画像処理装置及び画像処理方法に係り、特に、空間中のある１つの点が視点として周囲の画像を撮影するように複数台のカメラが設置して構成される全方位カメラ又は全天球型カメラによる円筒状又は球面状の画像の処理を行なう画像処理装置及び画像処理方法に関する。   More specifically, the present invention relates to an image processing apparatus and an image processing method for performing processing such as compression, storage, and reproduction on an image configured to be non-planar by combining video data captured by a plurality of cameras. In particular, a cylindrical or spherical image by an omnidirectional camera or an omnidirectional camera configured by installing a plurality of cameras so that a certain point in space captures a surrounding image as a viewpoint. The present invention relates to an image processing apparatus and an image processing method.

ユーザの周囲の風景画像を提供する装置として全方位カメラが知られている。この種の全方位映像システムは、例えば、空間中のある１つの点が視点として周囲の画像を撮影するように複数台のカメラが設置して構成される。複数のカメラからなる全方位映像システムは、隣り合うカメラの撮像画像の境界同士をうまく接続することによって、個々のカメラの視野よりもはるかに広い領域の画像を、あたかも単一の広角度カメラで撮像したかのような画像を生成する画像処理を行う。   An omnidirectional camera is known as an apparatus that provides a landscape image around a user. This type of omnidirectional video system is configured, for example, by installing a plurality of cameras such that a certain point in space takes a surrounding image as a viewpoint. An omnidirectional video system consisting of multiple cameras connects the boundaries of images captured by adjacent cameras, so that an image that is much wider than the field of view of each camera can be viewed as if it were a single wide-angle camera. Image processing for generating an image as if it was captured is performed.

視野角の広いレンズを用いればカメラは広範囲を撮像することができるが、その分だけ解像度が低下して細部が見えづらくなる。これに対し、全方位映像システムによれば、広範囲の撮像画像を高解像度のまま提供することができる。   If a lens with a wide viewing angle is used, the camera can capture a wide range, but the resolution is reduced by that amount, making it difficult to see details. On the other hand, according to the omnidirectional video system, a wide range of captured images can be provided with high resolution.

このような全方位型の映像を用いることにより、視点自由形の映像を視聴することができる。例えば、キャラクタ（登場人物）が空間を自由に動き回るようなテレビ・ゲームにおいて、任意の視点からの背景画面を表示させることができるので、より現実的な映像を介してゲームを楽しむことができ、エンターティンメント性が高まる。   By using such an omnidirectional video, a free viewpoint video can be viewed. For example, in a TV game where characters (characters) move freely in the space, a background screen from an arbitrary viewpoint can be displayed, so that the game can be enjoyed through more realistic images, Increases entertainment.

また、全方位映像は、通常の映像に比し大容量であるが、インタラクティブ性に優れていることから、ブロードバンド・ネットワーク時代の新しいコンテンツとして有望である。   In addition, omnidirectional video has a larger capacity than normal video, but it is promising as a new content in the era of broadband networks because of its excellent interactivity.

全方位映像システムに関しては既に幾つかの提案がなされている。例えば、ユーザの指定に応じて視点、視線方向を連続的に変化させたパノラマ映像を表示することができるパノラマ映像編集装置について開示されている（例えば、特許文献１を参照のこと）。このパノラマ映像編集装置は、空間内を任意の軌跡を描いて移動する点を視点としてその周囲を撮影した画像の画像データを基に各視点毎のパノラマ画像を合成して、各パノラマ画像に連続した視点位置情報を設定する。再生時には、表示画像の視点位置や視線方向の情報と、ユーザが入力する視点と視線の移動方向の情報から、表示画像の空間内における位置を計算して、表示画像を合成するようになっている。   Several proposals have already been made for omnidirectional video systems. For example, a panoramic video editing apparatus capable of displaying a panoramic video in which the viewpoint and the line-of-sight direction are continuously changed according to a user's designation is disclosed (for example, see Patent Document 1). This panoramic video editing device synthesizes panoramic images for each viewpoint based on image data of an image taken around a point that moves in a space along an arbitrary trajectory, and continues to each panoramic image. Set the viewpoint position information. At the time of playback, the position of the display image in the space is calculated from the information on the viewpoint position and line-of-sight direction of the display image and the information on the viewpoint and line-of-sight movement direction input by the user, and the display image is synthesized. Yes.

しかしながら、従来、表示装置としてテレビなどの高画質なものや任意視点映像の合成に関してリアルタイム性が要求されるような状況を特に想定していなかった。また、画像の表示・再生側の性能や条件を考慮して全方位映像を蓄積する方法に関しては何ら言及されていない。また、内側から任意視点方向を見るだけでなく、外側からの利用を考慮した画像蓄積方法に関して考慮されていない。   However, conventionally, there has not been particularly assumed a situation in which real-time performance is required for the synthesis of a high-quality display device such as a television or an arbitrary viewpoint video as a display device. In addition, there is no mention of a method for accumulating omnidirectional video in consideration of performance and conditions on the image display / reproduction side. Further, not only an arbitrary viewpoint direction is viewed from the inside, but also an image storage method considering use from the outside is not considered.

特開平９−６２８６１号公報Japanese Patent Laid-Open No. 9-62861

本発明の目的は、複数のカメラにより撮影された映像データを貼り合せて非平面状に構成される画像に対して圧縮、蓄積、再生などの処理を好適に行なうことができる、優れた画像処理装置及び画像処理方法を提供することにある。   An object of the present invention is to provide excellent image processing capable of suitably performing processing such as compression, accumulation, and reproduction on an image configured in a non-planar shape by pasting video data photographed by a plurality of cameras. An apparatus and an image processing method are provided.

本発明のさらなる目的は、空間中のある１つの点が視点として周囲の画像を撮影するように複数台のカメラが設置して構成される全方位カメラ又は全天球型カメラによる円筒状又は球面状の画像の処理を好適に行なうことがで切る、優れた画像処理装置及び画像処理方法を提供することにある。   A further object of the present invention is to provide a cylindrical or spherical surface by an omnidirectional camera or an omnidirectional camera configured by installing a plurality of cameras so that a certain point in space captures a surrounding image as a viewpoint. It is an object to provide an excellent image processing apparatus and an image processing method that can cut off an image in a suitable shape.

本発明のさらなる目的は、全方位映像のような非平面画像を、表示・再生側の性能を考慮して蓄積処理することができる、優れた画像処理装置及び画像処理方法を提供することにある。   A further object of the present invention is to provide an excellent image processing apparatus and image processing method capable of accumulating non-planar images such as omnidirectional images in consideration of the performance on the display / playback side. .

本発明は、上記課題を参酌してなされたものであり、その第１の側面は、３次元座標系で表される非平面画像を処理する画像処理装置又は画像処理方法であって、
３次元座標系で表される非平面画像を２次元平面にマッピングする２次元平面画像マッピング手段又はステップと、
元の非平面画像を表す３次元座標系とマッピングされた２次元画像座標系との対応関係を記述したマッピング情報を生成するマッピング情報生成手段又はステップと、
を具備することを特徴とする非平面画像の画像処理装置又は画像処理方法である。 The present invention has been made in consideration of the above problems, and a first aspect thereof is an image processing apparatus or an image processing method for processing a non-planar image represented by a three-dimensional coordinate system,
A two-dimensional planar image mapping means or step for mapping a non-planar image represented by a three-dimensional coordinate system to a two-dimensional plane;
Mapping information generating means or step for generating mapping information describing a correspondence relationship between the three-dimensional coordinate system representing the original non-planar image and the mapped two-dimensional image coordinate system;
A non-planar image processing apparatus or image processing method.

ここで、３次元座標系で表される非平面画像とは、例えば球面状の全方位画像のことである。このような場合、前記２次元平面画像マッピング手段は、全方位の画素情報を少ない誤差で、情報量をなるべく等しく保ちつつ、冗長性が低い２次元画像に変換することが好ましい。また、全方位映像を読み込むシステム側の性能を考慮した形式で２次元画像に変換することが好ましい。   Here, the non-planar image represented by the three-dimensional coordinate system is, for example, a spherical omnidirectional image. In such a case, the two-dimensional planar image mapping means preferably converts the omnidirectional pixel information into a two-dimensional image with low redundancy while keeping the information amount as equal as possible with a small error. Moreover, it is preferable to convert it into a two-dimensional image in a format that takes into consideration the performance on the system side for reading omnidirectional video.

また、２次元画像マッピング情報は、元の全方位画像の３次元座標系（Θ，Φ，ｒ）と、マッピングされた２次元画像座標系（ＴＸ，ＴＹ）との対応関係を記述した情報のことであり、任意の視点方向からの全方位映像を合成する際に必要となる。２次元画像マッピング情報は、全方位映像を外側から見るときに、任意の形状で再生するために必要な情報である。   The two-dimensional image mapping information is information describing the correspondence between the original three-dimensional coordinate system (Θ, Φ, r) of the omnidirectional image and the mapped two-dimensional image coordinate system (TX, TY). This is necessary when composing an omnidirectional video from an arbitrary viewpoint direction. The two-dimensional image mapping information is information necessary for reproducing an omnidirectional video in an arbitrary shape when viewed from the outside.

前記２次元平面画像マッピング手段又はステップは、２次元平面の横方向に球面の水平方向の角度を、縦方向に球面の垂直方法の角度を、それぞれ等間隔で割り当てるようにしてもよい。この場合、前記マッピング情報生成手段は、２次元平面画像の各行及び列に割り当てた球面上の水平方向及び垂直方向の角度で記述されたマッピング情報を生成するようにしてもよい。   The two-dimensional planar image mapping means or step may assign the horizontal angle of the spherical surface in the horizontal direction of the two-dimensional plane and the angle of the vertical method of the spherical surface in the vertical direction at equal intervals. In this case, the mapping information generating means may generate mapping information described by horizontal and vertical angles on the spherical surface assigned to each row and column of the two-dimensional planar image.

このようなマッピング方法による場合、空間的又は時間的相関が高く、また、球面から２次元平面への変換式すなわち２次元マッピング情報が簡単であるという利点がある。また、マッピングされた２次元平面画像から元の全方位画像の全体像を人間が把握し易い。但し、マッピングされた２次元平面の上下部（地図で言えば極部）では歪みが大きくなり（密度が赤道付近に比べて低くなり）、すべての方向について各画素に含まれる情報が等しく保つことはできない。   According to such a mapping method, there is an advantage that a spatial or temporal correlation is high, and a conversion formula from a spherical surface to a two-dimensional plane, that is, two-dimensional mapping information is simple. Further, it is easy for a human to grasp the whole image of the original omnidirectional image from the mapped two-dimensional planar image. However, the distortion at the top and bottom of the mapped two-dimensional plane (the extreme part in the map) is greater (the density is lower than that near the equator), and the information contained in each pixel is kept equal in all directions. I can't.

あるいは、前記２次元平面画像マッピング手段は、球面の水平方向及び／又は垂直方向の角度を、２次元平面の横方向及び／又は縦方向に任意の間隔で割り当てるようにしてもよい。例えば、横方向及び縦方向がある角度範囲で区切られた領域の密度すなわち情報量を高めるなどの柔軟性を持たせることができる。このときの２次元画像マッピング情報は、各行と列に割り当てた角度となる。   Alternatively, the two-dimensional planar image mapping means may assign the angle of the spherical surface in the horizontal direction and / or the vertical direction at arbitrary intervals in the horizontal direction and / or the vertical direction of the two-dimensional plane. For example, it is possible to provide flexibility such as increasing the density of a region divided by a certain angle range in the horizontal direction and the vertical direction, that is, the amount of information. The two-dimensional image mapping information at this time is an angle assigned to each row and column.

また、３次元座標系で表される非平面画像は球面状の全方位画像であるとき、前記２次元平面画像マッピング手段又はステップは、面積比率が正しくなるように球面を円筒に投影して、該円筒を平面に展開して２次元平面画像にマッピングするようにしてもよい。   When the non-planar image represented by the three-dimensional coordinate system is a spherical omnidirectional image, the two-dimensional planar image mapping means or step projects the spherical surface onto the cylinder so that the area ratio is correct, The cylinder may be developed on a plane and mapped to a two-dimensional plane image.

このようなマッピング方法によれば、正積ゆえ各画素に含まれる情報量が等しくなる、空間的又は時間的相関関係が高い、球面から２次元平面への変換式すなわち２次元画像マッピング情報が簡単であるという利点がある。   According to such a mapping method, the amount of information included in each pixel is equal because of the positive product, the spatial or temporal correlation is high, and the conversion formula from a spherical surface to a two-dimensional plane, that is, two-dimensional image mapping information is simple. There is an advantage of being.

また、前記２次元平面画像マッピング手段又はステップは、３次元座標系で表される非平面画像をすべての方向について各画素に含まれる情報量が等しく保たれるように２次元平面画像にマッピングするようにしてもよい。   The two-dimensional planar image mapping means or step maps the non-planar image represented by the three-dimensional coordinate system to the two-dimensional planar image so that the amount of information included in each pixel is kept equal in all directions. You may do it.

例えば、３次元座標系で表される非平面画像が球面状の全方位画像である場合に、前記２次元平面画像マッピング手段は、球のｚ軸を等間隔に平行な平面で切ったときに隣接する平面で挟まれる球面上の面積は一定となるという定理を利用して、３次元極座標系でＺ軸方向に等間隔な範囲で区切られる球面上の領域を、２次元直交座標系で等間隔な範囲で区切られる帯状の平面領域にランダムにマッピングするようにすることで、球面から均一に画素をサンプリングすることができるということを挙げることができる。   For example, when the non-planar image represented by the three-dimensional coordinate system is a spherical omnidirectional image, the two-dimensional planar image mapping means is configured to cut the z-axis of the sphere with a plane parallel to the same interval. Using the theorem that the area on the spherical surface sandwiched between adjacent planes is constant, the area on the spherical surface that is partitioned in the Z-axis direction at equal intervals in the three-dimensional polar coordinate system is equal in the two-dimensional orthogonal coordinate system, etc. It can be mentioned that pixels can be uniformly sampled from the spherical surface by randomly mapping the band-like plane region divided by the interval.

但し、このようなマッピング方法では、計算処理が多少かかる、２次元平面へのマッピング画像からは元の全方位画像の全体像を把握しにくいなどの欠点を伴う。また、２次元画像マッピング情報は画素単位で記述されるので、全方位映像の表示・再生を領域毎に行なう方式では使えない。また、ランダムな場所の画素にマッピングされているので、２次元画像から全方位映像の表示・再生する際に、点（Θ，Φ）の画素値を補間するためには、隣接画素を効率的に探索しなければならない。   However, such a mapping method involves some drawbacks such as a little calculation processing and difficulty in grasping the entire image of the original omnidirectional image from the mapping image on the two-dimensional plane. Also, since the two-dimensional image mapping information is described in units of pixels, it cannot be used in a method in which omnidirectional video is displayed / reproduced for each area. In addition, since it is mapped to pixels at random locations, when interpolating the pixel value of the point (Θ, Φ) when displaying and reproducing an omnidirectional video from a two-dimensional image, adjacent pixels are efficiently used. Have to explore.

また、前記２次元平面画像マッピング手段又はステップは、１行がｗ画素からなる２次元平面画像のｉ行ｊ列目に、Ｈａｍｍｅｒｓｌｅｙ Ｓｅｑｕｅｎｃｅを用いてｉｗ＋ｊ番目に全方位画像から抽出した点をマッピングすることによって、３次元座標系で表される非平面画像をすべての方向について各画素に含まれる情報量がより等しく保たれるように２次元平面画像にマッピングするようにすることができる。   Further, the two-dimensional planar image mapping means or step maps the iw + j-th extracted point from the omnidirectional image to the i-th row and j-th column of the two-dimensional planar image in which the first row is composed of w pixels by using Hammersley Sequence. Thus, a non-planar image represented by a three-dimensional coordinate system can be mapped to a two-dimensional planar image so that the amount of information included in each pixel is kept equal in all directions.

但し、このようなマッピング方法では、計算処理が多少かかる、２次元平面へのマッピング画像からは元の全方位画像の全体像を把握しにくいなどの欠点を伴う。また、２次元画像マッピング情報は画素単位で記述されるので、全方位映像の表示・再生を領域毎に行なう方式では使えない。また、隣接画素は必ずしも隣接してマッピングされないので、２次元画像から全方位映像の表示・再生する際に、点（Θ，Φ）の画素値を補間するためには、隣接画素を効率的に探索しなければならない。   However, such a mapping method involves some drawbacks such as a little calculation processing and difficulty in grasping the entire image of the original omnidirectional image from the mapping image on the two-dimensional plane. Also, since the two-dimensional image mapping information is described in units of pixels, it cannot be used in a method in which omnidirectional video is displayed / reproduced for each area. In addition, since adjacent pixels are not necessarily mapped adjacently, in order to interpolate the pixel value of the point (Θ, Φ) when displaying and reproducing an omnidirectional video from a two-dimensional image, the adjacent pixels are efficiently used. Have to explore.

また、３次元座標系で表される非平面画像が円筒状の全方位画像である場合には、前記２次元平面画像マッピング手段又はステップは、該円筒を縦に切って長方形に展開し、さらに該長方形画像を等分割して分割された各断片を上から順に配置して、規定のフォーマット・サイズに適合させるようにしてもよい。   When the non-planar image represented by the three-dimensional coordinate system is a cylindrical omnidirectional image, the two-dimensional planar image mapping means or step cuts the cylinder vertically and develops it into a rectangle. The rectangular image may be equally divided, and the divided pieces may be arranged in order from the top so as to conform to a prescribed format / size.

また、本発明の第１の側面に係る非平面画像の画像処理装置又は画像処理方法は、マッピングされた２次元平面画像情報を所定の圧縮フォーマットで圧縮する画像圧縮手段又はステップをさらに備えていてもよい。   The non-planar image processing apparatus or image processing method according to the first aspect of the present invention further includes image compression means or a step for compressing the mapped two-dimensional planar image information in a predetermined compression format. Also good.

動画に対しては、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６３、Ｈ．２６１、ＡＶＩ、Ｍｏｔｉｏｎ ＪＰＥＧなど、また、静止画に対しては、ＪＰＥＧ、ＧＩＦ、ＰＮＧ、ＢＭＰ、ＴＩＦＦなどの圧縮フォーマットを採用することができる。   For moving images, MPEG-1, MPEG-2, MPEG-4, H.264. 263, H.M. In addition, compression formats such as JPEG, GIF, PNG, BMP, and TIFF can be employed for still images, such as H.261, AVI, and Motion JPEG.

例えば、面積比率が正しくなるように球面状の全方位映像を円筒に投影して、該円筒を平面に展開して２次元平面画像にマッピングする場合には、２次元平面画像情報に画素がマッピングされていない未使用領域ができてしまう。このような未使用領域に対して同じ画素値を割り当てることにより、空間的、時間的な相関関係が高まるので、圧縮率を高めることができる。   For example, when a spherical omnidirectional image is projected onto a cylinder so that the area ratio is correct, and the cylinder is developed on a plane and mapped to a two-dimensional plane image, the pixels are mapped to the two-dimensional plane image information. An unused area is created. By assigning the same pixel value to such unused areas, the spatial and temporal correlation is increased, so that the compression rate can be increased.

既に述べたように、マッピング情報は、任意の視点方向から全方位映像を合成するために必要なデータである。そこで、本発明の第１の側面に係る非平面画像の画像処理装置又は画像処理方法は、前記２次元平面画像マッピング手段又はステップによりマッピングされた２次元平面画像あるいは圧縮画像と、前記マッピング情報生成手段又はステップにより生成されたマッピング情報とを１組としたデータ・フォーマットに変換するデータ・フォーマット変換手段又はステップをさらに備えていてもよい。   As described above, the mapping information is data necessary to synthesize an omnidirectional video from an arbitrary viewpoint direction. Therefore, an image processing apparatus or image processing method for a non-planar image according to the first aspect of the present invention includes a two-dimensional planar image or a compressed image mapped by the two-dimensional planar image mapping means or step, and the mapping information generation. Data format conversion means or steps for converting the mapping information generated by the means or steps into a set of data formats may be further provided.

また、このデータ・フォーマット変換手段又はステップは、映像情報と同期がとれるような形式で音声情報をインターリーブして挿入するようにしてもよい。   The data format conversion means or step may interleave and insert the audio information in a format that can be synchronized with the video information.

また、データ・フォーマット変換手段又はステップは、前記２次元平面画像マッピング手段又はステップが採用するマッピング方法が切り換わる度に、フレームの先頭にマッピング情報を挿入するようにしてもよい。   The data format conversion means or step may insert mapping information at the head of the frame each time the mapping method employed by the two-dimensional planar image mapping means or step is switched.

また、本発明の第２の側面は、２次元平面画像にマッピングされた３次元座標系の非平面画像を映像表示する画像処理装置又は画像処理方法であって、
視点方向及び／又はズーム値を指定する指示手段又はステップと、
２次元平面画像にマッピングしたときのマッピング情報を用いて該指定された視点方向及び／又はズーム値に従った任意視点方向の３次元形状映像を生成する映像生成手段又はステップと、
を具備することを特徴とする非平面画像の画像処理装置又は画像処理方法である。 The second aspect of the present invention is an image processing apparatus or image processing method for displaying a non-planar image of a three-dimensional coordinate system mapped to a two-dimensional planar image.
Instruction means or step for designating the viewing direction and / or zoom value;
Image generation means or step for generating a 3D shape image in an arbitrary viewpoint direction according to the designated viewpoint direction and / or zoom value using mapping information when mapping to a two-dimensional planar image;
A non-planar image processing apparatus or image processing method.

ここで、前記映像生成手段又はステップは、２次元平面にマッピングされている非平面画像から、所定の映像表示装置が持つ２次元表示画面への再マッピングを行なう。   Here, the video generation means or step performs remapping from a non-planar image mapped on a two-dimensional plane to a two-dimensional display screen possessed by a predetermined video display device.

前記映像生成手段又はステップは、視点方向映像の各画素について視点方向及び／又はズーム値から極座標を計算する手段又はステップと、２次元画像マッピング情報を参照して極座標を全方位画像座標に変換する手段又はステップとを備え、任意視点方向の全方位映像を画素単位で合成処理するようにしてもよい。   The image generation means or step is a means or step for calculating polar coordinates from the viewpoint direction and / or zoom value for each pixel of the viewpoint direction image, and converts the polar coordinates into omnidirectional image coordinates with reference to the two-dimensional image mapping information. Means or step, and an omnidirectional video image in an arbitrary viewpoint direction may be combined in a pixel unit.

あるいは、前記映像生成手段又はステップは、２次元画像マッピング情報を用いて全方位映像に含まれるプリミティブの各頂点について全方位画像座標を極座標に変換する手段又はステップと、視点方向及び／又はズーム値から極座標を視点方向画像座標に変換する手段又はステップと、全方位映像をテクスチャとしてプリミティブ単位で視点方向画像を生成する手段又はステップとを備え、任意視点方向の全方位映像を領域単位で合成処理するようにしてもよい。   Alternatively, the image generation means or step includes means or step for converting omnidirectional image coordinates to polar coordinates for each vertex of a primitive included in the omnidirectional image using two-dimensional image mapping information, and a viewpoint direction and / or a zoom value. Means or step for converting polar coordinates to viewpoint direction image coordinates, and means or step for generating viewpoint direction images in units of primitives using omnidirectional images as textures, and compositing processing of omnidirectional images in arbitrary viewpoint directions in units of regions You may make it do.

また、前記映像生成手段又はステップは、全方位画像の隣接画素を基に画素を補間する手段又はステップをさらに備えていてもよい。また、画素補正に際し、全方位画像の左右両端付近に、他端から所定幅だけ複製した画素領域を配設することで、画素補正されない途切れの出現を防止することができる。   The video generation means or step may further include means or a step for interpolating pixels based on adjacent pixels of the omnidirectional image. In addition, when performing pixel correction, by disposing a pixel region copied by a predetermined width from the other end in the vicinity of both left and right ends of the omnidirectional image, it is possible to prevent the appearance of discontinuity that is not corrected by the pixel.

また、前記映像生成手段又はステップは、２次元マッピングされた全方位画像の各画素について隣接画素を検索するためのルックアップ・テーブルを作成する手段又はステップと、視点方向映像の各画素について視点方向及びズーム値から極座標を計算する手段又はステップと、前記ルックアップ・テーブルを参照して視点方向映像の画素に対応する極座標に隣接する画素を探索する手段又はステップと、隣接画素を用いて極座標を画素補間する手段又はステップと、２次元画像マッピング情報を参照して、極座標を全方位画像座標に変換する手段又はステップを備えていてもよい。   The video generation means or step includes means or a step for creating a lookup table for searching adjacent pixels for each pixel of the two-dimensionally mapped omnidirectional image, and a viewpoint direction for each pixel of the viewpoint direction video. And means or step for calculating polar coordinates from the zoom value, means or step for searching for pixels adjacent to the polar coordinates corresponding to the pixels of the viewing direction image with reference to the lookup table, and polar coordinates using the adjacent pixels. Means or steps for pixel interpolation and means or steps for converting polar coordinates to omnidirectional image coordinates with reference to two-dimensional image mapping information may be provided.

このような前記映像生成手段又はステップは、球のｚ軸を等間隔に平行な平面で切ったときに隣接する平面で挟まれる球面上の面積は一定となるという定理を利用して、３次元極座標系でＺ軸方向に等間隔な範囲で区切られる球面上の領域を、２次元直交座標系で等間隔な範囲で区切られる帯状の平面領域にランダムにマッピングされた２次元平面画像や、Ｈａｍｍｅｒｓｌｅｙ Ｓｅｑｕｅｎｃｅを用いてｉｗ＋ｊ番目に全方位画像から抽出した点をマッピングすることによって、３次元座標系で表される非平面画像をすべての方向について各画素に含まれる情報量がより等しく保たれるようにマッピングされた２次元平面画像から、任意視点方向の全方位映像を合成することができる。   Such image generation means or step uses a theorem that the area on a spherical surface sandwiched between adjacent planes is constant when the z-axis of the sphere is cut by a plane parallel to the same interval. A two-dimensional planar image obtained by randomly mapping a region on a spherical surface that is partitioned at equal intervals in the Z-axis direction in the polar coordinate system into a band-shaped planar region that is partitioned at equal intervals in the two-dimensional orthogonal coordinate system, or Hammersley By mapping a point extracted from the omnidirectional image iw + j using Sequence, the amount of information contained in each pixel of a non-planar image represented in a three-dimensional coordinate system is kept more equal in all directions. An omnidirectional video in an arbitrary viewpoint direction can be synthesized from the two-dimensional planar image mapped to.

また、前記映像生成手段は、任意視点方向映像合成時に視点が内側にあるときに各種レンズのカメラで撮影した映像を擬似的に実現することができる。例えば、元はピンホール・カメラで撮影した映像で構成される全方位映像を基に、魚眼レンズで撮影したような視点画像を合成することができる。   In addition, the video generation unit can pseudo-realize images captured by cameras of various lenses when the viewpoint is on the inner side when synthesizing an arbitrary viewpoint direction image. For example, it is possible to synthesize a viewpoint image that was shot with a fisheye lens based on an omnidirectional video that was originally shot with a pinhole camera.

また、前記映像生成手段は、任意視点方向映像合成時に視点が外側にあるときに任意の３次元形状の全方位映像を生成するようにしてもよい。例えば、多面体などの外側に視点を指定することで、多面体の表面に全方位映像を貼り付けることができる。これによって、従来にないＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）や利用が可能になると期待される。   The video generation means may generate an omnidirectional video having an arbitrary three-dimensional shape when the viewpoint is outside when synthesizing an arbitrary viewpoint direction video. For example, an omnidirectional image can be pasted on the surface of the polyhedron by designating the viewpoint on the outside of the polyhedron. This is expected to enable unprecedented GUI (Graphical User Interface) and use.

また、本発明の第３の側面は、３次元座標系で表される非平面画像の処理をコンピュータ・システム上で実行するように記述されたコンピュータ・ソフトウェアをコンピュータ可読形式で物理的に格納した記憶媒体であって、前記コンピュータ・ソフトウェアは、
３次元座標系で表される非平面画像を２次元平面にマッピングする２次元平面画像マッピング・ステップと、
元の非平面画像を表す３次元座標系とマッピングされた２次元画像座標系との対応関係を記述したマッピング情報を生成するマッピング情報生成ステップと、
を具備することを特徴とする記憶媒体である。 According to a third aspect of the present invention, computer software described to execute processing of a non-planar image represented by a three-dimensional coordinate system on a computer system is physically stored in a computer-readable format. A storage medium, wherein the computer software is
A two-dimensional planar image mapping step for mapping a non-planar image represented in a three-dimensional coordinate system to a two-dimensional plane;
A mapping information generating step for generating mapping information describing a correspondence relationship between the three-dimensional coordinate system representing the original non-planar image and the mapped two-dimensional image coordinate system;
It is a storage medium characterized by comprising.

また、本発明の第４の側面は、２次元平面画像にマッピングされた３次元座標系の非平面画像を映像表示するための処理をコンピュータ・システム上で実行するように記述されたコンピュータ・ソフトウェアをコンピュータ可読形式で物理的に格納した記憶媒体であって、前記コンピュータ・ソフトウェアは、
視点方向及び／又はズーム値を指定する指示ステップと、
２次元平面画像にマッピングしたときのマッピング情報を用いて該指定された視点方向及び／又はズーム値に従った任意視点方向の３次元形状映像を生成する映像生成ステップと、
を具備することを特徴とする記憶媒体である。 According to a fourth aspect of the present invention, there is provided computer software described to execute processing for displaying a non-planar image of a three-dimensional coordinate system mapped to a two-dimensional planar image on a computer system. Is a storage medium physically stored in a computer-readable format, the computer software comprising:
An instruction step for specifying a viewpoint direction and / or a zoom value;
A video generation step of generating a three-dimensional shape video in an arbitrary viewpoint direction according to the designated viewpoint direction and / or zoom value using mapping information when mapping to a two-dimensional planar image;
It is a storage medium characterized by comprising.

本発明の第３及び第４の各側面に係る記憶媒体は、例えば、さまざまなプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ・ソフトウェアをコンピュータ可読な形式で提供する媒体である。このような媒体は、例えば、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）やＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＦＤ（Ｆｌｅｘｉｂｌｅ Ｄｉｓｋ）、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｃ）などの着脱自在で可搬性の記憶媒体である。あるいは、ネットワーク（ネットワークは無線、有線の区別を問わない）などの伝送媒体などを経由してコンピュータ・ソフトウェアを特定のコンピュータ・システムに提供することも技術的に可能である。   The storage medium according to each of the third and fourth aspects of the present invention is a medium that provides computer software in a computer-readable format to, for example, a general-purpose computer system that can execute various program codes. . Such a medium is a detachable and portable storage medium such as a DVD (Digital Versatile Disc), a CD (Compact Disc), an FD (Flexible Disc), and an MO (Magneto-Optical disc). Alternatively, it is technically possible to provide computer software to a specific computer system via a transmission medium such as a network (whether the network is wireless or wired).

このような記憶媒体は、コンピュータ・システム上で所定のコンピュータ・ソフトウェアの機能を実現するための、コンピュータ・ソフトウェアと記憶媒体との構造上又は機能上の協働的関係を定義したものである。換言すれば、本発明の第３及び第４の各側面に係る記憶媒体を介して所定のコンピュータ・ソフトウェアをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第１及び第２の各側面に係る非平面画像の画像処理装置又は画像処理方法と同様の作用効果を得ることができる。   Such a storage medium defines a structural or functional cooperative relationship between the computer software and the storage medium for realizing a predetermined computer software function on the computer system. In other words, by installing predetermined computer software in the computer system via the storage medium according to the third and fourth aspects of the present invention, a cooperative action is exhibited on the computer system, Effects similar to those of the image processing apparatus or the image processing method for non-planar images according to the first and second aspects of the present invention can be obtained.

また、本発明の第５の側面は、３次元座標系で表される非平面画像の処理をコンピュータ・システム上で実行するように記述されたコンピュータ・プログラムであって、
３次元座標系で表される非平面画像を２次元平面にマッピングする２次元平面画像マッピング・ステップと、
元の非平面画像を表す３次元座標系とマッピングされた２次元画像座標系との対応関係を記述したマッピング情報を生成するマッピング情報生成ステップと、
を具備することを特徴とするコンピュータ・プログラムである。 According to a fifth aspect of the present invention, there is provided a computer program described to execute processing of a non-planar image represented by a three-dimensional coordinate system on a computer system,
A two-dimensional planar image mapping step for mapping a non-planar image represented in a three-dimensional coordinate system to a two-dimensional plane;
A mapping information generating step for generating mapping information describing a correspondence relationship between the three-dimensional coordinate system representing the original non-planar image and the mapped two-dimensional image coordinate system;
A computer program characterized by comprising:

また、本発明の第６の側面は、２次元平面画像にマッピングされた３次元座標系の非平面画像を映像表示するための処理をコンピュータ・システム上で実行するように記述されたコンピュータ・プログラムであって、
視点方向及び／又はズーム値を指定する指示ステップと、
２次元平面画像にマッピングしたときのマッピング情報を用いて該指定された視点方向及び／又はズーム値に従った任意視点方向の３次元形状映像を生成する映像生成ステップと、
を具備することを特徴とするコンピュータ・プログラムである。 According to a sixth aspect of the present invention, there is provided a computer program written to execute, on a computer system, a process for displaying a non-planar image of a three-dimensional coordinate system mapped to a two-dimensional planar image. Because
An instruction step for specifying a viewpoint direction and / or a zoom value;
A video generation step of generating a three-dimensional shape video in an arbitrary viewpoint direction according to the designated viewpoint direction and / or zoom value using mapping information when mapping to a two-dimensional planar image;
A computer program characterized by comprising:

本発明の第５及び第６の各側面に係るコンピュータ・プログラムは、コンピュータ・システム上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第５及び第６の各側面に係るコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第１及び第２の各側面に係る非平面画像の画像処理装置又は画像処理方法と同様の作用効果を得ることができる。   The computer program according to each of the fifth and sixth aspects of the present invention defines a computer program written in a computer-readable format so as to realize predetermined processing on the computer system. In other words, by installing the computer program according to the fifth and sixth aspects of the present invention in the computer system, a cooperative action is exhibited on the computer system, and the first and first aspects of the present invention. The same effect as the image processing apparatus or the image processing method of the non-planar image according to each of the two aspects can be obtained.

本発明によれば、複数のカメラにより撮影された映像データを貼り合せて非平面状に構成される画像に対して圧縮、蓄積、再生などの処理を好適に行うことができる、優れた画像処理装置及び画像処理方法を提供することができる。   According to the present invention, excellent image processing that can suitably perform processing such as compression, storage, and reproduction on an image configured to be non-planar by pasting video data captured by a plurality of cameras. An apparatus and an image processing method can be provided.

また、本発明によれば、空間中のある１つの点が視点として周囲の画像を撮影するように複数台のカメラが設置して構成される全方位カメラ又は全天球型カメラによる円筒状又は球面状の画像の処理を好適に行うことができる、優れた画像処理装置及び画像処理方法を提供することができる。   In addition, according to the present invention, a cylindrical shape or an omnidirectional camera configured by installing a plurality of cameras so that a certain point in space captures a surrounding image as a viewpoint or It is possible to provide an excellent image processing apparatus and image processing method capable of suitably processing a spherical image.

また、本発明によれば、全方位映像のような非平面画像を、表示・再生側の性能を考慮して蓄積処理することができる、優れた画像処理装置及び画像処理方法を提供することができる。   Further, according to the present invention, it is possible to provide an excellent image processing apparatus and image processing method capable of accumulating non-planar images such as omnidirectional images in consideration of the performance on the display / playback side. it can.

本発明によれば、圧縮フォーマット及び表示装置の性能に応じて全方位映像を編集することによって、表示・再生装置側で画質やリアルタイム性を高めることが可能である。   According to the present invention, by editing the omnidirectional video according to the compression format and the performance of the display device, it is possible to improve the image quality and real-time property on the display / playback device side.

一般に、ネットワーク経由で送信する場合だけでなく、ＤＶＤなどの記録メディアから読み込む場合にも、ビットレートに制限が課されていることが多い。本発明により全方位映像のような非平面画像を圧縮・蓄積処理すれば、このような限られたビットレートの中に最大限の情報を詰め込むことが可能である。   In general, not only when transmitting via a network but also when reading from a recording medium such as a DVD, the bit rate is often limited. By compressing and accumulating a non-planar image such as an omnidirectional image according to the present invention, it is possible to pack the maximum information in such a limited bit rate.

また、本発明によれば、全方位映像から任意支店方向映像を合成するときに、各種レンズのカメラで撮影した映像を擬似的に再生することによって、さまざまな特殊効果に利用することができる。   Further, according to the present invention, when an arbitrary branch direction image is synthesized from an omnidirectional image, it is possible to use it for various special effects by reproducing pseudo images reproduced by cameras of various lenses.

また、本発明によれば、全方位映像を内側からだけでなく、外側から任意の形状で再生する機能を適用することによって、新しいＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）環境を提供することができる。   Also, according to the present invention, a new GUI (Graphical User Interface) environment can be provided by applying a function of reproducing an omnidirectional video image in an arbitrary shape from the outside as well as from the inside.

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。   Other objects, features, and advantages of the present invention will become apparent from more detailed description based on embodiments of the present invention described later and the accompanying drawings.

以下、図面を参照しながら本発明の実施形態について詳解する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

Ａ．全方位映像生成システム
図１には、本発明の実施に供される全方位映像生成システム１０の構成を模式的に示している。同図に示すように、全方位映像生成システム１０は、全方位撮影装置１１と、全方位映像合成装置１２と、全方位映像蓄積装置１３で構成される。 A. Omnidirectional Video Generation System FIG. 1 schematically shows the configuration of an omnidirectional video generation system 10 used for implementing the present invention. As shown in FIG. 1, the omnidirectional video generation system 10 includes an omnidirectional imaging device 11, an omnidirectional video synthesis device 12, and an omnidirectional video storage device 13.

全方位撮影装置１１は、Ｎ台のカメラが空間中のある１つの視点を中心にしてすべての方向の映像を撮影できるように配置して構成される。各カメラの配置構成例として、以下のものを挙げることができる。   The omnidirectional imaging device 11 is configured so that N cameras can capture images in all directions around a certain viewpoint in space. Examples of the arrangement configuration of each camera include the following.

（１）Ｎ台のカメラを放射状に配置した構成。例えば、正十二面体のような多面体の構成面の各々にピンホール・カメラを設置した構成。
（２）反射鏡を介して水平方向に分割撮影できるようにＮ台のカメラを配置した構成。
（３）魚眼レンズを用いて１台のカメラで半球を撮影する構成。
（４）魚眼レンズを用いたカメラを２台組み合わせて全方位（全天球）映像を撮影する構成。
（５）１台のカメラをその視点を中心に回転させて、全方位を撮影する構成。 (1) A configuration in which N cameras are arranged radially. For example, a configuration in which a pinhole camera is installed on each of the components of a polyhedron such as a regular dodecahedron.
(2) A configuration in which N cameras are arranged so that they can be divided and photographed in the horizontal direction via a reflecting mirror.
(3) The structure which image | photographs a hemisphere with one camera using a fisheye lens.
(4) A configuration in which two cameras using fisheye lenses are combined to capture an omnidirectional (omnidirectional) image.
(5) A configuration in which one camera is rotated around its viewpoint to photograph all directions.

Ａ−１．全方位撮影装置
図２には、上述した（１）を採用した全方位撮影装置１１の構成例を示している。この全方位撮影装置１１−１は、１２個の略正５角形の構成面からなる略正十二面体（Ｄｏｄｅｃａｈｅｄｒｏｎ）形状のフレームと、該フレームの各面上に１台ずつ配備された１１台のカメラ…で構成される。各カメラは、周囲の風景のうち、それぞれが担当する領域を撮像して周囲画像の一部として供給することができる。各カメラは、投影中心を持つピンホール・タイプのカメラであり、例えば、素子表面にマイクロレンズを組み込んだＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ：電荷結合素子）カメラでよい。フレームの底面に相当する構成面は台座として使用されている。台座の一側面からは、各カメラによる撮像画像データを外部出力するためのケーブル類が接続されている。各カメラの映像を貼り合わせることにより、球面状の全方位画像が得られる。 A-1. The omnidirectional imaging apparatus Figure 2 shows a configuration example of the omnidirectional imaging apparatus 11 employing the above-described (1). The omnidirectional photographing apparatus 11-1 includes 12 substantially regular dodecahedron (Dodecahedron) -shaped frames composed of 12 substantially regular pentagonal surfaces, and 11 units each arranged on each surface of the frame. The camera ... Each camera can capture an area of each surrounding landscape and supply it as a part of the surrounding image. Each camera is a pinhole type camera having a projection center, for example, a CCD (Charge Coupled Device) camera in which a microlens is incorporated on the surface of the element. A component surface corresponding to the bottom surface of the frame is used as a pedestal. Cables for externally outputting image data captured by each camera are connected from one side of the pedestal. A spherical omnidirectional image is obtained by pasting the images of the cameras.

また、図３には、上述した（２）を採用した全方位撮影装置１１の構成例を示している。この全方位撮影装置１１−２は、所定の円周方向に略等間隔に配列された８台のカメラと、カメラ毎にその視線方向に配設された８枚の平面鏡が８角錐上に配設された反射部とで構成される。ここで、各カメラの投影中心が全方撮影装置１１−２の中央付近で一致するように、且つ、各カメラの視線方向が１つの水平面上で所定角度間隔を置くように、各カメラが配設されている。各平面鏡で反射された周囲の情景を、反射方向に向けられたカメラで撮影することにより、全方位撮影装置１１−２全体としては、水平方向３６０度の映像の鏡像を撮影することができる。各カメラの映像を反転、貼り合わせなどの処理を行なうことにより、円筒状の全方位画像が得られる。   FIG. 3 shows a configuration example of the omnidirectional photographing apparatus 11 adopting the above (2). This omnidirectional imaging device 11-2 includes eight cameras arranged at substantially equal intervals in a predetermined circumferential direction and eight plane mirrors arranged in the line-of-sight direction for each camera on an octagonal pyramid. It is comprised with the provided reflection part. Here, the cameras are arranged so that the projection centers of the cameras coincide with each other in the vicinity of the center of the all-photographing device 11-2, and the direction of the line of sight of each camera is set at a predetermined angular interval on one horizontal plane. It is installed. By photographing the surrounding scene reflected by each plane mirror with a camera directed in the reflection direction, the entire omnidirectional photographing apparatus 11-2 can photograph a mirror image of a 360 degree image in the horizontal direction. Cylindrical omnidirectional images can be obtained by performing processing such as reversing and pasting the images of each camera.

図４に示すように、各カメラにそれぞれＶＴＲを接続することにより、合計８本の映像（及び音声）ストリームを記録することができる。これら記録された映像ストリームを、切り換え器を介してビデオ・キャプチャリングして、コンピュータ・データ（ビットマップ・ファイル）として、後段の全方位映像合成装置１２に取り込んで、球面や円筒への３次元画像マッピングなど各種のデータ加工を行なうことができる。   As shown in FIG. 4, a total of eight video (and audio) streams can be recorded by connecting a VTR to each camera. These recorded video streams are video-captured via a switcher, and are taken as computer data (bitmap file) into the subsequent omnidirectional video synthesizer 12 for 3D to spherical or cylindrical. Various data processing such as image mapping can be performed.

Ａ−２．全方位映像合成装置
図５には、全方位映像合成装置１２における機能構成を模式的に示している。同図に示すように、全方位映像合成装置１２は、レンズ歪・輝度・コントラスト・パースペクティブ補正部２１と、３次元座標系へのマッピング部２２と、２次元画像へのマッピング部２３と、動画・静止画圧縮部２４と、マッピング情報生成部２５と、全方位映像データ・フォーマット変換部２６とで構成される。 A-2. Omnidirectional Video Synthesizer FIG. 5 schematically shows a functional configuration of the omnidirectional video synthesizer 12. As shown in the figure, the omnidirectional video composition device 12 includes a lens distortion / luminance / contrast / perspective correction unit 21, a mapping unit 22 to a three-dimensional coordinate system, a mapping unit 23 to a two-dimensional image, and a moving image. A still image compression unit 24, a mapping information generation unit 25, and an omnidirectional video data / format conversion unit 26.

レンズ歪・輝度・コントラスト・パースペクティブ補正部２１は、全方位撮影装置１１によって撮影されたＮ台のカメラの映像データ（動画又は静止画）を入力して、各カメラのカメラ・パラメータを基に、レンズ歪補正、色補正、輝度補正、コントラスト補正、パースペクティブ補正などの処理を、フレーム単位で行なう。   The lens distortion / brightness / contrast / perspective correction unit 21 inputs video data (moving images or still images) of N cameras taken by the omnidirectional photographing apparatus 11 and based on the camera parameters of each camera. Processing such as lens distortion correction, color correction, luminance correction, contrast correction, and perspective correction is performed in units of frames.

３次元座標系へのマッピング部２２は、補正部２１によって補正されたＮ個の映像から同期のとれた静止画を１枚ずつ選択して、このＮ枚の画像と撮影に使われた対応するカメラのカメラ・パラメータを用いて、各画像を１つの３次元座標系（極座標系）において、球面又は円筒面上にマッピングする。   The mapping unit 22 to the three-dimensional coordinate system selects synchronized still images one by one from the N images corrected by the correction unit 21, and the N images and the corresponding images used for shooting are selected. Using the camera parameters of the camera, each image is mapped onto a spherical surface or a cylindrical surface in one three-dimensional coordinate system (polar coordinate system).

２次元画像へのマッピング部２３は、球面又は円筒面などの３次元座標系上にマッピングされた画像を２次元平面画像にマッピングする。全方位の画素情報を少ない誤差で、情報量をなるべく等しく保ちつつ、冗長性が低い２次元画像に変換することが好ましい。また、全方位映像を読み込むシステム（後述）側の性能を考慮した形式で２次元画像に変換することが好ましい。   The two-dimensional image mapping unit 23 maps an image mapped on a three-dimensional coordinate system such as a spherical surface or a cylindrical surface to a two-dimensional planar image. It is preferable to convert the omnidirectional pixel information into a two-dimensional image with low redundancy and low redundancy while keeping the information amount as equal as possible. Moreover, it is preferable to convert into a two-dimensional image in a format that takes into account the performance of the system (described later) side for reading an omnidirectional video.

なお、球面や円筒面などの３次元座標系にマッピングされた非平面画像を２次元画像にマッピングする方法に関しては幾つか挙げることができるが、その詳細については後述に譲る。   There are several methods for mapping a non-planar image mapped to a three-dimensional coordinate system such as a spherical surface or a cylindrical surface to a two-dimensional image, and details thereof will be described later.

マッピング情報生成部２５は、２次元画像へのマッピング部２３において適用されたマッピングした方法に応じて、全方位映像表示システム（後述）において画像の表示・再生に必要な２次元画像マッピング情報を作成する。ここで言う２次元画像マッピング情報は、元の全方位画像の３次元座標系（Θ，Φ，ｒ）と、マッピングされた２次元画像座標系（ＴＸ，ＴＹ）との対応関係を記述した情報のことである。２次元画像マッピング情報は、全方位映像を外側から見るときに、任意の形状で再生するために必要な情報である（後述）。   The mapping information generation unit 25 generates two-dimensional image mapping information necessary for image display / reproduction in the omnidirectional video display system (described later) according to the mapping method applied in the mapping unit 23 to the two-dimensional image. To do. The two-dimensional image mapping information referred to here is information describing the correspondence between the original three-dimensional coordinate system (Θ, Φ, r) of the omnidirectional image and the mapped two-dimensional image coordinate system (TX, TY). That's it. The two-dimensional image mapping information is information necessary for reproducing an omnidirectional video image in an arbitrary shape when viewed from the outside (described later).

２次元画像へのマッピング部２３は、全フレームについてマッピング処理を行なう。マッピング方法はフレーム単位で切り換えることが可能であるが、この場合、マッピング情報生成部２５は、その都度マッピング情報を生成する。   The two-dimensional image mapping unit 23 performs mapping processing for all frames. The mapping method can be switched in frame units. In this case, the mapping information generation unit 25 generates mapping information each time.

動画・静止画圧縮部２４は、２次元画像へのマッピング部２３により生成された２次元の静止画あるいは動画を圧縮する。圧縮フォーマットとしては、動画に対しては、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６３、Ｈ．２６１、ＡＶＩ、Ｍｏｔｉｏｎ ＪＰＥＧなど、また、静止画に対しては、ＪＰＥＧ、ＧＩＦ、ＰＮＧ、ＢＭＰ、ＴＩＦＦなど、２次元画像を扱うことができる既存のフォーマットを使用することができる。   The moving image / still image compression unit 24 compresses the two-dimensional still image or moving image generated by the mapping unit 23 to the two-dimensional image. As the compression format, MPEG-1, MPEG-2, MPEG-4, H. 263, H.M. 261, AVI, Motion JPEG, etc. For still images, existing formats capable of handling two-dimensional images such as JPEG, GIF, PNG, BMP, TIFF can be used.

全方位映像データ・フォーマット変換部２６は、マッピング情報生成部２５により生成された２次元画像マッピング情報と、動画・静止画圧縮部２４により生成された圧縮映像を１組としたデータ・フォーマットに変換する。図６には、このデータ・フォーマットの構造を模式的に示している。   The omnidirectional video data format conversion unit 26 converts the two-dimensional image mapping information generated by the mapping information generation unit 25 and the compressed video generated by the moving image / still image compression unit 24 into a set of data formats. To do. FIG. 6 schematically shows the structure of this data format.

図示のデータ・フォーマットには、映像情報と音声情報の同期がとれるような形式でインターリーブして挿入することも可能である。２次元画像マッピング情報は、映像情報に対して適用される２次元画像マッピング方法から切り換わる度に、そのフレームの先頭に挿入する。つまり、すべてのフレームに関して同じ２次元画像マッピング方法を使用する場合には、先頭に１つだけ２次元画像マッピング情報を含んでいればよい。また、表示・再生側（全方位映像表示システム）で必要な２次元マッピング情報を備えている場合には、データ・フォーマットから２次元マッピング情報を省略することができる。   In the illustrated data format, it is also possible to interleave and insert the video information and audio information in a format that allows synchronization. The 2D image mapping information is inserted at the head of the frame every time the 2D image mapping method applied to the video information is switched. That is, when the same two-dimensional image mapping method is used for all frames, only one two-dimensional image mapping information needs to be included at the head. In addition, when two-dimensional mapping information necessary for the display / playback side (omnidirectional video display system) is provided, the two-dimensional mapping information can be omitted from the data format.

例えば、表示・再生側で、画素単位で２次元画像を再生しようとする場合、各画素毎にマッピング情報を持たなければならず、マッピング情報だけでデータが肥大化してしまい、映像や音声に割り当てるデータが減ってしまうので、マッピング情報を省略できることが好ましい。また、画素ではなく、所定の面積を持つ領域単位で２次元画像を再生しようとする場合であっても、３次元座標系へ再マッピングするときに、２次元画像マッピング情報を逐次使用するよりも変換式で計算した方が高速である場合には、マッピング情報の分だけデータを削減することが好ましい。   For example, on the display / playback side, when a two-dimensional image is to be played back in units of pixels, each pixel must have mapping information, and the data is enlarged only by the mapping information and is assigned to video and audio. Since the data is reduced, it is preferable that the mapping information can be omitted. In addition, even when a 2D image is to be reproduced in units of regions having a predetermined area instead of pixels, when remapping to a 3D coordinate system, the 2D image mapping information is used rather than sequentially. If the conversion formula is faster, it is preferable to reduce the data by the amount of mapping information.

Ａ−３．全方位映像蓄積装置
全方位映像蓄積装置１３は、ハード・ディスクやＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）のような、一般的なコンピュータ・システムの外部記憶装置を用いて構成することができる。 A-3. Omnidirectional video storage device The omnidirectional video storage device 13 can be configured using an external storage device of a general computer system such as a hard disk or a DVD (Digital Versatile Disc).

また、全方位映像合成装置１２及び全方位映像蓄積装置１３を、単一又は複数台のコンピュータ・システム上で所定の画像処理・蓄積アプリケーションを起動するという形態で実現することも可能である。   Further, the omnidirectional video composition device 12 and the omnidirectional video storage device 13 can be realized in such a manner that a predetermined image processing / storage application is started on a single or a plurality of computer systems.

図７には、全方位映像合成装置１２及び全方位映像蓄積装置１３として適用されるコンピュータ・システム１００の構成を模式的に示している。以下、この図を参照しながら、コンピュータ・システム１００について説明する。   FIG. 7 schematically shows a configuration of a computer system 100 applied as the omnidirectional video composition device 12 and the omnidirectional video storage device 13. Hereinafter, the computer system 100 will be described with reference to FIG.

システム１００のメイン・コントローラであるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１は、オペレーティング・システム（ＯＳ）の制御下で、各種のアプリケーションを実行する。ＣＰＵ１０１は、例えば、球面や円筒面上に描かれた３次元画像を２次元平面画像に変換したり、変換後の２次元平面画像を圧縮・蓄積処理するための非平面画像処理アプリケーションを実行したりすることができる。図示の通り、ＣＰＵ１０１は、バス１０８によって他の機器類（後述）と相互接続されている。   A CPU (Central Processing Unit) 101 that is a main controller of the system 100 executes various applications under the control of an operating system (OS). The CPU 101 executes, for example, a non-planar image processing application for converting a three-dimensional image drawn on a spherical surface or a cylindrical surface into a two-dimensional planar image, or compressing / accumulating the converted two-dimensional planar image. Can be. As illustrated, the CPU 101 is interconnected with other devices (described later) by a bus 108.

メモリ１０２は、ＣＰＵ１０１において実行されるプログラム・コードを格納したり、実行中の作業データを一時保管するために使用される記憶装置である。同図に示すメモリ１０２は、ＲＯＭなどの不揮発性メモリ及びＤＲＡＭなどの揮発性メモリの双方を含むものと理解されたい。   The memory 102 is a storage device used for storing program codes executed by the CPU 101 and temporarily storing work data being executed. It should be understood that the memory 102 shown in the figure includes both a nonvolatile memory such as a ROM and a volatile memory such as a DRAM.

ディスプレイ・コントローラ１０３は、ＣＰＵ１０１が発行する描画命令を実際に処理するための専用コントローラである。ディスプレイ・コントローラ１０３において処理された描画データは、例えばフレーム・バッファ（図示しない）に一旦書き込まれた後、ディスプレイ１１１によって画面出力される。   The display controller 103 is a dedicated controller for actually processing drawing commands issued by the CPU 101. The drawing data processed in the display controller 103 is temporarily written in, for example, a frame buffer (not shown) and then output on the screen by the display 111.

入力機器インターフェース１０４は、キーボード１１２やマウス１１３などのユーザ入力機器を計算機システム１００に接続するための装置である。   The input device interface 104 is a device for connecting user input devices such as a keyboard 112 and a mouse 113 to the computer system 100.

ネットワーク・インターフェース１０５は、Ｅｔｈｅｒｎｅｔ（登録商標）などの所定の通信プロトコルに従って、システム１００をＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの局所的ネットワーク、さらにはインターネットのような広域ネットワークに接続することができる。   The network interface 105 can connect the system 100 to a local network such as a LAN (Local Area Network) or even a wide area network such as the Internet according to a predetermined communication protocol such as Ethernet (registered trademark).

ネットワーク上では、複数のホスト端末（図示しない）がトランスペアレントな状態で接続され、分散コンピューティング環境が構築されている。ネットワーク上では、ソフトウェア・プログラムやデータ・コンテンツなどの配信が行うことができる。例えば、球面や円筒面上に描かれた３次元画像を２次元平面画像に変換したり、変換後の２次元平面画像を圧縮・蓄積処理するための非平面画像処理アプリケーションをネットワーク経由でダウンロードしたりすることができる。また、この非平面画像処理アプリケーションによって圧縮された画像データをネットワーク経由で配信することもできる。   On the network, a plurality of host terminals (not shown) are connected in a transparent state to construct a distributed computing environment. On the network, software programs and data contents can be distributed. For example, a non-planar image processing application for converting a 3D image drawn on a spherical surface or a cylindrical surface into a 2D planar image, or compressing and storing the converted 2D planar image via the network is downloaded. Can be. Also, the image data compressed by this non-planar image processing application can be distributed via a network.

外部機器インターフェース１０７は、ハード・ディスク・ドライブ（ＨＤＤ）１１４やメディア・ドライブ１１５などの外部装置をシステム１００に接続するための装置である。   The external device interface 107 is a device for connecting external devices such as a hard disk drive (HDD) 114 and a media drive 115 to the system 100.

ＨＤＤ１１４は、記憶担体としての磁気ディスクを固定的に搭載した外部記憶装置であり（周知）、記憶容量やデータ転送速度などの点で他の外部記憶装置よりも優れている。ソフトウェア・プログラムを実行可能な状態でＨＤＤ１１４上に置くことをプログラムのシステムへの「インストール」と呼ぶ。通常、ＨＤＤ１１４には、ＣＰＵ１０１が実行すべきオペレーティング・システムのプログラム・コードや、アプリケーション・プログラム、デバイス・ドライバなどが不揮発的に格納されている。   The HDD 114 is an external storage device in which a magnetic disk as a storage carrier is fixedly mounted (well-known), and is superior to other external storage devices in terms of storage capacity and data transfer speed. Placing the software program on the HDD 114 in an executable state is called “installation” of the program in the system. Normally, the HDD 114 stores program codes of an operating system to be executed by the CPU 101, application programs, device drivers, and the like in a nonvolatile manner.

例えば、球面や円筒面上に描かれた３次元画像を２次元平面画像に変換したり、変換後の２次元平面画像を圧縮・蓄積処理したりするための非平面画像処理アプリケーションを、ＨＤＤ１１４上にインストールすることができる。また、この非平面画像処理アプリケーションの処理対象となる３次元非平面画像や、２次元平面に変換された画像やその圧縮画像データなどをＨＤＤ１１４上に保存することもできる。   For example, a non-planar image processing application for converting a three-dimensional image drawn on a spherical surface or a cylindrical surface into a two-dimensional planar image, or compressing and accumulating the converted two-dimensional planar image on the HDD 114. Can be installed on. In addition, a three-dimensional non-planar image to be processed by the non-planar image processing application, an image converted into a two-dimensional plane, and compressed image data thereof can be stored on the HDD 114.

メディア・ドライブ１１５は、ＣＤやＭＯ、ＤＶＤなどの可搬型メディアを装填して、そのデータ記録面にアクセスするための装置である。   The media drive 115 is a device for loading portable media such as CD, MO, and DVD and accessing the data recording surface.

可搬型メディアは、主として、ソフトウェア・プログラムやデータ・ファイルなどをコンピュータ可読形式のデータとしてバックアップすることや、これらをシステム間で移動（すなわち販売・流通・配布を含む）する目的で使用される。例えば、球面や円筒面上に描かれた３次元画像を２次元平面画像に変換したり、変換後の２次元平面画像を圧縮・蓄積処理したりするための非平面画像処理アプリケーションを、これら可搬型メディアを利用して複数の機器間で物理的に流通・配布することができる。また、この非平面画像処理アプリケーションの処理対象となる３次元非平面画像や、２次元平面に変換された画像やその圧縮画像データなどを、これら可搬型メディアを利用して複数の機器間で物理的に流通・配布することができる。   The portable media is mainly used for the purpose of backing up software programs, data files, and the like as data in a computer-readable format, and for moving them between systems (that is, including sales, distribution, and distribution). For example, a non-planar image processing application for converting a three-dimensional image drawn on a spherical surface or a cylindrical surface into a two-dimensional planar image, or compressing and storing the converted two-dimensional planar image can be used. It can be physically distributed and distributed between multiple devices using portable media. In addition, a three-dimensional non-planar image to be processed by this non-planar image processing application, an image converted to a two-dimensional plane, and its compressed image data can be physically transferred between a plurality of devices using these portable media. Can be distributed and distributed.

ビデオ・キャプチャ・カード１０９は、全方位撮影装置１１からの入力信号、すなわち切り換え器を介して接続される各ＶＴＲから再生されるビデオ信号をコンピュータ・データ（ビットマップ・ファイル）としてコンピュータ内に取り込むための装置である。   The video capture card 109 captures an input signal from the omnidirectional photographing apparatus 11, that is, a video signal reproduced from each VTR connected via a switch as computer data (bitmap file) into the computer. It is a device for.

なお、図７に示すようなコンピュータ１００の一例は、米ＩＢＭ社のパーソナル・コンピュータ“ＰＣ／ＡＴ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ／Ａｄｖａｎｃｅｄ Ｔｅｃｈｎｏｌｏｇｙ）”の互換機又は後継機である。勿論、他のアーキテクチャを備えたコンピュータを、本実施形態に係るコンピュータ１００として適用することも可能である。   An example of the computer 100 as shown in FIG. 7 is a compatible computer or a successor of a personal computer “PC / AT (Personal Computer / Advanced Technology)” of IBM Corporation. Of course, a computer having another architecture can be applied as the computer 100 according to the present embodiment.

Ａ−４．３次元座標系の画像の２次元平面へのマッピング
既に説明したように、本実施形態に係る全方位映像合成システム１０は、例えば図２に示すような全方位撮影装置１１によって撮影された全方位映像を取り扱うシステムである。この種の全方位映像は、本来、極座標系において球面あるいは円筒にマッピングされた非平面状の３次元画像であり、２次元画像を取り扱うことを前提とした既存の圧縮フォーマットで取り扱うには適していない。言い換えれば、データの圧縮、蓄積、転送などの処理を行なうためには、球面や円筒面などの３次元座標系の非平面上で表現された全方位画像を、２次元平面画像にマッピングする必要がある。 A-4. Mapping of an image in a three -dimensional coordinate system onto a two-dimensional plane As already described, the omnidirectional video composition system 10 according to the present embodiment is photographed by the omnidirectional photographing device 11 as shown in FIG. It is a system that handles omnidirectional video. This type of omnidirectional video is originally a non-planar three-dimensional image mapped to a spherical surface or a cylinder in the polar coordinate system, and is suitable for handling in an existing compression format on the assumption that two-dimensional images are handled. Absent. In other words, in order to perform processing such as data compression, storage, and transfer, it is necessary to map an omnidirectional image represented on a non-planar surface of a three-dimensional coordinate system such as a spherical surface or a cylindrical surface to a two-dimensional planar image. There is.

３次元座標系の画像を２次元平面画像にマッピングする方法には幾つか挙げられるが、以下に示す条件に応じて最適なマッピング方法を選択することが好ましい。   There are several methods for mapping a three-dimensional coordinate system image to a two-dimensional planar image, but it is preferable to select an optimal mapping method according to the following conditions.

（１）球面を平面に展開するには、球面の表面のどこかを伸ばすか、又は、ある箇所に断裂を入れなければ、平面にすることはできない。つまり、球面形状をそのまま平面に展開することは不可能であり、必ず誤差が生ずる。できるだけ誤差を少なくしながら球面から平面に投影する方法が望ましい。球面を平面にマッピングする際に、すべての方向について各画素に含まれる情報量が等しく保たれていること、つまり、すべての方向に対して画素が等面積に扱われることが望ましい。 (1) In order to develop a spherical surface into a plane, the surface cannot be made flat unless the surface of the spherical surface is stretched somewhere or a certain portion is torn. That is, it is impossible to develop the spherical shape on a plane as it is, and an error always occurs. A method of projecting from a spherical surface to a plane with as little error as possible is desirable. When mapping a spherical surface to a plane, it is desirable that the amount of information contained in each pixel is kept equal in all directions, that is, the pixels are treated in equal areas in all directions.

（２）全方位映像を表示・再生する全方位映像表示システム（後述）において、全方位映像蓄積装置と任意視点方向映像合成装置の間がネットワークで結ばれている場合、あるいは、全方位映像蓄積装置がＤＶＤなどの記録メディアであるとしても、転送レートには制限がある。転送レートが限られているとき、圧縮レートもそれに応じて制限されるので、冗長性が低いことが望ましい。また、標準的な圧縮方法（例えば、ＭＰＥＧ−２）で圧縮し易い（例えば、空間・時間相関関係が高い）ことが望まれる。 (2) In an omnidirectional video display system (described later) that displays and reproduces omnidirectional video, when the omnidirectional video storage device and the arbitrary viewpoint direction video synthesizer are connected by a network, or omnidirectional video storage Even if the device is a recording medium such as a DVD, the transfer rate is limited. When the transfer rate is limited, it is desirable that the redundancy be low because the compression rate is limited accordingly. In addition, it is desired that the data can be easily compressed by a standard compression method (for example, MPEG-2) (for example, the space / time correlation is high).

（３）全方位映像表示システムにおいてリアルタイム処理が必要で、且つその処理性能や資源に制限がある可能性があることを考慮すると、球面から平面への変換のための演算処理が簡単であることが望ましい。 (3) Considering that real-time processing is required in an omnidirectional video display system and that processing performance and resources may be limited, arithmetic processing for conversion from a spherical surface to a plane is simple. Is desirable.

（４）ＭＰＥＧ−２などの圧縮フォーマットによっては、解像度に制限があるものがある。また、全方位映像表示システムにおいて、領域単位で任意視点方向映像が合成される場合（後述）には、映像表示装置に転送する映像を一時的に保持するテクスチャ・バッファに任意視点方向映像ではなく全方位映像が転送されることがあるが、このテクスチャ・バッファに制限があるものがある。このように解像度に制限があるときには、それを満たすように２次元画像に変換しなければならない。 (4) Some compression formats such as MPEG-2 have a limited resolution. Also, in the omnidirectional video display system, when the arbitrary viewpoint direction video is synthesized in units of regions (described later), the texture buffer temporarily holding the video to be transferred to the video display device is not the arbitrary viewpoint direction video. Although omnidirectional video may be transferred, there are some restrictions on this texture buffer. When the resolution is limited in this way, it must be converted into a two-dimensional image so as to satisfy it.

ここで、球面や円筒などの３次元座標系の画像を２次元平面画像にマッピングする方法の具体例について説明する。   Here, a specific example of a method for mapping an image of a three-dimensional coordinate system such as a spherical surface or a cylinder to a two-dimensional plane image will be described.

Ａ−４−１．球型の全方位映像の２次元平面へのマッピング方法
球面を平面にマッピングする方法としては、地球を平面上の世界地図に投影する地図投影法がよく知られている。一般的な地図投影法を用いて球状の全方位映像を平面に展開した場合、球面上の描画内容に類似する模様が平面上に投影されるので、マッピング後の２次元平面画像から元の全方位画像の全体像を人間が把握し易いという利点がある。 A-4-1. Mapping Method of Spherical Omnidirectional Video to Two-dimensional Plane As a method of mapping a spherical surface to a plane, a map projection method for projecting the earth onto a world map on the plane is well known. When a spherical omnidirectional image is developed on a plane using a general map projection method, a pattern similar to the drawing content on the sphere is projected on the plane. There is an advantage that it is easy for a human to grasp the whole image of the orientation image.

例えば、図８に示すように、球面を円筒に投影して、この円筒を平面に展開する方法が挙げられる。同図に示す例では、２次元平面の横方向に球面の水平方向の角度を、縦方向に球面の垂直方法の角度を、それぞれ等間隔で割り当てている。このときの２次元画像マッピング情報は、各行と列に割り当てた角度のデータとなる。   For example, as shown in FIG. 8, there is a method of projecting a spherical surface onto a cylinder and expanding the cylinder into a plane. In the example shown in the figure, the horizontal angle of the spherical surface is assigned to the horizontal direction of the two-dimensional plane, and the angle of the vertical method of the spherical surface is assigned to the vertical direction at equal intervals. The two-dimensional image mapping information at this time is angle data assigned to each row and column.

図９には、屋外のある場所で撮影された全方位画像を、図８に示したような円筒投影法で２次元平面にマッピングした画像の例を示している。   FIG. 9 shows an example of an image obtained by mapping an omnidirectional image taken at a location outdoors on a two-dimensional plane by the cylindrical projection method as shown in FIG.

このようなマッピング方法では、マッピングされた２次元平面の上下部（地図で言えば極部）では歪みが大きくなる（密度が赤道付近に比べて低くなる）ので、すべての方向について各画素に含まれる情報が等しく保たれるという上述した第１の条件を満たすことができない。但し、このマッピング方法によれば、空間的・時間的相関が高く、また、球面から２次元平面への変換式すなわち２次元マッピング情報が簡単であるという利点がある。また、図９からも推測されるように、マッピングされた２次元平面画像から元の全方位画像の全体像を人間が把握し易い。   In such a mapping method, distortion is increased at the upper and lower parts of the mapped two-dimensional plane (the extreme part in the map) (the density is lower than that in the vicinity of the equator). The above-mentioned first condition that the information to be kept is equal cannot be satisfied. However, this mapping method has an advantage that the spatial and temporal correlation is high, and the conversion formula from the spherical surface to the two-dimensional plane, that is, the two-dimensional mapping information is simple. Further, as can be inferred from FIG. 9, it is easy for a human to grasp the entire image of the original omnidirectional image from the mapped two-dimensional planar image.

あるいは、図１０に示すように、球面を円筒に投影して平面に展開した後、横方向及び縦方向の角度を球面上の水平方向及び垂直方向の角度に等間隔に割り当てるのではなく、マッピングされた角度の間隔を自由に変更してもよい。例えば、横方向及び縦方向がある角度範囲で区切られた領域の密度すなわち情報量を高めるなどの柔軟性を持たせることができる。例えば、全方位画像のうち詳細な情報を残したい画像領域により大きな角度範囲を割り当てることができる。このときの２次元画像マッピング情報は、上述と同様に、各行と列に割り当てた角度となる。   Alternatively, as shown in FIG. 10, after the spherical surface is projected onto a cylinder and developed into a plane, the horizontal and vertical angles are not assigned to the horizontal and vertical angles on the spherical surface at equal intervals. The interval between the angles may be changed freely. For example, it is possible to provide flexibility such as increasing the density of a region divided by a certain angle range in the horizontal direction and the vertical direction, that is, the amount of information. For example, a larger angle range can be assigned to an image area in which detailed information is desired to remain in the omnidirectional image. The two-dimensional image mapping information at this time is an angle assigned to each row and column, as described above.

また、球面を円筒に投影して平面に展開する地図投影法の中には、地球上のどの部分についても、その面積比率が地図上に正しく表現される、すなわち正積図法としての性質を持つ「サンソン（Ｓａｎｓｏｎ）図法」を挙げることができる。緯線は水平線で正しい間隔、正しい長さで表される。また、経線は曲線であるが等間隔となる。赤道付近と中央経線付近でのひずみは小さくなる。   In addition, in the map projection method that projects a spherical surface onto a cylinder and develops it into a plane, the area ratio of any part of the earth is correctly represented on the map, that is, it has the property of an equal area projection. “Sanson projection”. The parallels are horizontal lines, with the correct spacing and the correct length. The meridians are curves, but are equally spaced. Strain near the equator and central meridian is reduced.

サンソン図法を適用した２次元画像マッピング方法によれば、正積ゆえ各画素に含まれる情報量が等しくなる、空間的・時間的相関関係が高い、球面から２次元平面への変換式すなわち２次元画像マッピング情報が簡単であるという利点がある。この場合の２次元画像マッピング情報は、以下のような３次元座標系−２次元座標系の変換式で構成される。（但し、２次元平面画像サイズがＷ×Ｈとする。）   According to the two-dimensional image mapping method to which the Sanson projection is applied, the information amount contained in each pixel is equal because of the positive product, the spatial and temporal correlation is high, and the conversion formula from the spherical surface to the two-dimensional plane, that is, the two-dimensional image There is an advantage that the mapping information is simple. The two-dimensional image mapping information in this case is constituted by the following three-dimensional coordinate system-two-dimensional coordinate system conversion formula. (However, the two-dimensional planar image size is W × H.)

サンソン図法（あるいはモルワイデ図法）のような正積・円筒図法を用いた場合、図１１に示すような画像の未使用領域が生成されてしまう。このような未使用領域には、図１２に示すように同じ背景色（画素値）を割り当てることにより、空間的・時間的相関関係を高めて圧縮率が高くなるので、表示・再生時の画質が向上する。   When a positive product / cylindrical projection such as the Sanson projection (or Mollweide projection) is used, an unused area of an image as shown in FIG. 11 is generated. By assigning the same background color (pixel value) to such unused areas as shown in FIG. 12, the spatial / temporal correlation is increased and the compression rate is increased. Will improve.

上述したような伝統的な地図投影方法を用いて球型の全方位映像を２次元平面にマッピングした場合、元の３次元画像とマッピング後の２次元平面画像との相関関係が視覚的に判るので、２次元平面画像から全方位画像の全体像を人間が把握し易いという利点がある。しかしながら、本実施形態に係る全方位映像合成システム１０において、２次元平面画像にマッピングする主な理由は、画像圧縮などにおいて規定のデータ・フォーマットを利用して全方位映像を取り扱うことを可能にすることにある。言い換えるならば、２次元平面画像は、人間が見て理解できるか否かは二の次であり、球面を平面にマッピングする際に、すべての方向について各画素に含まれる情報量が等しく保たれていること、つまり、すべての方向に対して画素が等面積に扱われることの方が、画質の向上や映像表示システム側でのデータの取り扱いという観点からはより望ましい。   When a spherical omnidirectional image is mapped onto a two-dimensional plane using the traditional map projection method as described above, the correlation between the original three-dimensional image and the mapped two-dimensional plane image can be visually determined. Therefore, there is an advantage that a human can easily grasp the whole image of the omnidirectional image from the two-dimensional planar image. However, in the omnidirectional video composition system 10 according to the present embodiment, the main reason for mapping to a two-dimensional planar image is that it is possible to handle omnidirectional video using a prescribed data format in image compression or the like. There is. In other words, whether or not a two-dimensional planar image can be seen and understood by humans is second order, and when mapping a spherical surface to a plane, the amount of information contained in each pixel is kept equal in all directions. In other words, it is more desirable that the pixels are handled in the same area in all directions from the viewpoint of improving the image quality and handling data on the video display system side.

本発明者らは、すべての方向について各画素に含まれる情報量が等しく保たれるように球面を２次元平面にマッピングするために、数学的な手法に基づいて球面上から均一にサンプリング点を抽出して、これを２次元平面画像にマッピングしていくという手法を以下に提案する。このような場合、球面上からサンプリングされた点の３次元座標とマッピング先の２次元画像との対応関係が２次元画像マッピング情報となる。   In order to map the spherical surface to a two-dimensional plane so that the amount of information contained in each pixel is kept the same in all directions, the present inventors uniformly set sampling points on the spherical surface based on a mathematical method. A method of extracting and mapping this to a two-dimensional planar image is proposed below. In such a case, the correspondence between the three-dimensional coordinates of the points sampled from the spherical surface and the mapping destination two-dimensional image is the two-dimensional image mapping information.

例えば、「球のｚ軸を等間隔に平行な平面で切ったとき、隣接する平面で挟まれる球面上の面積は一定である」という幾何学上の定理がある。例えば、半径ｒの球をＺ軸に直交する平行な平面で等間隔ｈ毎に輪切りにしていった場合、分割された各球面上の面積は２πｈと一定になる（詳細は、Ｊｏｓｅｐｈ Ｏ'Ｒｏｕｒｋｅ著の論文“Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｇｅｏｍｅｔｒｙ Ｃｏｌｕｍｎ ３１”を参照されたい）。   For example, there is a geometrical theorem that “when the z-axis of a sphere is cut by a plane parallel to the same interval, the area on the sphere sandwiched between adjacent planes is constant”. For example, when a sphere of radius r is cut in parallel planes orthogonal to the Z axis at equal intervals h, the area on each divided spherical surface is constant at 2πh (for details, see Joseph O'Rourke). (See the article “Computational Geometry Column 31”).

Ｚ軸が［−１．．１］で２次元平面画像サイズがＷ×Ｈのとき、ｈを［０．．Ｈ］とすると、Ｚ軸方向の高さｈに相当する角度（緯度）Φhは、下式で表される。 The Z axis is [-1. . 1] and the two-dimensional planar image size is W × H, h is set to [0. . H], an angle (latitude) Φ h corresponding to the height h in the Z-axis direction is expressed by the following equation.

ここで、Φが［Φh-1．．Φh］、Θが［０．．２π］の範囲に収まるような均一な乱数を用いて（Φ、Θ）のペアを決めていく。この内容を２次元画像マッピング情報に格納するとともに、２次元画像を生成する。すなわち、３次元極座標系でＺ軸方向に等間隔すなわち等面積な範囲［Φh-1．．Φh］で区切られる球面上の領域を、２次元座標系で［Φh-1．．Φh］の範囲内で等間隔すなわち等面積で区切られる帯状の平面領域にランダムに展開していく（図１３を参照のこと）。本発明者らは、この２次元画像マッピング方法のことを“Ｓｔｒａｔｉｆｉｅｄ Ｒａｎｄｏｍ”と呼ぶことにする。 Here, Φ is [Φ h−1 . . Φ h ], Θ is [0. . (Φ, Θ) pairs are determined using uniform random numbers that fall within the range of 2π]. This content is stored in the two-dimensional image mapping information and a two-dimensional image is generated. That is, in the three-dimensional polar coordinate system, a range that is equally spaced in the Z-axis direction, that is, an equal area [Φ h−1 . . The area on the sphere delimited by Φ h ] is represented by [Φ h−1 . . Within a range of [Phi] h ], it is randomly developed in a band-like plane region divided at equal intervals, i.e., equal areas (see FIG. 13). The present inventors will refer to this two-dimensional image mapping method as “Stratified Random”.

図１４に示すように、例えば、２次元平面上の点（ｉ，ｊ）において、Φi-1＜Φi,j＜Φi+1となるΦi,jをランダムに決定する。次いで、Θ値をソートして、球面上でランダムに抽出された点（Θi,j，Φi,j）の点を２次元平面上の点（ｉ，ｊ）に描画する。但し、Θi,jは［０．．２π］の範囲内で、Φi,jは［Φi-1．．Φi+1］の範囲内で、それぞれランダムに決定される。そして、２次元平面の各行ｉについて、すべての（Θi,j，Φi,j）を辞書式にソートし、これがこの場合の２次元画像マッピング情報となる。 As shown in FIG. 14, for example, at point on a two-dimensional plane (i, j), randomly determines Φ i-1 <Φ i, j <Φ i + 1 become [Phi i, j. Next, the Θ values are sorted, and a point (Θ i, j , Φ i, j ) randomly extracted on the spherical surface is drawn at a point (i, j) on the two-dimensional plane. However, Θ i, j is [0. . Φ i, j is [Φ i−1 . . Within a range of [Phi] i + 1 ], each is determined randomly. Then, for each row i on the two-dimensional plane, all (Θ i, j , Φ i, j ) are sorted lexicographically, and this becomes the two-dimensional image mapping information in this case.

図１５には、屋外のある場所で撮影された全方位画像を、Ｓｔｒａｔｉｆｉｅｄ Ｒａｎｄｏｍに基づくマッピング方法により２次元平面にマッピングした画像の例を示している。同図の基となる全方位画像は、図９で使用したものと同じである。同図からも判るように、Ｓｔｒａｔｉｆｉｅｄ Ｒａｎｄｏｍに基づくマッピング方法はＺ軸方向に等間隔で分割された球面上の領域を２次元平面上の該当する領域内にランダムにマッピングするので、図９に比べて目視では全体像を把握しづらい。   FIG. 15 shows an example of an image obtained by mapping an omnidirectional image taken at a location outdoors on a two-dimensional plane by a mapping method based on Stratified Random. The omnidirectional image that is the basis of the figure is the same as that used in FIG. As can be seen from the figure, the mapping method based on Stratified Random randomly maps the area on the sphere divided at equal intervals in the Z-axis direction into the corresponding area on the two-dimensional plane. It is difficult to grasp the whole image visually.

Ｓｔｒａｔｉｆｉｅｄ Ｒａｎｄｏｍによる２次元画像マッピング方法の利点として、球面から均一に画素をサンプリングすることができるということを挙げることができる。   An advantage of the two-dimensional image mapping method according to Stratified Random is that pixels can be uniformly sampled from a spherical surface.

一方、Ｓｔｒａｔｉｆｉｅｄ Ｒａｎｄｏｍによる２次元画像マッピング方法の欠点は、計算処理が多少かかるということと、２次元平面へのマッピング画像からは元の全方位画像の全体像を把握しにくい（図１５を参照のこと）ということである。また、２次元画像マッピング情報は画素単位で記述されるので、全方位映像の表示・再生を領域毎に行なう方式では使えない。また、ランダムな場所の画素にマッピングされているので、２次元画像から全方位映像の表示・再生する際に、点（Θ，Φ）の画素値を補間するためには、隣接画素を効率的に探索しなければならない。   On the other hand, the disadvantage of the two-dimensional image mapping method by Stratified Random is that it takes some calculation processing, and it is difficult to grasp the whole image of the original omnidirectional image from the mapping image on the two-dimensional plane (see FIG. 15). That is). Also, since the two-dimensional image mapping information is described in units of pixels, it cannot be used in a method in which omnidirectional video is displayed / reproduced for each area. In addition, since it is mapped to pixels at random locations, when interpolating the pixel value of the point (Θ, Φ) when displaying and reproducing an omnidirectional video from a two-dimensional image, adjacent pixels are efficiently used. Have to explore.

上述したＳｔｒａｔｉｆｉｅｄ Ｒａｎｄｏｍによる２次元平面へのマッピング法は、乱数を用いることにより、３次元座標系で表される非平面画像をすべての方向について各画素に含まれる情報量が等しく保たれる、すなわちすべての方向に対して画素が等面積に扱われるように２次元平面画像にマッピングするようにしている。この場合、各画素の情報量の均一性は、生成する乱数の均一性が保証されていることを前提とする。しかしながら、均一な乱数を生成することは、技術的に困難である。   In the mapping method to the two-dimensional plane by the Stratified Random described above, the amount of information included in each pixel in the non-planar image represented by the three-dimensional coordinate system is kept equal in all directions by using random numbers. The two-dimensional planar image is mapped so that the pixels are treated with equal areas in all directions. In this case, the uniformity of the information amount of each pixel is based on the premise that the uniformity of the generated random numbers is guaranteed. However, it is technically difficult to generate a uniform random number.

他方、数学の分野では、密度の均一性を保ちながら正方形や球の表面から多数の点を抽出することを可能とする、“Ｈａｍｍｅｒｓｌｅｙ”と呼ばれる定理が知られている。Ｈａｍｍｅｒｓｌｅｙの定理を応用したＨａｍｍｅｒｓｌｅｙ Ｓｅｑｕｅｎｃｅによれば、密度の均一性を保ちながら、球面上からサンプリング点を順次抽出していくことができる（例えば、Ｔｉｅｎ−Ｔｓｉｎ Ｗｏｎｇ，Ｗａｉ−Ｓｈｉｎｇ Ｌｕｋ，Ｐｈｅｎｇ−Ａｎｎ Ｈｅｎｇ共著の論文“Ｓａｍｐｌｉｎｇ ｗｉｔｈ Ｈａｍｍｅｒｓｌｅｙ ａｎｄ Ｈａｌｔｏｎ Ｐｏｉｎｔｓ”を参照されたい）。   On the other hand, in the field of mathematics, a theorem called “Hammersley” is known, which makes it possible to extract a large number of points from the surface of a square or a sphere while maintaining density uniformity. According to the Hammersley Sequence applying the Hammersley theorem, sampling points can be sequentially extracted from the spherical surface while maintaining the density uniformity (for example, Tien-Tsin Wong, Wai-Shing Luk, Pheng-Ann). (See Heng et al., “Sampling with Hammersley and Halton Points”).

図１６及び図１７には、Ｈａｍｍｅｒｓｌｅｙ Ｓｅｑｕｅｎｃｅにより球面上から１０００個及び１００００個のサンプリング点を抽出した様子を示している。また、これとの対比で、図１８及び図１９には、一般的な乱数計算で得られる乱数により球面上から１０００個及び１００００個のサンプリング点を抽出した様子を示している。各図を比較しても判るように、乱数を用いた場合よりも、Ｈａｍｍｅｒｓｌｅｙ Ｓｅｑｕｅｎｃｅを用いてサンプリング点を抽出した場合の方が、密度の均一性を保ちながら球面から点を抽出しており、したがって、３次元座標系で表される非平面画像をすべての方向について各画素に含まれる情報量が等しく保たれることが理解できるであろう。   FIG. 16 and FIG. 17 show a state in which 1000 and 10,000 sampling points are extracted from the spherical surface by Hammersley Sequence. In contrast, FIGS. 18 and 19 show a state in which 1000 and 10000 sampling points are extracted from the spherical surface using random numbers obtained by general random number calculation. As can be seen from the comparison of each figure, when sampling points are extracted using Hammersley Sequence, points are extracted from the sphere while maintaining density uniformity, rather than using random numbers. Therefore, it will be understood that the amount of information contained in each pixel is kept equal in all directions in a non-planar image represented in a three-dimensional coordinate system.

そこで、本発明者らは、数学的な手法に基づいて球面上から均一にサンプリング点を抽出して、これを２次元平面画像にマッピングしていく他の例として、Ｈａｍｍｅｒｓｌｅｙ Ｓｅｑｕｅｎｃｅを用いたマッピング方法を以下に提案する。   Therefore, the present inventors have extracted a sampling point uniformly from the spherical surface based on a mathematical method and mapped it to a two-dimensional planar image as a mapping method using Hammersley Sequence. Is proposed below.

この方法は、マッピング先となる２次元平面画像のｉ行ｊ列目にマッピングすべき球面上のサンプリング点を、Ｈａｍｍｅｒｓｌｅｙ Ｓｅｑｕｅｎｃｅを用いて抽出するというものである。例えば、２次元平面画像の１行がｗ画素からなるとして、元の球面上におけるｉｗ＋ｊ番目のサンプリング点をＨａｍｍｅｒｓｌｅｙ Ｓｅｑｕｅｎｃｅにより抽出して、これを２次元平面上の（Θi,j，Φi,j）にマッピングしていく（図２０を参照のこと）。 In this method, a sampling point on the spherical surface to be mapped in the i-th row and j-th column of the two-dimensional planar image to be mapped is extracted using Hammersley Sequence. For example, assuming that one row of a two-dimensional plane image consists of w pixels, the iw + j-th sampling point on the original spherical surface is extracted by Hammersley Sequence, and this is extracted on the two-dimensional plane (Θ i, j , Φ i, j ) is mapped (see FIG. 20).

ここで、Ｈａｍｍｅｒｓｌｅｙ Ｓｅｑｕｅｎｃｅにより球面上からｉｗ＋ｊ番目のサンプリング点を抽出するための手順について説明する。   Here, the procedure for extracting the iw + j-th sampling point from the spherical surface by Hammersley Sequence will be described.

まず、ｋ＝ｉｗ＋ｊとおき、このｋを基底ｐを用いて以下の漸化式で表す。   First, k = iw + j is set, and k is expressed by the following recurrence formula using the basis p.

また、このｋを変数とする関数Ψp（ｋ）を以下のように定義する。 A function Ψ p (k) with k as a variable is defined as follows.

ここで、（ｋ／ｍ，Ψp（ｋ））＝（ψ，ｔ）と置き換えて、変数ψ及びｔで表される下記の座標値（Ｘ，Ｙ，Ｚ）がＨａｍｍｅｒｓｌｅｙ Ｓｅｑｕｅｎｃｅにより求まるサンプリング点である。 Here, instead of (k / m, Ψ p (k)) = (ψ, t), the following coordinate values (X, Y, Z) represented by the variables ψ and t are obtained by the Hammersley Sequence. It is.

この場合、元の球面上の３次元極座標系（Θ，Φ）との対応関係すなわちマッピング情報は下式のように記述される。   In this case, the correspondence relationship with the three-dimensional polar coordinate system (Θ, Φ) on the original spherical surface, that is, mapping information is described as the following equation.

図２１には、屋外のある場所で撮影された全方位画像を、Ｈａｍｍｅｒｓｌｅｙ Ｓｅｑｕｅｎｃｅに基づくマッピング方法により２次元平面にマッピングした画像の例を示している。同図の基となる全方位画像は、図９で使用したものと同じであるが、Ｈａｍｍｅｒｓｌｅｙ Ｓｅｑｕｅｎｃｅに基づくマッピング方法は、Ｈａｍｍｅｒｓｌｅｙ Ｓｅｑｕｅｎｃｅによって順次算出される球面上のサンプリング点を２次元平面上の該当する領域内にランダムにマッピングするので、図９に比べて目視では全方位画像の全体像を把握することは難しい。   FIG. 21 shows an example of an image obtained by mapping an omnidirectional image taken at a location outdoors on a two-dimensional plane by a mapping method based on Hammersley Sequence. The omnidirectional image that is the basis of the figure is the same as that used in FIG. Since the mapping is performed randomly in the region to be performed, it is difficult to grasp the whole image of the omnidirectional image by visual comparison as compared with FIG.

Ｈａｍｍｅｒｓｌｅｙ Ｓｅｑｕｅｎｃｅによる２次元画像マッピング方法の利点として、球面から均一に画素をサンプリングすることができるということを挙げることができる。   An advantage of the two-dimensional image mapping method by Hammersley Sequence is that pixels can be uniformly sampled from a spherical surface.

一方、Ｈａｍｍｅｒｓｌｅｙ Ｓｅｑｕｅｎｃｅによる２次元画像マッピング方法の欠点は、計算処理が多少かかるということと、２次元平面へのマッピング画像からは元の全方位画像の全体像を把握しにくい（図２１を参照のこと）ということである。また、２次元画像マッピング情報は画素単位で記述されるので、全方位映像の表示・再生を領域毎に行なう方式では使えない。また、隣接画素はＨａｍｍｅｒｓｌｅｙ Ｓｅｑｕｅｎｃｅにより必ずしも隣接してマッピングされないので、２次元画像から全方位映像の表示・再生する際に、点（Θ，Φ）の画素値を補間するためには、隣接画素を効率的に探索しなければならない。   On the other hand, the disadvantage of the two-dimensional image mapping method by Hammersley Sequence is that it requires some calculation processing, and it is difficult to grasp the whole image of the original omnidirectional image from the mapping image on the two-dimensional plane (see FIG. 21). That is). Also, since the two-dimensional image mapping information is described in units of pixels, it cannot be used in a method in which omnidirectional video is displayed / reproduced for each area. In addition, since adjacent pixels are not necessarily mapped adjacently by Hammersley Sequence, in order to interpolate the pixel value of a point (Θ, Φ) when displaying and reproducing an omnidirectional video from a two-dimensional image, Must search efficiently.

Ａ−４−２．円筒型の全方位映像の２次元平面へのマッピング方法
全方位映像が円筒型の場合には、図２２に示すように、円筒を縦に切って開けばそのまま長方形になる。図２２に示す例では、縦軸に上下に±４５°を割り当てているが、この値は任意である。また、図１０を参照しながら説明した場合と同様に、特定の領域の密度を集中的に高めて高画質化するということも可能である。 A-4-2. Method of Mapping Cylindrical Omnidirectional Video to Two-Dimensional Plane When the omnidirectional video is cylindrical, as shown in FIG. 22, if the cylinder is cut vertically and opened, it becomes a rectangle as it is. In the example shown in FIG. 22, ± 45 ° is assigned to the vertical axis in the vertical direction, but this value is arbitrary. Similarly to the case described with reference to FIG. 10, it is also possible to increase the density of a specific region intensively to improve the image quality.

但し、円筒型では、長方形に展開したときの縦横比が極端に異なる、すなわち、横方向の大きさが縦方向に比べて大きくなってしまうことがある。このような画像は、ＭＰＥＧなどの規定の圧縮フォーマットのサイズに適合しないので、例えば長方形画像を等分割して分割された各断片を上から順に配置して、規定のフォーマット・サイズに適合させるようにする。図２３に示す例では、円筒型から展開された長方形画像を２分割して、その右半分を左半分の下に貼り付けることで、縦横比を調整している。   However, in the cylindrical type, the aspect ratio when expanded into a rectangle is extremely different, that is, the size in the horizontal direction may be larger than that in the vertical direction. Since such an image does not conform to the size of a prescribed compression format such as MPEG, for example, a rectangular image is equally divided so that the divided pieces are arranged in order from the top so as to conform to the prescribed format size. To. In the example shown in FIG. 23, the aspect ratio is adjusted by dividing the rectangular image developed from the cylindrical shape into two parts and pasting the right half under the left half.

Ａ−５．２次元画像マッピング情報
既に述べたように、マッピング情報生成部２５は、平面画像の座標（ＴＸ，ＴＹ）と３次元極座標（Θ，Φ，ｒ）との対応関係を２次元マッピング情報として生成する。また、全方位映像データ・フォーマット変換部は、この２次元マッピング情報必要に応じて映像情報に付加する。但し、画素単位ではなく領域単位でマッピングする方式では、プリミティブの各頂点座標のみ２次元マッピング情報を有すればよい。 A-5. Two-dimensional image mapping information As already described, the mapping information generation unit 25 performs two-dimensional mapping of the correspondence between the coordinates (TX, TY) of the planar image and the three-dimensional polar coordinates (Θ, Φ, r). Generate as information. The omnidirectional video data / format conversion unit adds the two-dimensional mapping information to the video information as necessary. However, in the method of mapping not in units of pixels but in units of regions, only the vertex coordinates of the primitive need have two-dimensional mapping information.

２次元マッピング情報を映像情報に付加することにより、（ＴＸ，ＴＹ）→（Θ，Φ）への変換が必要なくなるので、全方位映像表示システム（後述）における負荷が軽くなる。また、３次元画像から２次元画像へのマッピングの自由度も高まる。例えば、図８に示したような単純なフォーマットでも、極部における密度を高めたり、特定の場所の密度を高めたりするといったことが可能になる。   By adding the two-dimensional mapping information to the video information, conversion from (TX, TY) to (Θ, Φ) is not necessary, and the load on the omnidirectional video display system (described later) is reduced. In addition, the degree of freedom of mapping from a three-dimensional image to a two-dimensional image is increased. For example, even with a simple format as shown in FIG. 8, it is possible to increase the density at the extreme part or increase the density at a specific place.

また、マッピング情報を利用することにより、全方位映像表示装置において全方位映像の３次元物体あるいは空間としての利用に関して自由度が上がる。例えば、マッピング情報に含まれる距離情報を使って任意の３次元形状を全方位映像表示装置の任意視点方向映像合成装置において再現することが可能になる。例えば、すべての画素に距離１を付加すれば半径１の球になるが、任意のｒを割り当てることによって任意の形状が再現可能になる。これによって、従来にない３次元ＧＵＩの生成やその利用が可能になる。全方位映像表示装置の詳細に関しては、後述に譲る。   In addition, by using the mapping information, the degree of freedom in using the omnidirectional video as a three-dimensional object or space in the omnidirectional video display device is increased. For example, an arbitrary three-dimensional shape can be reproduced in an arbitrary viewpoint direction video synthesizing device of an omnidirectional video display device using distance information included in mapping information. For example, if a distance 1 is added to all the pixels, a sphere having a radius 1 is obtained, but an arbitrary shape can be reproduced by assigning an arbitrary r. As a result, it is possible to generate and use a three-dimensional GUI that has not existed before. Details of the omnidirectional video display device will be described later.

２次元マッピング情報は、マッピング部２３において採用される２次元平面へのマッピング方法に応じて異なる。各マッピング方法におけるマッピング情報は既に述べた通りである。   The two-dimensional mapping information differs depending on the mapping method to the two-dimensional plane adopted in the mapping unit 23. The mapping information in each mapping method is as described above.

Ｂ．全方位映像表示システム
次いで、前項Ａで説明したような処理に従って２次元平面画像にマッピングされた３次元座標系の非平面画像を映像表示する全方位映像表示システムについて説明する。
Ｂ−１．システム構成
図２４には、本発明の実施に供される全方位映像表示システム５０の構成を模式的に示している。同図に示すように、全方位映像表示システム５０は、全方位映像蓄積装置５１と、視点指定装置５２と、任意視点方向映像合成装置５３と、映像表示装置５４とで構成される。全方位映像表示システム５０は、専用のハードウェア装置としてデザインすることも可能であるが、例えば図７に示したような一般的なコンピュータ・システム１００上で所定の画像処理アプリケーションを起動するという形態で実現することも可能である。 B. Omnidirectional video display system Next, an omnidirectional video display system that displays a non-planar image of a three-dimensional coordinate system mapped to a two-dimensional planar image in accordance with the processing described in the preceding section A will be described.
B-1. System Configuration FIG. 24 schematically shows the configuration of an omnidirectional video display system 50 that is used to implement the present invention. As shown in the figure, the omnidirectional video display system 50 includes an omnidirectional video storage device 51, a viewpoint designation device 52, an arbitrary viewpoint direction video synthesis device 53, and a video display device 54. The omnidirectional video display system 50 can be designed as a dedicated hardware device. For example, a predetermined image processing application is activated on a general computer system 100 as shown in FIG. It is also possible to realize with.

全方位映像蓄積装置５１は、ハード・ディスクやＤＶＤのような、一般的なコンピュータ・システムの外部記憶装置を用いて構成することができる。   The omnidirectional video storage device 51 can be configured using an external storage device of a general computer system such as a hard disk or a DVD.

視点指定装置５２は、全方位映像において、ユーザが視聴を所望する角度方向、ズーム、並行移動などの情報をユーザから入力として受け付ける装置であり、例えばマウスやキーボード、ゲーム・コントローラなどの一般的なユーザ入力装置で構成される。視点指定装置５２を介した入力データは、任意視点方向映像合成装置５３に供給される。   The viewpoint designating device 52 is a device that accepts information such as the angle direction, zooming, and parallel movement that the user desires to view in the omnidirectional video as input from the user. Consists of a user input device. The input data via the viewpoint designating device 52 is supplied to the arbitrary viewpoint direction video composition device 53.

任意視点方向映像合成装置５３は、ユーザの所望する映像を生成する装置であり、少なくともＣＰＵ（中央演算処理装置）とＧＰＵ（グラフィック処理装置）から構成される。任意視点方向映像合成装置５３で生成される映像は、３次元物体（球あるいは円筒など）の内側から外方向を見たときの視点方向映像、あるいは３次元物体を外側から見たときの３次元形状映像である。   The arbitrary viewpoint direction video synthesizing device 53 is a device that generates a video desired by a user, and includes at least a CPU (central processing unit) and a GPU (graphic processing unit). The image generated by the arbitrary viewpoint direction image synthesizing device 53 is a viewpoint direction image when the outside direction is viewed from the inside of a 3D object (such as a sphere or a cylinder), or a 3D image when the 3D object is viewed from the outside It is a shape image.

映像表示装置５４は、テレビやＰＣモニタなどの一般的な表示装置で構成され、任意視点方向映像合成装置５３から転送される映像を表示出力する。   The video display device 54 is configured by a general display device such as a television or a PC monitor, and displays and outputs the video transferred from the arbitrary viewpoint direction video synthesis device 53.

図２５には、任意視点方向映像合成装置５３の機能構成を模式的に示している。同図に示すように、任意視点方向映像合成装置５３は、全方位映像データ・フォーマットの読み込み及び分離部６１と、全方位映像復号部６２と、視点方向映像・３次元形状映像生成部６３とで構成される。   FIG. 25 schematically illustrates a functional configuration of the arbitrary viewpoint direction video composition device 53. As shown in the figure, the arbitrary viewpoint direction video composition device 53 includes an omnidirectional video data format read / separation unit 61, an omnidirectional video decoding unit 62, a viewpoint direction video / three-dimensional shape video generation unit 63, and the like. Consists of.

全方位映像データ・フォーマットの読み込み及び分離部６１は、図６に示したようなデータ・フォーマットを持つ全方位映像データを全方位映像蓄積装置５１から読み込んで、全方位映像情報と、２次元画像マッピング情報とに分離する。   The omnidirectional video data format reading / separating unit 61 reads omnidirectional video data having a data format as shown in FIG. 6 from the omnidirectional video storage device 51 to obtain omnidirectional video information and a two-dimensional image. Separated into mapping information.

全方位映像復号部６２は、例えばＭＰＥＧフォーマットなどで符号化されている全方位映像情報を復号化処理する。   The omnidirectional video decoding unit 62 decodes omnidirectional video information encoded in, for example, the MPEG format.

視点方向映像・３次元形状映像生成部６３は、視点指定装置５２を介してユーザから指定された視点方向及びズーム値に従った３次元形状映像を、復号化された全方位映像と２次元画像マッピング情報を用いて生成する。生成された３次元形状映像は、映像表示装置５４に転送され、表示出力される。   The viewpoint direction video / three-dimensional shape video generation unit 63 converts the three-dimensional shape video according to the viewpoint direction and the zoom value designated by the user via the viewpoint designation device 52 into the decoded omnidirectional video and two-dimensional image. Generate using mapping information. The generated three-dimensional shape image is transferred to the image display device 54 for display output.

Ｂ−２．視点方向に従った全方位映像の再生
ここでは、２次元平面画像にマッピングされている全方位映像から任意の視点方向の３次元形状映像を再生するための処理について説明する。 B-2. Reproduction of Omnidirectional Video According to Viewpoint Direction Here, a process for reproducing a three-dimensional shape image in an arbitrary viewpoint direction from an omnidirectional video mapped to a two-dimensional planar image will be described.

球型又は円筒型の全方位映像を２次元平面画像にマッピングする方式は、画素単位でマッピングする「画素方式」と、領域単位でマッピングする「領域方式」に大別される。どちらの方式であっても、２次元平面にマッピングされている全方位映像から、映像表示装置５４が持つ２次元表示画面への再マッピングを行なうことになる。   The method of mapping a spherical or cylindrical omnidirectional image to a two-dimensional planar image is roughly divided into a “pixel method” for mapping in pixel units and an “region method” for mapping in region units. In either method, the omnidirectional video mapped on the two-dimensional plane is remapped to the two-dimensional display screen of the video display device 54.

Ｂ−２−１．画素方式
図２６には、全方位映像の２次元平面へのマッピングに画素方式を採用した場合の、任意の視点方向の３次元形状映像を再生するためのデータの流れを模式的に示している。この場合、視点方向映像の各画素を、視点指定装置５２からの入力（視点方向及びズームの指定値）と、全方位映像に付加されている２次元画像マッピング情報を用いて、全方位映像から計算して求める。 B-2-1. Pixel Method FIG. 26 schematically shows a data flow for reproducing a three-dimensional shape image in an arbitrary viewpoint direction when the pixel method is used for mapping an omnidirectional image to a two-dimensional plane. . In this case, each pixel of the viewpoint direction video is input from the omnidirectional video using the input from the viewpoint specifying device 52 (specified values of the viewpoint direction and zoom) and the two-dimensional image mapping information added to the omnidirectional video. Calculate to find.

まず、視点方向映像の各画素（ｘ，ｙ）について、視点指定装置５２から渡された視点方向（θv，Φv）及びズーム値ｚから、下式を用いて極座標（Θ、Φ）を計算して求める。 First, for each pixel (x, y) of the viewpoint direction image, the polar coordinates (Θ, Φ) are obtained from the viewpoint direction (θ v , Φ v ) and the zoom value z passed from the viewpoint designation device 52 using the following formula. Calculate to find.

ここで、Ｒは回転行列であり、下式に示すように視点方向（θv，Φv）から求まる。 Here, R is a rotation matrix, and is obtained from the viewpoint direction (θ v , Φ v ) as shown in the following equation.

また、Ｋは透視変換のための行列であり、下式に示すような３×３行列で表される。   K is a matrix for perspective transformation, and is represented by a 3 × 3 matrix as shown in the following equation.

但し、点（ｐｘ，ｐｙ）は画像の中心の点であり、また、ｆｘ及びｆｙはそれぞれｘ及びｙ方向の焦点距離である。ズームは、ｆｘ及びｆｙにｚをかけることにより実現される。   However, the point (px, py) is the center point of the image, and fx and fy are the focal lengths in the x and y directions, respectively. Zoom is achieved by multiplying fx and fy by z.

次いで、２次元画像マッピング情報を参照して、極座標（Θ、Φ）を全方位画像座標（ＴＸf, ＴＹf）に変換する。このとき、全方位映像生成システム１０（前述及び図１を参照のこと）の全方位映像合成装置１２において３次元座標から２次元画像に変換する際に用いられた式を映像表示システム５０側でも判っている場合には、全方位映像データ・フォーマットに付加されているマッピング情報ではなく、その式を用いても構わない。各画素についてマッピング情報を持つのは冗長であることがあるため、このような方法を使う有用性は大きい。   Next, with reference to the two-dimensional image mapping information, polar coordinates (Θ, Φ) are converted into omnidirectional image coordinates (TXf, TYf). At this time, the video display system 50 side also uses the formula used when the omnidirectional video synthesizer 12 of the omnidirectional video generation system 10 (see FIG. 1 and FIG. 1) converts the three-dimensional coordinates into the two-dimensional image. If it is known, the formula may be used instead of the mapping information added to the omnidirectional video data format. Since it may be redundant to have mapping information for each pixel, it is very useful to use such a method.

このようにして求まった全方位画像座標は浮動小数点であることが多い。このため、整数の座標系である全方位画像から補間して求めた方がよい場合がある。補間方法としては、最近傍補間、線形補間、キュービック補間、ｓｉｎｃ補間、スプライン補間などを用いることができる。   The omnidirectional image coordinates obtained in this way are often floating point numbers. For this reason, it may be better to interpolate from an omnidirectional image that is an integer coordinate system. As an interpolation method, nearest neighbor interpolation, linear interpolation, cubic interpolation, sinc interpolation, spline interpolation, or the like can be used.

以上の変換をすべての視点方向画像（ｘ，ｙ）について計算し、全方位画像座標（ＴＸ，ＴＹ）から視点方向画像を作成して、それを映像表示装置５４に転送する。   The above conversion is calculated for all viewpoint direction images (x, y), a viewpoint direction image is created from the omnidirectional image coordinates (TX, TY), and is transferred to the video display device 54.

Ｂ−２−２．領域方式
任意視点方向映像合成装置５３のＣＰＵの性能によっては、上述した画素方式ではリアルタイム処理が間に合わないことがある。そこで、ＧＰＵが標準的に装備するテクスチャを画面上に貼り付けるテクスチャ・マッピング機能を用いた領域方式を用いることによって、計算量の大幅な削減を図ることができる。 B-2-2. Depending on the performance of the CPU of the area method arbitrary viewpoint direction video composition device 53, real-time processing may not be in time with the pixel method described above. Therefore, the amount of calculation can be greatly reduced by using an area method using a texture mapping function in which textures that are normally equipped on the GPU are pasted on the screen.

図２７には、全方位映像の２次元平面へのマッピングに領域方式を採用した場合の、任意の視点方向の３次元形状映像を再生するためのデータの流れを模式的に示している。また、図２８には、領域方式を採用した場合の任意視点方向映像を合成する概念図を示している。   FIG. 27 schematically shows a data flow for reproducing a three-dimensional shape image in an arbitrary viewpoint direction when the region method is adopted for mapping an omnidirectional image to a two-dimensional plane. FIG. 28 is a conceptual diagram for synthesizing an arbitrary viewpoint direction video when the area method is adopted.

まず、付加情報として含まれるマッピング情報を用いて、全方位映像を「プリミティブ」という単位で、プリミティブの各頂点について全方位画像座標（ＴＸ，ＴＹ）を極座標（Θ，Φ）に変換する。ここで、プリミティブとは、三角形あるいは四角形からなる基本描画要素であり、ＧＰＵは一般にこのプリミティブ単位で描画を行う。   First, omnidirectional image coordinates (TX, TY) are converted into polar coordinates (Θ, Φ) for each vertex of the primitive in units of “primitives” using mapping information included as additional information. Here, a primitive is a basic drawing element formed of a triangle or a quadrangle, and the GPU generally draws in units of this primitive.

次いで、視点指定装置５２から渡された視点方向（θv,Φv）及びズーム値ｚから、極座標（Θ，Φ）を視点方向画像座標（ｙf，ｙf）に変換する。変換式は以下のようになる。 Next, polar coordinates (Θ, Φ) are converted into viewpoint direction image coordinates (yf, yf) from the viewpoint direction (θ v , Φ v ) and zoom value z passed from the viewpoint designating device 52. The conversion formula is as follows.

ここで、Ｒは回転行列であり、Ｋは透視変換のための３×３行列である。上記の［数９］及び［数１０］を参照されたい   Here, R is a rotation matrix, and K is a 3 × 3 matrix for perspective transformation. See [Equation 9] and [Equation 10] above.

上記の式では、（Ｘ，Ｙ，Ｚ）並びに（−Ｘ，−Ｙ，−Ｚ）という２つの点（つまり点対称な点の対）で同じ座標値（ｘｆ，ｙｆ）を持つ視点方向画像座標が求まってしまう。そこで、求まった視点方向画像座標（ｘｆ，ｙｆ）がどちらの点から求まったものなのかを調べるために、求まった（ｘｆ，ｙｆ）をマッピング情報によって３次元座標系（Ｘ'，Ｙ'，Ｚ'）に変換し、この（Ｘ'，Ｙ'，Ｚ'）と（Ｘ，Ｙ，Ｚ）が一致するか否かで判断することができる。あるいは、ｗの値が正であれば、その（Ｘ，Ｙ，Ｚ）で求まった値が有効であると解釈しても構わない。   In the above formula, a viewpoint direction image having the same coordinate value (xf, yf) at two points (ie, a pair of point-symmetric points) (X, Y, Z) and (−X, −Y, −Z). The coordinates are determined. Therefore, in order to determine from which point the obtained viewpoint direction image coordinates (xf, yf) are obtained, the obtained (xf, yf) is converted into a three-dimensional coordinate system (X ′, Y ′, Z '), and (X', Y ', Z') can be determined by whether or not (X, Y, Z) matches. Alternatively, if the value of w is positive, the value obtained by (X, Y, Z) may be interpreted as valid.

次いで、全方位映像をテクスチャとして、ＧＰＵ（又は、ＧＰＵに用意されたＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）内のテクスチャ・バッファ）に転送する。そして、各プリミティブの頂点について全方位画像座標（ＴＸ，ＴＹ）のテクスチャ・バッファ上で対応する座標値（ｔｘ，ｔｙ）と視点方向画像座標（ｘｆ，ｙｆ）の対をＧＰＵに転送して、プリミティブ単位で視点方向画像を生成するように命令する。このときＧＰＵに備わっている補間技術を使用することができる。補間方法としては、最近傍補間、線形補間、キュービック補間、ｓｉｎｃ補間、スプライン補間などを用いることができる。   Next, the omnidirectional video is transferred as a texture to the GPU (or a texture buffer in a video random access memory (VRAM) prepared in the GPU). Then, a pair of coordinate values (tx, ty) and viewpoint direction image coordinates (xf, yf) corresponding to the omnidirectional image coordinates (TX, TY) in the texture buffer is transferred to the GPU for each vertex of the primitive, Command to generate a viewpoint direction image in primitive units. At this time, an interpolation technique provided in the GPU can be used. As an interpolation method, nearest neighbor interpolation, linear interpolation, cubic interpolation, sinc interpolation, spline interpolation, or the like can be used.

ここで、補間処理が実行されたとき、ＧＰＵによっては画像に不都合が生じることがある。例えば、テクスチャ・バッファの横幅が最大１０２４画素までと制限されているようなシステムにおいては、図２３を参照しながら既に説明したように、円筒形の全方位映像を等分割して分割された各断片を上から順に配置して、規定のフォーマット・サイズに適合させる必要がある（図２３に示す例では、円筒型から展開された長方形画像を２分割して、その右半分を左半分の下に貼り付けることで、縦横比を調整している）。例えば、ソニー・コンピュータ・エンターテインメント社のゲーム機Ｐｌａｙｓｔａｔｉｏｎ２（ＰＳ２）に搭載されているＧＰＵ“Ｇｒａｐｈｉｃ Ｓｙｎｔｈｅｓｉｚｅｒ”のように、線形補間機能が備わっているＧＰＵを使用する場合、分割された端縁部分では線形補間機能がうまく機能しないことがある。   Here, when the interpolation process is executed, an image may be inconvenient depending on the GPU. For example, in a system in which the width of the texture buffer is limited to a maximum of 1024 pixels, as described with reference to FIG. It is necessary to arrange the fragments in order from the top and adapt them to the specified format size (in the example shown in FIG. 23, the rectangular image developed from the cylindrical shape is divided into two, and the right half is below the left half. To adjust the aspect ratio). For example, when using a GPU having a linear interpolation function, such as a GPU “Graphic Synthesizer” installed in a game machine “Playstation 2 (PS2)” of Sony Computer Entertainment Inc., the divided edge portion is linear. Interpolation function may not work well.

例えば、切断又は展開された長方形画像の端縁付近に画素補間処理が差し掛かったとき、図２９や図３０に示すように、補間に使用すべき画素は折り返した場所にある。しかしながら、このような長方形画像の端縁付近は、本来は連続している隣接画素又はマクロ・ブロックの画素データを持たないので、画素値の補間を行うことができない。このような箇所は、線形補間が施されない結果として、余計な線として映像表示装置５４の画面上に現れてしまうことがある（図３１を参照のこと）。   For example, when a pixel interpolation process is performed near the edge of a cut or expanded rectangular image, the pixel to be used for the interpolation is in a folded position as shown in FIGS. However, since the vicinity of the edge of such a rectangular image originally does not have pixel data of adjacent pixels or macro blocks that are continuous, pixel values cannot be interpolated. Such a portion may appear on the screen of the video display device 54 as an extra line as a result of not being subjected to linear interpolation (see FIG. 31).

そこで、本発明者等は、図３２及び図３３に示すように、等分割された各断片の両端に任意の幅の糊代部分を付加するようにした。例えば、両端で連結する部分のマクロ・ブロック（ここでは、全方位映像がＭＰＥＧ−２方式で符号化されているものとする）を付加する（図中の数値は各マクロ・ブロックの通し番号に相当すると理解されたい）。この糊代のような付加画素ブロックを利用することにより、折り返し点においても正確な補間処理が行なわれ、図３１に示すような余計な線が現れない正常な画像が生成される。   Therefore, the present inventors added a margin portion having an arbitrary width to both ends of each equally divided piece as shown in FIGS. 32 and 33. For example, a macro block of a portion connected at both ends (here, it is assumed that the omnidirectional video is encoded by the MPEG-2 system) is added (the numerical value in the figure corresponds to the serial number of each macro block) I want you to understand.) By using the additional pixel block such as the glue margin, accurate interpolation processing is performed even at the turning point, and a normal image with no extra lines as shown in FIG. 31 is generated.

なお、ＧＰＵは、一般に“ＣＬＡＭＰ”という機能を備えており、テクスチャを繰り返して配置することができる。しかしながら、図２３に示すように長方形画像を２つ折りにしている場合には、左端と右端が一致していないため、ＣＬＡＭＰ機能を使っても適切な画像は生成されない。   Note that the GPU generally has a function called “CLAMP”, and can repeatedly arrange textures. However, when the rectangular image is folded in half as shown in FIG. 23, the left end and the right end do not coincide with each other, so that an appropriate image is not generated even if the CLAMP function is used.

以上の座標変換処理をすべてのプリミティブの頂点（ＴＸ，ＴＹ）について計算し、プリミティブの頂点のテクスチャ・バッファ上での座標（ｔｘ，ｔｙ）と視点方向画像座標（ｘｆ，ｙｆ）の対、及び、糊代を付加した全方位映像をＧＰＵに転送する。そして、ＧＰＵは、視点方向画像を作成して、これを映像表示装置５４に転送する。   The above coordinate transformation processing is calculated for all the vertices (TX, TY) of the primitives, and the pairs of the coordinates (tx, ty) on the texture buffer of the primitive vertices and the view direction image coordinates (xf, yf), and Then, the omnidirectional video with the glue margin added is transferred to the GPU. Then, the GPU creates a viewpoint direction image and transfers it to the video display device 54.

Ｂ−２−３．数学的な手法に基づいてマッピングされた２次元画像の映像再生
Ｓｔｒａｔｉｆｉｅｄ ＲａｎｄｏｍやＨａｍｍｅｒｓｌｅｙ Ｓｅｑｕｅｎｃｅ数学的な手法に基づいて球面上から均一にサンプリング点を抽出して、これを２次元平面画像にマッピングしていくことによって、すべての方向について各画素に含まれる情報量が等しく保たれるように非平面画像を２次元平面にマッピングすることができる、ということは既に述べた通りである。 B-2-3. Video playback of 2D image mapped based on mathematical method Stratified Random or Hammersley Sequence Based on mathematical method, sampling points are uniformly extracted from the spherical surface and mapped to a 2D planar image. As described above, it is possible to map the non-planar image to the two-dimensional plane so that the amount of information included in each pixel is kept equal in all directions.

ここでは、このような数学的な手法に基づいてマッピングされた２次元画像を用いて任意の視点方向の３次元形状映像を再生するための処理手順について説明する。図３４には、数学的な手法に基づいてマッピングされた２次元画像から任意の視点方向の３次元形状映像を再生するためのデータの流れを模式的に示している。   Here, a processing procedure for reproducing a three-dimensional shape image in an arbitrary viewpoint direction using a two-dimensional image mapped based on such a mathematical method will be described. FIG. 34 schematically shows a data flow for reproducing a three-dimensional shape image in an arbitrary viewpoint direction from a two-dimensional image mapped based on a mathematical method.

Ｓｔｒａｔｉｆｉｅｄ ＲａｎｄｏｍやＨａｍｍｅｒｓｌｅｙ Ｓｅｑｕｅｎｃｅによる２次元画像マッピング方法によれば、球面から均一に画素をサンプリングすることができるが、隣接画素はＳｔｒａｔｉｆｉｅｄ ＲａｎｄｏｍやＨａｍｍｅｒｓｌｅｙ Ｓｅｑｕｅｎｃｅにより隣接してマッピングされないので、２次元画像から全方位映像の表示・再生する際に、点（Θ，Φ）の画素値を補間するためには、隣接画素を効率的に探索しなければならない。   According to the two-dimensional image mapping method using Stratified Random or Hammersley Sequence, pixels can be uniformly sampled from the spherical surface, but neighboring pixels are not mapped adjacently by Stratified Random or Hammersley Sequence, so they are omnidirectional from the two-dimensional image. In order to interpolate the pixel value of the point (Θ, Φ) when displaying / reproducing the video, it is necessary to efficiently search for adjacent pixels.

そこで、本実施形態では、３次元形状映像を合成するための前処理として、マッピング情報を利用して、極座標系上の各サンプリング点（Θi，Φj）について、これと隣接する４個（又は複数個）の隣接画素（Θi (1)，Φj (1)），（Θi (2)，Φj (2)），（Θi (3)，Φj (3)），（Θi (4)，Φj (4)）を計算して、２次元マッピングされた全方位画像の画素サイズＷ×Ｈについて、隣接画素を検索するためのルックアップ・テーブルＴ（Θ，Φ）を作成する。 Therefore, in the present embodiment, as pre-processing for synthesizing the three-dimensional shape image, four sampling points (Θ i , Φ j ) adjacent to the sampling point (Θ i , Φ j ) on the polar coordinate system are used by using mapping information. Or a plurality of adjacent pixels (Θ i (1) , Φ j (1) ), (Θ i (2) , Φ j (2) ), (Θ i (3) , Φ j (3) ), ( Θ i (4) , Φ j (4) ) is calculated, and a lookup table T (Θ, Φ) for searching adjacent pixels for the pixel size W × H of the two-dimensionally mapped omnidirectional image Create

このような前処理の後、まず、視点方向映像の各画素（ｘ，ｙ）について、視点指定装置５２から渡された視点方向（θv，Φv）及びズーム値ｚから極座標（Θ、Φ）を計算して求める。 After such pre-processing, first, for each pixel (x, y) of the viewpoint direction video, polar coordinates (Θ, Φ) from the viewpoint direction (θ v , Φ v ) and the zoom value z passed from the viewpoint designating device 52 are obtained. ) Is calculated.

次いで、ルックアップ・テーブルＴ（Θ，Φ）を参照して、視点方向映像の画素（ｘ，ｙ）に対応する極座標（Θ，Φ）に隣接する画素を探索する。   Next, the pixel adjacent to the polar coordinate (Θ, Φ) corresponding to the pixel (x, y) of the viewpoint direction image is searched with reference to the lookup table T (Θ, Φ).

そして、これら隣接画素を用いて、極座標（Θ，Φ）を画素補間する。補間方法としては、最近傍補間、線形補間、キュービック補間、ｓｉｎｃ補間、スプライン補間などを用いることができる。   Then, using these adjacent pixels, the polar coordinates (Θ, Φ) are interpolated. As an interpolation method, nearest neighbor interpolation, linear interpolation, cubic interpolation, sinc interpolation, spline interpolation, or the like can be used.

次いで、２次元画像マッピング情報を参照して、極座標（Θ、Φ）を全方位画像座標（ＴＸf, ＴＹf）に変換する。   Next, with reference to the two-dimensional image mapping information, polar coordinates (Θ, Φ) are converted into omnidirectional image coordinates (TXf, TYf).

以上の変換をすべての視点方向画像（ｘ，ｙ）について計算し、全方位画像座標（ＴＸ，ＴＹ）から視点方向画像を作成して、それを映像表示装置５４に転送する。   The above conversion is calculated for all viewpoint direction images (x, y), a viewpoint direction image is created from the omnidirectional image coordinates (TX, TY), and is transferred to the video display device 54.

Ｂ−３．レンズ効果
画素方式並びに領域方式の双方において、極座標系と２次元画像座標系の間での変換を行う際に、各種レンズ効果を入れることが可能である。それぞれの方式で示した変換式は理想的なピンホール・カメラの場合である。 B-3. In both the lens effect pixel method and the region method, various lens effects can be added when converting between the polar coordinate system and the two-dimensional image coordinate system. The conversion formulas shown for each method are for an ideal pinhole camera.

魚眼レンズで撮影した映像として全方位映像を表示させる場合の変換式は以下のようになる。魚眼レンズを用いた際に生成される視点画像を図３５に示しておく。   The conversion formula for displaying an omnidirectional video as a video taken with a fisheye lens is as follows. A viewpoint image generated when the fisheye lens is used is shown in FIG.

Ｂ−４．任意３次元形状の合成
視点方向映像・３次元形状映像生成部６３は、２次元画像マッピング情報を用いることによって、視点指定装置５２を介してユーザから指定された視点方向及びズーム値に従った３次元形状映像を生成することができる。より具体的には、任意視点方向映像合成装置５３を構成するＧＰＵが備える３次元形状にテクスチャを貼り付ける機能を使って、２次元画像マッピング情報の距離情報を参照して全方位映像を３次元形状に貼り付ける。これによって、全方位画像を外側から見るときに任意の形状で再生することができる。 B-4. The combined viewpoint direction video / three-dimensional shape video generation unit 63 having an arbitrary three-dimensional shape uses the two-dimensional image mapping information, and thus follows the viewpoint direction and zoom value designated by the user via the viewpoint designation device 52. Dimensional shape images can be generated. More specifically, using the function of pasting a texture on the three-dimensional shape included in the GPU constituting the arbitrary viewpoint direction video composition device 53, refer to the distance information of the two-dimensional image mapping information to three-dimensional video. Paste into shape. As a result, the omnidirectional image can be reproduced in an arbitrary shape when viewed from the outside.

以下では、２次元平面にマッピングされた全方位映像を、外側の任意の３次元形状で映像合成するための処理について説明する。図３６には、２次元平面にマッピングされた全方位映像から任意３次元形状の映像を合成するためのデータの流れを模式的に示している。   In the following, a process for synthesizing an omnidirectional video mapped on a two-dimensional plane with an arbitrary outer three-dimensional shape will be described. FIG. 36 schematically shows a data flow for synthesizing an image of an arbitrary three-dimensional shape from an omnidirectional image mapped on a two-dimensional plane.

まず、２次元画像マッピング情報を参照して、全方位映像をプリミティブという単位でプリミティブの各頂点について全方位画像座標（ＴＸ，ＴＹ）を極座標（Θ、Φ、ｒ）に変換する。プリミティブとは三角形あるいは四角形で構成される描画単位であり、ＧＰＵは一般にこのプリミティブ単位で描画を行なう。   First, referring to the two-dimensional image mapping information, the omnidirectional image coordinates (TX, TY) are converted into polar coordinates (Θ, Φ, r) for each vertex of the primitive in units of omnidirectional images as primitives. A primitive is a drawing unit composed of a triangle or a quadrangle, and the GPU generally draws in units of this primitive.

次いで、極座標（Θ、Φ、ｒ）および視点指定装置５２から渡された視点方向（θv,Φv）及び平行移動量（Ｘv，Ｙv，Ｚv）から３次元座標（Ｘ，Ｙ，Ｚ）に変換する。変換式は以下の通りである。 Next, the three-dimensional coordinates (X, Y) are calculated from the polar coordinates (Θ, Φ, r), the viewpoint direction (θ v , Φ v ) and the translation amount (X v , Y v , Z v ) passed from the viewpoint specifying device 52. , Z). The conversion formula is as follows.

そして、全方位映像をテクスチャとして、ＧＰＵ（又は、ＧＰＵに用意されたＶＲＡＭ内のテクスチャ・バッファ）に転送する。そして、各プリミティブの頂点について全方位画像座標（ＴＸ，ＴＹ）と３次元座標（Ｘ，Ｙ，Ｚ）の対をＧＰＵに転送して、プリミティブ単位で３次元形状映像を生成するように命令する。このときＧＰＵに備わっている補間技術を使用することができる。補間方法としては、最近傍補間、線形補間、キュービック補間、ｓｉｎｃ補間、スプライン補間などを用いることができる。   Then, the omnidirectional video is transferred as a texture to the GPU (or a texture buffer in the VRAM prepared in the GPU). Then, a pair of omnidirectional image coordinates (TX, TY) and three-dimensional coordinates (X, Y, Z) is transferred to the GPU with respect to the vertices of each primitive to instruct to generate a three-dimensional shape image in units of primitives. . At this time, an interpolation technique provided in the GPU can be used. As an interpolation method, nearest neighbor interpolation, linear interpolation, cubic interpolation, sinc interpolation, spline interpolation, or the like can be used.

図３７〜図４０には、２次元平面にマッピングされた全方位映像から任意３次元形状の映像を合成した例を示している。図３７には、立方体の外側に全方位映像を貼り付けた様子を示している。同様に、図３８、図３９、図４０にはそれぞれ、正２０面体、正１２面体、ドーナツ（円環）の外側に全方位映像を貼り付けた様子を示している。   FIGS. 37 to 40 show examples in which an image having an arbitrary three-dimensional shape is synthesized from an omnidirectional image mapped on a two-dimensional plane. FIG. 37 shows a state in which an omnidirectional video is pasted outside the cube. Similarly, FIGS. 38, 39, and 40 show omnidirectional images pasted outside the regular icosahedron, regular dodecahedron, and donut (ring), respectively.

例えば、すべての画素に距離１を付加すれば半径１の球になるが、任意のｒを割り当てることによって任意の形状が再現可能になる。これによって、従来にない３次元ＧＵＩを生成したり利用したりすることが可能になる。   For example, if a distance 1 is added to all the pixels, a sphere having a radius 1 is obtained, but an arbitrary shape can be reproduced by assigning an arbitrary r. This makes it possible to generate and use a three-dimensional GUI that has not existed before.

以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。   The present invention has been described in detail above with reference to specific embodiments. However, it is obvious that those skilled in the art can make modifications and substitutions of the embodiment without departing from the gist of the present invention. That is, the present invention has been disclosed in the form of exemplification, and the contents described in the present specification should not be interpreted in a limited manner. In order to determine the gist of the present invention, the claims should be taken into consideration.

図１は、本発明の実施に供される全方位映像生成システム１０の構成を模式的に示した図である。FIG. 1 is a diagram schematically showing a configuration of an omnidirectional video generation system 10 provided for implementing the present invention. 図２は、全方位撮影装置１０の構成例を示した図である。FIG. 2 is a diagram illustrating a configuration example of the omnidirectional photographing apparatus 10. 図３は、全方位撮影装置１０の他の構成例を示した図である。FIG. 3 is a diagram illustrating another configuration example of the omnidirectional photographing apparatus 10. 図４は、全方位撮影装置１０の構成例を示した図である。FIG. 4 is a diagram illustrating a configuration example of the omnidirectional photographing apparatus 10. 図５は、全方位映像合成装置１２における機能構成を模式的に示した図である。FIG. 5 is a diagram schematically illustrating a functional configuration in the omnidirectional video composition device 12. 図６は、全方位映像データ・フォーマット変換部２６により変換された、２次元画像マッピング情報と映像データを１組としたデータ・フォーマットの構成例を示した図である。FIG. 6 is a diagram showing a configuration example of a data format in which the two-dimensional image mapping information and the video data converted by the omnidirectional video data format conversion unit 26 are combined. 図７は、全方位映像合成装置１２及び全方位映像蓄積装置１３として適用されるコンピュータ・システム１００の構成を模式的に示した図である。FIG. 7 is a diagram schematically showing a configuration of a computer system 100 applied as the omnidirectional video composition device 12 and the omnidirectional video storage device 13. 図８は、３次元座標系の画像を２次元平面画像にマッピングする方法の一例を示した図であり、より具体的には、球面を円筒に投影して平面に展開する方法を示した図である。FIG. 8 is a diagram illustrating an example of a method for mapping an image of a three-dimensional coordinate system to a two-dimensional planar image, and more specifically, a diagram illustrating a method of projecting a spherical surface onto a cylinder and developing it onto a plane. It is. 図９は、屋外のある場所で撮影された全方位画像を、図８に示したような円筒投影法で２次元平面にマッピングした画像の例を示した図である。FIG. 9 is a diagram showing an example of an image obtained by mapping an omnidirectional image taken at a certain place outdoors on a two-dimensional plane by the cylindrical projection method as shown in FIG. 図１０は、３次元座標系の画像を２次元平面画像にマッピングする方法の一例を示した図であり、より具体的には、図８に示した方法を変形した例を示した図である。FIG. 10 is a diagram illustrating an example of a method for mapping an image of a three-dimensional coordinate system to a two-dimensional planar image, and more specifically, a diagram illustrating an example in which the method illustrated in FIG. 8 is modified. . 図１１は、球面を円筒に投影して平面に展開することにより３次元座標系の画像を２次元平面画像にマッピングする方法の他の例を示した図であり、より具体的には、サンソン図法によりマッピングされた例を示した図である。FIG. 11 is a diagram showing another example of a method of mapping an image of a three-dimensional coordinate system onto a two-dimensional plane image by projecting a spherical surface onto a cylinder and expanding it onto a plane. More specifically, FIG. It is the figure which showed the example mapped by the projection. 図１２は、図１１に示した２次元マッピング画像の未使用領域に同じ背景色を割り当てた様子を示した図である。FIG. 12 is a diagram illustrating a state in which the same background color is assigned to an unused area of the two-dimensional mapping image illustrated in FIG. 図１３は、Ｓｔｒａｔｉｆｉｅｄ Ｒａｎｄｏｍ法の概念図を示した図である。FIG. 13 is a diagram showing a conceptual diagram of the Stratified Random method. 図１４は、Ｓｔｒａｔｉｆｉｅｄ Ｒａｎｄｏｍ法の処理手順を説明するための図である。FIG. 14 is a diagram for explaining the processing procedure of the Stratified Random method. 図１５は、屋外のある場所で撮影された全方位画像を、Ｓｔｒａｔｉｆｉｅｄ Ｒａｎｄｏｍに基づくマッピング方法により２次元平面にマッピングした画像の例を示している。FIG. 15 shows an example of an image obtained by mapping an omnidirectional image taken at a place outdoors on a two-dimensional plane by a mapping method based on Stratified Random. 図１６は、Ｈａｍｍｅｒｓｌｅｙ Ｓｅｑｕｅｎｃｅにより球面上から１０００個のサンプリング点を抽出した様子を示した図である。FIG. 16 is a diagram showing a state in which 1000 sampling points are extracted from the spherical surface by Hammersley Sequence. 図１７は、Ｈａｍｍｅｒｓｌｅｙ Ｓｅｑｕｅｎｃｅにより球面上から１００００個のサンプリング点を抽出した様子を示した図である。FIG. 17 is a diagram showing a state in which 10,000 sampling points are extracted from the spherical surface by Hammersley Sequence. 図１８は、乱数により球面上から１０００個のサンプリング点を抽出した様子を示した図である。FIG. 18 is a diagram showing a state in which 1000 sampling points are extracted from the spherical surface using random numbers. 図１９は、乱数により球面上から１００００個のサンプリング点を抽出した様子を示した図である。FIG. 19 is a diagram showing a state in which 10,000 sampling points are extracted from the spherical surface using random numbers. 図２０は、Ｈａｍｍｅｒｓｌｅｙ Ｓｅｑｕｅｎｃｅを用いて全方位画像を２次元平面画像にマッピングする様子を示した図である。FIG. 20 is a diagram illustrating a state in which an omnidirectional image is mapped to a two-dimensional planar image using Hammersley Sequence. 図２１は、屋外のある場所で撮影された全方位画像を、Ｈａｍｍｅｒｓｌｅｙ Ｓｅｑｕｅｎｃｅに基づくマッピング方法により２次元平面にマッピングした画像の例を示している。FIG. 21 shows an example of an image obtained by mapping an omnidirectional image taken at a place outdoors on a two-dimensional plane by a mapping method based on Hammersley Sequence. 図２２は、円筒型の全方位映像を２次元平面にマッピングするための方法を説明するための図である。FIG. 22 is a diagram for explaining a method for mapping a cylindrical omnidirectional image to a two-dimensional plane. 図２３は、円筒型から展開された長方形画像を２分割して、その右半分を左半分の下に貼り付けることで、縦横比を調整している様子を示した図である。FIG. 23 is a diagram showing how the aspect ratio is adjusted by dividing a rectangular image developed from a cylindrical shape into two parts and pasting the right half under the left half. 図２４は、本発明の実施に供される全方位映像表示システム５０の構成を模式的に示した図である。FIG. 24 is a diagram schematically showing the configuration of an omnidirectional video display system 50 provided for implementing the present invention. 図２５は、任意視点方向映像合成装置５３における機能構成を模式的に示した図である。FIG. 25 is a diagram schematically illustrating a functional configuration in the arbitrary viewpoint direction video composition device 53. 図２６は、全方位映像の２次元平面へのマッピングに画素方式を採用した場合の任意の視点方向の３次元形状映像を再生するためのデータの流れを模式的に示した図である。FIG. 26 is a diagram schematically illustrating a data flow for reproducing a three-dimensional shape image in an arbitrary viewpoint direction when the pixel method is employed for mapping an omnidirectional image to a two-dimensional plane. 図２７は、全方位映像の２次元平面へのマッピングに領域方式を採用した場合の任意の視点方向の３次元形状映像を再生するためのデータの流れを模式的に示した図である。FIG. 27 is a diagram schematically illustrating a data flow for reproducing a three-dimensional shape image in an arbitrary viewpoint direction when an area method is employed for mapping an omnidirectional image to a two-dimensional plane. 図２８は、領域方式を採用した場合の任意視点方向映像を合成する概念図である。FIG. 28 is a conceptual diagram for synthesizing an arbitrary viewpoint direction video when the area method is adopted. 図２９は、球状又は円筒状の全方位画像を２次元平面にマッピングした２次元全方位画像（但し、長方形画像を等分割して貼り合せていない場合）を示した図である。FIG. 29 is a diagram showing a two-dimensional omnidirectional image obtained by mapping a spherical or cylindrical omnidirectional image onto a two-dimensional plane (provided that rectangular images are not equally divided and pasted). 図３０は、球状又は円筒状の全方位画像を２次元平面にマッピングした２次元全方位画像（但し、長方形画像を等分割して貼り合せている場合）を示した図である。FIG. 30 is a diagram showing a two-dimensional omnidirectional image obtained by mapping a spherical or cylindrical omnidirectional image on a two-dimensional plane (provided that rectangular images are equally divided and pasted together). 図３１は、線形補間が施されない箇所が余計な線として映像表示装置５４の画面上に現れている様子を示した図である。FIG. 31 is a diagram illustrating a state where a portion where linear interpolation is not performed appears on the screen of the video display device 54 as an extra line. 図３２は、等分割された各断片の両端に連結する部分のマクロ・ブロックを糊代として付加した様子を示した図（但し、長方形画像を等分割して貼り合せていない場合）である。FIG. 32 is a diagram showing a state in which macro blocks at portions connected to both ends of each equally divided fragment are added as paste margins (however, a rectangular image is not equally divided and pasted). 図３３は、等分割された各断片の両端に連結する部分のマクロ・ブロックを糊代として付加した様子を示した図（但し、長方形画像を等分割して貼り合せている場合）である。FIG. 33 is a diagram showing a state where macro blocks of portions connected to both ends of each equally divided fragment are added as paste margins (however, a rectangular image is equally divided and pasted). 図３４は、数学的な手法に基づいてマッピングされた２次元画像から任意の視点方向の３次元形状映像を再生するためのデータの流れを模式的に示した図である。FIG. 34 is a diagram schematically showing a data flow for reproducing a three-dimensional shape image in an arbitrary viewpoint direction from a two-dimensional image mapped based on a mathematical method. 図３５は、魚眼レンズを用いた際に生成される視点画像を示した図である。FIG. 35 is a diagram illustrating a viewpoint image generated when a fisheye lens is used. 図３６は、２次元平面にマッピングされた全方位映像から任意３次元形状の映像を合成するためのデータの流れを模式的に示した図である。FIG. 36 is a diagram schematically illustrating a data flow for synthesizing an image having an arbitrary three-dimensional shape from an omnidirectional image mapped on a two-dimensional plane. 図３７は、２次元平面にマッピングされた全方位映像から任意３次元形状の映像を合成した例を示した図であり、より具体的には、立方体の外側に全方位映像を貼り付けた様子を示した図である。FIG. 37 is a diagram showing an example in which an image of an arbitrary three-dimensional shape is synthesized from an omnidirectional image mapped on a two-dimensional plane. More specifically, a state in which the omnidirectional image is pasted on the outside of a cube. FIG. 図３８は、２次元平面にマッピングされた全方位映像から任意３次元形状の映像を合成した例を示した図であり、より具体的には、正２０体の外側に全方位映像を貼り付けた様子を示した図である。FIG. 38 is a diagram showing an example in which an image of an arbitrary three-dimensional shape is synthesized from an omnidirectional image mapped on a two-dimensional plane. More specifically, the omnidirectional image is pasted outside the regular 20 bodies. FIG. 図３９は、２次元平面にマッピングされた全方位映像から任意３次元形状の映像を合成した例を示した図であり、より具体的には、正１２面体の外側に全方位映像を貼り付けた様子を示した図である。FIG. 39 is a diagram showing an example in which an image of an arbitrary three-dimensional shape is synthesized from an omnidirectional image mapped on a two-dimensional plane. More specifically, the omnidirectional image is pasted outside the regular dodecahedron. FIG. 図４０は、２次元平面にマッピングされた全方位映像から任意３次元形状の映像を合成した例を示した図であり、より具体的には、ドーナツ形状体の外側に全方位映像を貼り付けた様子を示した図である。FIG. 40 is a diagram showing an example in which an image of an arbitrary three-dimensional shape is synthesized from an omnidirectional image mapped on a two-dimensional plane, and more specifically, an omnidirectional image is pasted on the outside of a donut shape body. FIG.

符号の説明Explanation of symbols

１０…全方位映像生成システム
１１…全方位撮影装置
１２…全方位映像合成装置
１３…全方位映像蓄積装置
２１…レンズ歪・輝度・コントラスト・パースペクティブ補正部
２２…３次元座標系へのマッピング部
２３…２次元画像へのマッピング部
２４…動画・静止画圧縮部
２５…マッピング情報生成部
２６…全方位映像データ・フォーマット変換部
５０…全方位映像表示システム
５１…全方位映像蓄積装置
５２…視点指定装置
５３…任意視点方向映像合成装置
５４…映像表示装置
６１…全方位映像データ・フォーマットの読み込み及び分離部
６２…全方位映像復号部
６３…視点方向映像・３次元形状映像生成部
１００…コンピュータ
１０１…ＣＰＵ，１０２…メモリ
１０３…ディスプレイ・コントローラ
１０４…入力機器インターフェース
１０５…ネットワーク・インターフェース
１０７…外部機器インターフェース，１０８…バス
１０９…ビデオ・キャプチャ・カード
１１１…ディスプレイ，１１２…キーボード，１１３…マウス
１１４…ハード・ディスク装置
１１５…メディア・ドライブ
DESCRIPTION OF SYMBOLS 10 ... Omni-directional image generation system 11 ... Omni-directional imaging device 12 ... Omni-directional image composition device 13 ... Omni-directional image storage device 21 ... Lens distortion / brightness / contrast / perspective correction unit 22 ... Mapping unit to 3D coordinate system 23 ... 2D image mapping unit 24 ... Video / still image compression unit 25 ... Mapping information generation unit 26 ... Omnidirectional video data / format conversion unit 50 ... Omnidirectional video display system 51 ... Omnidirectional video storage device 52 ... Viewpoint designation Apparatus 53 ... Arbitrary viewpoint direction video composition apparatus 54 ... Video display apparatus 61 ... Omni-directional video data format reading and separation unit 62 ... Omni-directional video decoding unit 63 ... View direction video / three-dimensional shape video generation unit 100 ... Computer 101 ... CPU, 102 ... Memory 103 ... Display controller 104 ... Input device in Over the face 105 ... network interface 107 ... external device interface, 108 ... Bus 109 ... video capture card 111 ... display, 112 ... keyboard, 113 ... mouse 114 ... hard disk drive 115 ... media drive

Claims (14)

Ｎ台のカメラが空間中のある１つの視点を中心にしてすべての方向の映像を撮影できるように配置して構成される全方位撮影手段と、
前記全方位撮影手段によって撮影されたＮ台のカメラの映像データを入力して、各カメラのカメラ・パラメータを基に、前記映像データの補正を行なう映像データ補正手段と、
前記映像データ補正手段によって補正されたＮ個の映像から同期のとれた静止画を選択して、Ｎ枚の画像と撮影に使われた対応するカメラのカメラ・パラメータを用いて、各画像を１つの３次元座標系において、球面又は円筒面上にマッピングされた３次元座標系で表される球面状の全方位画像を、面積比率が正しくなるように球面を円筒に投影して、該円筒を平面に展開して２次元平面にマッピングする２次元平面画像マッピング手段と、
元の全方位画像の３次元座標系（Θ，Φ，ｒ）と、マッピングされた２次元画像座標系（ＴＸ，ＴＹ）との対応関係を下式で表したマッピング情報を生成するマッピング情報生成手段と、
を具備することを特徴とする非平面画像の画像処理装置。 Omnidirectional photographing means configured so that N cameras can photograph images in all directions around a certain viewpoint in space;
Video data correction means for inputting video data of N cameras taken by the omnidirectional imaging means and correcting the video data based on camera parameters of each camera;
A synchronized still image is selected from the N videos corrected by the video data correcting means, and each image is set to 1 using N images and the camera parameters of the corresponding camera used for shooting. In two three-dimensional coordinate systems, a spherical omnidirectional image represented by a three-dimensional coordinate system mapped on a spherical surface or a cylindrical surface is projected onto the cylinder so that the area ratio is correct, and the cylinder is Two-dimensional plane image mapping means for expanding the plane and mapping it to a two-dimensional plane;
Mapping information generation for generating mapping information expressing the correspondence between the original three-dimensional image coordinate system (Θ, Φ, r) and the mapped two-dimensional image coordinate system (TX, TY) by the following equation Means,
An image processing apparatus for non-planar images, comprising: Ｎ台のカメラが空間中のある１つの視点を中心にしてすべての方向の映像を撮影できるように配置して構成される全方位撮影手段と、
前記全方位撮影手段によって撮影されたＮ台のカメラの映像データを入力して、各カメラのカメラ・パラメータを基に、前記映像データの補正を行なう映像データ補正手段と、
前記映像データ補正手段によって補正されたＮ個の映像から同期のとれた静止画を選択して、Ｎ枚の画像と撮影に使われた対応するカメラのカメラ・パラメータを用いて、各画像を１つの３次元座標系において、球面又は円筒面上にマッピングされた３次元座標系で表される球面状の全方位画像のＺ軸方向に等間隔な範囲で区切られる球面上の領域を、球のＺ軸を等間隔に平行な平面で切ったときに隣接する平面で挟まれる球面上の面積は一定となるという定理を利用して、２次元直交座標系で等間隔な範囲で区切られる帯状の平面領域にランダムにマッピングする２次元平面画像マッピング手段と、
元の非平面画像を表す３次元座標系とマッピングされた２次元画像座標系との対応関係を記述したマッピング情報を生成するマッピング情報生成手段と、
を具備することを特徴とする非平面画像の画像処理装置。 Omnidirectional photographing means configured so that N cameras can photograph images in all directions around a certain viewpoint in space;
Video data correction means for inputting video data of N cameras taken by the omnidirectional imaging means and correcting the video data based on camera parameters of each camera;
A synchronized still image is selected from the N videos corrected by the video data correcting means, and each image is set to 1 using N images and the camera parameters of the corresponding camera used for shooting. In two three-dimensional coordinate systems, a spherical area divided by equal intervals in the Z-axis direction of a spherical omnidirectional image represented by a three-dimensional coordinate system mapped on a spherical surface or a cylindrical surface is Using the theorem that the area on the spherical surface sandwiched between adjacent planes is constant when the Z-axis is cut along planes that are parallel to each other at regular intervals, Two-dimensional planar image mapping means for randomly mapping to a planar region;
Mapping information generating means for generating mapping information describing the correspondence between the three-dimensional coordinate system representing the original non-planar image and the mapped two-dimensional image coordinate system;
An image processing apparatus for non-planar images, comprising: Ｎ台のカメラが空間中のある１つの視点を中心にしてすべての方向の映像を撮影できるように配置して構成される全方位撮影手段と、
前記全方位撮影手段によって撮影されたＮ台のカメラの映像データを入力して、各カメラのカメラ・パラメータを基に、前記映像データの補正を行なう映像データ補正手段と、
前記映像データ補正手段によって補正されたＮ個の映像から同期のとれた静止画を選択して、Ｎ枚の画像と撮影に使われた対応するカメラのカメラ・パラメータを用いて、各画像を１つの３次元座標系において、球面又は円筒面上にマッピングされた３次元座標系で表される非平面画像を、２次元平面にマッピングする２次元平面画像マッピング手段と、
元の非平面画像を表す３次元座標系とマッピングされた２次元画像座標系との対応関係を記述したマッピング情報を生成するマッピング情報生成手段と、
マッピングされた２次元平面画像情報を、２次元平面画像情報に画素がマッピングされていない未使用領域が含まれる場合には該未使用領域に同じ画素値を割り当てながら、所定の圧縮フォーマットで圧縮する画像圧縮手段と、
を具備することを特徴とする非平面画像の画像処理装置。 Omnidirectional photographing means configured so that N cameras can photograph images in all directions around a certain viewpoint in space;
Video data correction means for inputting video data of N cameras taken by the omnidirectional imaging means and correcting the video data based on camera parameters of each camera;
A synchronized still image is selected from the N videos corrected by the video data correcting means, and each image is set to 1 using N images and the camera parameters of the corresponding camera used for shooting. Two-dimensional planar image mapping means for mapping a non-planar image represented by a three-dimensional coordinate system mapped onto a spherical surface or a cylindrical surface in two three-dimensional coordinate systems to a two-dimensional plane;
Mapping information generating means for generating mapping information describing the correspondence between the three-dimensional coordinate system representing the original non-planar image and the mapped two-dimensional image coordinate system;
When the mapped two-dimensional planar image information includes an unused area in which no pixel is mapped in the two-dimensional planar image information, the same pixel value is assigned to the unused area and is compressed in a predetermined compression format. Image compression means;
An image processing apparatus for non-planar images, comprising: 前記画像圧縮手段は、動画に対しては、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６３、Ｈ．２６１、ＡＶＩ、Ｍｏｔｉｏｎ ＪＰＥＧなど、また、静止画に対しては、ＪＰＥＧ、ＧＩＦ、ＰＮＧ、ＢＭＰ、ＴＩＦＦなどの圧縮フォーマットを採用する、
ことを特徴とする請求項３に記載の非平面画像の画像処理装置。 The image compressing means is adapted to MPEG-1, MPEG-2, MPEG-4, H.264 for moving images. 263, H.M. 261, AVI, Motion JPEG, etc. For still images, adopt compression formats such as JPEG, GIF, PNG, BMP, TIFF,
The image processing apparatus for non-planar images according to claim 3. Ｎ台のカメラが空間中のある１つの視点を中心にしてすべての方向の映像を撮影できるように配置して構成される全方位撮影手段と、
前記全方位撮影手段によって撮影されたＮ台のカメラの映像データを入力して、各カメラのカメラ・パラメータを基に、前記映像データの補正を行なう映像データ補正手段と、
前記映像データ補正手段によって補正されたＮ個の映像から同期のとれた静止画を選択して、Ｎ枚の画像と撮影に使われた対応するカメラのカメラ・パラメータを用いて、各画像を１つの３次元座標系において、球面又は円筒面上にマッピングされた３次元座標系で表される非平面画像を、２次元平面にマッピングする２次元平面画像マッピング手段と、
元の非平面画像を表す３次元座標系とマッピングされた２次元画像座標系との対応関係を記述したマッピング情報を生成するマッピング情報生成手段と、
前記２次元平面画像マッピング手段によりマッピングされた２次元平面画像又はその圧縮画像と前記マッピング情報生成手段により生成されたマッピング情報を１組としたデータ・フォーマットに変換するデータ・フォーマット変換手段と、
を具備することを特徴とする非平面画像の画像処理装置。 Omnidirectional photographing means configured so that N cameras can photograph images in all directions around a certain viewpoint in space;
Video data correction means for inputting video data of N cameras taken by the omnidirectional imaging means and correcting the video data based on camera parameters of each camera;
A synchronized still image is selected from the N videos corrected by the video data correcting means, and each image is set to 1 using N images and the camera parameters of the corresponding camera used for shooting. Two-dimensional planar image mapping means for mapping a non-planar image represented by a three-dimensional coordinate system mapped onto a spherical surface or a cylindrical surface in two three-dimensional coordinate systems to a two-dimensional plane;
Mapping information generating means for generating mapping information describing the correspondence between the three-dimensional coordinate system representing the original non-planar image and the mapped two-dimensional image coordinate system;
Data format conversion means for converting the two-dimensional plane image mapped by the two-dimensional plane image mapping means or a compressed image thereof and the mapping information generated by the mapping information generation means into a data format as a set;
An image processing apparatus for non-planar images, comprising: 前記データ・フォーマット変換手段は、映像情報と同期がとれるような形式で音声情報をインターリーブして挿入する、
ことを特徴とする請求項５に記載の非平面画像の画像処理装置。 The data format conversion means interleaves and inserts audio information in a format that can be synchronized with video information.
The image processing apparatus for a non-planar image according to claim 5. 前記データ・フォーマット変換手段は、前記２次元平面画像マッピング手段が採用するマッピング方法が切り換わる度に、フレームの先頭にマッピング情報を挿入する、
ことを特徴とする請求項５に記載の非平面画像の画像処理装置。 The data format conversion means inserts mapping information at the head of the frame each time the mapping method adopted by the two-dimensional planar image mapping means is switched.
The image processing apparatus for a non-planar image according to claim 5. ３次元座標系で表される非平面画像を処理する画像処理方法であって、
空間中のある１つの視点を中心にしてすべての方向の映像を撮影できるように配置して構成されるＮ台のカメラを用いて全方位を撮影する全方位撮影ステップと、
前記全方位撮影ステップにおいて撮影されたＮ台のカメラの映像データを入力して、各カメラのカメラ・パラメータを基に、前記映像データの補正を行なう映像データ補正ステップと、
前記映像データ補正ステップにおいて補正されたＮ個の映像から同期のとれた静止画を選択して、Ｎ枚の画像と撮影に使われた対応するカメラのカメラ・パラメータを用いて、各画像を１つの３次元座標系において、球面又は円筒面上にマッピングされた３次元座標系で表される球面状の全方位画像を、面積比率が正しくなるように球面を円筒に投影して、該円筒を平面に展開して２次元平面画像にマッピングする２次元平面画像マッピング・ステップと、
元の全方位画像の３次元座標系（Θ，Φ，ｒ）と、マッピングされた２次元画像座標系（ＴＸ，ＴＹ）との対応関係を下式で表したマッピング情報を生成するマッピング情報生成ステップと、
を有することを特徴とする非平面画像の画像処理方法。 An image processing method for processing a non-planar image represented in a three-dimensional coordinate system,
An omnidirectional shooting step of shooting omnidirectional images using N cameras arranged so as to be able to shoot images in all directions around a single viewpoint in space;
Video data correction step of inputting video data of N cameras taken in the omnidirectional shooting step, and correcting the video data based on camera parameters of each camera;
A synchronized still image is selected from the N videos corrected in the video data correction step, and each image is set to 1 using N images and the camera parameters of the corresponding camera used for shooting. In two three-dimensional coordinate systems, a spherical omnidirectional image represented by a three-dimensional coordinate system mapped on a spherical surface or a cylindrical surface is projected onto the cylinder so that the area ratio is correct, and the cylinder is A two-dimensional planar image mapping step for mapping to a two-dimensional planar image by expanding it into a plane;
Mapping information generation for generating mapping information expressing the correspondence between the original three-dimensional image coordinate system (Θ, Φ, r) and the mapped two-dimensional image coordinate system (TX, TY) by the following equation Steps,
And a non-planar image processing method. ３次元座標系で表される非平面画像を処理する画像処理方法であって、
空間中のある１つの視点を中心にしてすべての方向の映像を撮影できるように配置して構成されるＮ台のカメラを用いて全方位を撮影する全方位撮影ステップと、
前記全方位撮影ステップにおいて撮影されたＮ台のカメラの映像データを入力して、各カメラのカメラ・パラメータを基に、前記映像データの補正を行なう映像データ補正ステップと、
前記映像データ補正ステップにおいて補正されたＮ個の映像から同期のとれた静止画を選択して、Ｎ枚の画像と撮影に使われた対応するカメラのカメラ・パラメータを用いて、各画像を１つの３次元座標系において、球面又は円筒面上にマッピングされた３次元座標系で表される球面状の全方位画像のＺ軸方向に等間隔な範囲で区切られる球面上の領域を、球のＺ軸を等間隔に平行な平面で切ったときに隣接する平面で挟まれる球面上の面積は一定となるという定理を利用して、２次元直交座標系で等間隔な範囲で区切られる帯状の平面領域にランダムにマッピングする２次元平面画像マッピング・ステップと、
元の非平面画像を表す３次元座標系とマッピングされた２次元画像座標系との対応関係を記述したマッピング情報を生成するマッピング情報生成ステップと、
を具備することを特徴とする非平面画像の画像処理方法。 An image processing method for processing a non-planar image represented in a three-dimensional coordinate system,
An omnidirectional shooting step of shooting omnidirectional images using N cameras arranged so as to be able to shoot images in all directions around a single viewpoint in space;
Video data correction step of inputting video data of N cameras taken in the omnidirectional shooting step, and correcting the video data based on camera parameters of each camera;
A synchronized still image is selected from the N videos corrected in the video data correction step, and each image is set to 1 using N images and the camera parameters of the corresponding camera used for shooting. In two three-dimensional coordinate systems, a spherical area divided by equal intervals in the Z-axis direction of a spherical omnidirectional image represented by a three-dimensional coordinate system mapped on a spherical surface or a cylindrical surface is Using the theorem that the area on the spherical surface sandwiched between adjacent planes is constant when the Z-axis is cut along planes that are parallel to each other at regular intervals, A two-dimensional planar image mapping step for randomly mapping to a planar region;
A mapping information generating step for generating mapping information describing a correspondence relationship between the three-dimensional coordinate system representing the original non-planar image and the mapped two-dimensional image coordinate system;
An image processing method for a non-planar image, comprising: ３次元座標系で表される非平面画像を処理する画像処理方法であって、
空間中のある１つの視点を中心にしてすべての方向の映像を撮影できるように配置して構成されるＮ台のカメラを用いて全方位を撮影する全方位撮影ステップと、
前記全方位撮影ステップにおいて撮影されたＮ台のカメラの映像データを入力して、各カメラのカメラ・パラメータを基に、前記映像データの補正を行なう映像データ補正ステップと、
前記映像データ補正ステップにおいて補正されたＮ個の映像から同期のとれた静止画を選択して、Ｎ枚の画像と撮影に使われた対応するカメラのカメラ・パラメータを用いて、各画像を１つの３次元座標系において、球面又は円筒面上にマッピングされた３次元座標系で表される非平面画像を、２次元平面にマッピングする２次元平面画像マッピング・ステップと、
元の非平面画像を表す３次元座標系とマッピングされた２次元画像座標系との対応関係を記述したマッピング情報を生成するマッピング情報生成ステップと、
マッピングされた２次元平面画像情報を、２次元平面画像情報に画素がマッピングされていない未使用領域が含まれる場合には該未使用領域に同じ画素値を割り当てながら、所定の圧縮フォーマットで圧縮する画像圧縮ステップと、
を有することを特徴とする非平面画像の画像処理方法。 An image processing method for processing a non-planar image represented in a three-dimensional coordinate system,
An omnidirectional shooting step of shooting omnidirectional images using N cameras arranged so as to be able to shoot images in all directions around a single viewpoint in space;
Video data correction step of inputting video data of N cameras taken in the omnidirectional shooting step, and correcting the video data based on camera parameters of each camera;
A synchronized still image is selected from the N videos corrected in the video data correction step, and each image is set to 1 using N images and the camera parameters of the corresponding camera used for shooting. A two-dimensional planar image mapping step for mapping a non-planar image represented by a three-dimensional coordinate system mapped on a spherical surface or a cylindrical surface in two three-dimensional coordinate systems to a two-dimensional plane;
A mapping information generating step for generating mapping information describing a correspondence relationship between the three-dimensional coordinate system representing the original non-planar image and the mapped two-dimensional image coordinate system;
When the mapped two-dimensional planar image information includes an unused area in which no pixel is mapped in the two-dimensional planar image information, the same pixel value is assigned to the unused area and is compressed in a predetermined compression format. An image compression step;
And a non-planar image processing method. 前記画像圧縮ステップでは、動画に対しては、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６３、Ｈ．２６１、ＡＶＩ、Ｍｏｔｉｏｎ ＪＰＥＧなど、また、静止画に対しては、ＪＰＥＧ、ＧＩＦ、ＰＮＧ、ＢＭＰ、ＴＩＦＦなどの圧縮フォーマットを採用する
ことを特徴とする請求項１０に記載の非平面画像の画像処理方法。 In the image compression step, MPEG-1, MPEG-2, MPEG-4, H.264 is applied to moving images. 263, H.M. The image processing of a non-planar image according to claim 10, wherein a compression format such as JPEG, GIF, PNG, BMP, TIFF or the like is adopted for a still image, such as H.261, AVI, Motion JPEG, etc. Method. ３次元座標系で表される非平面画像を処理する画像処理方法であって、
空間中のある１つの視点を中心にしてすべての方向の映像を撮影できるように配置して構成されるＮ台のカメラを用いて全方位を撮影する全方位撮影ステップと、
前記全方位撮影ステップにおいて撮影されたＮ台のカメラの映像データを入力して、各カメラのカメラ・パラメータを基に、前記映像データの補正を行なう映像データ補正ステップと、
前記映像データ補正ステップにおいて補正されたＮ個の映像から同期のとれた静止画を選択して、Ｎ枚の画像と撮影に使われた対応するカメラのカメラ・パラメータを用いて、各画像を１つの３次元座標系において、球面又は円筒面上にマッピングされた３次元座標系で表される非平面画像を、２次元平面にマッピングする２次元平面画像マッピング・ステップと、
元の非平面画像を表す３次元座標系とマッピングされた２次元画像座標系との対応関係を記述したマッピング情報を生成するマッピング情報生成ステップと、
前記２次元平面画像マッピング・ステップによりマッピングされた２次元平面画像又はその圧縮画像と前記マッピング情報生成ステップにより生成されたマッピング情報を１組としたデータ・フォーマットに変換するデータ・フォーマット変換ステップと、
を有することを特徴とする非平面画像の画像処理方法。 An image processing method for processing a non-planar image represented in a three-dimensional coordinate system,
An omnidirectional shooting step of shooting omnidirectional images using N cameras arranged so as to be able to shoot images in all directions around a single viewpoint in space;
Video data correction step of inputting video data of N cameras taken in the omnidirectional shooting step, and correcting the video data based on camera parameters of each camera;
A synchronized still image is selected from the N videos corrected in the video data correction step, and each image is set to 1 using N images and the camera parameters of the corresponding camera used for shooting. A two-dimensional planar image mapping step for mapping a non-planar image represented by a three-dimensional coordinate system mapped on a spherical surface or a cylindrical surface in two three-dimensional coordinate systems to a two-dimensional plane;
A mapping information generating step for generating mapping information describing a correspondence relationship between the three-dimensional coordinate system representing the original non-planar image and the mapped two-dimensional image coordinate system;
A data format conversion step for converting the two-dimensional plane image mapped by the two-dimensional plane image mapping step or a compressed image thereof and the mapping information generated by the mapping information generation step into a set of data formats;
And a non-planar image processing method. 前記データ・フォーマット変換ステップでは、映像情報と同期がとれるような形式で音声情報をインターリーブして挿入する、
ことを特徴とする請求項１２に記載の非平面画像の画像処理方法。 In the data format conversion step, audio information is interleaved and inserted in a format that can be synchronized with video information.
The image processing method for a non-planar image according to claim 12. 前記データ・フォーマット変換ステップでは、前記２次元平面画像マッピング手段が採用するマッピング方法が切り換わる度に、フレームの先頭にマッピング情報を挿入する、
ことを特徴とする請求項１２に記載の非平面画像の画像処理方法。
In the data format conversion step, each time the mapping method employed by the two-dimensional planar image mapping means is switched, mapping information is inserted at the head of the frame.
The image processing method for a non-planar image according to claim 12.
JP2006222796A 2006-08-17 2006-08-17 Image processing apparatus and image processing method Expired - Fee Related JP4403421B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006222796A JP4403421B2 (en) 2006-08-17 2006-08-17 Image processing apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006222796A JP4403421B2 (en) 2006-08-17 2006-08-17 Image processing apparatus and image processing method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2001331508A Division JP2003141562A (en) 2001-10-29 2001-10-29 Image processing apparatus and method for nonplanar image, storage medium, and computer program

Publications (2)

Publication Number Publication Date
JP2006309802A JP2006309802A (en) 2006-11-09
JP4403421B2 true JP4403421B2 (en) 2010-01-27

Family

ID=37476536

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006222796A Expired - Fee Related JP4403421B2 (en) 2006-08-17 2006-08-17 Image processing apparatus and image processing method

Country Status (1)

Country Link
JP (1) JP4403421B2 (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4945578B2 (en) * 2007-01-04 2012-06-06 肇 鳴川 Information processing method
KR100933297B1 (en) 2009-08-31 2009-12-22 (주)지에스엠솔루션 Exteraction methods of 3-dimensional coordinate from aspherical image acquired by omnidirectical camera and gps/ins
WO2017195881A1 (en) * 2016-05-13 2017-11-16 ソニー株式会社 File generation device and file generation method, and reproduction device and reproduction method
JP2019530311A (en) 2016-09-02 2019-10-17 ヴィド スケール インコーポレイテッド Method and system for signaling 360 degree video information
JP2018046430A (en) 2016-09-15 2018-03-22 ソニー株式会社 Information processing device, method, and program
CN106780310B (en) 2016-12-20 2020-11-24 北京奇艺世纪科技有限公司 Projection graph construction method and device
CN112085815B (en) * 2020-09-14 2024-05-24 深圳市先地图像科技有限公司 Transformation method of polar coordinate image
CN113457163B (en) * 2021-07-16 2023-09-15 腾讯科技（深圳）有限公司 Region marking method, device, equipment and storage medium
CN117037652A (en) * 2023-08-22 2023-11-10 北京凯视达科技股份有限公司 Point-to-point correction method and device for display screen and computer equipment

Also Published As

Publication number Publication date
JP2006309802A (en) 2006-11-09

Similar Documents

Publication Publication Date Title
US7483590B2 (en) Image processing apparatus and image processing method for non-planar image, storage medium, and computer program
JP4403421B2 (en) Image processing apparatus and image processing method
US11257283B2 (en) Image reconstruction method, system, device and computer-readable storage medium
JP3975736B2 (en) Image processing apparatus, image processing method, storage medium, and computer program
US7123777B2 (en) System and method for panoramic imaging
US6031540A (en) Method and apparatus for simulating movement in multidimensional space with polygonal projections from subhemispherical imagery
JP2010518535A (en) Banana codec
JPH0879622A (en) Method and apparatus for removing distortion in wide-angle image
US20030095131A1 (en) Method and apparatus for processing photographic images
Nielsen Surround video: a multihead camera approach
JP2022040409A (en) Reproduction device and image generation method
CN111667438B (en) Video reconstruction method, system, device and computer readable storage medium
JPWO2019078033A1 (en) Reproduction device and method, and generation device and method
TWI681662B (en) Method and apparatus for reducing artifacts in projection-based frame
JP2002203254A (en) Curved surface image transforming method and recording medium with the curved surface image transforming method recorded thereon
GB2455498A (en) Method and system for processing of images
JP2000030080A (en) Virtual reality system
JPH1173489A (en) Image storing method and machine-readable medium
JP2002203237A (en) Curved image conversion method and recording medium with the curved image conversion method recorded thereon
Nielsen High resolution full spherical videos
JP3532823B2 (en) Image composition method and medium recording image composition program
KR102196032B1 (en) Novel view synthesis method based on multiple 360 images for 6-dof virtual reality and the system thereof
CN111669571B (en) Multi-angle free view image data generation method and device, medium and equipment
JP2000132683A (en) Method for encoding multi-viewpoint image
Nielsen Sony Computer Science Laboratories

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060818

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090710

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090721

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090811

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091006

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091019

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121113

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121113

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131113

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees