JP2007013514A - 720 degree full azimuth rectangle image monitoring system - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To convert a spherical face image whose full azimuth is 720 degrees sr into a seamlessly continuous rectangular image unit and display it, and to detect only the discontinuous and local change while displaying the continuity of time and space by executing the flat packing of the image unit. <P>SOLUTION: This full azimuth rectangular image monitoring system is configured, including: uniting images photographed by a remotely operable distributed camera into one seamless one spherical face image at 720 degrees sr equivalent to full directions and full visual fields which are not overlapped with each other; mapping it on a spherical system polyhedron; finally converting it into a continuous rectangular image unit with a fixed aspect ratio; fetching the whole unit in a rectangular viewer having almost the same aspect ratio; and completely displaying it at a monitor which can be captured at once at the angle of visual field of a human being. This monitoring system is also configured by using the unit as a time-sequential unit, and executing flat packing so that at least either one of a subject and background in the unit is almost seamlessly continued on each side of every unit by a two time rotational symmetrical operation, and by retrieving the temporal change of the subject or background. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

この発明は、７２０度ｓｒの全方位かつ全視野を同時的、あるいは非同時的に捉えるための画像モニタリング技術に関する。さらに全方位かつ全視野を一定の縦横比をもった矩形画像単位に変換し、該単位を時系列的な矩形画像単位としてシームレスな平面充填システムに応用した画像処理方法および画像検索方法に関する。また該矩形画像単位をビューアー、モニターまたはスクリーンに表示する方法に関する。  The present invention relates to an image monitoring technique for capturing all directions and all fields of view at 720 degrees sr simultaneously or non-simultaneously. Further, the present invention relates to an image processing method and an image retrieval method in which an omnidirectional and entire visual field is converted into a rectangular image unit having a constant aspect ratio, and the unit is applied to a seamless plane filling system as a time-series rectangular image unit. The present invention also relates to a method for displaying the rectangular image unit on a viewer, monitor or screen.

超広角視野を捉えるための広角レンズには、イメージサークルそのものが円形視野となる全周魚眼レンズとその円形視野の中央部だけを矩形ビューアー（またはファインダー）として使用する対角線魚眼レンズの２種類がある。後者の場合の画角は、円形視野に内接する矩形の対角線によって決定される。  There are two types of wide-angle lenses for capturing an ultra-wide field of view: an all-round fisheye lens in which the image circle itself has a circular field of view, and a diagonal fisheye lens that uses only the center of the circular field of view as a rectangular viewer (or viewfinder). The angle of view in the latter case is determined by a rectangular diagonal line inscribed in the circular field of view.

ここで画角を説明する幾何学的概念の形態は円錐であり、画角は図１においてイメージサークルと呼ばれる円形視野Ｃ２のような球面上の小円の直径とそれを底面にした円錐の頂点Ｏ１からなる三角形切断面（図示しない）における該頂点部分の角度である。  The form of the geometric concept for explaining the angle of view here is a cone, and the angle of view is the diameter of a small circle on a spherical surface such as a circular field of view C2 called an image circle in FIG. This is the angle of the apex portion on the triangular cut surface (not shown) made of O1.

また、光学分野で視野（ｆｉｅｌｄ ｏｆ ｖｉｅｗ）とは、光学機器を通してみることのできる領域または立体角のことである。立体角は全視野を一つの球面に設定した時、全球面に対し円形視野Ｃ２のような可視的な領域、または対象物２の球面Ｓ１上での占有率である。その大きさは、中心Ｏ１から対象物２に向けて結ばれる半直線の集合でできる錘を、Ｏ１を中心とする半径１の単位球面Ｓ１で切るとき、球面上にできる断面部分の表面積１で計る。Ｏ１から見た全空間の立体角は、７２０度ｓｒ（４πｓｒ）である。  In the optical field, a field of view is a region or a solid angle that can be seen through an optical device. The solid angle is an occupancy ratio on the spherical surface S1 of the visible region such as the circular visual field C2 or the object 2 with respect to the entire spherical surface when the entire visual field is set to one spherical surface. The size is the surface area 1 of the cross-sectional portion formed on the spherical surface when a weight made of a set of half straight lines connected from the center O1 toward the object 2 is cut by a unit spherical surface S1 having a radius 1 centered on O1. measure. The solid angle of the entire space viewed from O1 is 720 degrees sr (4πsr).

フィッシュアイと言われる超広角の視野をさらに拡張し、全方位全視野を捉えるためのビューアーがＩＰＩＸ（Ｉｎｔｅｒａｃｔｉｖｅ Ｐｉｃｔｕｒｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 米国テネシー州・オークリッジ）で提案されている。ＩＰＩＸは、全周魚眼レンズで撮影された２つのイメージサークルを２つの半球面として合成し、全球に再構成する。その結果、全方位を一度に眺めることはできないが、矩形ビューアーを移動させながら、全球の一部を上下（チルト）左右（パン）の操作で順次見ることができる。 IPIX (Interactive Pictures Corporation) Oak Ridge, Tennessee, USA has been proposed to further expand the super wide-angle field of view called fisheye and capture all fields of view. IPIX combines two image circles photographed with an all-around fisheye lens as two hemispherical surfaces and reconstructs them into a whole globe. As a result, although it is impossible to view all directions at once, a part of the whole sphere can be sequentially viewed by moving up and down (tilt) and left and right (pan) while moving the rectangular viewer.

このような矩形ビューアーを移動させながら、超広角視野の極限である球面の一部を観察するという方法は、ＧＰＳを用いたナビゲーションシステムにも見られる。この場合、結果的に車などの移動体の進行方向に応じた有効なビューアー領域が表示される。  A method of observing a part of a spherical surface, which is the limit of a super-wide-angle field of view, while moving such a rectangular viewer can also be found in a navigation system using GPS. In this case, as a result, an effective viewer area corresponding to the traveling direction of a moving body such as a car is displayed.

移動方向を確認しながら現在位置を知るためには、より広い領域と局所領域との相互関係を捉える必要がある。飛行機のように移動速度がより高速になるにつれて、パイロットが必要とする局所的矩形領域を表示する範囲は相対的により拡大される傾向がある。  In order to know the current position while confirming the moving direction, it is necessary to grasp the correlation between a wider area and a local area. As the moving speed becomes higher like an airplane, the range for displaying the local rectangular area required by the pilot tends to be relatively enlarged.

矩形ビューアーを地球球面領域にまで相対的に拡大したものが、円筒図法で達成される最大の矩形サイズ、すなわちメルカトル世界地図である。地球を周回する宇宙船の軌道を管制するにはこの最大限のビューアーが必要である。唯一の矩形の表現形式である円筒図法による世界地図は、経度に基づいた角度で球面を分割して赤道に接する円筒面に球の内側から写像して形成される。また、同一の概念を用いたパノラマは、全周３６０°を分割して撮影し、円筒形状に画像を合成し平面化する撮影方法である。 A relative enlargement of the rectangular viewer to the Earth's spherical region is the largest rectangular size achieved with cylindrical projection, the Mercator world map. This maximum viewer is needed to control the orbit of the spacecraft orbiting the earth. A world map based on cylindrical projection, which is the only rectangular representation format, is formed by dividing a spherical surface at an angle based on longitude and mapping it from the inside of the sphere to a cylindrical surface in contact with the equator. Further, panorama using the same concept is a photographing method in which 360 degrees of the entire circumference is photographed and the images are combined into a cylindrical shape and planarized.

一方、『ＩＮＶＥＮＴＩＯＮＳ』Ｓｔ．ＭＡＲＴＩＮＳ’Ｐｒｅｓｓ、ｐ．８５とＵＳ ＰＡＴ．２３９３６７６に示される、バックミンスター・フラー（Ｒ．Ｂｕｃｋｍｉｎｓｔｅｒ Ｆｕｌｌｅｒ）のダイマクシオン・マップは、全球面の地理的画像を正二十面体にトポロジカルに投影し、その展開図で世界地図を表示している。この場合、地図を作製したあとでも、必要に応じて正三角形を再配列することができる全方向性を特徴としている。球状正二十面体の各球状正三角形は、球面情報を投影する球系正二十面体の各正三角形と対応しているので、全球面を２０等分した領域が多面体の展開図として平面化しても相対的な面積比は保たれたまま変換できる最初の多面体投影法である。 On the other hand, “INVENTIONS” St. MARTIN's Press, p. 85 and US PAT. The R. Buckminster Fuller Dimaxion map shown in 2393676 projects topographically the geographical image of the entire sphere onto an icosahedron, and displays the world map in its expanded view. In this case, it is characterized by omnidirectionality that can rearrange equilateral triangles as needed even after the map is created. Since each spherical regular triangle of the spherical regular icosahedron corresponds to each regular triangle of the spherical regular icosahedron for projecting spherical information, the region obtained by dividing the total spherical surface into 20 equal parts is planarized as a development view of the polyhedron. However, this is the first polyhedral projection that can be converted while maintaining the relative area ratio.

特開平１１−２９８７８０による広領域撮像装置および球空洞投射装置では、各々のテレビジョンカメラに対応した複数のプロジェクタを用いて、７２０度ｓｒの全視野かつ全方向の画像を円球空洞形状のスクリーンに表示することができる。
特開平１１−２９８７８０ 「広領域撮像装置および球空洞投射装置」 ＩＰＩＸ 「ＩＰＩＸ ３６０ Ｓｕｉｔｅ」（ http://www.ipix.com/） 『ＩＮＶＥＮＴＩＯＮＳ』、Ｒ．Ｂｕｃｋｍｉｎｓｔｅｒ Ｆｕｌｌｅｒ（Ｓｔ．ＭＡＲＴＩＮＳ’Ｐｒｅｓｓ、１９８３、Ｐ．８５） In a wide area imaging device and a spherical cavity projection device according to Japanese Patent Laid-Open No. 11-298780, a screen with a spherical cavity shape is obtained by using a plurality of projectors corresponding to each television camera to display an image of all fields of view at 720 degrees sr and all directions. Can be displayed.
Japanese Patent Application Laid-Open No. 11-298780 “Wide-area imaging device and spherical cavity projection device” IPIX "IPIX 360 Suite" (http://www.ipix.com/) “INVENTIONS”, R.A. Buckminster Fuller (St. MARTIN's Press, 1983, P. 85)

より広い視野を一つの矩形ビューアーに収めようとすると、画像の認識を妨げる「図」あるいは「被写体」、と「地」あるいは「背景」のどちらでもない余白領域（以下ノイズ）が現れる。このノイズの占有面積比（以下ノイズ比）が小さいほど一般的に認識しやすくなる。全周魚眼レンズの場合、ノイズ比は図２の６７のレイアウトで２１．５％になる。この図では、斜線の部分の占有率である。これに対して、視覚認識上、長方形のビューアー領域を最大限生かすことを優先した対角線魚眼レンズでは、円形画像の円周部を除外して矩形ファインダー（ビューアー）に表示される。この場合はノイズ比は０％であるが、広い視野は失われる。また広い視野を円形または矩形で認識できる限界画角は、設計理論とレンズ製造コストから２２０度以下であると言われている。  When trying to fit a wider field of view into one rectangular viewer, a blank area (hereinafter referred to as noise) that is neither a “figure” or “subject”, nor a “ground” or “background”, which hinders image recognition, appears. In general, the smaller the occupied area ratio of noise (hereinafter referred to as noise ratio), the easier it is to recognize. In the case of an all-around fisheye lens, the noise ratio is 21.5% in the layout of 67 in FIG. In this figure, it is the occupation ratio of the shaded part. On the other hand, a diagonal fisheye lens that prioritizes the maximum use of the rectangular viewer area for visual recognition is displayed on the rectangular finder (viewer) excluding the circumferential portion of the circular image. In this case, the noise ratio is 0%, but a wide field of view is lost. Further, it is said that the limit field angle at which a wide field of view can be recognized as a circle or rectangle is 220 degrees or less from the design theory and the lens manufacturing cost.

またダイマクシオン・マップのノイズ比を測るために、該マップ全体最小限の矩形領域にはめ込む。この場合、「図」＝陸地でも、「地」＝海でもないノイズが形成され、ノイズ比は図２の６９のレイアウトで３９．４％、同様に一月の海流などを示す際に用いられた南極を中心に再配列したダイマクシオン・マップ（「バックミンスター・フラーのダイマクシオンの世界」ｐ．１８０／バックミンスター・フラー、Ｒ．Ｗ．マークス共著・鹿島出版会、１９７８）を示す図２の６８のレイアウトでは６３．５％になる。このように、全方向全視野の全球面を矩形のビューアーで認識しようとすれば、これまでの光学的または投影図法的な方法ではノイズ比が高くなる傾向がある。 Further, in order to measure the noise ratio of the dimaxion map, the entire map is fitted into a minimum rectangular area. In this case, noise that is not "figure" = land or "earth" = sea is formed, and the noise ratio is 39.4% in the layout of 69 in FIG. 68 of FIG. 2 showing a rearranged Dimaxion map centered on Antarctica ("Backminster Fuller's World of Dimaxion" p.180 / Buckminster Fuller, RW Marks Co-author, Kashima Press, 1978). In the layout of 63.5%. In this way, if an attempt is made to recognize the entire spherical surface of all fields in all directions with a rectangular viewer, the conventional optical or projection method tends to increase the noise ratio.

またＩＰＩＸのように、光学レンズを利用して複数の広角画像をコンピュータに取り込み、全方位のデジタル画像を疑似球面に合成する場合、矩形のビューアーに表示されるのはつねに球面領域の一部である。またカメラの回転軸に沿ってビューアーが設定されているため、観察者にとっての極軸の２つの極点上の情報は欠落し、黒い小さな円形としてビューアーに表示される。ＩＰＩＸもまた概念的にはパノラマの３６０°の視野を表示する方法である。 Also, like IPIX, when taking multiple wide-angle images into a computer using an optical lens and synthesizing an omnidirectional digital image into a pseudo-spherical surface, the rectangular viewer always displays a part of the spherical area. is there. Further, since the viewer is set along the rotation axis of the camera, information on the two extreme points of the polar axis for the observer is lost and displayed as a small black circle in the viewer. IPIX is also conceptually a method of displaying a 360 ° field of view of the panorama.

人間の視野で容易に全球面地理情報を同時に認識できる円筒図法などによる矩形の世界地図は、概念的には、最大球面領域を表示する最初の矩形ビューアー、つまり領域とビューアーが一致した場合とみなせる。しかし、球面を円筒に投影する図法のため、両極圏の形状が無限大となる。現在のメルカトル世界地図は、横または縦方向のどちらか一方の連続画像は再現できても、完全に多方向に矛盾なく連続した隙間のない全球面を表す平面画像は理論的に不可能なので、投影面の軸と地軸の関係を変化させて、要求される広い視野の平面画像の連続性を補正している。 A rectangular world map, such as a cylindrical projection that can easily recognize all spherical geographic information at the same time in the human field of view, can be considered conceptually as the first rectangular viewer displaying the largest spherical area, that is, when the area and viewer match. . However, because of the projection of a spherical surface onto a cylinder, the shape of the bipolar zone is infinite. Although the current Mercator world map can reproduce either a horizontal or vertical continuous image, it is theoretically impossible to create a flat image that represents a complete spherical surface without any gaps in a completely multi-directional manner. By changing the relationship between the axis of the projection plane and the ground axis, the continuity of the required planar image with a wide field of view is corrected.

またダイマクシオン・マップは、正二十面体を用いた全方位、２点間距離、面積比などをより正確に再現することに成功した最初の世界地図であるが、主に正三角形の再配列による展開図では「一つの海に浮かぶ一つの島」という表現目的のために大陸をいっさい分断させなかった結果、展開図の外形パターンに正三角形によるジグザグな輪郭線が現れ、不定形で非対称的な外形線の全長は矩形の外形線に比較して四倍に増加する。現在、一般に知られたダイマクシオン・マップは、図２の６９で示したレイアウトよりも外形線は複雑化している。 The Dimaxion Map is the first world map that has succeeded in reproducing omnidirectional, two-point distances, area ratios, etc. using an icosahedron more accurately, but mainly by rearranging equilateral triangles. In the development view, as a result of not dividing the continent at all for the purpose of expressing "an island floating in one sea", zigzag outlines by equilateral triangles appear in the outline pattern of the development view, and are irregular and asymmetrical. The total length of the outline increases by a factor of four compared to the rectangular outline. Currently, the generally known dimaxion map has a more complicated outline than the layout shown by 69 in FIG.

広領域撮像装置および球空洞投射装置は、７２０度ｓｒ画像を投射するために、閉じた球形または多面体状のスクリーンと複数のプロジェクタを用いるため、装置が特殊で大がかりなものになり、複数の画像間で同期性を得る煩雑な作業を要する。また、球状の情報を球状スクリーンに全方位全視野の画像を再現しても、人間の視野角ではその一部しか同時的に認識できない。 Since the wide area imaging device and the spherical cavity projection device use a closed spherical or polyhedral screen and a plurality of projectors to project a 720 degree sr image, the device becomes special and large-scale, and a plurality of images A complicated operation for obtaining synchronicity is required. Moreover, even if spherical information is reproduced on a spherical screen, an omnidirectional and full-field image can be simultaneously recognized only by a part of the human viewing angle.

本発明の目的は、全視野かつ全方向の画像処理および画像表示に関し、従来の全方向画像表示方法では不可避であったノイズを１００％排除し、人間の視野角で一度で容易に認識できる矩形画像に変換することにある。また球状世界での出来事、生命圏、対流圏、成層圏などにおける地理学、気象学、物理学的情報など、特に国際便航空路、気象観測図や人工衛星などの高速移動体に関する軌跡が分断されることなく、また全方向カメラや複数の衛星を利用した全世界地図表示に最適な矩形の画像処理および画像表示方法を提供することである。全方位の画像表示形式を現在の印刷形式やカメラのファインダー、モニターなどあらゆる認識上の標準となっている矩形形式に適合させることを目的とする。  The object of the present invention relates to omni-directional and omnidirectional image processing and image display, which eliminates 100% of the noise that was unavoidable in the conventional omnidirectional image display method, and can be easily recognized at once with a human viewing angle. It is to convert to an image. In addition, trajectories related to high-speed moving objects such as international flight routes, meteorological observation maps, and satellites, such as events in the spherical world, geography, meteorology, and physical information in the biosphere, troposphere, stratosphere, etc. In addition, the present invention is to provide a rectangular image processing and image display method that are most suitable for the world map display using an omnidirectional camera and a plurality of satellites. The purpose is to adapt the omnidirectional image display format to the rectangular format, which is the standard for recognition, such as the current printing format, camera viewfinder, and monitor.

また本発明の目的は、複数のカメラの正四面体的分散あるいは分離した配置方法などによって、連続した全球面画像の７２０度ｓｒの画像領域を、被写体と背景がシームレスに連続した矩形画像単位に変換させる方法を提供することにある。その矩形画像単位を切れ目なく連続させ平面充填システムに応用した画像処理および表示方法を提供すると共に、その矩形画像単位を移動型ビューアーとして設定することを目的とする。  Another object of the present invention is to form an image area of 720 degrees sr of continuous spherical images in units of rectangular images in which the subject and the background are seamlessly continuous by a regular tetrahedral dispersion or separation method of a plurality of cameras. It is to provide a method of converting. An object of the present invention is to provide an image processing and display method in which the rectangular image units are continuously connected and applied to a plane filling system, and to set the rectangular image units as a movable viewer.

また、時間性を画像情報に加えた全方位平面充填画像処理および表示システムは、矩形画像単位を該単位毎の各辺で該単位内の被写体と背景の少なくともどちらか一方がほぼシームレスに相互に連続するように平面充填して、被写体とその背景の意味的連続性を確保することによって、全方位における時間的変化または局所的変化を検索または検出することを目的とする。このように矩形ビューアーに全球面情報である全視野を表示するシステムでは、７２０度ｓｒの最大視野領域の歪みと全方位を犠牲にすることなく、全方位の画像を単体または複数の矩形画像単位領域として同時的にまたは時系列的に連続的に表示することができる。言い換えれば、全方向という空間の連続性と時間の連続性という新たなシナジー的機能を様々な画像検索、画像検出に応用することを目的とする。検索または検出された変化部分のみを、新たなレイヤーに抽出し連続的な平面充填システムとしてあるいはアニメーションとして表示することを目的とする。 In addition, the omnidirectional plane filling image processing and display system in which time characteristics are added to image information allows rectangular image units to be substantially seamlessly exchanged between at least one of the subject and the background in each unit on each side. The object is to search or detect temporal changes or local changes in all directions by filling the planes so as to be continuous and ensuring semantic continuity between the subject and its background. Thus, in the system that displays the entire field of view as spherical information on the rectangular viewer, an omnidirectional image can be converted into a single or a plurality of rectangular image units without sacrificing distortion and omnidirectional of the maximum field of view of 720 degrees sr. The area can be displayed simultaneously or continuously in time series. In other words, the object is to apply a new synergistic function of continuity in space and time in all directions to various image searches and image detection. The purpose is to extract only the searched or detected change part into a new layer and display it as a continuous plane filling system or as an animation.

全風景と全表面の７２０度ｓｒ画像を観察する被写体と観察者の関係には二通りある。そのひとつは、ある一点の周りから全方位に存在する多数の被写体を観察する形式で、その代表的なものには天体観測や超広角撮影方法がある。これに対し、ひとつの被写体を全方位の多数の視点から観察するもうひとつの形式があり、代表的なものには人工衛星などによる惑星地球表面の観測がある。この二つは被写体と観測者の立場が互いに入れ替わる相補的関係にある。惑星地球を大気圏外から同時に見た人間もいないし、自分の外側を同時に見る人間もいない。地球を地球儀に縮小したとしても、全球面を同時に見る視覚は人間には備わっていないように、全方位全視野をシームレスな矩形表現形式で観察する技術はこれまで存在しなかった。本発明によって、人間の平均的視野で自分以外のすべての環境を同時に捉えるための惑星地球全体または銀河全体、あるいは机の上の地球儀を手にする自分のすべてを見る視野、つまり全方位全視野を人間の視野で同時的にモニタリングするための矩形の地図または画像を作成する方法を提供する。 There are two relations between the subject and the observer who observe the 720-degree sr image of the entire landscape and the entire surface. One of them is a method of observing a large number of objects existing in all directions from around a certain point, and representative examples include astronomical observation and super wide-angle imaging methods. On the other hand, there is another form of observing one subject from many viewpoints in all directions, and a representative one is observation of the planet earth surface by artificial satellites. These two are in a complementary relationship in which the subject and the observer's position are interchanged. No one has seen the planet Earth from outside the atmosphere at the same time, and no one has seen the outside of the planet at the same time. Even if the earth is reduced to a terrestrial globe, there has never been a technology for observing an omnidirectional field of view in a seamless rectangular representation, as humans do not have the ability to see the entire sphere at the same time. According to the present invention, the entire planet Earth or the entire galaxy to capture all the other environments at the same time with the average human field of view, or the field of view of all who owns the globe on the desk, that is, the omnidirectional all field of view A method for creating a rectangular map or image for simultaneous monitoring of humans with a human field of view is provided.

本発明は、全方位７２０度ｓｒ画像の歪みをより少なくするために、全球面の立体角と中心角をそれぞれ等値に設定できる最小限の球系多面体である正四面体を用いて、全方位画像として統合した後、該正四面体を平面に展開すると共に平面充填可能な全方位矩形画像単位に変換して、人間の平均的な視野角で一度に捉えられるモニターまたはスクリーンに完全に表示することを可能にする。 The present invention uses a regular tetrahedron, which is a minimal spherical polyhedron that can set the solid angle and the central angle of the entire spherical surface to be equal, in order to reduce distortion of the omnidirectional 720 degree sr image. After integration as a azimuth image, the regular tetrahedron is expanded into a plane and converted into a plane-fillable omnidirectional rectangular image unit so that it can be completely displayed on a monitor or screen that can be captured at one time with an average human viewing angle. Make it possible to do.

実施例を図３に基づいて説明すれば次の通りである。球体である惑星地球Ｓ４を被写体とし、その全表面を外側から内向きに撮影するカメラ（インサイドカメラ）Ａは、被写体である惑星地球Ｓ４の中心Ｏ３と惑星地球Ｓ４に外接する正四面体Ｐ７の頂点２５を結んだ光軸２６上に設置する。この場合、各カメラＡは、正四面体の頂点２５より球面から遠くにあれば視点は任意の位置に設定できる。光軸２６はＯ３に向いており、カメラＡの画角θ１は最大３８．９４度になる。図示はしないが、光軸２６上で頂点２５からより球面に接近して、１πステラジアン分の領域の一部が欠落する場合は、複数の複合化した正四面体の頂点から撮像してもよい。  The embodiment will be described with reference to FIG. A camera (inside camera) A that captures the planet Earth S4, which is a sphere, and shoots the entire surface inward from the outside, includes a center O3 of the planet Earth S4 that is the subject and a regular tetrahedron P7 that circumscribes the planet Earth S4. It is installed on the optical axis 26 connecting the vertices 25. In this case, the viewpoint of each camera A can be set at an arbitrary position as long as it is farther from the spherical surface than the vertex 25 of the regular tetrahedron. The optical axis 26 faces O3, and the angle of view θ1 of the camera A is 38.94 degrees at the maximum. Although not shown in the drawing, if a part of the region corresponding to 1π steradians is missing on the optical axis 26 from the vertex 25, the image may be taken from the vertexes of a plurality of complex tetrahedrons. .

次に、図４に示すように、撮像された各１πステラジアン分の画像は、単位球面Ｓ２に対応する球状正四面体の４分の１の領域である球状正三角形６に取り込まれ、他の領域と互いに重複しないで全視野と全方位の４πステラジアン相当の全球面画像に統合し、球状正四面体の全方位画像Ｒ１を得る。さらに、この球状正四面体の全方位画像Ｒ１から最小限の球系多面体である正四面体Ｐ４に写像する過程について説明する。歪みを均等に分散する対称的な正四面体を投影面として用いて、立体角と中心角を共通にする。単位球面Ｓ２に等しく分割した１πステラジアン分の画像に相当する斜線で示した球状正三角形６を単位球面Ｓ２に内接する正四面体Ｐ４の太線で囲まれた斜線部の正三角形５に写像する。同様の操作を正四面体Ｐ４の他の三面でも行う。図５には、惑星地球の海岸線という球状地理学的情報のみを正四面体Ｐ４に写像した画像Ｒ２を示す。次に図６で正四面体Ｐ４の全方位画像Ｒ２を矩形に変換する方法を説明する。図５に示す正四面体Ｐ４の稜線の中点１７と頂点１９、中点１７と頂点２０の各線分と、頂点１８と頂点２１の線分に沿って分離して展開すれば、矩形平面化できる。正四面体Ｐ４を展開した矩形の世界地図は、正四面体Ｐ４の稜線の長さを１とした場合の縦横比Ｌ１：Ｌ２＝１：√３の全方位の矩形画像単位ＳＣ１である。   Next, as shown in FIG. 4, the captured images for 1π steradians are taken into the spherical regular triangle 6 that is a quarter region of the spherical regular tetrahedron corresponding to the unit spherical surface S2. The omnidirectional image R1 of the spherical regular tetrahedron is obtained by integrating the entire field of view and the omnidirectional image corresponding to 4π steradians without overlapping each other. Further, a process of mapping from this spherical regular tetrahedron omnidirectional image R1 to a regular tetrahedron P4 which is the minimum spherical polyhedron will be described. A symmetric regular tetrahedron that uniformly distributes distortion is used as a projection plane, and a solid angle and a central angle are made common. The spherical regular triangle 6 indicated by the oblique line corresponding to the 1π steradian image equally divided into the unit spherical surface S2 is mapped to the equilateral triangle 5 of the oblique line part surrounded by the thick line of the regular tetrahedron P4 inscribed in the unit spherical surface S2. The same operation is performed on the other three surfaces of the regular tetrahedron P4. FIG. 5 shows an image R2 obtained by mapping only the spherical geographical information of the coastline of the planet earth onto the regular tetrahedron P4. Next, a method of converting the omnidirectional image R2 of the regular tetrahedron P4 into a rectangle will be described with reference to FIG. If it is developed along the line segments of the midpoint 17 and vertex 19 of the regular tetrahedron P4 shown in FIG. it can. The rectangular world map in which the regular tetrahedron P4 is developed is an omnidirectional rectangular image unit SC1 having an aspect ratio L1: L2 = 1: √3 where the length of the ridge line of the regular tetrahedron P4 is 1.

図７に示すように、全方位矩形画像単位ＳＣ１を該単位の各辺の中点で２回回転対称操作によって、単位内の被写体と背景がシームレスに相互に連続するように、該単位ＳＣ１の各辺で縦横に並べながら充填してゆくと、平面充填画像ＢＣ１が得られる。図中では該単位ＳＣ１は太線に囲まれている。該単位ＳＣ１は、オセアニア地域を中心に全世界を平面に拡げた地図であるが、該単位ＳＣ１を平面充填すると、新たに別の地域を中心とする様々な二次的矩形画像単位ＳＣ４１，ＳＣ４２，ＳＣ４３が現れる。これらの単位は、単位内の被写体と背景が相対的に移動して変化しても全方位と全視野の画像領域は不変である。二次的矩形画像単位ＳＣ４１，ＳＣ４２，ＳＣ４３は全方位矩形画像単位ＳＣ１と同じ縦横比で地図の中心が異なり、互いに移動する方向が６０度ずつ異なるので、移動型のビューアーとして利用できる。また、このような平面充填によって二次的矩形画像単位ＳＣ４１より一回り大きい領域ＰＧ５などの二次的に形成される矩形画像領域を単独のビューアーとして利用できる。 As shown in FIG. 7, the omnidirectional rectangular image unit SC1 is rotated twice at the midpoint of each side of the unit so that the subject and background in the unit are seamlessly continuous with each other. If filling is performed while arranging the sides vertically and horizontally, a plane filling image BC1 is obtained. In the figure, the unit SC1 is surrounded by a thick line. The unit SC1 is a map in which the whole world is expanded in a plane centering on the Oceania region. However, when the unit SC1 is filled in a plane, various secondary rectangular image units SC41 and SC42 centering on another region are newly added. , SC43 appears. In these units, even if the subject and background in the unit move and change relative to each other, the image areas in all directions and the entire field of view remain unchanged. The secondary rectangular image units SC41, SC42, and SC43 have the same aspect ratio as that of the omnidirectional rectangular image unit SC1 and the center of the map is different. In addition, a rectangular image area that is secondarily formed such as the area PG5 that is slightly larger than the secondary rectangular image unit SC41 by such plane filling can be used as a single viewer.

次に図８の全方位矩形画像単位ＳＣ２の四個分の大きさを持つ平面充填画像ＢＣ２では、通常サイズの世界地図としての矩形画像単位ＳＣ２の４つのコーナー６２においても、平面充填によって連続性が維持され、局地と全体との関係がより把握できる。このＢＣ２を固定したビューアーとして利用してもよい。 Next, in the plane filling image BC2 having the size of four omnidirectional rectangular image units SC2 in FIG. 8, the four corners 62 of the rectangular image unit SC2 as a normal size world map also have continuity by plane filling. Is maintained, and the relationship between the local area and the whole can be grasped more. The BC2 may be used as a fixed viewer.

図９において連続移動可能なビューアーを説明する。この平面充填画像ＢＣ３においては、正四面体の全方位画像を構成していた正三角形の各辺Ｅ７(点線で表示されている)は平面充填システムでは三方向グリッドＸ、Ｙ、Ｚを形成する。この三方向グリッドに沿った６０度毎の方位間で、方向転換および連続移動可能な縦横比が１：２．３１（＝√３：４）の矩形画像単位ＳＣ１と同じ面積を表示するビューアーＶ３，Ｖ４，Ｖ５を設けてグリッド上の任意の矩形画像単位を取り出すことができる。また図１６に示される矩形画像単位ＳＣ１と同じ面積を表示するビューアーＶ１１のように、１：４√３の矩形ビューアーを形成してもよい。この場合のビューアーＶ１１の移動方向は縦横の２方向に限られる。 A viewer capable of continuous movement will be described with reference to FIG. In this plane filling image BC3, each side E7 (indicated by a dotted line) of the equilateral triangle constituting the omnidirectional image of the regular tetrahedron forms a three-way grid X, Y, Z in the plane filling system. . A viewer V3 displaying the same area as the rectangular image unit SC1 having an aspect ratio of 1: 2.31 (= √3: 4) that can be changed in direction and continuously moved between azimuths every 60 degrees along the three-way grid. , V4, V5 can be used to extract an arbitrary rectangular image unit on the grid. Further, a rectangular viewer of 1: 4√3 may be formed like a viewer V11 that displays the same area as the rectangular image unit SC1 shown in FIG. In this case, the moving direction of the viewer V11 is limited to two vertical and horizontal directions.

図１０および図１１において、上記の平面充填システムから新たなビューアーに表示される異なった配置の世界地図を示す。ＬＣ１は、中近東を中心に配置した世界地図である。ＬＣ２は、太平洋を中心に配置し、ＬＣ３は、南極大陸を中心に配置し、ＬＣ４はアジア、特にインドを中心に、ＬＣ５はスペイン・ポルトガルを中心に、ＬＣ６は中米パナマを中心に、ＬＣ７はオセアニア・特にニュージーランドを中心に配置した世界地図である。さらにＬＣ８はアジア、特に日本を中心に配置した世界地図である。このように、全方向に移動可能な全視野かつ全方位の矩形ビューアーによって、様々な地域を中心に大陸と海がとぎれることのない複数種の世界地図を形成できる。 10 and 11 show differently arranged world maps displayed in a new viewer from the above planar filling system. LC1 is a world map arranged around the Middle East. LC2 is centered around the Pacific Ocean, LC3 is centered around Antarctica, LC4 is centered around Asia, especially India, LC5 is centered around Spain and Portugal, LC6 is centered around Panama, and LC7 Is a world map centered on Oceania, especially New Zealand. The LC8 is a world map centered on Asia, especially Japan. In this way, a rectangular viewer that can move in all directions and has a full field of view and an omnidirectional orientation can form a plurality of types of world maps that do not interrupt the continent and the sea around various regions.

ビューアーの他の実施例を示す図１２は、７２０度ｓｒの画像領域を超えてズームアウトしたビューアーＰＧ４を示す。ビューアーＰＧ４は、各辺および四つのコーナーの地域６３においても全体との地理関係を把握しやすい。また図中には、世界の１月における海流の動きを太線の矢印の集合２７で示している。図１３に示される全方位全視野のダイマクシオン・マップによる海流図と比較すると、矩形画像単位内部の陸地と海が分断されずに示されている。このように、主に海洋図やさらには陸も海も関係する国際線空路のような地球規模の主題図を扱う場合には、全体との関係がノイズ比０％の矩形で表示できる。また、メルカトル図法では表示できない南極周辺を中心とした主題図、例えばオゾンホールの全世界分布図として利用してもよい。とくにメルカトル図法では表示が困難な極軸方向の位置関係を明らかにできる。 FIG. 12, which shows another embodiment of the viewer, shows the viewer PG4 zoomed out beyond the image area of 720 degrees sr. The viewer PG4 can easily grasp the geographical relationship with the entire region 63 of each side and four corners. In the figure, the sea current movement in January of the world is indicated by a set 27 of thick arrows. Compared with the ocean current map by the omnidirectional full view dimaxion map shown in FIG. 13, the land and the sea inside the rectangular image unit are shown without being divided. In this way, when dealing with a global scale theme map such as an ocean chart or even an international air route involving both land and sea, the relationship with the whole can be displayed in a rectangle with a noise ratio of 0%. Moreover, you may utilize as a theme map centering around the South Pole which cannot be displayed by Mercator projection, for example, a global distribution map of an ozone hole. In particular, the positional relationship in the polar axis direction, which is difficult to display with the Mercator projection, can be clarified.

分散型カメラに関する他の実施例を図面に基づいて説明する。図２３に示す一点から外向きに全方位画像を非同時的に撮像する方法とビデオカメラ（アウトサイドカメラ）の具体的な配置について説明する。合同な２つの正四面体Ｐ１、Ｐ２は中心Ｏ８を共通にして双対的に配置され、各正四面体の頂点は立方体の８つの頂点を形成している。１４１．０６度の画角を持つ２台のカメラのレンズは、共通の光心Ｏ８と光軸Ｅ１、Ｅ２を有する。光軸Ｅ１、Ｅ２は光心Ｏ８において１０９．５度（図中θ１）で交わる。また光軸Ｅ１，Ｅ３は光心Ｏ８において７０．５度（図中θ２）で交わる。以上の設定で回転軸ｘ、ｙ、ｚのいずれか１つに沿って９０度毎の計四回の撮像によって二種類の全方位画像をそれぞれ統合することができる。各回転軸は正四面体の稜線の中点を互いに通過するが、この３次元での２回回転対称性は矩形画像単位を平面充填したときの各矩形画像単位の各辺の中点における二回回転対称性を維持する。 Another embodiment relating to a distributed camera will be described with reference to the drawings. A method for capturing an omnidirectional image non-simultaneously from one point shown in FIG. 23 and a specific arrangement of a video camera (outside camera) will be described. Two congruent regular tetrahedrons P1 and P2 are arranged dually with the center O8 in common, and the vertices of each regular tetrahedron form eight vertices of a cube. The lenses of the two cameras having an angle of view of 141.06 degrees have a common optical center O8 and optical axes E1 and E2. The optical axes E1 and E2 intersect at 109.5 degrees (θ1 in the figure) at the optical center O8. The optical axes E1 and E3 intersect at 70.5 degrees (θ2 in the figure) at the optical center O8. With the above settings, two types of omnidirectional images can be integrated by imaging a total of four times every 90 degrees along any one of the rotation axes x, y, and z. Each rotation axis passes through the midpoint of the regular tetrahedron ridgeline. This two-dimensional rotational symmetry in three dimensions is obtained by the two points at the midpoint of each side of each rectangular image unit when the rectangular image unit is plane-filled. Maintains rotational symmetry.

図１５の中央の太線に囲まれた領域は、この撮像方法によって得られた矩形画像単位ＳＣ２０である。この該単位ＳＣ２０の辺の中点Ｍ１０、Ｍ１１，Ｍ１２，Ｍ１３を中心に２回回転対称操作によって、縦横方向へシームレスに充填され平面充填画像ＢＣ４が形成される。この２回回転対称性は、平面充填画像ＢＣ４を構成するすべての矩形画像単位ＳＣ２０内の被写体と背景に適用できる。言い換えれば被写体と背景があらゆる形状、配置関係であってもこの対称性は失われない。 A region surrounded by a thick line in the center of FIG. 15 is a rectangular image unit SC20 obtained by this imaging method. A plane-filled image BC4 is formed by seamlessly filling in the vertical and horizontal directions by a two-fold rotational symmetry operation around the midpoints M10, M11, M12, and M13 of the side of the unit SC20. This two-fold rotational symmetry can be applied to the subject and the background in all the rectangular image units SC20 constituting the plane filling image BC4. In other words, this symmetry is not lost even if the subject and the background have any shape and arrangement.

平面充填した他の実施例を図１６に示す。矩形画像単位を時系列的な単位とし、該矩形画像単位を該単位の各辺の中点における２回回転対称操作によって該矩形画像単位毎の各辺で該矩形画像単位内の被写体と背景の少なくともどちらか一方がほぼシームレスに相互に連続するように縦および横方向に定めた時間単位に基づいて順次に平面充填されて構成される。図１５と同じ撮像場所でビデオ録画された縮小平面充填画像ＢＣ５は、矩形画像単位を横６０、縦６０の単位を持つ格子に左上から毎秒一枚ずつ右方向に充填してゆくと一分間で１行目が充填され、同様に二行目の左端から６０行目の６０列目まで並べてゆくと、１時間分の動画記録にあたる３６００個の画像の各被写体と各背景をこの格子上でほぼシームレスに連続させることができる。この時間性を含んだ平面充填システムにおいても、前述の２回回転対称の周期性をともなっている。それゆえに被写体が動いて変化が生じた場合、この２回回転対称性が部分的に崩れる事で局所的な変化が強調されて、シームレスな連続性が失われることによって変化の起きた場所、つまり出来事が発生した時刻を視覚的に容易にモニタリングできる。 Another embodiment of plane filling is shown in FIG. A rectangular image unit is a time-series unit, and the rectangular image unit is subjected to a rotationally symmetric operation twice at the midpoint of each side of the unit, and the object and background in the rectangular image unit on each side of each rectangular image unit. At least one of them is sequentially filled with a plane based on time units determined in the vertical and horizontal directions so that they are substantially seamlessly continuous with each other. A reduced plane-filled image BC5 recorded at the same imaging location as in FIG. 15 can be obtained in one minute by filling a rectangular image unit into a grid having 60 horizontal units and 60 vertical units one by one from the upper left to the right. When the first row is filled and similarly arranged from the left end of the second row to the 60th row of the 60th row, the subjects and backgrounds of 3600 images corresponding to one hour of moving image recording are almost displayed on this grid. Can be seamlessly continuous. Even in the planar filling system including this time property, the above-described two-fold rotational symmetry is involved. Therefore, if the subject moves and changes, the two-fold rotational symmetry is partially broken to emphasize local changes, and the place where changes occur due to the loss of seamless continuity, that is, The time when the event occurred can be easily monitored visually.

この平面充填画像システムにおいて、撮像時間が異なっていても被写体や背景が大きく変化しない限り、空間的連続性は確保されるため、ビューアーにより４つの異なった時間配列方向を連続移動し走査できる。太線Ｅ１５で囲まれた矩形画像単位ＳＣ８は同一時刻（０３：００）の画像を示す時系列的な単位であるが、移動状態の被写体４８が矩形画像単位ＳＣ８内で撮像されると、撮像時刻が異なる隣接する矩形画像単位間での対称性が失われ、背景から分離されて認識しやすくなる。この検索方法では全方位全視野を表示する移動型ビューアーＶ１１によって横方向に１コマずつ連続移動させると１秒間毎の出来事の変化率を検証することになり、縦方向に１コマずつ移動させると分毎の出来事の変化率を検証することができる。また、形状の異なったビューアーＶ１２によって３つの異なった時間配列方向を３方向グリッドに従って連続移動し走査できる。このように連続移動可能なビューアーの形状には３通りある。また複数の撮像時刻を混在させたり、ビューアーを移動させて被写体のなかで重要なものを中心に配置することによって、動画の平面充填システムの検索に利用できる。 In this plane filling image system, spatial continuity is ensured as long as the subject and the background do not change greatly even if the imaging time is different. Therefore, the viewer can continuously move and scan in four different time arrangement directions. The rectangular image unit SC8 surrounded by the thick line E15 is a time-series unit indicating an image at the same time (03:00), but when the moving subject 48 is imaged within the rectangular image unit SC8, the imaging time Symmetry between adjacent rectangular image units having different values is lost, and the image is easily recognized by being separated from the background. In this search method, if the moving viewer V11 that displays the omnidirectional full field of view is continuously moved one frame at a time in the horizontal direction, the rate of change of events per second is verified, and if the frame is moved one frame at a time in the vertical direction. The rate of change of events every minute can be verified. Further, the viewer V12 having different shapes can continuously move and scan three different time arrangement directions according to a three-way grid. There are three types of viewers that can be continuously moved in this way. In addition, it is possible to search for a plane filling system for moving images by mixing a plurality of imaging times or by moving a viewer to place an important subject in the center.

図１７は、図１６の中の移動型ビューアーＶ１２を拡大したものである。ビューアーＶ１２の左の窓に映る動く被写体４８が異なった時間領域内で分断されて表示されている。図１７下段の時間領域を示す分布図は時間領域Ｔ１、Ｔ２、Ｔ３、Ｔ４、Ｔ５によって異なった時刻を組み合わせて表示している。時間領域Ｔ２には被写体４８は写っていないため、時間領域Ｔ３から時間領域Ｔ４の間に被写体４８が移動した履歴がわかる。 FIG. 17 is an enlarged view of the movable viewer V12 in FIG. A moving object 48 displayed in the left window of the viewer V12 is displayed divided in different time regions. The distribution diagram showing the time region in the lower part of FIG. 17 displays a combination of different times depending on the time regions T1, T2, T3, T4, and T5. Since the subject 48 is not shown in the time region T2, the history of the movement of the subject 48 from the time region T3 to the time region T4 is known.

上述の実施例は時間的連続性を保ち、撮像時刻順に矩形画像を充填させ、変化の起きた時刻を時系列に把握する場合であるが、撮像時刻順ではなくランダムあるいはシャッフルで矩形画像単位を充填させても上記のシステムは保たれるため、７２０度ｓｒの全方位全視野を表示する矩形画像単位に複数の異なる撮像時刻を混在させることもできる。図１８は、４方向の異なった光軸によるカメラで撮り込まれた１πステラジアン分の画像がそれぞれどの部分に配置されたかを、光軸の種類別にＡからＤまでの記号で示しランダムな数字に従って平面充填した配置図ＢＣ６である。この配置例のように画像を充填してゆけば、時間順序を無視しランダムに、あるいはシャッフルで１πステラジアン分の画像を配列しても画像の中で全体的な連続性は失われない。例えば１コマ目の光軸Ａの画像Ａ１の隣は９コマ目の光軸Ｂの画像Ｂ９ができてもほぼシームレスで表示する事ができる。その結果、静止した被写体と背景が作る対称性のある模様の「地」と「図」だけではなく、動く被写体または動く背景が容易に「図」と「地」の相補正から識別されやすくなるので、７２０°の全方向と全視野の監視システムとして利用できる。 The above embodiment is a case in which the temporal continuity is maintained, the rectangular images are filled in the order of the imaging times, and the time when the change has occurred is grasped in time series, but the rectangular image units are not randomly or shuffled instead of the imaging time order. Since the above-described system is maintained even if the filling is performed, a plurality of different imaging times can be mixed in a rectangular image unit displaying an omnidirectional full field of view at 720 degrees sr. FIG. 18 shows in which part the images for 1π steradians taken by cameras with different optical axes in four directions are arranged by symbols from A to D according to the types of optical axes, according to random numbers. It is arrangement drawing BC6 which carried out plane filling. If the images are filled as in this arrangement example, the entire continuity is not lost in the images even if the images in the order of 1π steradians are arranged randomly or shuffled while ignoring the time order. For example, the image A1 on the optical axis A in the first frame can be displayed almost seamlessly even if the image B9 on the optical axis B in the ninth frame is produced. As a result, not only the “ground” and “figure” with symmetrical patterns created by the stationary subject and the background, but also the moving subject or the moving background can be easily identified from the phase correction of “figure” and “ground”. Therefore, it can be used as a monitoring system for all directions of 720 ° and all fields of view.

平面充填画像の変化部分だけを強調したり、変化部分だけを表示する検索方法の他の実施例を図１９から図２１に基づいて説明する。無限に連続していく平面充填画像ＢＣ７の中から微細にわたって変化部分を目視で見つけだすことは集中力が強いられるため、異常を示す変化部分だけを自動的に検索したり検出して表示するシステムによってさらに監視作業を支援するシステムを説明する。図２１に示す平面充填画像ＢＣ９では、周囲の被写体をいっさい表示せず、変化する被写体４８だけを鮮明に表示している。この微細な変化でも見つけ出す検索方法は図１９に示す平面充填画像ＢＣ７を構成する各画素の３桁の数値で示されるＲＧＢの数値にマイナス１をかけて図２０に示すネガ画像の平面充填画像ＢＣ８を形成し、正常時の画像に対して監視ビデオカメラから送られてくる最新の画像に重ね合わせてその差の絶対値を用いると、変化のない部分は無地領域となり時系列的に変化する被写体４８だけが鮮明に表示される。この方法によって検索および検出機能を形成できる。また、図示はしないが、平面充填画像の変化部分だけを強調したり、変化部分だけを表示する他の検索方法には、正常な状態に撮られた画像のネガ画像の不透明度（ｏｐａｃｉｔｙ）を５０％にしたものを監視ビデオカメラから送られてくる画像に重ね合わせると、この初期設定画像と変わりのない部分は灰色の無地領域となり、変化のある被写体や背景だけを表示することもできる。この場合も、変化する被写体または背景だけを表示することで全方向と全視野における監視を行いやすくなる。 Another embodiment of the search method for emphasizing only the changed portion of the planar filling image or displaying only the changed portion will be described with reference to FIGS. Since it is forced to focus on finding a change part in a finely detailed plane filling image BC7 that is infinitely continuous, a system that automatically searches for, detects, and displays only a change part that shows an abnormality is displayed. Furthermore, a system for supporting monitoring work will be described. In the plane filling image BC9 shown in FIG. 21, the surrounding subject is not displayed at all, and only the changing subject 48 is clearly displayed. A search method for finding even this minute change is obtained by multiplying the RGB numerical value indicated by the three-digit numerical value of each pixel constituting the flat filling image BC7 shown in FIG. 19 by minus 1, and the flat filling image BC8 of the negative image shown in FIG. If the absolute value of the difference between the normal image and the latest image sent from the surveillance video camera is superimposed on the normal image, the unchanged part becomes a plain area and changes in time series Only 48 is clearly displayed. Search and detection functions can be formed by this method. Although not shown, other search methods for emphasizing only the changed portion of the planar filling image or displaying only the changed portion include setting the opacity of the negative image of the image taken in a normal state. When the 50% image is superimposed on the image sent from the surveillance video camera, the portion that is the same as the initial setting image becomes a gray solid region, and only the subject and the background that have changed can be displayed. Also in this case, it is easier to monitor in all directions and in the entire visual field by displaying only the changing subject or background.

平面充填システムにおける検索方法の他の実施例を示す図２２では、時間的変化を多層化レイヤーで表示した平行面で捉える方法について説明する。縦横の分、秒に、コマという２５分の１秒の縮尺を加えるとき、それぞれの矩形画像単位に１秒間の２５コマの矩形画像単位レイヤーＳＣａ，ＳＣｂ，ＳＣｃ，ＳＣｄを一定間隔を置いて重ね合わせる。被写体４８ａ，４９ａは矩形画像単位レイヤーＳＣａ上にあり、同様に４８ｂ、４９ｂは矩形画像単位レイヤーＳＣｂ上に、４８ｃ、４９ｃは矩形画像単位レイヤーＳＣｃ上、４８ｄ、４９ｄは矩形画像単位レイヤーＳＣｄ上にある。変化のない被写体４９を時系列で重ね合わせたレイヤーで輪郭線を見ると平行であり、変化のある被写体４８は立体角や位置が変わりジグザグな配置になる。 FIG. 22, which shows another embodiment of the search method in the plane filling system, describes a method of capturing temporal changes on a parallel plane displayed as a multilayered layer. When adding a 1/25 second scale, called frames, to the vertical and horizontal minutes and seconds, the rectangular image unit layers SCa, SCb, SCc, and SCd of 25 frames for 1 second are overlapped with each rectangular image unit at regular intervals. Match. The subjects 48a and 49a are on the rectangular image unit layer SCa. Similarly, 48b and 49b are on the rectangular image unit layer SCb, 48c and 49c are on the rectangular image unit layer SCc, and 48d and 49d are on the rectangular image unit layer SCd. is there. When the contour line is viewed in a layer in which the subject 49 without change is overlapped in time series, the subject 48 with change changes in solid angle and position and becomes a zigzag arrangement.

矩形画像単位をモニターに表示する実施例について図２６で説明する。マルチヴィジョンなど複数の映写機やスクリーンの大がかりな設備は不要で、通常の矩形平面のスクリーンにシームレスに再現できる。小規模なものにはディスプレイ用モニターがある。縦横比１：１．７３のビューアーＳＣ４０と、点線で示された新しい規格のモニター画面ＳＣ４４、縦横比１：１．７８（＝９：１６）とは適合する。また図１４においては、縦横比１：２．３１（＝√３：４）のビューアーＬＣ１２と点線で示されているハイビジョン画面ＬＣ１１、縦横比１：２とは適合することがわかる。このように７２０度の全方位画像を１枚のスクリーンに投影する場合には通常のプロジェクタ１台で十分である。とくに大型の矩形または円環の一部の全視野全方位スクリーンによって多数の観察者または観客の限られた視野内に７２０度ｓｒ画像を適度な立体角に設定できる。 An embodiment in which a rectangular image unit is displayed on a monitor will be described with reference to FIG. Multiple projectors such as multi-visions and large-scale screen facilities are not required, and it can be seamlessly reproduced on a regular rectangular screen. Smaller ones have a display monitor. The viewer SC40 having an aspect ratio of 1: 1.73, the new standard monitor screen SC44 indicated by a dotted line, and the aspect ratio of 1: 1.78 (= 9: 16) are compatible. In FIG. 14, it can be seen that the viewer LC12 having an aspect ratio of 1: 2.31 (= √3: 4), the high-definition screen LC11 indicated by a dotted line, and the aspect ratio of 1: 2 are compatible. Thus, when a 720-degree omnidirectional image is projected onto one screen, one ordinary projector is sufficient. In particular, a 720-degree sr image can be set to an appropriate solid angle in a limited field of view of a large number of observers or spectators by using an omnidirectional screen having a large rectangular or circular part.

他の実施例を図面に基づいて説明する。本発明は全方位全視野を球面画像に統合した後、複数の球系多面体に複数回に分けて写像し、最終的に正四面体に写像する方法（以降多階層投影方法）を含む。図２４は、球系多面体として中心Ｏ７を共有する正二十面体と正十二面体との間で写像する実施例を示す。正二十面体の正三角形五つにまたがった太線で囲まれた画像領域３０を、正二十面体の面の中心に頂点が接するように配置された正十二面体の斜線部五角形３１に写像する。これを正十二面体の残りのすべての面に対しても写像し、正十二面体画像として統合する。 Another embodiment will be described with reference to the drawings. The present invention includes a method (hereinafter referred to as a multi-layer projection method) in which an omnidirectional full field of view is integrated into a spherical image, and then mapped to a plurality of spherical polyhedrons in a plurality of times and finally mapped to a regular tetrahedron. FIG. 24 shows an example of mapping between an icosahedron and a icosahedron that share the center O7 as a spherical polyhedron. An image region 30 surrounded by a thick line extending over five regular triangles of an icosahedron is mapped to an oblique line pentagon 31 of the icosahedron arranged so that the vertex is in contact with the center of the surface of the icosahedron. To do. This is mapped to all the remaining faces of the regular dodecahedron and integrated as a regular dodecahedron image.

次に図２５は正十二面体から立方体に写像する方法を示している。正十二面体の二つの正五角形にまたがる画像領域３３に内接し、８つの頂点と光心０６を共有する立方体の斜線部正方形３４に写像する。これを立方体の残りのすべての面で行い立方体画像として統合する。つぎに立方体から正四面体に写像を行う場合、立方体の８つの頂点が対になった正四面体の頂点を共有していることを利用して、２つの異なる正四面体画像を得ることができる（図示しない）。こうして取り込まれた７２０度の全方位画像を多階層投影方法により正四面体にまで還元し、最終的に解像度の高い画像を得ることができる。 Next, FIG. 25 shows a method of mapping from a dodecahedron to a cube. It is inscribed in an image region 33 that extends over two regular pentagons of a regular dodecahedron, and is mapped onto a cubic hatched square 34 that shares eight vertices and an optical center 06. This is done on all remaining faces of the cube and merged as a cube image. Next, when mapping from a cube to a regular tetrahedron, two different regular tetrahedron images can be obtained by using the fact that the vertex of the regular tetrahedron in which the eight vertices of the cube are paired is shared. Yes (not shown). The 720-degree omnidirectional image thus captured can be reduced to a regular tetrahedron by a multi-layer projection method, and finally an image with high resolution can be obtained.

立方体による多階層投影方法を用いた他の実施例である全方位画像撮像方法（アウトサイドビデオカメラ）を説明する図２７では、７２０度ｓｒを１２０度ｓｒ（２／３π）ステラジアンの立体角領域に分ける球状立方体Ｓ５とその稜線３５が示されている。この内部に光心が立方体の中心Ｏ５にくるようカメラ６０一台を設置する。画角は、立方体の中心から斜線部で示す正方形ＰＧ１をイメージサークルＣ４に収まるよう１０９．４６度以上に設定されている。この設定に基づき各面の中心に光軸ＡＸ１を向けて全方向全視野を６回撮像し立方体画像として統合するように画像処理を行う。このような撮像方法では必ずしも超広角レンズを必要としないので、汎用的なカメラで全方位全視野の画像合成ができる。 In FIG. 27 for explaining an omnidirectional image capturing method (outside video camera) which is another embodiment using a multi-layer projection method by a cube, a solid angle region of 720 degrees sr to 120 degrees sr (2 / 3π) steradians. A spherical cube S5 and its ridge line 35 are shown. One camera 60 is installed so that the optical center is at the center O5 of the cube. The angle of view is set to 109.46 degrees or more so that the square PG1 indicated by the hatched portion from the center of the cube falls within the image circle C4. Based on this setting, image processing is performed so that the optical axis AX1 is directed to the center of each surface and the omnidirectional full visual field is imaged six times and integrated as a cubic image. Since such an imaging method does not necessarily require an ultra-wide-angle lens, an image can be synthesized from all directions and all fields of view with a general-purpose camera.

この全方位画像撮像装置を自然な目の高さで撮像したり、長時間露光のために固定したい場合、全方位立方体カメラＰ３（レンズなどは図示しない）を支持する部材が写らないよう配慮しなくてはならない。このとき撮像の基本となる多面体の幾何学的対称性を利用してもよい。図２８においてカメラの光軸設定装置の実施例を説明する。立方体カメラＰ３の稜線Ｅ８が三脚７０において面材上部７１に乗るよう設置することで手間のかかる光軸配置作業を省くことができる。三脚７０の構造部材７２はそれぞれ立方体カメラＰ３のフレームの中心Ｏ５から立方体カメラＰ３の各辺を結ぶ斜線部で示した三角形Ｆ１，Ｆ２，Ｆ３の延長面上に設定されるため、立体角が最小になり、三脚はほとんど写り込まない。この面上にアンテナや太陽電池パネルを設置してもよい。三脚補強用テンション材４は、最終的な正四面体の展開図に基づいた７２０°全方位矩形画像において写り込みがほとんど目立たないように正四面体画像に変換する際の正四面体の稜線上にくるように配置する。このような三脚のデザインによって従来の３６０°カメラのようにカメラ自体が位置する領域が画像として欠落することはない。 If you want to capture this omnidirectional imaging device at a natural eye level or fix it for long-time exposure, take care not to capture the members that support the omnidirectional cubic camera P3 (lenses not shown). Must-have. At this time, the geometric symmetry of the polyhedron that is the basis of imaging may be used. An embodiment of an optical axis setting device for a camera will be described with reference to FIG. By installing the ridgeline E8 of the cubic camera P3 on the tripod 70 so as to ride on the upper surface member 71, it is possible to save time-consuming optical axis arrangement work. The structural member 72 of the tripod 70 is set on the extended surface of the triangles F1, F2, and F3 indicated by the hatched portions connecting the sides of the cubic camera P3 from the center O5 of the frame of the cubic camera P3. The tripod is hardly reflected. You may install an antenna and a solar cell panel on this surface. The tripod reinforcement tension material 4 is formed on the edge of the regular tetrahedron when it is converted into a regular tetrahedron image so that the reflection is hardly noticeable in the 720 ° omnidirectional rectangular image based on the final development of the regular tetrahedron. Arrange so that it comes to. By such a tripod design, an area where the camera itself is located as in the conventional 360 ° camera is not lost as an image.

本発明によって、３６０度のパノラマ画像では達成できなかった全方位全視野を意味する７２０度ｓｒの画像を再現できる。また、全視野かつ全方向の画像処理および画像表示に関し、人間の視野角で一度に容易にモニタリング可能な矩形画像に変換できるので、球状世界での全方位に関する出来事や生命圏、対流圏、成層圏などにおける地理学、気象学、物理学的情報が分断されることのない最適な矩形形式で提供できる。高価な超広角レンズを使用しないので、全視野および全方位をリモートでモニタリングするビデオシステムなどに最適である。また、超高速移動体のナビゲーションシステムにも適用できる。 According to the present invention, it is possible to reproduce an image of 720 degrees sr that means an omnidirectional full field of view that could not be achieved by a 360 degree panoramic image. In addition, for all-field and omnidirectional image processing and image display, it can be converted into a rectangular image that can be easily monitored at a time with a human viewing angle, so events in all directions in the spherical world, biosphere, troposphere, stratosphere, etc. Geographical, meteorological, and physical information can be provided in an optimal rectangular format without being interrupted. Because it does not use an expensive ultra-wide-angle lens, it is ideal for video systems that remotely monitor all fields and directions. It can also be applied to a navigation system for ultra-high speed moving objects.

立体角の概念図。The conceptual diagram of a solid angle. 全周魚眼レンズと二種類のダイマクシオン・マップのノイズ比を斜線で示した説明図。Explanatory drawing which showed the noise ratio of an all-around fisheye lens and two types of dimaxion maps with the oblique line. 惑星地球の全表面を惑星地球の外から内向きに撮像する際の概略図。Schematic when imaging the entire surface of the planet Earth inward from the outside of the planet Earth. 全方向をシームレスな球面画像に統合する球状正四面体の説明図。Explanatory drawing of the spherical regular tetrahedron which integrates all directions into a seamless spherical image. 正四面体に写像された全方向の惑星地球画像（海岸線のみ）。An omnidirectional planet Earth image (coastline only) mapped to a regular tetrahedron. Ｌ１：Ｌ２＝１：√３の矩形世界地図。A rectangular world map of L1: L2 = 1: √3. 図６で得られた矩形画像単位を、２回回転対称操作でシームレスに充填して得られる平面充填画像。The plane filling image obtained by seamlessly filling the rectangular image unit obtained in FIG. ４個分の矩形画像単位に相当する平面充填画像。A plane-filled image corresponding to four rectangular image units. 三方向グリッドを移動するビューアーと異なった平面充填画像単位との関係を示す平面充填画像。A plane filling image showing the relationship between a viewer moving in a three-way grid and a different plane filling image unit. 図９の平面充填画像から大陸と海が分断されない状態で表示される縦横比Ｌ３：Ｌ４＝√３：４の世界地図四例を示す。FIG. 10 shows four examples of a world map having an aspect ratio L3: L4 = √3: 4 displayed in a state where the continent and the sea are not divided from the plane filling image of FIG. 図９の平面充填画像から大陸と海が分断されない状態で表示される縦横比Ｌ３：Ｌ４＝√３：４の図１０とは異なる世界地図四例を示す。FIG. 10 shows four examples of a world map different from FIG. 10 with an aspect ratio L3: L4 = √3: 4 displayed in a state where the continent and the sea are not divided from the plane filling image of FIG. 本発明による画像処理された一回り大きい世界の一月における海流図。FIG. 2 is a current chart of January in the world, which has been image-processed according to the present invention. ダイマクシオン・マップによる世界の一月における海流図Current map in January of the world by Dimaxion Map 縦横比１：２．３１（＝√３：４）のビューアーＬＣ１２と縦横比１：２のハイビジョン画面ＬＣ１１との適合性を示す図。The figure which shows the compatibility with the viewer LC12 of aspect ratio 1: 2.31 (= √3: 4), and the high-definition screen LC11 of aspect ratio 1: 2. 図２４の撮像方法により得られる全方位全視野領域を表示した矩形画像単位の平面充填画像。The plane filling image of the rectangular image unit which displayed the omnidirectional all visual field area | region obtained by the imaging method of FIG. 本発明に基づいた撮像機を図１５と同じ撮像場所に固定して全方位画像を録画し、録画された画像を時系列を含んで表示した平面充填画像。The plane filling image which fixed the imaging device based on this invention to the same imaging location as FIG. 15, recorded the omnidirectional image, and displayed the recorded image including a time series. 移動型ビューアーＶ１２の拡大図とその時間領域を示す分布図。The enlarged view of the movable viewer V12 and the distribution map showing its time domain. ランダムあるいはシャッフルで矩形画像単位を平面充填させる場合の配置例。An arrangement example in the case where a rectangular image unit is planarly filled with random or shuffle. 監視カメラから送られてくる動画画像を平面充填した画像。An image filled with a moving image sent from a surveillance camera. 正常な状態に撮られた画像の平面充填画像を反転したネガ画像。A negative image obtained by inverting a plane-filled image of an image taken in a normal state. 図１９と図２０を重ね合わせて変化のある部分だけを表示する検索用平面充填画像。FIG. 19 is a search plane filling image that displays only a portion with changes by superimposing FIG. 19 and FIG. 20. 時間的変化を多層化レイヤーで検索する方法についての説明図。Explanatory drawing about the method of searching a time change in a multilayered layer. 対になった正四面体の配置をもとに光軸配置された２つの全方位画像を得る撮像方法の一例。An example of an imaging method for obtaining two omnidirectional images arranged on the optical axis based on the arrangement of a paired regular tetrahedron. 正二十面体から正十二面体に多階層投影を行う際の、正二十面体と正十二面体の位置関係を示す図。The figure which shows the positional relationship of an icosahedron and a regular dodecahedron at the time of performing multi-layer projection from an icosahedron to a regular dodecahedron. 正十二面体から立方体に多階層投影を行う際の、正十二面体と立方体の位置関係を示す図で。It is a figure which shows the positional relationship of a regular dodecahedron and a cube at the time of performing multi-layer projection from a regular dodecahedron to a cube. 立方体画像に接合された画像から変換された矩形画像単位，縦横比１：１．７３とモニター画面の縦横比１：１．７８との適合性を表す図。The figure showing the compatibility of the rectangular image unit converted from the image joined to the cube image, aspect ratio 1: 1.73, and monitor screen aspect ratio 1: 1.78. 立方体の幾何学的対称性を基にした光軸配置による全方位撮像方法の概略図。The schematic of the omnidirectional imaging method by the optical-axis arrangement | positioning based on the geometrical symmetry of a cube. 図２７に基づく光軸の設定機能を含んだ全方位立方体カメラとその固定機を示す説明図。FIG. 28 is an explanatory view showing an omnidirectional cubic camera including an optical axis setting function based on FIG. 27 and its fixing device.

符号の説明Explanation of symbols

θ１ 画角
θ２ 画角
θ３ 画角
Ｏ１ 球の中心
Ｏ２ 球の中心
Ｏ３ 球の中心
Ｏ５ 球の中心
Ｏ８ 光心
Ｏ１２ 球の中心
１ 対象物の単位球面Ｓ１上での表面積
２ 対象物
５ １πステラジアンに相当する正三角形
６ １πステラジアンに相当する球状正三角形
７ 正三角形の中心
８ 光軸
１７ 正四面体の稜線の中点
１８ 正四面体の頂点
１９ 正四面体の頂点
２０ 正四面体の頂点
２１ 正四面体の頂点
２５ 正四面体の頂点
２６ 光軸
２７ 海流を表す連続した矢印
３０ 画像領域
３１ 正五角形領域
３３ 画像領域
３４ 正方形領域
３５ 稜線
４８ 変化する被写体
４８ａ 変化する被写体
４８ｂ 変化する被写体
４８ｃ 変化する被写体
４８ｄ 変化する被写体
４９ 変化しない被写体
４９ａ 変化しない被写体
４９ｂ 変化しない被写体
４９ｃ 変化しない被写体
４９ｄ 変化しない被写体
６０ カメラ
６２ 矩形画像単位のコーナー
６３ 矩形画像単位のコーナー
６７ 全周魚眼レンズのノイズ比表示
６８：南極を中心に再配列したダイマクシオン・マップのノイズ比表示
６９：ダイマクシオン・マップのノイズ比表示
Ａ カメラ
Ａ１からＤ１２ １πステラジアン分の画像
ＡＸ１ 光軸
ＢＣ１ 平面充填画像
ＢＣ２ 平面充填画像またはビューアー
ＢＣ３ 縮小平面充填画像
ＢＣ４ 平面充填配置画像
ＢＣ５ 時系列的な平面充填画像
ＢＣ６ 平面充填画像
ＢＣ７ 時系列的な平面充填画像
ＢＣ８ ネガ画像の平面充填画像
ＢＣ９ 変化する被写体のみを表示する平面充填画像
Ｃ１ 円形視野
Ｃ２ 円形視野
Ｃ３ 円形視野
Ｃ４ 円形視野
Ｅ１ 光軸
Ｅ２ 光軸
Ｅ３ 光軸
Ｅ７ 三方向グリッド
Ｅ１５ 矩形画像単位の外形線
Ｆ１ 三角形
Ｆ２ 三角形
Ｆ３ 三角形
Ｌ１ 矩形画像単位の辺の長さ
Ｌ２ 矩形画像単位の辺の長さ
Ｌ３ 矩形画像単位の辺の長さ
Ｌ４ 矩形画像単位の辺の長さ
ＬＣ１ 中近東を中心に配置した世界地図
ＬＣ２ 太平洋を中心に配置した世界地図
ＬＣ３ 南極・南極大陸を中心に配置した世界地図
ＬＣ４ アジア、特にインドを中心に配置した世界地図
ＬＣ５ スペイン・ポルトガルを中心に配置した世界地図
ＬＣ６ 中米パナマを中心に配置した世界地図
ＬＣ７ オセアニア・特にニュージーランドを中心に配置した世界地図
ＬＣ８ アジア、特に日本を中心にした世界地図
ＬＣ１２ 世界の一月の海流図
ＬＣ１１ 縦横比１：２ ハイビジョン画面の縦横比
Ｍ１０ 全方位矩形画像単位の辺の中点
Ｍ１１ 全方位矩形画像単位の辺の中点
Ｍ１２ 全方位矩形画像単位の辺の中点
Ｍ１３ 全方位矩形画像単位の辺の中点
Ｐ１ 正四面体
Ｐ２ 正四面体
Ｐ３ 全方位立方体カメラ
Ｐ４ 正四面体
Ｐ７ 被写体である球に外接する正四面体
Ｐ９ 立方体
Ｐ１３ 立方体
ＰＧ１ 正方形領域
ＰＧ４ 世界の一月における海流を示した一回り大きいビューアー
ＰＧ５ 大きめのビューアー
ＰＧ６ 被写体
ＰＧ７ 被写体
Ｒ１ 球状正四面体の全方位画像
Ｒ２ 正四面体の全方位画像
Ｓ１ 単位球面
Ｓ２ 単位球面
Ｓ３ 単位球面
Ｓ４ 惑星地球
Ｓ５ 球状立方体
ＳＣａ 矩形画像単位のレイヤー
ＳＣｂ 矩形画像単位のレイヤー
ＳＣｃ 矩形画像単位のレイヤー
ＳＣｄ 矩形画像単位のレイヤー
ＳＣ８ 矩形画像単位
ＳＣ１ 縦横比１：√３の全方位矩形画像単位
ＳＣ２ 全方位矩形画像単位
ＳＣ２０ 全方位矩形画像単位
ＳＣ４０ 縦横比１：１．７３のビューアー
ＳＣ４１ 二次的矩形画像単位
ＳＣ４２ 二次的矩形画像単位
ＳＣ４３ 二次的矩形画像単位
ＳＣ４４ 縦横比１：１．７８のモニター
Ｔ１ 時間領域
Ｔ２ 時間領域
Ｔ３ 時間領域
Ｔ４ 時間領域
Ｔ５ 時間領域
Ｖ３ 矩形画像単位のビューアー
Ｖ４ 矩形画像単位のビューアー
Ｖ５ 矩形画像単位のビューアー
Ｖ１１ 移動型ビューアー
Ｖ１２ 移動型ビューアー
Ｘ 縦横比１：２．３１（＝√３：４）矩形画像単位の移動方向
Ｙ 縦横比１：２．３１（＝√３：４）矩形画像単位の移動方向
Ｚ 縦横比１：２．３１（＝√３：４）矩形画像単位の移動方向
ｘ 回転軸
ｙ 回転軸
ｚ 回転軸
ｘ２ 光軸 θ1 Angle of view θ2 Angle of view θ3 Angle of view O1 Center of sphere O2 Center of sphere O3 Center of sphere O5 Center of sphere O8 Optical center O12 Center of sphere 1 Surface area of object on unit sphere S1 2 Object 5 1π Steradian Corresponding equilateral triangle 6 Spherical equilateral triangle corresponding to 1π steradian 7 Center of equilateral triangle 8 Optical axis 17 Midpoint of regular tetrahedron ridge 18 Regular tetrahedral vertex 19 Regular tetrahedral vertex 20 Regular tetrahedral vertex 21 Positive Tetrahedron vertex 25 regular tetrahedron vertex 26 optical axis 27 continuous arrow 30 representing ocean current image area
31 Regular pentagonal region
33 Image area 34 Square area 35 Ridge line 48 Changing subject 48a Changing subject 48b Changing subject 48c Changing subject 48d Changing subject 49 Unchanging subject 49a Unchanging subject 49b Unchanging subject 49c Unchanging subject 49d Unchanging subject 49d Unchanged subject 60 Camera 62 Corner of rectangular image unit 63 Corner of rectangular image unit 67 Noise ratio display of all-round fisheye lens 68: Noise ratio display of dimaxion map rearranged around Antarctica 69: Noise ratio display of dimaxion map A Cameras A1 to D12 1π steradian image AX1 optical axis BC1 plane filling image BC2 plane filling image or viewer BC3 reduced plane filling image BC4 plane filling arrangement image BC5 time-series plane filling image BC6 plane filling image BC7 time system Flat filling image BC8 flat filling image BC9 of negative image Flat filling image C1 displaying only a changing subject Circular field C2 Circular field C3 Circular field C4 Circular field E1 Optical axis E2 Optical axis E3 Optical axis E7 Three-way grid E15 Rectangular Image unit outline F1 Triangle
F2 Triangle F3 Triangle L1 Side length L2 of rectangular image unit Side length L3 of rectangular image unit Side length L4 Side of rectangular image unit Side length LC1 World map arranged around the Middle East LC2 World map centered on the Pacific Ocean LC3 World map centered on Antarctica and Antarctica LC4 World map centered on Asia, especially India LC5 World map centered on Spain and Portugal LC6 Centered on Central America Panama World map LC7 placed in Oceania, especially New Zealand World map LC8 World map, centered on Asia, especially Japan LC12 Global ocean current chart LC11 Aspect ratio 1: 2 High-definition screen aspect ratio M10 Omnidirectional Side midpoint M11 of the rectangular image unit Side midpoint M12 of the omnidirectional rectangular image unit Side of the omnidirectional rectangular image unit M13 Midpoint P1 of omnidirectional rectangular image unit Regular tetrahedron P2 Regular tetrahedron P3 Omnidirectional cubic camera P4 Regular tetrahedron P7 Regular tetrahedron P9 circumscribing the sphere as the subject P9 cube P13 cube PG1 square region PG4 Larger viewer PG5 showing the ocean current in the moon Large viewer PG6 Subject PG7 Subject R1 Omnidirectional image R2 of spherical regular tetrahedron R2 Omnidirectional image of regular tetrahedron S1 Unit spherical surface S2 Unit spherical surface S3 Unit spherical surface S4 Planet Earth S5 Spherical cube SCa Layer of rectangular image unit
SCb Rectangular image layer
SCc Layer of rectangular image unit SCd Layer of rectangular image unit SC8 Rectangular image unit SC1 Omnidirectional rectangular image unit with aspect ratio 1: √3 SC2 Omnidirectional rectangular image unit SC20 Omnidirectional rectangular image unit
SC40 Viewer SC41 with aspect ratio 1: 1.73 Secondary rectangular image unit SC42 Secondary rectangular image unit SC43 Secondary rectangular image unit SC44 Monitor with aspect ratio 1: 1.78 T1 Time domain T2 Time domain T3 Time domain T4 Time domain T5 Time domain V3 Rectangular image unit viewer V4 Rectangular image unit viewer V5 Rectangular image unit viewer V11 Mobile viewer V12 Mobile viewer X Aspect ratio 1: 2.31 (= √3: 4) Rectangular image unit Moving direction Y Aspect ratio 1: 2.31 (= √3: 4) Moving direction Z in rectangular image units Aspect ratio 1: 2.31 (= √3: 4) Moving direction in rectangular image units x Rotation axis
y Rotation axis z Rotation axis x2 Optical axis

Claims (11)

全方位画像モニタリングシステムを構築するにあたり、互いに少なくとも２つの異なる方向に向けたリモート操作可能な分散型あるいは分離型カメラによって撮影される同時的または非同時的な画像を、互いに重複しない全方向かつ全視野に相当する最大限７２０度ｓｒのシームレスな一つの球面画像として統合し、さらに球系多面体上に写像し、一定の縦横比をもった矩形画像単位に変換した後、該単位を該単位の各辺の中点における２回回転対称操作によって、該単位毎の各辺で該単位内の被写体と背景の少なくともどちらか一方が常にシームレスに相互に連続するように平面充填した画像領域にし、該画像領域の一部を該単位と同一の縦横比をもった矩形ビューアー内に取り込み、人間の平均的な視野角で一度で捉えられるモニターまたはスクリーンに完全表示したことを特徴とする７２０°全方位矩形画像モニタリングシステム。 In constructing an omnidirectional image monitoring system, simultaneous or non-simultaneous images taken by remote or distributable cameras that can be remotely operated in at least two different directions from each other are omnidirectional and non-overlapping. It is integrated as a single spherical image with a maximum of 720 degrees sr corresponding to the field of view, further mapped onto a spherical polyhedron, converted into a rectangular image unit having a certain aspect ratio, and the unit is converted to the unit By performing a rotationally symmetric operation twice at the midpoint of each side, an image region that is plane-filled so that at least one of the subject and background in the unit is always continuously connected to each other on each side, A part of the image area is captured in a rectangular viewer with the same aspect ratio as the unit, and a monitor that can be captured at once with an average human viewing angle. 720 ° omnidirectional rectangular image monitoring system characterized by completely displayed on the screen. 上記一つの球面画像として統合し、さらに球系多面体上に写像しを、一つの球系多面体画像として統合したことを特徴とする「請求項１」記載の７２０°全方位矩形画像モニタリングシステム。 The 720 ° omnidirectional rectangular image monitoring system according to claim 1, wherein the spherical image is integrated as a single spherical image, and is further mapped as a single spherical polyhedron image. 上記一定の縦横比を、１：√３または√３：４または１：４√３の縦横比にしたことを特徴とする「請求項１」、および「請求項２」記載の７２０°全方位矩形画像モニタリングシステム。 The fixed aspect ratio is set to an aspect ratio of 1: √3, √3: 4, or 1: 4√3, and 720 ° omnidirectional according to claim 1 and claim 2 Rectangular image monitoring system. 上記カメラに対して、カメラ全体に共通の回転軸を設けて一体となって回転する機構を付加したことを特徴とする「請求項１」、「請求項２」、および「請求項３」記載の７２０°全方位矩形画像モニタリングシステム。 “Claim 1”, “Claim 2”, and “Claim 3”, wherein a mechanism for rotating the camera integrally with a common rotation axis is added to the camera. 720 ° omnidirectional rectangular image monitoring system. 上記矩形ビューアーを、異なった３方向グリッド上または上下左右に移動する該単位と同領域を表示する移動型矩形ビューアーにしたことを特徴とする「請求項１」、「請求項２」、「請求項３」、および「請求項４」記載の７２０°全方位矩形画像モニタリングシステム。 The rectangular viewer is a movable rectangular viewer that displays the same area as the unit that moves on different three-way grids or up and down, left and right. 720 ° omnidirectional rectangular image monitoring system according to item 3 ”and“ claim 4 ”. 上記矩形ビューアーを、矩形画像単位領域よりも常に大きい領域を表示する矩形ビューアーとしたことを特徴とする「請求項５」記載の７２０°全方位矩形画像モニタリングシステム。 The 720 ° omnidirectional rectangular image monitoring system according to claim 5, wherein the rectangular viewer is a rectangular viewer that always displays an area larger than a rectangular image unit area. 上記矩形画像単位を、時系列的な単位とすると共に、上記常にシームレスに相互に連続するように平面充填した画像領域を、ほぼシームレスに相互に連続するように該矩形画像単位を縦および横方向に定めた時間単位に基づいて平面充填した画像領域にしたことを特徴とする「請求項１」、「請求項２」、「請求項３」、「請求項４」、「請求項５」、および「請求項６」記載の７２０°全方位矩形画像モニタリングシステム。 The rectangular image units are set as time-series units, and the rectangular image units are vertically and horizontally oriented so that the image areas that are plane-filled so that they are always seamlessly connected to each other are substantially seamlessly connected to each other. (Claim 1), (claim 2), (claim 3), (claim 4), (claim 5), and And a 720 ° omnidirectional rectangular image monitoring system according to claim 6. 上記平面充填した画像領域を、平面充填した多層化レイヤーによる画像領域としたことを特徴とする「請求項１」、「請求項２」、「請求項３」、「請求項４」、「請求項５」、「請求項６」および「請求項７」記載の７２０°全方位矩形画像モニタリングシステム。 The plane-filled image area is an image area formed by a plane-filled multi-layered layer. Claims 1, 2, 3, 4, and 4 720 ° omnidirectional rectangular image monitoring system according to item 5, claim 6, and claim 7. 上記平面充填した画像領域を、ランダムまたはシャッフルで平面充填した画像領域にしたことを特徴とする「請求項１」、「請求項７」、および「請求項８」記載の７２０°全方位矩形画像モニタリングシステム。 The 720 ° omnidirectional rectangular image according to claim 1, claim 7, and claim 8, wherein the image region that is plane-filled is an image region that is randomly or shuffled and plane-filled. Monitoring system. 上記システムに対して、上記矩形画像単位間における被写体あるいは背景の時間的空間的変化のみを検出または検索する機能を付加したことを特徴とする「請求項７」、「請求項８」および「請求項９」記載の７２０°全方位矩形画像モニタリングシステム。 “Claim 7”, “Claim 8” and “Claim”, wherein a function for detecting or searching only a temporal and spatial change of the subject or background between the rectangular image units is added to the system. Item 720 ”omnidirectional rectangular image monitoring system. 上記モニターおよびスクリーンに完全表示を、複数のモニターまたは複数のスクリーンに分割表示したことを特徴とする「請求項１」、「請求項２」、「請求項３」、「請求項４」、「請求項５」、「請求項６」、「請求項７」、「請求項８」、「請求項９」および「請求項１０」記載の７２０°全方位矩形画像モニタリングシステム。 The complete display on the monitor and the screen is divided and displayed on a plurality of monitors or a plurality of screens. [Claim 1], [Claim 2], [Claim 3], [Claim 4], [Claim 4] 720 ° omnidirectional rectangular image monitoring system according to claim 5, claim 6, claim 7, claim 8, claim 9, and claim 10.

Images