JP2005309658A - Method, device, and program for discriminating image, and recording medium therefor - Google Patents
Method, device, and program for discriminating image, and recording medium therefor Download PDFInfo
- Publication number
- JP2005309658A JP2005309658A JP2004123977A JP2004123977A JP2005309658A JP 2005309658 A JP2005309658 A JP 2005309658A JP 2004123977 A JP2004123977 A JP 2004123977A JP 2004123977 A JP2004123977 A JP 2004123977A JP 2005309658 A JP2005309658 A JP 2005309658A
- Authority
- JP
- Japan
- Prior art keywords
- image
- region
- setting
- band
- geometric
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
本発明は、２枚の類似した画像が、ステレオ画像かカメラ中心一定画像かを判定する画像判別方法、画像判別装置、画像判別プログラム、及びその記録媒体に関する。 The present invention relates to an image discrimination method, an image discrimination device, an image discrimination program, and a recording medium for determining whether two similar images are a stereo image or a camera-centered image.
画像から３次元構造を復元する際に、２枚の画像を用いてステレオ視により復元する方法は広く開示されており、例えば非特許文献１に網羅的にまとめられている。 When restoring a three-dimensional structure from an image, a method of restoring by stereo viewing using two images is widely disclosed, and is comprehensively summarized in Non-Patent Document 1, for example.
図９は、ステレオ視による撮影の原理を示しており、Ｉ、Ｉ´は画像であり、Ｏ、Ｏ´はそれぞれ、画像Ｉ、Ｉ´のカメラ中心である。Ｏwはワールド座標系の原点であり、ＸW（Ｘ、Ｙ、Ｚ）はワールド座標系における３次元の点、ｍ、ｍ´はそれぞれ画像Ｉ、Ｉ´におけるＸWの像である。また、ｅ、ｅ´は、エピポールである。図９において、ワールド座標系の点Ｘwが異なる複数の画像に撮影されている場合、それぞれの画像に写っているＸwの像を対応点と呼ぶ。即ち、図９においては、画像Ｉ上の点ｍの、画像Ｉ´上における対応点はｍ´であり、逆にｍ´のＩにおける対応点はｍである。もちろん、複数の画像に重複して撮影されている部分が多ければ、それだけ対応点の数は多い。 FIG. 9 shows the principle of photographing by stereo vision, where I and I ′ are images, and O and O ′ are the camera centers of the images I and I ′, respectively. O w is the origin of the world coordinate system, X W (X, Y, Z) is a three-dimensional point in the world coordinate system, and m and m ′ are images of X W in the images I and I ′, respectively. E and e ′ are epipoles. 9, if point X w in the world coordinate system is taken to different images, called the image of X w that is reflected in the respective image and the corresponding points. That is, in FIG. 9, the corresponding point on the image I ′ of the point m on the image I is m ′, and conversely, the corresponding point on the I of m ′ is m. Of course, if there are a large number of portions that are captured in duplicate in a plurality of images, the number of corresponding points increases accordingly.
一方、複数の撮影画像から新たな１枚の画像を生成する、いわゆるモザイクあるいはパノラマと呼ばれる方法も非特許文献１に開示されている。 On the other hand, Non-Patent Document 1 discloses a so-called mosaic or panoramic method for generating a new image from a plurality of captured images.
モザイクは、複数の画像を１枚の仮想的な平面に射影する方法であり、基本的にカメラ中心が一定である複数の画像から１枚の合成画像を生成する。
しかしながら、ステレオ視による３次元復元の原理では、ステレオ視により３次元情報を復元するためには、相対的なスケールにおいても、絶対的なスケールにおいても、カメラ中心位置、即ち、ＯとＯ´がある程度離れている必要があり、両画像間において視差がないと、三角測量の原理を適用することができない。 However, according to the principle of three-dimensional reconstruction by stereo vision, in order to restore three-dimensional information by stereo vision, the camera center positions, that is, O and O ′, in both a relative scale and an absolute scale are used. The principle of triangulation cannot be applied if there is some disparity and there is no parallax between the two images.
また、ステレオ視を目的とした何らかのアプリケーションにおいて、カメラ中心が一定である２枚の画像、即ち、ズームやパン、チルトによって撮影された画像を用いると視差がないため、ステレオ視の原理を用いることができないばかりでなく、例えば、Ｆｕｎｄａｍｅｎｔａｌ Ｍａｔｒｉｘと言うステレオ視の計算に用いられる行列の成分が全て０となる等、エピポーラ拘束式を求める際に数値的に不安定になる可能性がある。 Also, in any application for stereo viewing, use the principle of stereo viewing because there is no parallax when using two images with a fixed camera center, that is, images taken by zooming, panning, and tilting. Not only cannot be performed, but there is a possibility that it becomes numerically unstable when the epipolar constraint equation is obtained, for example, the components of the matrix used for calculation of stereo vision called Fundamental Matrix are all zero.
同様に、モザイク画像を生成するアプリケーションにおいて、視差のある画像を用いると、両画像間で隠蔽が生じたり、１枚の画面への射影に支障をきたす状況が生じえるという問題がある。 Similarly, when an image with parallax is used in an application for generating a mosaic image, there is a problem that concealment may occur between the two images, or a situation may occur that hinders projection onto one screen.
また、カメラ中心固定でカメラの視軸をわずかに変えて撮影された２枚の画像と、ステレオ視への利用目的でカメラ中心をわずかに移動させて撮影された２枚の画像は、どちらもほぼ同じ被写体が撮像されており、一見、判断がしにくい。しかし、前記のように、いずれかの撮影条件を前提とした装置類に、条件に合致しない画像を入力すると、支障をきたすという問題がある。 In addition, both the two images taken with the camera center fixed and the camera's visual axis slightly changed, and the two images taken with the camera center moved slightly for the purpose of stereo viewing are both Almost the same subject is captured, and it is difficult to judge at first glance. However, as described above, there is a problem that if an image that does not meet the conditions is input to the apparatus that is premised on any one of the imaging conditions, there is a problem.
そこで、本発明では、前記した問題を解決し、２枚の類似した画像が、ステレオ画像かカメラ中心一定画像（パン、チルト、ズーム等）かを前記画像のみから判別する画像判別方法、画像判別装置、画像判別プログラム、及びその記録媒体を提供することを目的とする。 Therefore, the present invention solves the above-described problem, and an image discrimination method for discriminating whether two similar images are a stereo image or a camera center constant image (pan, tilt, zoom, etc.) only from the image. An object is to provide an apparatus, an image discrimination program, and a recording medium thereof.
前記課題を解決するため、本発明では、入力された２枚の画像１及び画像２のうち、画像１に対し、直線を含む幾何的特徴をもつ領域を設定し、前記領域内において所定の幾何的配置を設定し、画像１においてある幾何的配置条件を満たすように特徴点を設定し、画像２において前記特徴点の対応点を検出した際に、前記対応点が画像１の特徴点と同一の幾何的配置条件を満たすかどうかにより、撮影時のカメラ配置を判別することを主要な特徴とする。 In order to solve the above-described problem, in the present invention, an area having a geometric feature including a straight line is set for the image 1 out of the two input images 1 and 2, and a predetermined geometric shape is set in the area. When a feature point is set so as to satisfy a certain geometric placement condition in the image 1 and the corresponding point of the feature point is detected in the image 2, the corresponding point is the same as the feature point of the image 1 The main feature is to determine the camera arrangement at the time of shooting depending on whether or not the geometric arrangement condition is satisfied.
このような画像判別方法、画像判別装置、及び画像判別プログラムによれば、２枚の類似した画像が、ステレオ撮影かカメラ中心固定撮影かを容易に判別することが可能になる。 According to such an image discrimination method, an image discrimination device, and an image discrimination program, it is possible to easily discriminate whether two similar images are stereo shooting or camera center fixed shooting.
以下、本発明の原理を述べる。 The principle of the present invention will be described below.
図２はステレオ視の場合の撮影状況を示し、図３はカメラ中心が固定されている場合の撮影状況を示している。以下、特に断らない限り、カメラ中心が離れた状態で撮影された状況を「ステレオ視撮影」あるいは単に「ステレオ撮影」と呼び、図３のようにカメラ中心が固定されている場合の撮影状況を「カメラ中心固定撮影」あるいは「モザイク撮影」と呼ぶことにする。 FIG. 2 shows a shooting situation in the case of stereo viewing, and FIG. 3 shows a shooting situation when the camera center is fixed. Hereinafter, unless otherwise specified, the situation where the camera center is taken away is referred to as “stereoscopic photography” or simply “stereo photography”, and the situation where the camera center is fixed as shown in FIG. This is called “camera center fixed photography” or “mosaic photography”.
図２においては、２枚の画像の撮影時のカメラ中心はそれぞれＯL、ＯRである。また、２枚の画像はＩL、ＩRであり、その視野はＶL、ＶRであり、添字Ｌ、Ｒはそれぞれのカメラに対応している。Ｐ、Ｑはそれぞれ撮影像の３次元位置を示す。 In Figure 2, the camera center at the time of shooting the two images are each O L, O R. The two images are I L and I R , the fields of view are V L and V R , and the subscripts L and R correspond to the respective cameras. P and Q each indicate a three-dimensional position of the photographed image.
図２から容易にわかるとおり、例えば点Ｐは、画像ＩRにはその像が撮影されているが、画像ＩLには、手前の物体に隠蔽されて点Ｑの像が撮影されることになる。即ち、ステレオ撮影においては、両画像における対応点は、必ずしも存在しない。 As can be easily seen from FIG. 2, for example, the image of the point P is captured in the image I R , but the image of the point Q is captured in the image I L while being concealed by the object in front. Become. That is, in stereo photography, corresponding points in both images do not necessarily exist.
一方、図３において示すように、カメラ中心固定撮影の場合は、画像ＩLと画像ＩRは、あたかも仮想的な大きな視野Ｖのうち、ＶL、ＶRを撮影しているかのような状況であり、少なくとも両画像において撮影視野が重なっている部分においては、点Ｐは被写体は必ず両画像に撮影される。 On the other hand, as shown in FIG. 3, in the case of camera center fixed shooting, the image I L and the image I R are as if they were shooting V L and V R out of a virtual large field of view V. In at least a portion where the fields of view overlap in both images, the point P is always captured in both images.
図３から容易にわかるとおり、例えば点Ｐは、画像ＩLにも画像ＩRにもその像が撮影される。 As can be readily seen from FIG. 3, for example, point P, to the image I R to an image I L whose image is captured.
このように、原理的には、同じ被写体を撮影した際に、カメラ中心固定撮影であれば、共通する視野に含まれている被写体で片方の画像に撮像されているものは、必ず他の画像にも撮像されている。また、ステレオ撮影であれば、両カメラの共通する視野に含まれていて、片方の画像に撮像されていたとしても、必ずしも他の画像にも撮像されているとは限らない。 In this way, in principle, if the same subject is photographed and the camera is center-fixed photographing, the subject included in the common field of view and captured in one image is always another image. Has also been imaged. In the case of stereo photography, even if it is included in the field of view common to both cameras and is captured in one image, it is not necessarily captured in the other image.
従って、２枚の画像１（例えば、画像ＩL）及び画像２（例えば、画像ＩR）があるときに、画像１と画像２の（同じ視野内にある被写体像の）対応点を求めた場合に、ステレオ撮影であれば、対応点が全て見つかるとは限らず、カメラ中心撮影であれば、対応点があればディジタル化による誤差を除き、全て見つかることになる。 Therefore, when there are two images 1 (for example, image I L ) and image 2 (for example, image I R ), the corresponding points of image 1 and image 2 (the subject image in the same field of view) are obtained. In the case of stereo shooting, not all corresponding points are found, but in the case of camera-centered shooting, if there are corresponding points, all of them can be found except for errors due to digitization.
また、カメラ中心撮影であれば、共通する視野の両画像における像は、互いにアフイン変換の関係となっているため、例えば、画像１において特徴点が直線状に並んでいれば、画像２における特徴点も直線状に並ぶ。 In addition, in the case of camera-centered shooting, the images in both images having a common field of view have an affine transformation relationship with each other. For example, if feature points are aligned in a straight line in image 1, for example, features in image 2 The dots are also arranged in a straight line.
図４はこの事情を表している。図４の（０）は画像１における、直線状に並んだ特徴点を示している。図４（１）はカメラ中心固定でパンまたはチルトによって、カメラの方向のみを変えて撮影した画像２における対応点を示し、対応点が直線状に並んでいることを示している。図４（２）はカメラ中心固定でズーム撮影された画像２における対応点を示し、やはり対応点が直線状に並んでいることを示している。図４（３）はステレオ撮影での状況を表し、対応点が視差により直線状になっていないことを示している。 FIG. 4 illustrates this situation. (0) in FIG. 4 shows feature points arranged in a straight line in the image 1. FIG. 4A shows the corresponding points in the image 2 captured by changing only the direction of the camera by panning or tilting with the camera center fixed, and shows that the corresponding points are arranged in a straight line. FIG. 4B shows the corresponding points in the image 2 that is zoomed with the camera center fixed, and also shows that the corresponding points are arranged in a straight line. FIG. 4 (3) shows the situation in stereo shooting, and shows that the corresponding points are not linear due to parallax.
図５は本実施形態でのコンピュータの基本的な手段を表しており、１００は画像領域を設定する領域設定手段、２００は画像の領域に対し幾何的配置をする幾何的配置設定手段、３００は画像領域の特徴点を検出する特徴点検出手段、４００は他の画像における対応点を検出する対応点検出手段、５００は撮影条件を判定する撮影条件判定手段である。各手段の詳細は後で詳しく説明する。 FIG. 5 shows basic means of the computer according to the present embodiment, where 100 is an area setting means for setting an image area, 200 is a geometric arrangement setting means for geometrically arranging the image area, and 300 is A feature point detecting unit for detecting feature points in the image region, 400 is a corresponding point detecting unit for detecting corresponding points in other images, and 500 is a shooting condition determining unit for determining shooting conditions. Details of each means will be described later.
また，図１は本実施形態でコンピュータが行う具体的な処理手順を表しており、画像１及び画像２を入力し（ＳＰ０００）、画像１に対し領域を設定し（ＳＰ１００）、画像１の前記領域に対し画像１の領域内幾何的配置を設定し（ＳＰ２００）、画像１の指定領域内で前記幾何的配置を満たす特徴点または画素ＦＰ１を検出し（ＳＰ３００）、画像２における前記特徴点の対応点ＦＰ２を検出し（ＳＰ４００）、前記対応点の幾何的配置により、撮影状況を判別するものである。ＦＰ２が全てある幾何的条件を満たせばカメラ中心固定画像と判断し、ＦＰ２が全てある幾何的条件を満たさなければステレオ画像と判断する（ＳＰ５００）。 FIG. 1 shows a specific processing procedure performed by the computer according to the present embodiment. The image 1 and the image 2 are input (SP000), an area is set for the image 1 (SP100), and the image 1 is displayed. An in-region geometric arrangement of image 1 is set for the area (SP200), a feature point or pixel FP1 that satisfies the geometric arrangement in the designated area of image 1 is detected (SP300), and the feature points in image 2 are detected. The corresponding point FP2 is detected (SP400), and the photographing situation is determined by the geometric arrangement of the corresponding points. If all the FP2 satisfy a certain geometric condition, it is determined as a camera center fixed image, and if all the FP2 does not satisfy a certain geometric condition, it is determined as a stereo image (SP500).
図７は本発明を実施する最良の形態を表す画像判別装置の構成図である。 FIG. 7 is a block diagram of an image discriminating apparatus representing the best mode for carrying out the present invention.
画像入力／記憶装置０００は、画像を読み込み記憶する装置である。
The image input /
図５の手段のように、画像判別装置は、領域設定手段１００、幾何的配置設定手段２００、特徴点検出手段３００、対応点検出手段４００、撮影条件判定手段５００があり、これらはさらに細かな手段よりなる。尚、これらの各手段は、コンピュータとしての画像判別装置が備える演算手段としてのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）にソフトウェア的に構成されるものとする。
As shown in FIG. 5, the image discrimination apparatus includes an
領域設定手段１００は画像入力／記憶装置０００に接続し、領域図形設定手段１０１は、画像１において特徴点を検出する領域を設定する。この領域はスキャンラインに平行な１つの直線を含む帯状領域Ｈや、スキャンラインに垂直な１つの直線を含む帯状領域Ｖや
、両者の同時設定でもよい。帯の幅は，１画素としてもよい。以下は、帯状領域Ｈ及び帯状領域Ｖを設定するものとし、帯の長さは帯状領域Ｈにおいては、画像１の横幅と同一と
して、幅は１画素とし、帯状領域Ｖにおいては帯の長さは画像１の縦幅と同一として、幅
は１画素として説明を行う。ただし、帯の形状はこれに限定されるものではなく、例えば、帯状領域Ｈの長さは画像の横幅の半分であり、両端は画像の左から画像幅の４分の１と画像の右から画像幅の４分の１にあるという設定にしても良い。あるいは、特に直線状の領域ではなく、何らかの図形、例えば、円や矩形状の領域でもよいが、計算効率を考慮すると、前記の直線を含む帯状が良い。
The
領域配置設定手段１０２は、前記帯状領域Ｈ及び前記帯状領域Ｖを画像１のどこに配置するかを設定する。本発明はステレオ画像かどうかを判別することを目的としているため、２枚の画像は基本的に類似しているが、画像２において対応点が見つからない場合、視差による隠蔽によるものか、あるいは単に前記帯状領域Ｈ及び前記帯状領域Ｖが共通する視野の像を含んでいないかの区別がつきにくい。従って、帯状領域Ｈ及び帯状領域Ｖを画像１に複数設置することが望ましいが、その際の配置を設定する。 The area arrangement setting means 102 sets where the band-like area H and the band-like area V are arranged in the image 1. Since the present invention aims to discriminate whether or not it is a stereo image, the two images are basically similar, but if no corresponding point is found in image 2, it is due to concealment by parallax or simply It is difficult to distinguish whether the belt-like region H and the belt-like region V do not include a common visual field image. Therefore, it is desirable to install a plurality of strip-like regions H and strip-like regions V in the image 1, but the arrangement at that time is set.
例えば、図６の左に示すように、スキャンラインに平行で幅が１画素程度分の帯状領域Ｈ、及び、スキャンラインに垂直で幅が１画素程度分の帯状領域Ｖのように設定される。 For example, as shown on the left in FIG. 6, the band-like region H is parallel to the scan line and has a width of about one pixel, and the band-like region V is perpendicular to the scan line and has a width of about one pixel. .
この場合、帯状領域Ｖや帯状領域Ｈの位置は、ランダムに決定してもよいし、例えば、
図６の左に示すように、帯状領域Ｖは画像幅を４分するような位置（Ｖ、Ｖ２、Ｖ３）、
Ｈは画像の高さを３分するような位置（Ｈ、Ｈ２）に複数置いてもよい。
In this case, the positions of the strip-like region V and the strip-like region H may be determined randomly, for example,
As shown on the left of FIG. 6, the band-like region V is a position (V, V2, V3) that divides the image width into four,
A plurality of H may be placed at positions (H, H2) that divide the height of the image into three.
幾何的配置設定手段２００は、画像１の前記設定された領域内において、特徴点あるいは画素を指定するための位置の条件を設定する。
The geometric
例えば、図６の左のように、帯状領域Ｈ及び帯状領域Ｖに含まれる画像上の点であって
、エッジやコーナとなるような特徴点としてもよい。また、前記特徴点はサブピクセルレベルでもよく、あるいは前記特徴点を含む画素としても良い。あるいは、帯状領域Ｈ及び帯状領域Ｖに含まれ、一定間隔ごとにある画素としても良い。
For example, as shown on the left in FIG. 6, the points on the image included in the belt-like region H and the belt-like region V may be feature points that become edges or corners. The feature point may be at a sub-pixel level, or may be a pixel including the feature point. Or it is good also as a pixel which is contained in the strip | belt-shaped area | region H and the strip | belt-shaped area | region V, and exists at every fixed space | interval.
特徴点検出手段３００における領域内特徴点検出手段３０１は、画像入力／記憶装置０００に接続しており、前記条件に合致する特徴点あるいは画素位置を検出する。特徴点を検出する際に、例えば、画素の輝度値の微分値を用いたり、一般に知られている、例えば、Ｓｏｂｅｌ、Ｃａｎｎｙ等のエッジ検出オペレータを用いて検出しても良い。どのように特徴点を検出するかは本発明の範囲ではない。
The in-region feature point detection unit 301 in the feature
領域内特徴点記憶手段３０２は、前記検出された特徴点あるいは画素位置を記憶する。 The in-region feature point storage unit 302 stores the detected feature points or pixel positions.
対応点検出手段４００における領域内対応点検出手段４０１は、画像入力／記憶装置０００に接続しており、画像２において前記特徴点の対応点を探索し検出する。対応点の探索方法も、よく知られたオプティカルフローや相関値を用いるなど、公知技術を用いてよい。どのように対応点を検出するかは本発明の範囲ではない。また、前記特徴点はサブピクセルレベルでも良い。あるいは、特徴点を含む画素位置でも良い。
The in-region corresponding point detection means 401 in the corresponding point detection means 400 is connected to the image input /
対応関係評価手段４０２は、領域内特徴点記憶手段３０２で記憶された特徴点と、領域内対応点検出手段４０１による対応点で、対応点が見つかったペアを記憶する。これは、画像２において対応点が見つからなかった場合を考慮している。 The correspondence evaluation unit 402 stores a pair in which a corresponding point is found among the feature points stored in the in-region feature point storage unit 302 and the corresponding points by the in-region corresponding point detection unit 401. This takes into account the case where no corresponding point is found in image 2.
撮影条件判定手段５００における、評価誤差設定手段５０１は、画像２における対応点あるいは対応画素の配置が、直線からどれだけ離れていてもよいかを表す誤差δを設定する手段であり、例えば、予め１画素以内と決めておいても良いし、利用者からの入力を受け付けても良い。また、誤差δは画像の横幅または縦幅の数パーセントと指定してもよい。 The evaluation error setting means 501 in the photographing condition determination means 500 is a means for setting an error δ that indicates how far the arrangement of the corresponding points or the corresponding pixels in the image 2 may be away from the straight line. It may be determined that it is within one pixel, or input from the user may be accepted. The error δ may be specified as a percentage of the horizontal or vertical width of the image.
対応点座標評価手段５０２は、前記対応点の位置関係が、もとの特徴点の幾何的配置と同一であるかどうかを評価する。例えば、前記説明したように、カメラ中心固定撮影であれば、画像１における特徴点あるいは画素の配置が直線上であるならば、画像２の対応点も（見つかったものは）全て直線上である。即ち、図６の右に示すように、カメラ中心固定であれば、画像１の帯状領域Ｈ及び帯状領域Ｖに含まれる特徴点（あるいは画素）の画
像２における対応点が、もし見つかれば、それらは誤差δの範囲内で直線上にあるはずである。
Corresponding point coordinate evaluation means 502 evaluates whether the positional relationship of the corresponding points is the same as the geometrical arrangement of the original feature points. For example, as described above, in the case of camera center fixed shooting, if the feature points or pixel arrangements in image 1 are on a straight line, the corresponding points in image 2 (all found) are also on a straight line. . That is, as shown on the right of FIG. 6, if the camera center is fixed, if corresponding points in the image 2 of the feature points (or pixels) included in the band-like area H and the band-like area V of the image 1 are found, Should be on a straight line within an error δ.
領域評価手段５０３は、設定した全ての領域で、対応点が見つかったものに対して、対応点座標評価手段５０２の評価を実行したかどうかを判定する。２つの画像において共通する視野ではない部分に帯状領域Ｈや帯状領域Ｖが設定されてしまうこともあるため、対
応点が全く見つからない領域も存在するが、対応点が全く見つからない領域は除外する。
The area evaluation unit 503 determines whether or not the evaluation of the corresponding point coordinate evaluation unit 502 has been performed on all the set areas for which corresponding points have been found. Since the band-like area H and the band-like area V may be set in a portion that is not a common field of view in the two images, there is an area where no corresponding point is found, but an area where no corresponding point is found is excluded. .
領域評価手段５０３により設定した全ての領域で、対応点座標評価手段５０２の判定がカメラ中心固定撮影であるという条件を満たせば、カメラ中心固定撮影であると判別する。 If all the areas set by the area evaluation unit 503 satisfy the condition that the corresponding point coordinate evaluation unit 502 determines that the camera center fixed shooting is performed, the camera center fixed shooting is determined.
以下、本発明の実施例を示す。 Examples of the present invention will be described below.
図８は本発明の実施例の処理のフローチャートである。発明を実施するための最良の形態でも例を示しながら説明したが、ここでは本発明をコンピュータプログラムとして処理した際の処理ステップのフローチャートを説明する。また、ここでは、図７を参照しながら、ハードウェアとソフトウェアの協働を明記する。 FIG. 8 is a flowchart of the process according to the embodiment of the present invention. Although the best mode for carrying out the invention has been described with reference to an example, a flowchart of processing steps when the present invention is processed as a computer program will be described here. Here, the cooperation between hardware and software will be clearly described with reference to FIG.
まず、例えば、ディジタルカメラで撮影されたＪＰＥＧ形式の２枚の画像１及び画像２を、画像判別装置が読み込み、記憶する（ＳＰ００１）。次に、領域図形設定手段１０１及び領域配置設定手段１０２により、画像１において、帯状領域Ｈ及び帯状領域Ｖをラン
ダムな位置に設定する（ＳＰ１０１）。帯状領域Ｈ及び帯状領域Ｖは、図６の左のような
、幅が１画素の直線で、帯状領域Ｈは長さが画像の横幅、帯状領域Ｖは長さが画像の縦幅
とする。尚、ランダムではなく規則的な配置にしてもよいし、図６の左のＶ２、Ｖ３やＨ２のように複数設定してもよい。
First, for example, the image discriminating apparatus reads and stores two images 1 and 2 in JPEG format photographed by a digital camera (SP001). Next, the band-shaped area H and the band-shaped area V are set at random positions in the image 1 by the area graphic setting means 101 and the area arrangement setting means 102 (SP101). The belt-like region H and the belt-like region V are straight lines each having a width of one pixel, as shown on the left in FIG. 6. The belt-like region H has a horizontal length of the image, and the belt-like region V has a vertical length of the image. Note that the arrangement may be regular rather than random, or a plurality of arrangements such as V2, V3, and H2 on the left in FIG.
続いて、幾何的配置設定手段２００が、前記指定した帯状領域Ｈ及び帯状領域Ｖにおいて、どのような条件で画像１の特徴点を検出するかを設定する（ＳＰ２０１）。本実施例では、直線上のコーナやエッジ等の特徴点と設定する。あるいは、等間隔な画素としてもよい。次に、領域内特徴点検出手段３０１が、画像１で、帯状領域Ｈ及び帯状領域Ｖ内に
あり、直線上にある特徴点を検出する（ＳＰ３０１）。等間隔な画素とした場合、コーナでなくても、その位置にある画素位置でも良い。また、特徴点をサブピクセルレベルで求めた場合、座標値がある。画素に含まれる場合は、その画素位置をもって特徴点位置としても良い。
Subsequently, the geometric arrangement setting means 200 sets under what conditions the feature points of the image 1 are detected in the designated belt-like region H and belt-like region V (SP201). In this embodiment, feature points such as corners and edges on a straight line are set. Alternatively, the pixels may be equally spaced. Next, the in-area feature point detecting means 301 detects the feature points that are in the belt-like area H and the belt-like area V and are on the straight line in the image 1 (SP301). When the pixels are equally spaced, the pixel positions at the positions may be used instead of the corners. Further, when the feature point is obtained at the subpixel level, there is a coordinate value. When included in a pixel, the pixel position may be used as the feature point position.
次に、領域内特徴点記憶手段３０２が、ＳＰ３０１の条件に合致する特徴点ＦＰ１を記憶する（ＳＰ３０２）。そして、領域内対応点検出手段４０１が、画像２における前記ＦＰ１の対応点を探索し検出する（ＳＰ４０１）。次に、対応関係評価手段４０２が、対応点が見つかった特徴点ペアのみ記憶する（ＳＰ４０２）。このときのＦＰ２の個数をＭとし、ＦＰ２＝Ｐ１、Ｐ２、・・・、ＰMで表す。また、複数の帯状領域Ｈ及び帯状領域Ｖ
において、対応点が１つも見つからなかったり、１つしか見つからなかったものについては、以下の処理における評価ができないため除外する。
Next, the in-region feature point storage unit 302 stores the feature point FP1 that matches the condition of SP301 (SP302). Then, the corresponding point detection unit 401 in the area searches for and detects the corresponding point of the FP1 in the image 2 (SP401). Next, the correspondence evaluation means 402 stores only the feature point pair in which the corresponding point is found (SP402). The number of FP2 at this time and M, FP2 = P1, P2, ···, represented by P M. In addition, a plurality of strip regions H and strip regions V
In the above, if no corresponding point is found or only one corresponding point is found, it is excluded because it cannot be evaluated in the following processing.
次に、評価誤差設定手段５０１により誤差δの幅を設定する（ＳＰ６００）。この誤差δの幅は、帯状領域Ｈ及び帯状領域Ｖで異なる値でも同じ値でもよい。特に指定がなけれ
ば、例えば、誤差δを１画素としてもよい。ＳＰ５０１は、各領域について調べるループである。この実施例では、対応点が２つ以上発見された帯状領域Ｈ及び帯状領域Ｖ（３つ
以上あってもよい）について、以下の処理を繰り返すことを意味する。つまり、前記対応点が２つ以上発見された全ての帯状領域Ｈ及び帯状領域Ｖについて、領域評価手段５０３
により調査済みであれば、ＳＰ５０４ｂに進み、そうでなければＳＰ５０３に進む（ＳＰ５０２）。ＳＰ５０３では、対応点座標評価手段５０２が、前記Ｐiがδの誤差を許して直線上かどうかを判定し、１つでもＮｏであればＳＰ５０４ａに進む。ＳＰ５０４ａでは、２枚の画像はステレオ撮影であるという判断を行い、ＳＰ５０４ｂでは、カメラ中心固定であるという判断を行う。
Next, the width of the error δ is set by the evaluation error setting means 501 (SP600). The width of the error δ may be a different value or the same value in the belt-like region H and the belt-like region V. Unless otherwise specified, for example, the error δ may be one pixel. SP501 is a loop for checking each area. In this embodiment, this means that the following processing is repeated for the belt-like region H and the belt-like region V (there may be three or more) where two or more corresponding points are found. That is, the region evaluation means 503 for all the strip regions H and strip regions V in which two or more corresponding points are found.
If the investigation has been completed, the process proceeds to SP504b; otherwise, the process proceeds to SP503 (SP502). In SP503, the corresponding point coordinate evaluation unit 502, the determining whether the straight line allow the error of P i is [delta], the process proceeds to SP504a if even one No. In SP504a, it is determined that the two images are stereo shooting, and in SP504b, it is determined that the camera center is fixed.
尚、このプログラムは記録媒体に記録して持ち運び等行うことができる。 This program can be recorded on a recording medium and carried.
Claims (8)
前記演算手段は、
前記画像１に対し、直線を含む幾何的特徴を持つ領域を設定する手順と、
前記領域内において幾何的配置を設定する手順と、
前記領域内において前記幾何的配置を満足する特徴点あるいは画素を検出する手順と、
前記画像２において前記特徴点あるいは前記画素の対応点を検出する手順と、
前記対応点が前記幾何的配置を満足するかどうかを判定することにより、前記画像１及び前記画像２の撮影時のカメラ配置を判定する手順とを有する
ことを特徴とする画像判別方法。 A computer equipped with computing means is used to determine whether two similar images 1 and 2 input are taken with the camera center fixed or taken at different positions of the camera center. A method for determining
The computing means is
A procedure for setting a region having a geometric feature including a straight line for the image 1;
Setting a geometric arrangement within the region;
Detecting feature points or pixels satisfying the geometrical arrangement in the region;
Detecting the feature point or the corresponding point of the pixel in the image 2;
A method for determining a camera arrangement at the time of photographing the image 1 and the image 2 by determining whether or not the corresponding point satisfies the geometric arrangement.
前記画像１のスキャンラインに平行で、かつ、指定された画素数の幅を持つ帯状領域Ｈとして設定する手順と、
前記画像１のスキャンラインに垂直で、かつ、指定された画素数の幅を持つ帯状領域Ｖ
として設定する手順とを含む
ことを特徴とする請求項１記載の画像判別方法。 The step of setting the region having the geometric feature further includes:
A procedure for setting as a band-like region H parallel to the scan line of the image 1 and having a width of a designated number of pixels;
A band-like region V perpendicular to the scan line of the image 1 and having a width of a specified number of pixels.
The image determining method according to claim 1, further comprising:
前記帯状領域Ｈ及び前記帯状領域Ｖを指定された位置に複数設定する手順、または、前
記帯状領域Ｈおよび帯状領域Ｖをランダムな位置に複数設定する手順を含む
ことを特徴とする請求項２記載の画像判別方法。 The step of setting the region having the geometric feature further includes:
3. A step of setting a plurality of the band-like regions H and the band-like regions V at specified positions or a step of setting a plurality of the band-like regions H and band-like regions V at random positions is included. Image discrimination method.
前記画像１に対し、直線を含む幾何的特徴を持つ領域を設定する手段と、
前記領域内において幾何的配置を設定する手段と、
前記領域内において前記幾何的配置を満足する特徴点あるいは画素を検出する手段と、
前記画像２において前記特徴点あるいは前記画素の対応点を検出する手段と、
前記対応点が前記幾何的配置を満足するかどうかを判定することにより、前記画像１及び前記画像２の撮影時のカメラ配置を判定する手段とを有する
ことを特徴とする画像判別装置。 An apparatus for discriminating whether two similar input images 1 and 2 are taken with a fixed camera center or taken at different positions of the camera center,
Means for setting a region having a geometric feature including a straight line for the image 1;
Means for setting a geometric arrangement within the region;
Means for detecting feature points or pixels satisfying the geometrical arrangement in the region;
Means for detecting the feature points or corresponding points of the pixels in the image 2;
An image discriminating apparatus comprising: means for determining a camera arrangement at the time of photographing the image 1 and the image 2 by determining whether or not the corresponding point satisfies the geometric arrangement.
前記画像１のスキャンラインに平行で、かつ、指定された画素数の幅を持つ帯状領域Ｈとして設定する手段と、
前記画像１のスキャンラインに垂直で、かつ、指定された画素数の幅を持つ帯状領域Ｖ
として設定する手段とを含む
ことを特徴とする請求項４記載の画像判別装置。 Means for setting the region having the geometric feature further comprises:
Means for setting as a band-like region H parallel to the scan line of the image 1 and having a width of a specified number of pixels;
A band-like region V perpendicular to the scan line of the image 1 and having a width of a specified number of pixels.
The image discriminating apparatus according to claim 4, further comprising a setting unit.
前記帯状領域Ｈ及び前記帯状領域Ｖを指定された位置に複数設定する手段、または、前
記帯状領域Ｈおよび帯状領域Ｖをランダムな位置に複数設定する手段を含む
ことを特徴とする請求項５記載の画像判別装置。 Means for setting the region having the geometric feature further comprises:
The means for setting a plurality of the belt-like regions H and the belt-like regions V at designated positions or the means for setting a plurality of the belt-like regions H and the belt-like regions V at random positions is included. Image discrimination device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004123977A JP2005309658A (en) | 2004-04-20 | 2004-04-20 | Method, device, and program for discriminating image, and recording medium therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004123977A JP2005309658A (en) | 2004-04-20 | 2004-04-20 | Method, device, and program for discriminating image, and recording medium therefor |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2005309658A true JP2005309658A (en) | 2005-11-04 |
Family
ID=35438400
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004123977A Pending JP2005309658A (en) | 2004-04-20 | 2004-04-20 | Method, device, and program for discriminating image, and recording medium therefor |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2005309658A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013046941A1 (en) * | 2011-09-29 | 2013-04-04 | 住友重機械工業株式会社 | Overhead traveling crane equipped with object detection device |
| CN114882461A (en) * | 2022-05-25 | 2022-08-09 | 阿波罗智能技术(北京)有限公司 | Equipment environment identification method and device, electronic equipment and automatic driving vehicle |
-
2004
- 2004-04-20 JP JP2004123977A patent/JP2005309658A/en active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013046941A1 (en) * | 2011-09-29 | 2013-04-04 | 住友重機械工業株式会社 | Overhead traveling crane equipped with object detection device |
| JPWO2013046941A1 (en) * | 2011-09-29 | 2015-03-26 | 住友重機械工業株式会社 | Overhead crane with object detection device |
| CN114882461A (en) * | 2022-05-25 | 2022-08-09 | 阿波罗智能技术(北京)有限公司 | Equipment environment identification method and device, electronic equipment and automatic driving vehicle |
| CN114882461B (en) * | 2022-05-25 | 2023-09-29 | 阿波罗智能技术(北京)有限公司 | Equipment environment recognition method and device, electronic equipment and automatic driving vehicle |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI554976B (en) | Surveillance systems and image processing methods thereof | |
| JP4912117B2 (en) | Imaging device with tracking function | |
| US7570280B2 (en) | Image providing method and device | |
| US8581961B2 (en) | Stereoscopic panoramic video capture system using surface identification and distance registration technique | |
| US9109891B2 (en) | Stereo camera | |
| EP3427227B1 (en) | Methods and computer program products for calibrating stereo imaging systems by using a planar mirror | |
| US8217956B1 (en) | Method and apparatus for rendering spherical panoramas | |
| EP3016065B1 (en) | Coordinate computation device and method, and image processing device and method | |
| CN107370994B (en) | Marine site overall view monitoring method, device, server and system | |
| JP2011060216A (en) | Device and method of processing image | |
| US20120177284A1 (en) | Forming 3d models using multiple images | |
| CN103839227B (en) | Fisheye image correcting method and device | |
| EP3446283B1 (en) | Image stitching method and device | |
| JPH06141237A (en) | Compound eye image pickup device | |
| US8687000B2 (en) | Image generating apparatus and computer program | |
| JP4679293B2 (en) | In-vehicle panoramic camera system | |
| JP2007243509A (en) | Image processing device | |
| JP2006250722A (en) | Device, method and program for calibration | |
| EP2335220A2 (en) | Method for distributed and minimum-support point matching in two or more images of 3d scene taken with video or stereo camera. | |
| JP4193342B2 (en) | 3D data generator | |
| JPH1062140A (en) | Method and device for reconstruction of shape | |
| JP4198536B2 (en) | Object photographing apparatus, object photographing method and object photographing program | |
| CN107820041B (en) | Privacy blocking method and device | |
| KR100944293B1 (en) | Mechanism for reconstructing full 3D model using single-axis turntable images | |
| JP2006017632A (en) | Three-dimensional image processor, optical axis adjustment method, and optical axis adjustment support method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060719 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090610 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090623 |
|
| A521 | Written amendment |
Effective date: 20090824 Free format text: JAPANESE INTERMEDIATE CODE: A523 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090929 |