JP4796295B2 - Camera angle change detection method, apparatus and program, and image processing method, equipment monitoring method, surveying method, and stereo camera setting method using the same - Google Patents
Camera angle change detection method, apparatus and program, and image processing method, equipment monitoring method, surveying method, and stereo camera setting method using the same Download PDFInfo
- Publication number
- JP4796295B2 JP4796295B2 JP2004328532A JP2004328532A JP4796295B2 JP 4796295 B2 JP4796295 B2 JP 4796295B2 JP 2004328532 A JP2004328532 A JP 2004328532A JP 2004328532 A JP2004328532 A JP 2004328532A JP 4796295 B2 JP4796295 B2 JP 4796295B2
- Authority
- JP
- Japan
- Prior art keywords
- plane
- image
- angle
- standard
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Description
本発明は、カメラアングル変化の検出方法および装置およびプログラムに関する。さらに詳述すると、本発明は、画像処理技術を用いて2画像間の相対的なカメラアングルの違いを検出する方法および装置およびプログラム、さらにこれを利用した画像処理方法および設備監視方法および測量方法およびステレオカメラの設定方法に関する。 The present invention relates to a camera angle change detection method, apparatus, and program. More specifically, the present invention relates to a method, an apparatus, and a program for detecting a relative camera angle difference between two images using an image processing technique, and an image processing method, an equipment monitoring method, and a survey method using the same. And a stereo camera setting method.
カメラの傾きなどを画像処理により検出する方法として、マーカなどを用いた方法がある。例えば特許文献1には、ステレオカメラのキャリブレーション方法として、人工的なマーカを有するキャリブレーション用チャートを使用する点が開示されている。 As a method for detecting the tilt of the camera by image processing, there is a method using a marker or the like. For example, Patent Document 1 discloses that a calibration chart having an artificial marker is used as a stereo camera calibration method.
また、非特許文献1には、スペクトルモーメントを用いて、比較する2画像間のテクスチャ平面の回転と傾き角を求める手法が提案されている。 Non-Patent Document 1 proposes a method for obtaining the rotation and inclination angle of a texture plane between two images to be compared using a spectral moment.
巡視員による監視対象設備の点検業務等において、巡視員が現場で監視対象設備のヒビやサビの微小な進行状況を目視により確認することは非常に難しい。一方、デジタルデバイスの低価格化と情報処理技術の進展により、現場での業務において、現場の状況をデジタル記録・保存する環境が整いつつある。そこで、巡視員がデジタルカメラで監視対象設備を撮影し、かつ撮影した画像を記録・保存し、新たに撮影した設備表面の画像と過去の設備表面の画像とを比較することより、設備のヒビやサビの微小な進行状況を正確に把握するようにすることが考えられる。例えば、過去の監視対象設備の画像と、新たに撮影した監視対象設備の画像との差分画像を作成することで、ヒビやサビの微小な進行状況を画像の差分情報から正確に検出することができる。 It is very difficult for a patrolman to visually check the progress of cracks and rust on the monitored facility on site in inspection work of the monitoring target facility by a patrolman. On the other hand, due to the low price of digital devices and the advancement of information processing technology, the environment for digital recording and storage of on-site situations is being established in on-site operations. Therefore, the patrolman takes a picture of the equipment to be monitored with a digital camera, records and saves the taken picture, and compares the newly taken picture of the equipment surface with the past picture of the equipment surface. It may be possible to accurately grasp the minute progress of rust and rust. For example, by creating a differential image between an image of a past monitoring target facility and a newly captured monitoring target facility, it is possible to accurately detect the minute progress of cracks and rust from the difference information of the image. it can.
ただし、このためには、比較する画像間の正確な位置合わせが必要であり、監視対象物とカメラを常に同一の位置関係に固定する必要がある。過去の撮影時と今回の撮影時との間で、監視対象物とカメラの位置関係、即ちカメラアングルが変化してしまうと、光軸などがずれた画像として記録されてしまう。カメラアングルが一致していない画像どうしを比較すると、本来ならば変化していない画像情報まで変形したかのように処理されてしまい、ヒビやサビの微小な進行状況の検出精度が大きく低下してしまう。例えば図15の符号101は過去に撮影した監視対象設備のヒビの様子を示す画像であり、符号102は今回撮影した監視対象設備のヒビの様子を示す画像である。過去の撮影画像101と今回の撮影画像102とでは、カメラアングルが変化している。符号103は、過去の撮影画像101と今回の撮影画像102の差分画像である。このようにカメラアングルが一致していない画像101,102の差分画像103を作成しても、本来ならば変化していない画像情報までが差分として現れてしまい、ヒビやサビの微小な進行状況を正確に検出することはできない。 However, for this purpose, it is necessary to accurately align the images to be compared, and it is necessary to always fix the monitoring object and the camera in the same positional relationship. If the positional relationship between the monitoring object and the camera, that is, the camera angle, changes between the past shooting time and the current shooting time, it is recorded as an image in which the optical axis is shifted. Comparing images that do not match the camera angle, it will be processed as if it had been transformed to image information that did not change originally, greatly reducing the accuracy of detection of the minute progress of cracks and rust End up. For example, reference numeral 101 in FIG. 15 is an image showing the cracked state of the monitoring target equipment photographed in the past, and reference numeral 102 is an image showing the cracking state of the monitored target equipment photographed this time. The camera angle changes between the past captured image 101 and the current captured image 102. Reference numeral 103 is a difference image between the past captured image 101 and the current captured image 102. Even if the difference image 103 between the images 101 and 102 whose camera angles do not coincide with each other is created in this way, even the image information that has not changed originally appears as a difference, and a minute progress state of cracks and rust is displayed. It cannot be detected accurately.
その一方で、撮影対象とカメラの位置関係を固定し続けることは物理的やコスト的に難しいため、過去と完全に同じカメラ位置からの撮影の実現は非常に難しい。そこで、画像処理技術により2画像間のカメラアングルの違いを検出し、カメラアングルを一致させるように補正を行うことが考えられる。 On the other hand, since it is difficult physically and costly to keep the positional relationship between the subject to be photographed and the camera, it is very difficult to realize photographing from the same camera position as the past. Therefore, it is conceivable to detect a difference in camera angle between two images by image processing technology and perform correction so that the camera angles match.
ところが、特許文献1の技術では、人為的にマーカを用意したり設定したりする必要があり面倒である。また、非特許文献1のスペクトルモーメントを用いる手法は、平面の傾き角度が微小(例えば5°以下)であると誤差が大きくなるという問題がある。 However, the technique of Patent Document 1 is troublesome because it is necessary to prepare and set markers manually. Further, the method using the spectral moment of Non-Patent Document 1 has a problem that the error becomes large when the inclination angle of the plane is very small (for example, 5 ° or less).
また、カメラアングルの変化は換言すれば光軸の変化であり、2画像間の光軸のずれ量を正確に検出することで、例えば高精度な三角測量、ステレオカメラの設定、カメラレンズ等の歪みの検出および補正などへと応用することができる。しかし、上述したように従来の画像処理技術では、マーカを用いる煩雑さや、微小な光軸のずれ量を正確に検出できない問題点がある。このため、従来の画像処理による画像間の対応点探索では、カメラの方向の微小な変化の補正が不十分であり、画像間の対応付けが曖昧となって、十分な計測精度が得られない。 In other words, the change in the camera angle is a change in the optical axis. By accurately detecting the amount of deviation of the optical axis between the two images, for example, highly accurate triangulation, stereo camera settings, camera lenses, etc. It can be applied to distortion detection and correction. However, as described above, in the conventional image processing technique, there is a problem that the complexity of using the marker and the amount of deviation of the minute optical axis cannot be accurately detected. For this reason, in the corresponding point search between images by the conventional image processing, correction of a minute change in the direction of the camera is insufficient, the association between the images becomes ambiguous, and sufficient measurement accuracy cannot be obtained. .
そこで本発明は、2画像間におけるカメラアングルの違いを簡単かつ高精度に検出することができるカメラアングル変化の検出方法および装置およびプログラム並びにこれを利用した画像処理方法および設備監視方法および測量方法およびステレオカメラの設定方法を提供することを目的とする。 Therefore, the present invention provides a camera angle change detection method and apparatus and program capable of easily and accurately detecting a difference in camera angle between two images, an image processing method, an equipment monitoring method, and a survey method using the same. An object of the present invention is to provide a stereo camera setting method.
かかる目的を達成するため、請求項1記載の発明は、撮影対象の同一平面と見なせる領域をそれぞれ撮影した標準画像と入力画像とを用いて前記標準画像と前記入力画像との相対的なカメラアングルの違いを検出する方法であり、前記標準画像内の前記撮影対象の平面領域を標準平面とすると共に前記入力画像内の前記撮影対象の平面領域を入力平面として、前記標準画像のテクスチャ平面の座標系(x s ,y s ,z s )のx s −y s 平面内における前記標準平面に対する前記入力平面の平面傾き方向γ(ただし、γ:x s 軸に対する角度)と、前記平面傾き方向γと前記標準画像の面上で直交する軸回りでの前記標準平面に対する前記入力平面の平面傾き角βとを求めるため、前記標準画像と前記入力画像とのそれぞれについてパワースペクトルを計算すると共にこれらパワースペクトルのそれぞれについてログポーラ変換を行い、ログポーラ変換前の前記パワースペクトルのそれぞれについて一定点を中心として選択した特定方向(以下、方向角)の扇形領域を選択し、前記ログポーラ変換後のパワースペクトルのそれぞれについて前記選択した2つの扇形領域のそれぞれと等価な矩形領域の位相限定相関を計算し、前記標準画像から選択した前記扇形領域に対する前記入力画像から選択した前記扇形領域の扇形半径方向ずれ量d r を求め、前記扇形領域の前記方向角を順次変化させて全方位について前記扇形半径方向ずれ量d r を求め、当該方向角別の扇形半径方向ずれ量d r を用いて数式30(ただし、N r :前記ログポーラ変換時の前記扇形半径方向の量子化数)によって前記方向角別の前記標準画像に対する前記入力画像の拡大縮小率sを求め、当該拡大縮小率sの最大値s max と最小値s min とを用いて数式31によって前記平面傾き角βを求め、前記拡大縮小率sが最小となる前記方向角を前記平面傾き方向γとするようにしている。
また、請求項10記載の発明は、撮影対象の同一平面と見なせる領域をそれぞれ撮影した標準画像と入力画像とを用いて前記標準画像と前記入力画像との相対的なカメラアングルの違いを検出する装置であり、前記標準画像内の前記撮影対象の平面領域を標準平面とすると共に前記入力画像内の前記撮影対象の平面領域を入力平面として、前記標準画像のテクスチャ平面の座標系(x s ,y s ,z s )のx s −y s 平面内における前記標準平面に対する前記入力平面の平面傾き方向γ(ただし、γ:x s 軸に対する角度)と、前記平面傾き方向γと前記標準画像の面上で直交する軸回りでの前記標準平面に対する前記入力平面の平面傾き角βとを求めるため、前記標準画像と前記入力画像とのそれぞれについてパワースペクトルを計算する手段と、これらパワースペクトルのそれぞれについてログポーラ変換を行う手段と、ログポーラ変換前の前記パワースペクトルのぞれぞれについて一定点を中心として選択した特定方向(以下、方向角)の扇形領域に対応する前記ログポーラ変換後のパワースペクトルそれぞれの矩形領域を前記扇形領域の前記方向角を順次変化させて全方位について選択する手段と、これら選択された前記標準画像の矩形領域と前記入力画像の矩形領域との位相限定相関を計算すると共に前記標準画像から選択された前記扇形領域に対する前記入力画像から選択された前記扇形領域の前記方向角別の扇形半径方向ずれ量d r を求める手段と、当該方向角別の扇形半径方向ずれ量d r を用いて数式32(ただし、N r :前記ログポーラ変換時の前記扇形半径方向の量子化数)によって前記方向角別の前記標準画像に対する前記入力画像の拡大縮小率sを求める手段と、当該拡大縮小率sの最大値s max と最小値s min とを用いて数式33によって前記平面傾き角βを求める手段と、前記拡大縮小率sが最小となる前記方向角を前記平面傾き方向γとする手段とを有するようにしている。
また、請求項12記載の発明は、撮影対象の同一平面と見なせる領域をそれぞれ撮影した標準画像と入力画像とを用い、前記標準画像内の前記撮影対象の平面領域を標準平面とすると共に前記入力画像内の前記撮影対象の平面領域を入力平面として、前記標準画像のテクスチャ平面の座標系(x s ,y s ,z s )のx s −y s 平面内における前記標準平面に対する前記入力平面の平面傾き方向γ(ただし、γ:x s 軸に対する角度)と、前記平面傾き方向γと前記標準画像の面上で直交する軸回りでの前記標準平面に対する前記入力平面の平面傾き角βとを求めるため、前記標準画像と前記入力画像とのそれぞれについてパワースペクトルを計算する手段、これらパワースペクトルのそれぞれについてログポーラ変換を行う手段、ログポーラ変換前の前記パワースペクトルのそれぞれについて一定点を中心として選択した特定方向(以下、方向角)の扇形領域に対応する前記ログポーラ変換後のパワースペクトルそれぞれの矩形領域を前記扇形領域の前記方向角を順次変化させて全方位について選択する手段、これら選択された前記標準画像の矩形領域と前記入力画像の矩形領域との位相限定相関を計算すると共に前記標準画像から選択された前記扇形領域に対する前記入力画像から選択された前記扇形領域の前記方向角別の扇形半径方向ずれ量d r を求める手段、当該方向角別の扇形半径方向ずれ量d r を用いて数式34(ただし、N r :前記ログポーラ変換時の前記扇形半径方向の量子化数)によって前記方向角別の前記標準画像に対する前記入力画像の拡大縮小率sを求める手段、当該拡大縮小率sの最大値s max と最小値s min とを用いて数式35によって前記平面傾き角βを求める手段、前記拡大縮小率sが最小となる前記方向角を前記平面傾き方向γとする手段としてコンピュータを機能させるようにしている。
テクスチャ平面をγ方向に角度βだけ傾けると、当該平面はγ方向にcos βだけ縮小する。したがって、一定点を中心とした全方位について方向別に2画像間のずれ量に求め、これにより方向別の画像の拡大縮小率を求め、画像の拡大縮小率の最大値と最小値の比から平面傾き角βを求め、画像の拡大縮小率が最小となる方向を平面傾き方向γとすることにより、正確なγとβを求めることができる。 When the texture plane is tilted in the γ direction by an angle β, the plane is reduced by cos β in the γ direction. Therefore, the deviation amount between the two images is obtained for each direction with respect to all directions around a certain point, thereby obtaining the enlargement / reduction ratio of the image for each direction, and calculating the plane from the ratio between the maximum value and the minimum value of the enlargement / reduction ratio of the image. Accurate γ and β can be obtained by obtaining the inclination angle β and setting the direction in which the enlargement / reduction ratio of the image is minimum as the plane inclination direction γ.
また、標準画像および入力画像についてそれぞれ計算されたパワースペクトルを用いることにより、標準画像と入力画像との間の縦横方向の位置ずれをキャンセルすることができる。また、パワースペクトルの直流成分を空間周波数上の原点とし、当該直流成分(空間周波数上の原点)を中心として扇形領域の方向を選択することにより、標準画像および入力画像について扇形領域の方向を選択するための中心点を設定する手間が省ける。 Further , by using the power spectrum calculated for each of the standard image and the input image, it is possible to cancel the positional deviation in the vertical and horizontal directions between the standard image and the input image. In addition, by selecting the DC component of the power spectrum as the origin on the spatial frequency and selecting the direction of the sector area around the DC component (origin on the spatial frequency), the direction of the sector area is selected for the standard image and the input image. This saves you the trouble of setting the center point.
また、ログポーラ変換を用いることで、対数の特性を利用して拡大縮小率を簡単に求めることができる。 Further, by using the B Gupora conversion, it can easily obtain the scaling factor by utilizing the logarithmic characteristic.
また、請求項3記載の発明は、請求項1記載のカメラアングル変化の検出方法において、前記標準画像のテクスチャ平面の座標系(xs,ys,zs)における前記標準平面に対する前記入力平面の前記標準画像の面と直交する軸回りの回転角αを求めるため、前記標準画像と前記入力画像とのそれぞれについてパワースペクトルを計算すると共にこれらパワースペクトルのそれぞれについてログポーラ変換を行い、ログポーラ変換前の前記パワースペクトルのそれぞれについて一定点を中心として選択した特定方向(以下、方向角)の扇形領域を選択し、前記ログポーラ変換後のパワースペクトルのそれぞれについて前記選択した2つの扇形領域のそれぞれと等価な矩形領域の位相限定相関を計算し、前記標準画像から選択した前記扇形領域に対する前記入力画像から選択した前記扇形領域の扇形円弧方向ずれ量daを求め、当該扇形円弧方向ずれ量daを用いて数式36(ただし、Na:前記ログポーラ変換時の前記扇形円弧方向の量子化数)によって前記回転角αを求めるようにしている。また、請求項11記載の発明は、請求項10記載のカメラアングル変化の検出装置において、前記標準画像のテクスチャ平面の座標系(xs,ys,zs)における前記標準平面に対する前記入力平面の前記標準画像の面と直交する軸回りの回転角αを求めるため、前記標準画像と前記入力画像とのそれぞれについてパワースペクトルを計算する手段と、これらパワースペクトルのそれぞれについてログポーラ変換を行う手段と、ログポーラ変換前の前記パワースペクトルのそれぞれについて一定点を中心として選択した特定方向(以下、方向角)の扇形領域に対応する前記ログポーラ変換後のパワースペクトルそれぞれの矩形領域を前記扇形領域の前記方向角を順次変化させて全方位について選択する手段と、これら選択された前記標準画像の矩形領域と前記入力画像の矩形領域との位相限定相関を計算すると共に前記標準画像から選択された前記扇形領域に対する前記入力画像から選択された前記扇形領域の前記方向角別の扇形円弧方向ずれ量daを求める手段と、当該方向角別の扇形円弧方向ずれ量daを用いて数式36(ただし、Na:前記ログポーラ変換時の前記扇形円弧方向の量子化数)によって前記回転角αを求める手段とを有するようにしている。また、請求項13記載の発明は、請求項12記載のカメラアングル変化の検出プログラムにおいて、前記標準画像のテクスチャ平面の座標系(xs,ys,zs)における前記標準平面に対する前記入力平面の前記標準画像の面と直交する軸回りの回転角αを求めるため、前記標準画像と前記入力画像とのそれぞれについてパワースペクトルを計算する手段、これらパワースペクトルのそれぞれについてログポーラ変換を行う手段、ログポーラ変換前の前記パワースペクトルのそれぞれについて一定点を中心として選択した特定方向(以下、方向角)の扇形領域に対応する前記ログポーラ変換後のパワースペクトルそれぞれの矩形領域を前記扇形領域の前記方向角を順次変化させて全方位について選択する手段、これら選択された前記標準画像の矩形領域と前記入力画像の矩形領域との位相限定相関を計算すると共に前記標準画像から選択された前記扇形領域に対する前記入力画像から選択された前記扇形領域の前記方向角別の扇形円弧方向ずれ量daを求める手段、当該方向角別の扇形円弧方向ずれ量daを用いて数式36(ただし、Na:前記ログポーラ変換時の前記扇形円弧方向の量子化数)によって前記回転角αを求める手段としてコンピュータを機能させるようにしている。
また、請求項2記載の発明は、請求項1記載のカメラアングル変化の検出方法において、前記標準画像のテクスチャ平面の座標系(x s ,y s ,z s )における前記標準平面に対する前記入力平面の前記標準画像の面と直交する軸回りの回転角αを求めるため、前記入力画像を当該画像内の任意の点を中心として前記平面傾き方向γの方向に1/cosβ(ただし、β:前記平面傾き角)倍拡大して1次補正画像とし、当該1次補正画像と前記標準画像とをそれぞれ2次元フーリエ変換し、これら2次元フーリエ変換後の2次元信号のパワースペクトルのそれぞれについて周波数成分の原点を中心に極座標変換を行い、これら極座標に変換された2次元信号のそれぞれについて2次元フーリエ変換を再度行い、これら再度の2次元フーリエ変換後の各周波数成分について前記標準画像より作成した信号の共役複素数成分を当該信号の振幅で除算を行うと共に前記1次補正画像から作成した信号の複素数成分を当該信号の振幅で除算を行ってからこれら除算後の共役複素数成分と複素数成分とを掛け合わせて合成を行い、当該合成後の信号成分の2次元逆フーリエ変換を計算し、当該2次元逆フーリエ変換後の信号の中で相関値が最大となる座標(r 1 ,θ 1 )(ただし、r:前記扇形領域の半径,θ:前記方向角)を探索し、当該θ 1 を前記回転角αとするようにしている。この場合は、平面傾き角βと平面傾き方向γを求めた後に、回転角αを求めることとなる。 Further, an invention according to claim 2, wherein, in the detection method of the camera angle change in claim 1 Symbol placement, the standard image coordinate system of the texture plane (x s, y s, z s) the input to the standard plane in for determining the angle of rotation about an axis α perpendicular to the plane of the standard image plane, 1 / cos .beta about an arbitrary point in the direction of the plane tilt direction γ in the input image the image (however, beta: wherein the planar inclination angle) times magnified to primary corrected image, the first-order correction image and the a standard image and two-dimensional Fourier transform, respectively, the frequency for each of the power spectrum of the 2-dimensional signal after these two-dimensional Fourier transform Polar coordinate transformation is performed around the origin of the component, two-dimensional Fourier transformation is performed again for each of the two-dimensional signals converted to these polar coordinates, and these two-dimensional Fourier transformations are performed again. For each subsequent frequency component, the conjugate complex number component of the signal created from the standard image is divided by the amplitude of the signal, and the complex component of the signal created from the primary correction image is divided by the amplitude of the signal. The conjugated complex number component and the complex number component after the division are multiplied and synthesized, and the two-dimensional inverse Fourier transform of the signal component after the synthesis is calculated, and the correlation value in the signal after the two-dimensional inverse Fourier transform is calculated. The maximum coordinate (r 1 , θ 1 ) (where r is the radius of the sector area, θ is the direction angle) is searched, and the θ 1 is set as the rotation angle α. In this case, after obtaining the plane inclination angle β and the plane inclination direction γ, the rotation angle α is obtained.
また、請求項4記載の画像処理方法は、請求項1記載のカメラアングル変化の検出方法により求めた前記平面傾き角βおよび前記平面傾き方向γ並びに請求項2若しくは請求項3記載のカメラアングル変化の検出方法により求めた前記回転角αを用いて、前記入力画像を、前記平面傾き方向γの方向に1/cosβ倍拡大し、且つ前記回転角αだけ回転させることで、前記入力画像と前記標準画像とのカメラアングルを一致させ、これらカメラアングルを一致させた入力画像と標準画像との差分画像を出力するようにしている。したがって、入力画像と標準画像の比較を正確に行える。 In the image processing method described in claim 4, claim 1 Symbol placement of camera angle change detection methods the plane inclination angle β and the plane tilt direction γ and claim 2 or claim 3, wherein the camera angle determined by using the rotation angle alpha which is determined by the detection method of change, the input image, the plane tilt direction γ direction 1 / cos .beta multiplied expand, and by rotating by the rotation angle alpha, and the input image The camera angle with the standard image is matched , and a difference image between the input image and the standard image with the matched camera angle is output . Therefore, the input image and the standard image can be accurately compared.
また、請求項5記載の設備監視方法は、監視対象設備を前記撮影対象とし、請求項4記載の画像処理方法により前記カメラアングルを一致させた入力画像と標準画像との差分画像を作成して、当該差分画像に基づいて前記監視対象設備のサビやヒビの進展を検出するようにしている。したがって、過去の監視対象設備の画像と、新たに撮影した監視対象設備の画像との差分画像を作成することで、ヒビやサビの微小な進行状況を画像の差分情報から正確に検出することができる。 Moreover, facility monitoring method of claim 5 wherein the monitored equipment and the imaging target, a difference image between the input image is matched the camera angle by the image processing method according to claim 4, wherein the standard image It creates and detects the progress of rust and cracks of the monitoring target equipment based on the difference image . Therefore, it is possible to accurately detect the minute progress of cracks and rust from the difference information of the image by creating a difference image between the past image of the monitoring target facility and the newly captured image of the monitoring target facility. it can.
また、請求項6記載の測量方法は、2台の撮像手段のそれぞれにより同一平面と見なせる計測領域を撮影し、これら2台の撮像手段のそれぞれにより撮影された2画像間の前記平面傾き角βおよび前記平面傾き方向γを請求項1記載のカメラアングル変化の検出方法により求めると共に前記回転角αを請求項2若しくは請求項3記載のカメラアングル変化の検出方法により求め、前記2台の撮像手段および前記計測領域を三角形の頂点とした三角測量に前記求めた回転角α,前記平面傾き角β,前記平面傾き方向γを用いるようにしている。この場合、求めたα,β,γを、計測領域に対する撮像手段の物理的位置の補正するためのパラメータ、または撮像手段で撮影した画像を修正する情報処理を実行するためのパラメータ、または計測領域の位置を測定するためのパラメータとして利用して、三角測量を高精度に行うことができる。 Further, the surveying method according to claim 6, by the respective two imaging means taken the measurement area that can be regarded as a same plane, said plane inclination angle between the two images taken by each of these two imaging means determined by the detection method of the β and the plane tilt direction γ of claim 1 wherein the camera angle change detection methods the rotation angle α of the camera angle change in claim 2 or claim 3, wherein with determined by the two imaging means and said measuring area the rotation angle α obtained above in the triangulation vertices of the triangle, the planar inclination angle beta, so that using the plane tilt direction gamma. In this case, the obtained α, β, and γ are parameters for correcting the physical position of the imaging unit with respect to the measurement region, or parameters for executing information processing for correcting an image captured by the imaging unit, or the measurement region. It can be used as a parameter for measuring the position of the triangulation with high accuracy.
また、請求項7記載の画像処理方法は、撮影対象について予め用意された標準画像と、当該標準画像と同じカメラアングルの条件で前記撮影対象を撮像手段により撮影して得られた入力画像との間の、前記平面傾き角βおよび前記平面傾き方向γを請求項1記載のカメラアングル変化の検出方法により求めると共に前記回転角αを請求項2若しくは請求項3記載のカメラアングル変化の検出方法により求め、これらα,β,γがゼロでない場合には前記撮像手段に起因して前記入力画像に歪みが生じていると判断するようにしている。この場合、求めたα,β,γが0でない場合は、撮像手段に起因して、例えばカメラレンズの歪みに起因して、入力画像に歪みが生じていると判断できる。画像の歪みが検出された場合、例えば撮像手段の部品交換等を促すべく、ユーザに対して警告やエラーを通知することができる。 The image processing method according to claim 7 includes a standard image prepared in advance for the imaging target, of an input image obtained with the imaging subject in the conditions of the same camera angle as the standard image by imaging by the imaging means between, the detection method of the camera angle change in claim 2 or claim 3, wherein the rotation angle α with the plane inclination angle β and the plane tilt direction γ determined by the detection method of the camera angle change in claim 1, wherein determined, these alpha, beta, gamma is the case not zero so that it is determined that the distortion in the input image due to the image pickup means is generated. In this case, if the obtained α, β, and γ are not 0, it can be determined that the input image is distorted due to, for example, the camera lens. When image distortion is detected, for example, a warning or error can be notified to the user in order to promote replacement of parts of the imaging means.
また、請求項8記載の発明は、請求項7記載の画像処理方法において、前記求めた回転角α,平面傾き角β,平面傾き方向γを用いて、前記入力画像を、前記平面傾き方向γの方向に1/cosβ倍拡大し、且つ前記回転角αだけ回転させることで、前記入力画像の歪みを補正するようにしている。この場合、例えばレンズ収差の大きい廉価なレンズを備えた汎用の撮像手段であっても高性能な画像を得ることができる。 Further, an invention according to claim 8, in the image processing method according to claim 7, wherein the determined rotation angle alpha, plan inclination angle beta, using planar tilt direction gamma, the input image, the plane tilt direction gamma In this direction, the distortion of the input image is corrected by enlarging 1 / cos β times and rotating the rotation angle α . In this case, for example, a high-performance image can be obtained even with a general-purpose imaging means including an inexpensive lens having a large lens aberration.
また、請求項9記載のステレオカメラの設定方法は、2台の撮像手段のそれぞれにより撮影された2画像間の前記平面傾き角βおよび前記平面傾き方向γを請求項1記載のカメラアングル変化の検出方法により求めると共に前記回転角αを請求項2若しくは請求項3記載のカメラアングル変化の検出方法により求め、前記2台の撮像手段をステレオカメラとして機能させるための設定に前記求めた回転角α,平面傾き角β,平面傾き方向γを用いるようにしている。この場合、例えば安価な汎用のデジタルカメラを2台用意すれば、これら2台のカメラを、従来は高価な専用カメラであったステレオカメラとして機能させることができる。 The setting method of the stereo camera according to claim 9, wherein each of the camera angle change in the plane tilt angle β and claim 1, wherein the planar direction of inclination γ of between 2 images captured by the two imaging means determined by the rotation angle detecting method of α a camera angle change in claim 2 or claim 3, wherein with determined by the detection method, the rotation angle determined the imaging means of the two set for functioning as a stereo camera α , The plane tilt angle β and the plane tilt direction γ are used. In this case, for example, if two inexpensive general-purpose digital cameras are prepared, these two cameras can be made to function as a stereo camera which has conventionally been an expensive dedicated camera.
しかして請求項1〜3記載のカメラアングル変化の検出方法および請求項10,11記載の装置および請求項12,13記載のプログラムによれば、方向別の画像の拡大縮小率を求めることにより、人工的なマーカ等を用いることなく簡単に、しかも画像の傾き角が微小であっても高精度に、2画像間の相対的なカメラアングルの違いを検出することができる。 Therefore, according to the detection method of the camera angle change according to claims 1 to 3, the apparatus according to claims 10 and 11 , and the program according to claims 12 and 13 , by obtaining the enlargement / reduction ratio of the image according to direction, A relative camera angle difference between two images can be detected easily without using an artificial marker or the like and with high accuracy even if the inclination angle of the image is very small.
さらに、請求項4記載の画像処理方法によれば、入力画像と標準画像のカメラアングルを一致させる補正をすることにより、入力画像と標準画像の比較を正確に行うことができる。 Further, according to the image processing method of the fourth aspect , the input image and the standard image can be accurately compared by correcting the input image and the standard image so as to coincide with each other.
さらに、請求項5記載の画像処理方法によれば、過去の監視対象設備の画像と、新たに撮影した監視対象設備の画像との差分画像を作成することで、ヒビやサビの微小な進行状況を画像の差分情報から正確に検出することができる。 Furthermore, according to the image processing method of claim 5, a minute progress state of cracks and rust is created by creating a difference image between the past image of the monitoring target facility and the newly captured image of the monitoring target facility. Can be accurately detected from the difference information of the image.
さらに、請求項6記載の測量方法によれば、求めたα,β,γを三角測量を行うためのパラメータとして利用することで、正確な測量を行うことができる。 Furthermore, according to the surveying method of claim 6 , accurate surveying can be performed by using the obtained α, β, γ as parameters for performing triangulation.
さらに、請求項7記載の画像処理方法によれば、カメラレンズの歪み等を検出でき、部品交換等を促すべく、ユーザに対して警告やエラーを通知することができる。 Furthermore, according to the image processing method of the seventh aspect , it is possible to detect camera lens distortion or the like, and to notify the user of a warning or an error in order to prompt parts replacement or the like.
さらに、請求項8記載の画像処理方法によれば、検出された画像の歪みを補正するので、レンズ収差の大きい廉価なレンズを備えた汎用の撮像手段であっても高性能な画像を得ることができる。 Furthermore, according to the image processing method of claim 8, since the distortion of the detected image is corrected, a high-performance image can be obtained even with a general-purpose imaging means having an inexpensive lens having a large lens aberration. Can do.
さらに、請求項9記載のステレオカメラの設定方法によれば、例えば安価な汎用のデジタルカメラを2台用意すれば、これら2台のカメラを、従来は高価な専用カメラであったステレオカメラとして機能させることができる。 Furthermore, according to the stereo camera setting method of the ninth aspect , for example, if two inexpensive general-purpose digital cameras are prepared, these two cameras can function as a stereo camera which has conventionally been an expensive dedicated camera. Can be made.
以下、本発明の構成を図面に示す実施形態に基づいて詳細に説明する。 Hereinafter, the configuration of the present invention will be described in detail based on embodiments shown in the drawings.
図1から図14に本発明のカメラアングル変化の検出方法および装置並びにプログラムおよびこれを利用した設備監視方法の実施の一形態を示す。このカメラアングル変化の検出方法は、撮影対象の同一平面と見なせる領域をそれぞれ撮影した標準画像と入力画像を用いて、標準画像と入力画像の相対的なカメラアングルの違いを検出するものであり、標準画像内の撮影対象の平面領域を標準平面とし、入力画像内の撮影対象の平面領域を入力平面として、標準平面に対する入力平面の平面傾き方向γと、平面傾き方向γと標準画像の面上で直交する軸回りでの標準平面に対する入力平面の平面傾き角βとを求めるステップと、標準平面に対する入力平面の標準画像の面と直交する軸回りの回転角αを求めるステップとを有している。 1 to 14 show an embodiment of a camera angle change detection method and apparatus, a program, and an equipment monitoring method using the same according to the present invention. This detection method of the camera angle change is to detect a difference in relative camera angle between the standard image and the input image by using the standard image and the input image obtained by photographing the area that can be regarded as the same plane of the photographing target, The plane area of the shooting target in the standard image is the standard plane, the plane area of the shooting target in the input image is the input plane, the plane tilt direction γ of the input plane with respect to the standard plane, the plane tilt direction γ and the plane of the standard image And determining a plane inclination angle β of the input plane with respect to the standard plane around an axis orthogonal to each other, and determining a rotation angle α about the axis orthogonal to the plane of the standard image of the input plane with respect to the standard plane. Yes.
そして、平面傾き方向γおよび平面傾き角βを求めるステップでは、標準画像および入力画像から一定点を中心として選択した特定方向の扇形領域をそれぞれ抽出し、これら抽出した2つの扇形領域の相関を求めることで、標準画像から抽出した扇形領域に対する入力画像から抽出した扇形領域の半径方向ずれ量を求め、扇形領域の特定方向を順次変化させて全方位について半径方向ずれ量を求め、当該方向別の半径方向ずれ量から方向別の標準画像に対する入力画像の拡大縮小率を求め、拡大縮小率の最大値と最小値の比から平面傾き角βを求め、拡大縮小率が最小となる方向を平面傾き方向γとするようにしている。 Then, in the step of obtaining the plane inclination direction γ and the plane inclination angle β, fan-shaped areas in a specific direction selected around a fixed point are extracted from the standard image and the input image, respectively, and the correlation between the two fan-shaped areas extracted is obtained. Thus, the radial deviation amount of the fan-shaped area extracted from the input image with respect to the fan-shaped area extracted from the standard image is obtained, and the specific direction of the fan-shaped area is sequentially changed to obtain the radial deviation amount in all directions. Obtain the enlargement / reduction ratio of the input image with respect to the standard image for each direction from the amount of deviation in the radial direction, obtain the plane inclination angle β from the ratio of the maximum value and the minimum value of the enlargement / reduction ratio, and incline the direction where the enlargement / reduction ratio is minimum The direction γ is set.
標準画像と入力画像は、例えば同一撮影対象を同時刻に異なるカメラアングルから撮影した画像や、または同一撮影対象を異なる時刻で撮影した画像が該当する。同じ撮影対象であっても、異なる時刻で撮影した場合には撮影対象が若干変化する場合があり、標準画像および入力画像における撮影対象の領域が厳密に同一であるとは言えない場合も生じるが、ほぼ同一領域と見なすことができれば良いものとする。例えば撮影対象がコンクリート壁面である場合、時間経過によりヒビなどが生じる可能性があり、厳密な同一領域を撮影することが困難となる場合も考えられるが、標準画像と入力画像は、厳密な同一領域を撮影したものである必要は必ずしもなく、ほぼ同一と見なせる領域が撮影されていれば良いものとする。また、場合によっては、型式が同じ(外形や模様等の外観が同じ)別の対象物を同一撮影対象と見なしても良い。また、撮影対象は必ずしも完全な平面である必要はなく、ほぼ平面と見なせる場合も含む。例えば、非常に遠距離にある対象物が撮影対象となる場合、逆に、撮影対象を非常に拡大した場合、または標準画像と入力画像の相対的なカメラアングルの変化が極微小である場合などには、撮影対象の表面が曲面であったり凹凸がある場合であっても、撮影対象をほぼ平面であると見なすことができる。 The standard image and the input image correspond to, for example, images obtained by photographing the same subject at different camera angles at the same time, or images obtained by photographing the same subject at different times. Even if the subject is the same subject, if the subject is photographed at a different time, the subject may change slightly, and it may occur that the subject areas in the standard image and the input image are not exactly the same. It suffices if it can be regarded as almost the same region. For example, if the object to be photographed is a concrete wall, cracks may occur over time, and it may be difficult to photograph the exact same area, but the standard image and the input image are exactly the same. It is not always necessary to photograph the area, and it is sufficient that an area that can be regarded as almost the same is photographed. In some cases, different objects having the same model (the same appearance such as the outer shape and pattern) may be regarded as the same subject. In addition, the object to be imaged does not necessarily have to be a complete plane, and includes a case where it can be regarded as a substantially plane. For example, when an object at a very long distance is an object to be photographed, conversely, when the object to be photographed is very enlarged, or when the relative camera angle change between the standard image and the input image is extremely small In this case, even if the surface of the object to be imaged is a curved surface or uneven, the object to be imaged can be regarded as being almost flat.
例えば本実施形態における撮影対象は、監視対象設備である平面状のコンクリート壁面としている。コンクリート壁面の監視画像は、例えば、デジタルカメラなどの撮像手段を用いて巡視員により定期点検毎に撮影される。例えば過去の点検で撮影された画像が標準画像とされ、今回点検で新たに撮影された画像が入力画像とされる。なお、標準画像および入力画像は、例えば本実施形態ではグレースケール画像(濃淡画像)とする。標準画像あるいは入力画像がカラー画像である場合には、当該カラー画像を濃淡画像(グレースケール画像)に変換する。ここで、カラー画像を濃淡画像に変換する方法としては、例えば、RGB値の各値をそれぞれR,G,Bとし、グレースケールの輝度値をYとして、Y=(0.298912*R+0.586611*G+0.114478*B)として求める方法が一般的である。また、処理の高速化を図るためにY=(2*R+4*G+B)/7とする方法もある。さらに、RGB値のG値のみの情報を使い、計算を簡単にする方法もある。以上のような既存または新規の濃淡画像生成方法により濃淡画像を生成するが、採用する濃淡画像生成方法は、画像の濃淡差ができるだけ大きくなるようなものであることが望ましい。また、紫外線画像あるいは赤外線画像などについても、濃淡画像に変換することにより標準画像あるいは入力画像として利用することができる。 For example, the imaging target in the present embodiment is a flat concrete wall surface that is a monitoring target facility. The monitoring image of the concrete wall is taken for every periodic inspection by a patrolman using an imaging means such as a digital camera, for example. For example, an image taken in the past inspection is set as the standard image, and an image newly taken in the current check is set as the input image. Note that the standard image and the input image are, for example, grayscale images (grayscale images) in the present embodiment. When the standard image or the input image is a color image, the color image is converted into a grayscale image (grayscale image). Here, as a method of converting a color image into a grayscale image, for example, each value of RGB values is R, G, B, and a grayscale luminance value is Y. Y = (0.298912 * R + 0.586611) * G + 0.114478 * B) is generally used. There is also a method of setting Y = (2 * R + 4 * G + B) / 7 to increase the processing speed. Further, there is a method for simplifying the calculation by using only the G value of the RGB value. The grayscale image is generated by the existing or new grayscale image generation method as described above. It is desirable that the grayscale image generation method to be adopted is such that the difference in the grayscale of the image is as large as possible. Further, an ultraviolet image or an infrared image can be used as a standard image or an input image by converting it into a grayscale image.
ここで、例えば本実施形態では、標準画像および入力画像についてそれぞれパワースペクトルを計算し、それぞれのパワースペクトルについて、該パワースペクトルの直流成分を中心として、上述した方向別の半径方向ずれ量を求めるようにしている。パワースペクトルは、もとの画像の平行移動に対して不変な性質をもっている。したがって、標準画像および入力画像についてそれぞれ計算されたパワースペクトルを用いることにより、標準画像と入力画像との間の縦横方向の位置ずれをキャンセルすることができる。また、パワースペクトルの直流成分を空間周波数上の原点とし、当該直流成分(空間周波数上の原点)を中心として扇形領域の方向を選択することにより、標準画像および入力画像について扇形領域の方向を選択するための中心点を設定する手間が省ける。 Here, for example, in the present embodiment, the power spectrum is calculated for each of the standard image and the input image, and the above-described radial shift amount for each direction is obtained for each power spectrum with the DC component of the power spectrum as the center. I have to. The power spectrum has an invariant property with respect to the translation of the original image. Therefore, by using the power spectra respectively calculated for the standard image and the input image, it is possible to cancel the vertical / horizontal misalignment between the standard image and the input image. In addition, by selecting the DC component of the power spectrum as the origin on the spatial frequency and selecting the direction of the sector area around the DC component (origin on the spatial frequency), the direction of the sector area is selected for the standard image and the input image. This saves you the trouble of setting the center point.
さらに、例えば本実施形態では、標準画像および入力画像のそれぞれのパワースペクトルについて、ログポーラ変換を行い、ログポーラ変換後のパワースペクトルについて、扇形領域と等価な矩形領域を抽出し、これら抽出した2つの矩形領域の位相限定相関を計算することで、上述した半径方向ずれ量を求めるようにしている。ログポーラ変換(log-polar 変換)は、人間の網膜における中心付近の解像度は高く中心から離れるに従い解像度は低くなるという性質をモデル化する変換である。このログポーラ変換を用いることで、拡大縮小率を簡単に求めることができる。即ち、元となる半径Rに対して、拡大または縮小した半径をsRとすると、sが拡大縮小率となる。半径Rの対数はlog(R)であり、半径sRの対数はlog(sR)=log(s)+log(R)である。ログポーラ変換後の半径方向ずれ量はlog(s)で求められ、log(s)に基づいて拡大縮小率sを容易に求めることができる。なお、対数は自然対数を用いることが一般的であるが、対数の底を変えても良い。 Further, for example, in the present embodiment, log polar conversion is performed for each power spectrum of the standard image and the input image, and a rectangular area equivalent to the sector area is extracted from the power spectrum after the log polar conversion, and these two extracted rectangles are extracted. By calculating the phase-only correlation of the region, the above-described radial shift amount is obtained. Log polar conversion (log-polar conversion) is a conversion that models the property that the resolution in the vicinity of the center of the human retina is high and the resolution decreases as the distance from the center increases. By using this log polar conversion, the enlargement / reduction ratio can be easily obtained. That is, when the radius that is enlarged or reduced with respect to the original radius R is sR, s is the enlargement / reduction ratio. The logarithm of the radius R is log (R), and the logarithm of the radius sR is log (sR) = log (s) + log (R). The amount of deviation in the radial direction after log polar conversion is obtained by log (s), and the enlargement / reduction ratio s can be easily obtained based on log (s). The logarithm is generally a natural logarithm, but the base of the logarithm may be changed.
また、例えば本実施形態では、標準画像および入力画像からそれぞれ抽出した2つの扇形領域(ログポーラ変換後は矩形領域)の相関を求めることで、標準画像から抽出した扇形領域に対する入力画像から抽出した扇形領域の円弧方向ずれ量を求め、この円弧方向ずれ量に基づいて回転角αを求めるようにしている。 Further, for example, in the present embodiment, the sector shape extracted from the input image for the sector region extracted from the standard image is obtained by calculating the correlation between two sector regions (rectangular regions after log polar conversion) extracted from the standard image and the input image, respectively. The amount of deviation in the arc direction of the region is obtained, and the rotation angle α is obtained based on the amount of deviation in the arc direction.
以下、平面傾き方向γ、平面傾き角β、回転角αを算出する原理について詳細に説明する。3次元空間における被写体である撮影対象の平面は、撮像手段であるカメラを通して2次元画像投影面に射影される。標準画像と入力画像の相対的なカメラアングルの変化、即ち被写体である撮影対象とカメラとの位置関係の変化を、簡単に説明するため、ここでは、カメラを固定し、撮影対象(平面)が動いたものとして説明をする。 Hereinafter, the principle of calculating the plane tilt direction γ, the plane tilt angle β, and the rotation angle α will be described in detail. A plane to be imaged, which is a subject in a three-dimensional space, is projected onto a two-dimensional image projection plane through a camera that is an imaging unit. In order to briefly describe the change in the relative camera angle between the standard image and the input image, that is, the change in the positional relationship between the subject to be photographed and the camera, here, the camera is fixed and the subject to be photographed (plane) is I will explain it as moving.
入力画像として、標準画像と同じテクスチャ平面を、γ方向に角度βだけ傾けた後、角度α回転させた状態を撮影した画像とする。このような画像のパワースペクトルを考えると、パワースペクトルの性質からテクスチャ平面がα回転するとパワースペクトルも同じ方向にαだけ回転する。また、テクスチャ平面がγ方向に角度βだけ傾くと、画像はγ方向にcos βだけ縮小し、パワースペクトルは反対に1/cos βだけ拡大する。よってこれらのパワースペクトルの性質を利用することで、テクスチャ平面のカメラ光軸方向の回転角α、平面の傾き角β、平面の傾き方向γの検出が可能となる。このとき平面の傾きの軸方向はγ+π/2となる。 As an input image, the same texture plane as that of the standard image is tilted by an angle β in the γ direction, and then the image is obtained by rotating the angle α. Considering the power spectrum of such an image, the power spectrum rotates by α in the same direction when the texture plane rotates α due to the nature of the power spectrum. When the texture plane is inclined in the γ direction by an angle β, the image is reduced by cos β in the γ direction, and the power spectrum is enlarged by 1 / cos β. Therefore, by utilizing these power spectrum properties, it is possible to detect the rotation angle α of the texture plane in the camera optical axis direction, the plane tilt angle β, and the plane tilt direction γ. At this time, the axial direction of the inclination of the plane is γ + π / 2.
さらに詳細に説明する。3次元空間における平面はカメラを通して2次元画像投影面に射影される。ここで、画像生成モデルとして焦点距離fのピンホールカメラを考える。図2に示すように、標準画像はテクスチャ平面をピンホールから距離dだけ離れた光軸上に配置し、画像平面と平行な状態で捕らえた画像とする。ここで、テクスチャ平面の座標系を(xs,ys,zs)、画像投影面の座標系を(xi,yi,zi)、光軸をzsおよびziとすると、テクスチャ平面の濃度値T(xs,ys)および標準画像の濃度値Fs(xi,yi)の間には、数式1の関係式が成立する。 Further details will be described. A plane in the three-dimensional space is projected onto a two-dimensional image projection plane through a camera. Here, a pinhole camera having a focal length f is considered as an image generation model. As shown in FIG. 2, the standard image is an image obtained by arranging the texture plane on the optical axis separated from the pinhole by a distance d and being parallel to the image plane. Here, assuming that the coordinate system of the texture plane is (x s , y s , z s ), the coordinate system of the image projection plane is (x i , y i , z i ), and the optical axes are z s and z i , the texture The relational expression of Formula 1 is established between the density value T (x s , y s ) of the plane and the density value F s (x i , y i ) of the standard image.
ここで、入力画像として、標準画像と同じテクスチャ平面をxs−ys平面内でxs軸に対し角度γ方向に角度βだけ傾けた後、光軸周りに角度α回転させた状態を撮影した画像とする。さらにピンホールから距離が微小に変化しd’になったものとする。この回転を行った後のテクスチャ平面の座標系を(xt,yt,zt)とすると、図3に示すように、垂直軸ztは光軸(zs)に対してβの角度をとる。また、この軸ztを画像平面に投影すると、その投影線とxi軸のなす角度はα+γである。このときテクスチャ平面の濃度値T(xt,yt)および入力画像の濃度値Fi(x'i,y'i)の間には、数式3の関係式が成立する。 Here, as an input image, after the same texture plane as standard image tilted x s -y s angle to the angle γ direction relative x s-axis in the plane beta, taken while rotating angle α around the optical axis Image. Furthermore, it is assumed that the distance from the pinhole is slightly changed to d ′. Assuming that the coordinate system of the texture plane after this rotation is (x t , y t , z t ), the vertical axis z t is an angle β with respect to the optical axis (z s ), as shown in FIG. Take. Also, when projecting the axis z t to the image plane, the angle of the projection line and the x i axis is alpha + gamma. At this time, the relational expression of Expression 3 is established between the density value T (x t , y t ) of the texture plane and the density value F i (x ′ i , y ′ i ) of the input image.
数式9と数式10は平面が傾くことにより生じる遠近感を示す式である。中心射影ではこれらの式で表される項を含むが、弱中心射影の場合これらの式で表される項は含まない。ここで、中心射影はピンホールカメラを想定した時の射影であり、非線形関数であるため、一般に計算が複雑化する。このため線形近似することが望ましい。対象物体のサイズがカメラから物体までの距離と比較して十分に小さい場合など特定の条件を満たしたとき線形近似できる。中心射影の零次近似が弱中心射影である。具体的には、撮影範囲に比べて焦点距離fの長い望遠レンズで撮影した場合や画像を小領域に分割した場合など、物体までの距離に比べて撮影範囲が狭い画像や、平面の傾き角の変化が微小である画像が弱中心射影の場合に相当する。弱中心射影では、正射影の方向は光軸と並行であり、その結果、画像は光軸からの距離によって変化しない。 Expressions 9 and 10 are expressions indicating the perspective generated when the plane is inclined. The central projection includes terms represented by these formulas, but the weak central projection does not include terms represented by these formulas. Here, the central projection is a projection when a pinhole camera is assumed, and is a non-linear function, so that the calculation is generally complicated. For this reason, linear approximation is desirable. Linear approximation can be performed when a specific condition is satisfied, such as when the size of the target object is sufficiently small compared to the distance from the camera to the object. The zero-order approximation of the central projection is the weak central projection. Specifically, when shooting with a telephoto lens having a focal length f longer than the shooting range, or when the image is divided into small areas, an image with a narrow shooting range compared to the distance to the object, or the inclination angle of the plane This corresponds to a case where an image with a very small change is weak center projection. In weak center projection, the direction of orthographic projection is parallel to the optical axis, and as a result, the image does not change with distance from the optical axis.
実際の画像処理ではカメラで撮影した画像を用いるため、連続空間の座標系(xi,yi)を標本化空間Tで標本化し、デジタル画像の座標系(n,m)とする。ここで、デジタル画像の座標系(n,m)と連続空間の座標系(xi,yi)の間には、数式11,12の関係式が成立する。
<数11>
n=xi/T
<数12>
m=yi/T
In actual image processing, since an image captured by a camera is used, the coordinate system (x i , y i ) in the continuous space is sampled in the sampling space T to be a coordinate system (n, m) of the digital image. Here, the relational expressions 11 and 12 are established between the coordinate system (n, m) of the digital image and the coordinate system (x i , y i ) of the continuous space.
<Equation 11>
n = x i / T
<Equation 12>
m = y i / T
さらに、数式1と数式3より次の関係式が成立する。
ここで、数式15のH’を省略する仮定を導入し、弱中心射影の場合について考えることにする。標準画像のパワースペクトルをSs(u,v)とし、入力画像のパワースペクトルをSi(u,v)として、u,v(−π≦u,v≦π)をそれぞれn,m方向の空間周波数とすると、以下の関係式が成立する。
パワースペクトルの性質からテクスチャ平面がα回転するとパワースペクトルも同じ方向にαだけ回転する。また、テクスチャ平面がγ方向にβ傾くと、画像はγ方向に(d cos β)/d’だけ縮小し、パワースペクトルは反対にd’/(d cos β) だけ拡大する。よって、これらのパワースペクトルの性質を利用することで、テクスチャ平面のカメラ光軸方向の回転角α、平面の傾き角β、平面の傾き方向γの検出が可能となる。即ち、周波数空間でのパワースペクトルの拡大方向とその拡大率を求めれば平面の傾き角βと傾き方向γを検出できる。このとき平面の傾きの軸方向はγ+π/2となる。さらに周波数空間でのパワースペクトルの回転角度を求めると平面の回転角αを検出できる。 Due to the nature of the power spectrum, when the texture plane rotates α, the power spectrum also rotates α in the same direction. When the texture plane is inclined by β in the γ direction, the image is reduced by (d cos β) / d ′ in the γ direction, and the power spectrum is enlarged by d ′ / (d cos β). Therefore, by utilizing these properties of the power spectrum, the rotation angle α of the texture plane in the camera optical axis direction, the plane tilt angle β, and the plane tilt direction γ can be detected. In other words, the plane inclination angle β and the inclination direction γ can be detected by obtaining the magnification direction and magnification ratio of the power spectrum in the frequency space. At this time, the axial direction of the inclination of the plane is γ + π / 2. Further, when the rotation angle of the power spectrum in the frequency space is obtained, the rotation angle α of the plane can be detected.
平面傾き方向γ、平面傾き角β、回転角αを算出する手順の一例を示すフローチャートを図1に示す。まず、標準画像と入力画像のそれぞれについてパワースペクトルを求める(S1)。次に、それぞれのパワースペクトルについて原点を中心とするlog-polar変換を行う(S2)。ここでの原点とは、パワースペクトルの直流成分、即ち空間周波数上の原点を示す。次に、log-polar変換後のそれぞれのパワースペクトルについて、特定の方向角における適切な領域サイズの扇形領域を選択する(S3)。なお、log-polar変換後であるので、扇形領域は半径(r)方向と角度(θ)方向を直交する二辺とする矩形領域となる。ここで、扇形領域の半径は、例えば本実施形態では量子化数の半分を半径とする。これにより、空間周波数に最大の円を作成できる。但し、扇形領域の半径として必ずしも上記値をとる必要はない。次に、上記選択したそれぞれの矩形領域について位相限定相関を計算し、扇形半径方向のずれ量drと扇形円弧方向(角度方向)のずれ量daを計算する(S4)。さらに、扇形領域の方向角を変え、扇形領域(log-polar変換後であるので矩形領域)の選択(S3)と、位相限定相関の計算(S4)を繰り返す。具体的には、扇形領域の中心角を一定に固定して、扇形領域の方向角を0°から一定角度ずつ増加させていき、当該方向角が360°となるまで、S3とS4を繰り返す。扇形円弧方向(角度方向)のずれ量daは、回転角αに対応する。従って、ずれ量daを求めることで回転角αを求めることができる(S5)。一方、扇形半径方向のずれdrは画像の拡大縮小率sに対応する。この拡大縮小率sの最大値smaxと最小値sminから平面の傾き角βを求めることができる(S6)。また、画像の拡大縮小率sが最小値となる扇形領域の方向角がγに対応する。従って、拡大縮小率sが最小値となる扇形領域の方向角を求めることで平面の傾き方向γを求めることができる(S7)。なお、テクスチャ平面がγ方向にβ傾くと、画像はγ方向に(d cos β)/d’だけ縮小し、パワースペクトルは反対にd’/(d cos β) だけ拡大する。したがって、「画像の拡大縮小率」ではなく「パワースペクトルの拡大縮小率」を求める場合には、「パワースペクトルの拡大縮小率」が最大値となる扇形領域の方向角がγに対応することとなる。 FIG. 1 is a flowchart showing an example of a procedure for calculating the plane tilt direction γ, the plane tilt angle β, and the rotation angle α. First, a power spectrum is obtained for each of the standard image and the input image (S1). Next, log-polar conversion centering on the origin is performed for each power spectrum (S2). Here, the origin indicates the direct current component of the power spectrum, that is, the origin on the spatial frequency. Next, for each power spectrum after log-polar conversion, a sector area having an appropriate area size at a specific direction angle is selected (S3). Since it is after log-polar conversion, the sector area is a rectangular area having two sides perpendicular to the radius (r) direction and the angle (θ) direction. Here, the radius of the sector region is, for example, half the number of quantizations in this embodiment. Thereby, the largest circle can be created in the spatial frequency. However, it is not always necessary to take the above value as the radius of the sector area. Next, each of the rectangular regions described above selected to calculate the phase-only correlation, to calculate the displacement amount d a fan radial displacement amount d r and sector arc direction (angular direction) (S4). Further, the direction angle of the sector area is changed, and the selection of the sector area (rectangular area after log-polar conversion) (S3) and the calculation of the phase-only correlation (S4) are repeated. Specifically, the central angle of the sector area is fixed, the direction angle of the sector area is increased from 0 ° by a certain angle, and S3 and S4 are repeated until the direction angle reaches 360 °. The deviation d a in the sector arc direction (angular direction) corresponds to the rotation angle α. Therefore, it is possible to determine the rotation angle α by obtaining the shift amount d a (S5). On the other hand, the deviation d r sector radial direction corresponds to the scaling factor s image. The plane inclination angle β can be obtained from the maximum value s max and the minimum value s min of the enlargement / reduction ratio s (S6). In addition, the direction angle of the sector area where the image enlargement / reduction ratio s has the minimum value corresponds to γ. Therefore, the plane inclination direction γ can be obtained by obtaining the direction angle of the fan-shaped region where the enlargement / reduction ratio s has the minimum value (S7). When the texture plane is inclined by β in the γ direction, the image is reduced by (d cos β) / d ′ in the γ direction, and the power spectrum is enlarged by d ′ / (d cos β). Therefore, when the “power spectrum scaling ratio” is determined instead of the “image scaling ratio”, the direction angle of the fan-shaped area where the “power spectrum scaling ratio” is the maximum value corresponds to γ. Become.
図1の処理の内容について更に詳細に説明する。パワースペクトルについてのlog-polar変換(S2)は、以下の数式19,20に従って行われる。
パワースペクトルに扇形領域のマスクをかけ方向成分の選択をした後(S3)、位相限定相関計算により、kr方向のずれ量drとka方向のずれ量daを求める(S4)。さらに、マスクとなる扇形領域を少しずつ変化させ、パワースペクトル中心からの方向別のkr方向のずれ量drとka方向のずれ量daを求める。 After the selection of the direction component to mask the sector region to the power spectrum (S3), by the phase-only correlation calculation, obtaining the k r direction shift amount d r and k a direction of the deviation amount d a (S4). Furthermore, the sector region serving as a mask is changed little by little, we obtain the direction-of k r direction displacement amount d r and k a direction of the deviation amount d a from the power spectrum center.
回転角αは、ka方向のずれ量daから以下の数式21により求めることができる。ただし、Naはlog-polar変換時の角度方向の量子化数である。
画像の拡大縮小率sは、kr方向のずれ量drから以下の数式22により求めることができる。ただし、Nrはlog-polar変換時の半径方向の量子化数である。
このようにして求めた画像の拡大縮小率sを縦軸に、周波数領域での方向角度を横軸に示したものが、図4のグラフである。図4に示すように、拡大縮小率sは周期Na/2の周期関数となる。このグラフにおいて、拡大縮小率sが最小となる扇形領域の方向角がγである。また、最も拡大されたときの倍率smaxと最も縮小したときの倍率sminの比がcos βに相当する。したがって、平面傾き角度β求める計算式は以下の数式23となる。
さらに、最も拡大されたときの座標drmaxと最も縮小したときの座標drminを用いると、数式23は数式24となる。
ここで、ka方向のずれ量daは選択された各方向ごとに算出されるので、回転角αも各方向ごとに算出することができる。この場合、回転角αは次のように決定される。例えば、各方向ごとに算出された回転角αの平均値を求め、この平均値を最終的な回転角αとする。または、拡大縮小率が最大となる方向の回転角αを採用する。または、拡大縮小率が1に一番近い方向の回転角αを採用する。または、各方向別の相関計算時の相関値が最大となる方向における回転角αを採用する。 Here, k a direction of the deviation amount d a is because it is calculated for each selected direction, can be rotational angle α is calculated for each direction. In this case, the rotation angle α is determined as follows. For example, an average value of the rotation angles α calculated for each direction is obtained, and this average value is set as the final rotation angle α. Alternatively, the rotation angle α in the direction in which the enlargement / reduction ratio is maximum is employed. Alternatively, the rotation angle α in the direction where the enlargement / reduction ratio is closest to 1 is adopted. Alternatively, the rotation angle α in the direction in which the correlation value at the time of correlation calculation for each direction is maximized is adopted.
なお、上記の例では、扇形領域の円弧方向ずれ量daから回転角αを求めるようにしたが、必ずしもこの例に限定されず、例えば先ず平面傾き方向γおよび平面傾き角βを求め、当該求めたγおよびβを用いて入力画像を補正した後に、当該補正後の入力画像と標準画像を用いて回転角αを求めるようにしても良い。具体的には、入力画像を、当該画像内の任意の点、例えば画像の中心点を中心として、上記求めた平面傾き方向γの方向に、上記求めた平面傾き角βを用いて1/cos β倍拡大して1次補正画像とし、この1次補正画像と標準画像のパワースペクトルを計算し、極座標変換を行い、位相限定相関により回転ずれを求め、求めた回転ずれ量からαを計算する。 In the above example, there has been an arc direction displacement amount d a fan-shaped area to determine the rotation angle alpha, not necessarily limited to this example, for example, first determine the plane tilt direction γ and the planar inclination angle beta, the After correcting the input image using the obtained γ and β, the rotation angle α may be obtained using the corrected input image and the standard image. Specifically, the input image is 1 / cos using the obtained plane inclination angle β in the direction of the obtained plane inclination direction γ around the arbitrary point in the image, for example, the center point of the image. The primary correction image is enlarged by β times, the power spectrum of the primary correction image and the standard image is calculated, polar coordinate conversion is performed, rotational deviation is obtained by phase-only correlation, and α is calculated from the obtained rotational deviation amount. .
1次補正画像と標準画像との相関計算により回転角αを求める手順を図5のフローチャートに示す。先ず、標準画像および1次補正画像をそれぞれ2次元フーリエ変換する(S101A,S101B)。そして、フーリエ変換後の2次元信号の振幅成分(パワースペクトル)について、周波数成分の原点(直流成分)を中心に極座標変換を行う(S102A,S103A,S102B,S103B)。この処理は標準画像(信号)及び1次補正画像(信号)のそれぞれに関して行う。そして、それぞれの極座標に変換された2次元信号(振幅成分のみ)について、再度フーリエ変換を行う(S104A,S104B)。その後、フーリエ変換後の各周波数成分について、標準画像より作成した信号の共役複素数成分と1次補正画像から作成した信号の複素数成分をそれぞれ掛け合わせ合成を行う(S105)。合成を行う際にそれぞれの信号の振幅で除算を行う(位相成分のみで位相の差を計算する)。この合成計算、具体的には除算を行うときに、振幅成分があまりにも微小となる場合が存在する。このような場合では合成信号の実数成分=0,複素数成分=0としてもよい。また、振幅成分があまりにも微小となる場合の合成信号成分に対して、乱数を割り当ててもよい。合成計算後、信号成分の逆フーリエ変換を計算する(S106)。変換後の信号のなかで、相関値が最大となる座標(r1,θ1)を探索する(S107)。θ1に対応する角度だけ標準画像と1次補正画像の回転角度に差があるので、探索されたθ1が回転角αとなる。なお、標準画像及び1次補正画像をフーリエ変換する際に、角度のずれが精度良く計測できるように標準画像及び1次補正画像に対して適切な窓関数などの画像処理を加えることもできる。 The procedure for obtaining the rotation angle α by calculating the correlation between the primary correction image and the standard image is shown in the flowchart of FIG. First, the standard image and the primary correction image are each subjected to two-dimensional Fourier transform (S101A, S101B). Then, with respect to the amplitude component (power spectrum) of the two-dimensional signal after Fourier transform, polar coordinate transformation is performed around the origin (DC component) of the frequency component (S102A, S103A, S102B, S103B). This processing is performed for each of the standard image (signal) and the primary corrected image (signal). Then, Fourier transformation is performed again on the two-dimensional signal (only the amplitude component) converted into the respective polar coordinates (S104A, S104B). Thereafter, for each frequency component after Fourier transform, the conjugate complex component of the signal created from the standard image and the complex component of the signal created from the primary correction image are respectively multiplied and synthesized (S105). When synthesis is performed, division is performed by the amplitude of each signal (a phase difference is calculated using only phase components). There are cases where the amplitude component becomes too small when performing this synthesis calculation, specifically, division. In such a case, the real component of the combined signal = 0 and the complex component = 0 may be used. Also, a random number may be assigned to the combined signal component when the amplitude component is too small. After the synthesis calculation, the inverse Fourier transform of the signal component is calculated (S106). A coordinate (r 1 , θ 1 ) that maximizes the correlation value is searched for in the converted signal (S107). Since there is a difference in the rotation angle between the standard image and the primary correction image by an angle corresponding to θ 1 , the searched θ 1 becomes the rotation angle α. In addition, when Fourier transform is performed on the standard image and the primary correction image, image processing such as an appropriate window function can be applied to the standard image and the primary correction image so that the angle deviation can be measured with high accuracy.
さらに、傾き検出角度の精度向上のために、以下に説明する高精度の位置ずれ検出を行っても良い。即ち、実際に計算された位相限定相関式に、以下の数式25を数値的にフィッティングすることにより、r(n1,n2)のピーク座標を高精度に求めることが可能になる。
上記高精度な位置ずれ検出手法の原理を以下に説明する。まず、連続空間で定義された画像(2次元信号)fc(x1,y1),x1,y1 ∈ Rを考える。δxおよびδyをそれぞれx1およびy1方向に関する微小移動量を表す実数とする。連続空間で、fc(x1,y1)を(δx,δy)だけ微小移動した画像はfc(x1−δx,y1−δy)である。これらの画像fc(x1,y1),fc(x1−δx,y1−δy)を標本化空間T1とT2で標本化した離散空間画像(2次元信号)をそれぞれf(n1,n2)とg(n1,n2)とし、以下の数式26と数式27で定義する。
この離散空間で定義される画像f(n1,n2)およびg(n1,n2)に関する位相限定相関について、連続空間での微小移動量δx,δyを推定する。このとき、一般的にはδx,δyは、離散空間において、一画素以下の移動量に対応すると考えることが出来る。 For the phase-only correlation for the images f (n 1 , n 2 ) and g (n 1 , n 2 ) defined in the discrete space, the small movement amounts δ x and δ y in the continuous space are estimated. At this time, in general, δ x and δ y can be considered to correspond to a movement amount of one pixel or less in a discrete space.
まず、画像f(n1,n2)およびg(n1,n2)の2次元DFT(離散フーリエ変換)を、それぞれF(k1,k2)およびG(k1,k2)とすると、以下の数式28のような近似が成立する。但し、数式28中のN1は「画像中のn1方向の量子化数」であり、N2は「画像中のn2方向の量子化数」である。
上記数式28が近似であるのは連続空間と離散空間の違いによるものである。具体的には2次元DFTは離散空間に対して周期性を仮定しているためである。F(k1,k2),G(k1,k2)の位相限定合成R(k1,k2)は、以下の数式29で与えられ、その2次元IDFT(逆離散フーリエ変換)は数式25のように示すことができる。
数式25は、微小移動量δx,δyがあるときの同一の画像に関する位相限定相関関数の一般形を示している。したがって、実際に計算された位相限定相関式に数式25を数値的にフィッティングすることにより、r(n1,n2)のピーク座標を高精度に求めることが可能になる。 Equation 25 shows the general form of the phase-only correlation function for the same image when there are small movement amounts δ x and δ y . Therefore, it is possible to obtain the peak coordinates of r (n 1 , n 2 ) with high accuracy by numerically fitting Equation 25 to the actually calculated phase-only correlation equation.
例えば本実施形態では、入力画像を、当該画像内の任意の点を中心として、上記求めた平面傾き方向γの方向に、上記求めた平面傾き角βを用いて1/cos β倍拡大し、かつ上記求めた回転角αだけ回転させることで、入力画像と標準画像のカメラアングルを一致させるようにしている。さらに、本実施形態の設備監視方法では、上記カメラアングルを一致させた入力画像と標準画像の差分画像を作成して、監視対象設備のサビやヒビの進展(特に本実施形態では監視撮影対象はコンクリート壁面であるのでヒビの進展)を検出するようにしている。 For example, in the present embodiment, the input image is enlarged by 1 / cos β times using the obtained plane inclination angle β in the direction of the obtained plane inclination direction γ around the arbitrary point in the image, In addition, the camera angle of the input image and the standard image is made to coincide with each other by rotating by the obtained rotation angle α. Furthermore, in the equipment monitoring method of the present embodiment, a difference image between the input image and the standard image that match the camera angles is created, and the development of rust and cracks in the equipment to be monitored (especially in this embodiment, the monitoring imaging target is Since it is a concrete wall surface, the crack progress is detected.
なお、実際には、カメラのズームやカメラ位置が撮影物体に近づいたり、遠ざかったりすることにより生じる画像の拡大縮小効果もあるため、画像全体を最も拡大されたときの倍率smaxを使って、1/smaxの縮小(場合によっては拡大)を行い、その後、当該画像内の任意の点を中心として、上記求めた平面傾き方向γの方向に、1/cos β倍拡大するようにしても良い。また、画像を拡大する際に追加する画素の輝度値を決定する補間方法としては、最近隣法(ニアレストネイバー法)、線形補間法(バイリニア法)、3次畳み込み法(バイキュービック法)などの既存の方法または新規の方法を適宜利用して良い。 Actually, there is also an effect of enlarging / reducing the image that occurs when the camera zoom or the camera position approaches or moves away from the object to be photographed. Therefore, the magnification s max when the entire image is most enlarged is used. 1 / s max reduction (enlargement in some cases) is performed, and thereafter, an enlargement of 1 / cos β times is performed in the direction of the plane inclination direction γ determined above about an arbitrary point in the image. good. In addition, as the interpolation method for determining the luminance value of the pixel to be added when enlarging the image, the nearest neighbor method (nearest neighbor method), the linear interpolation method (bilinear method), the cubic convolution method (bicubic method), etc. The existing method or new method may be used as appropriate.
また、入力画像に対して上記α,β,γを用いてカメラアングルを一致させる補正をした後の画像を2次補正画像として、さらにこの2次補正画像と標準画像の間の縦横方向の位置ずれを補正するようにしても良い。この場合の処理の手順を図6のフローチャートに示す。先ず、標準画像と2次補正画像について、2次元フーリエ変換を行う(S201A,S201B)。そして、フーリエ変換後の各周波数成分について、標準画像より作成した信号の共役複素成分と2次補正画像から作成した信号の複素成分をそれぞれ掛け合わせ、合成を行う(S202)。合成を行う際に、それぞれの信号の振幅で除算を行う。そして、合成信号に逆フーリエ変換を行う(S203)。変換後の信号波の中で相関値が最大となる座標(x1,y1)を探索する(S204)。2次補正画像は標準画像と比べてx軸方向にx1画素,y軸方向にy1画素だけずれていると考えられる。したがって、探索されたx1,y1を用いて2次補正画像と標準画像との間の縦横方向の位置ずれを補正することができる。 Further, an image after correcting the camera angle to match the input image using α, β, and γ is used as a secondary correction image, and the vertical and horizontal positions between the secondary correction image and the standard image are further determined. The deviation may be corrected. The processing procedure in this case is shown in the flowchart of FIG. First, two-dimensional Fourier transform is performed on the standard image and the secondary correction image (S201A, S201B). Then, for each frequency component after Fourier transform, the conjugate complex component of the signal created from the standard image and the complex component of the signal created from the secondary correction image are respectively multiplied and synthesized (S202). When combining, division is performed by the amplitude of each signal. Then, inverse Fourier transform is performed on the synthesized signal (S203). Coordinates (x 1 , y 1 ) having the maximum correlation value are searched for in the converted signal wave (S204). Second supplementary image x 1 pixel in the x-axis direction compared with the standard image, considered are shifted by y 1 pixel in the y-axis direction. Therefore, it is possible to correct the vertical / horizontal misalignment between the secondary corrected image and the standard image using the searched x 1 and y 1 .
上記のように補正された入力画像と、標準画像との差分画像は、例えば差分が大きいほど白く、差分が小さいほど黒く表示されるグレースケール画像(濃淡画像)である。上記差分画像において、白く表示された部分(差分が大きい部分)が、監視撮影対象であるコンクリート壁面においてヒビが進行した部分であると考えられる。 The difference image between the input image corrected as described above and the standard image is, for example, a grayscale image (grayscale image) displayed whiter as the difference is larger and black as the difference is smaller. In the difference image, a portion displayed in white (a portion having a large difference) is considered to be a portion where cracks have progressed on the concrete wall surface to be monitored and photographed.
以上に説明したカメラアングル変化の検出方法および設備監視方法は、例えば図7に示す画像処理装置として装置化される。この画像処理装置1は、例えば図7に示すように、撮影対象の同一平面と見なせる領域をそれぞれ撮影した標準画像と入力画像を取り込む画像取込手段2と、平面傾き方向γおよび平面傾き角βを求めるγ・β算出手段3,4と、回転角αを求めるα算出手段5とを有している。 The camera angle change detection method and facility monitoring method described above are implemented as an image processing apparatus shown in FIG. 7, for example. For example, as shown in FIG. 7, the image processing apparatus 1 includes an image capturing unit 2 that captures a standard image and an input image, each of which captures an area that can be regarded as the same plane as a capturing target, a plane tilt direction γ, and a plane tilt angle β. .Gamma..beta. Calculating means 3 and 4 for obtaining the angle .alpha. Calculating means 5 for obtaining the rotation angle .alpha.
さらに詳述すると、例えば本実施形態の画像処理装置1は、標準画像および入力画像についてそれぞれパワースペクトルを計算するパワースペクトル算出手段6と、標準画像および入力画像のそれぞれのパワースペクトルについてログポーラ変換を行うログポーラ変換手段7と、ログポーラ変換後のパワースペクトルについて標準画像および入力画像の特定方向の扇形領域に対応する矩形領域を、扇形領域の特定方向を順次変化させて抽出する相関計算領域抽出手段8と、抽出された標準画像の矩形領域と入力画像の矩形領域の位相限定相関を計算して、方向別の半径方向ずれ量と円弧方向ずれ量を求める位相限定相関計算手段9と、方向別の半径方向ずれ量から方向別の標準画像に対する入力画像の拡大縮小率を求める拡大縮小率算出手段10と、拡大縮小率の最大値と最小値の比から平面傾き角βを求めるβ算出手段3と、拡大縮小率が最小となる方向を平面傾き方向γとして定めるγ決定手段4と、円弧方向ずれ量に基づいて回転角αを求めるα算出手段5とを有している。なお、α算出手段5は、先に説明したように、入力画像を、上記求めた平面傾き方向γの方向に、上記求めた平面傾き角βを用いて1/cos β倍拡大して1次補正画像とし、この1次補正画像と標準画像との相関を求めることで、標準画像に対する1次補正画像の回転ずれ量を求め、当該求めた回転ずれ量を回転角αとするものであっても良い。 More specifically, for example, the image processing apparatus 1 according to the present embodiment performs power polar calculation for the power spectrum of the standard image and the input image and the log polar conversion for the power spectrum of the standard image and the input image. A log polar conversion unit 7; and a correlation calculation region extraction unit 8 for extracting a rectangular region corresponding to a sector region in a specific direction of the standard image and the input image for the power spectrum after the log polar conversion by sequentially changing the specific direction of the sector region; The phase-only correlation calculating means 9 for calculating the phase-specific correlation between the extracted rectangular area of the standard image and the rectangular area of the input image to obtain the radial direction deviation amount and the arc direction deviation amount, and the direction-specific radius Enlargement / reduction ratio calculating means for obtaining the enlargement / reduction ratio of the input image with respect to the standard image for each direction from the direction deviation amount 0, β calculation means 3 for determining the plane inclination angle β from the ratio of the maximum value and the minimum value of the enlargement / reduction ratio, γ determination means 4 for determining the direction in which the enlargement / reduction ratio is the minimum as the plane inclination direction γ, and the arc direction Α calculating means 5 for obtaining the rotation angle α based on the deviation amount. As described above, the α calculating means 5 enlarges the input image in the direction of the plane inclination direction γ determined above by 1 / cos β magnification using the calculated plane inclination angle β. By calculating the correlation between the primary correction image and the standard image as a corrected image, the rotational deviation amount of the primary correction image with respect to the standard image is obtained, and the obtained rotational deviation amount is used as the rotation angle α. Also good.
さらに例えば本実施形態の画像処理装置は、入力画像を、上記求めた平面傾き方向γの方向に、上記求めた平面傾き角βを用いて1/cos β倍拡大し、かつ上記求めた回転角αだけ回転させることで、入力画像と標準画像のカメラアングルを一致させるカメラアングル補正手段11と、カメラアングルを一致させた入力画像と標準画像の差分画像を出力する差分画像出力手段12を備えている。 Further, for example, the image processing apparatus according to the present embodiment enlarges the input image in the direction of the obtained plane inclination direction γ by 1 / cos β using the obtained plane inclination angle β and the obtained rotation angle. A camera angle correction unit 11 that matches the camera angle of the input image and the standard image by rotating by α, and a difference image output unit 12 that outputs a difference image between the input image and the standard image that match the camera angle. Yes.
以上に説明した画像処理装置1は、例えば既存または新規のコンピュータ(計算機)を用いて実現される。このコンピュータ20は、例えば図8に示すように、中央処理演算装置(CPU)21、RAMやROMおよびハードディスクなどの記憶装置22、ディスプレイなどの出力装置23、デジタルカメラ25と通信を行うためのインターフェース24などのハードウェア資源がバス26により接続されて構成されている。上記コンピュータ20上で本発明に係る画像処理プログラムが実行されることにより、コンピュータ20が上述した画像処理装置1として機能する。コンピュータ20のインターフェース24は、画像取込手段2として機能し、インターフェース24を介してデジタルカメラ25に記録されている画像がコンピュータ20の記憶装置22に取り込まれる。記憶装置22には、標準画像および入力画像と、画像処理を実行するために必要な作業データやプログラムなどが記録される。CPU21が備える演算機能およびハードウェア資源に対する制御機能により、上述したパワースペクトル算出手段6、ログポーラ変換手段7、相関計算領域抽出手段8、位相限定相関計算手段9、拡大縮小率算出手段10、β算出手段3、γ決定手段4、α算出手段5、カメラアングル補正手段11、差分画像出力手段12が実現される。コンピュータ20により自動作成された差分画像は、例えば出力装置23としてのディスプレイに表示される。なお、上記作成した差分画像に基づいて監視撮影対象のヒビやサビの進展の検出をコンピュータ20が自動で行うようにし、例えば差分値が閾値以上となる画素が一定数以上ある場合には、監視撮影対象のヒビやサビの進展が著しいと判断して、エラーメッセージや警告音を発して、管理者等に注意を促すようにしても良い。 The image processing apparatus 1 described above is realized using, for example, an existing or new computer (computer). For example, as shown in FIG. 8, the computer 20 includes a central processing unit (CPU) 21, a storage device 22 such as a RAM, a ROM, and a hard disk, an output device 23 such as a display, and an interface for communicating with a digital camera 25. Hardware resources such as 24 are connected by a bus 26. When the image processing program according to the present invention is executed on the computer 20, the computer 20 functions as the image processing apparatus 1 described above. The interface 24 of the computer 20 functions as the image capturing unit 2, and an image recorded in the digital camera 25 is captured via the interface 24 into the storage device 22 of the computer 20. The storage device 22 stores standard images and input images, and work data and programs necessary for executing image processing. By the calculation function and the control function for hardware resources provided in the CPU 21, the above-described power spectrum calculation means 6, log polar conversion means 7, correlation calculation area extraction means 8, phase-only correlation calculation means 9, enlargement / reduction ratio calculation means 10, β calculation Means 3, γ determination means 4, α calculation means 5, camera angle correction means 11, and difference image output means 12 are realized. The differential image automatically created by the computer 20 is displayed on a display as the output device 23, for example. It should be noted that the computer 20 automatically detects the progress of cracks and rust of the monitoring target based on the created difference image. For example, when there are a certain number of pixels whose difference value is equal to or greater than a threshold value, monitoring is performed. It may be determined that the development of cracks and rust of the imaging target is remarkable, and an error message or warning sound is issued to alert the administrator or the like.
例えば図14の符号30は標準画像の一例を示し、符号31は入力画像の一例を示し、符号32は標準画像とカメラアングルが一致するように補正された入力画像を示し、符号33は補正された入力画像32と標準画像30の差分画像を示す。この差分画像33によれば、図15のようにカメラアングルが一致する補正をせずに作成した入力画像と標準画像の差分画像とは異なり、監視撮影対象のヒビの進展を正確に抽出することができる。 For example, reference numeral 30 in FIG. 14 shows an example of a standard image, reference numeral 31 shows an example of an input image, reference numeral 32 shows an input image corrected so that the camera angle matches the standard image, and reference numeral 33 is corrected. A difference image between the input image 32 and the standard image 30 is shown. According to the difference image 33, unlike the difference image between the input image and the standard image created without correcting the camera angles to match each other as shown in FIG. 15, the progress of cracks to be monitored is accurately extracted. Can do.
以上のように構成される本発明によれば、3次元のカメラアングルの変化により撮影画像の周波数スペクトルに微小な回転および伸縮が生じることを利用して、この周波数スペクトルの変化を検出するので、高精度にカメラアングルの変化を検出でき、かつ検出しカメラアングル変化に基づいて、新たに撮影した画像(入力画像)と過去に撮影した画像(標準画像)のカメラアングルを一致させるように補正することができる。また、本発明では、画像全体の周波数スペクトルを利用するため、画像特徴を抽出し補正する手法に比べ、例えばダムのコンクリート面など、その表面の特徴が乏しい対象にも適用できる。 According to the present invention configured as described above, since the minute rotation and expansion / contraction are generated in the frequency spectrum of the photographed image due to the change in the three-dimensional camera angle, the change in the frequency spectrum is detected. The camera angle change can be detected with high accuracy, and based on the detected camera angle change, the camera angle of the newly taken image (input image) and the image taken in the past (standard image) are corrected to match. be able to. Further, in the present invention, since the frequency spectrum of the entire image is used, the present invention can be applied to an object having poor surface characteristics, such as a concrete surface of a dam, for example, compared to a method of extracting and correcting image characteristics.
<電子顕微鏡画像への適用>
電子顕微鏡で対象となる平面の傾きを変えた画像を撮影した。平面の傾き角度は0°,2.5°,5°,7.5°,10°とした。これらの画像はほぼ同じ領域を撮影するようにステージの移動を行い、同時にピントあわせを手動で行った。このようにしてほぼ同じ領域を撮影した電子顕微鏡画像を準備して、これらの画像について本発明を適用した。撮影した画像からほぼ同じ領域を含む512×512画素の部分画像を切り出し利用した。検証では0°の傾きを持つ画像を標準画像とし、残りの画像を入力画像として、本発明を適用し、平面の傾き角度を求めた。その結果、誤差は0.6°以内であり、平均誤差は0.40°、最大誤差は0.55°であった。
<Application to electron microscope image>
Images were taken with an electron microscope with different plane tilts. The inclination angles of the plane were 0 °, 2.5 °, 5 °, 7.5 °, and 10 °. In these images, the stage was moved so that almost the same area was photographed, and at the same time, the focus was manually adjusted. In this way, electron microscope images in which substantially the same area was photographed were prepared, and the present invention was applied to these images. A partial image of 512 × 512 pixels including almost the same region was cut out from the photographed image and used. In the verification, an image having an inclination of 0 ° was used as a standard image, and the remaining image was used as an input image, and the present invention was applied to determine the inclination angle of the plane. As a result, the error was within 0.6 °, the average error was 0.40 °, and the maximum error was 0.55 °.
<コルクボード画像への適用>
回転台の上に立てたコルクボードを三脚で固定したカメラで撮影し、その傾きを検出した。この場合、回転台の回転角度が求める平面の傾き角度となる。デジタルカメラは三脚で固定し、コルクボードの中心とカメラのレンズが同じ高さになるようにした。このような環境において、コルクボードの中心が画像の中心付近に写るようカメラの向きを目視により手動で調整した。回転台を+15.5°から−15.5°まで、0.5°ずつ動かし、全部で63枚の画像を撮影した。この画像からほぼ同じ領域を含む部分画像を切り出した。正面から撮影した画像を標準画像とし、残りの画像を入力画像として、本発明を適用した。その結果、平均誤差は1.44°、最大誤差は3.36°であった。
<Application to cork board images>
A cork board standing on a turntable was photographed with a camera fixed on a tripod, and its inclination was detected. In this case, the rotation angle of the turntable is the inclination angle of the plane to be obtained. The digital camera was fixed with a tripod so that the center of the cork board and the camera lens were at the same height. In such an environment, the orientation of the camera was manually adjusted by visual observation so that the center of the cork board appears in the vicinity of the center of the image. The turntable was moved by 0.5 ° from + 15.5 ° to −15.5 °, and a total of 63 images were taken. A partial image including substantially the same region was cut out from this image. The present invention was applied with an image taken from the front as a standard image and the remaining images as input images. As a result, the average error was 1.44 ° and the maximum error was 3.36 °.
<コンクリート壁面画像への適用>
デジタルカメラで建物のコンクリート壁面を撮影した。一般的な巡視時を想定して、三脚は使用せず手でカメラを固定し、時間を変えて(より正確には5分程度の時間をおいて)、2枚の画像を撮影した。撮影した画像からほぼ同じ領域を含む256×256画素の部分画像を切り出した。このようにして作成した標準画像(1枚目の画像)を図9に示し、入力画像(2枚目の画像)を図10に示す。これらの画像に対して、本発明を適用し、その計算結果である拡大縮小率を縦軸に、周波数領域での方向角度を横軸に示したものが、図11のグラフである。
<Application to concrete wall image>
I photographed the concrete wall of the building with a digital camera. Assuming a general patrol, the camera was fixed by hand without using a tripod, and two images were taken at different times (more precisely, about 5 minutes). A partial image of 256 × 256 pixels including substantially the same region was cut out from the photographed image. A standard image (first image) created in this way is shown in FIG. 9, and an input image (second image) is shown in FIG. FIG. 11 is a graph in which the present invention is applied to these images, and the enlargement / reduction ratio, which is the calculation result, is shown on the vertical axis and the direction angle in the frequency domain is shown on the horizontal axis.
図11のグラフより、入力画像は標準画像に対して、画像全体が0.966倍になっており画像のx軸方向を軸として9.22°傾いていることがわかった。入力画像に対して、標準画像と同じカメラアングルになるように補正を行い、標準画像との差分を計算した。当該カメラアングルの補正を行った入力画像と標準画像との差分画像を図12に示す。なお、図12は、重ね合わせ時の差が明確になるように、2枚の画像間について輝度差の絶対値を表示した画像としている。 From the graph of FIG. 11, it was found that the input image was 0.966 times larger than the standard image, and was tilted by 9.22 ° about the x-axis direction of the image. The input image was corrected to have the same camera angle as the standard image, and the difference from the standard image was calculated. FIG. 12 shows a difference image between the input image subjected to the camera angle correction and the standard image. Note that FIG. 12 shows an image displaying the absolute value of the luminance difference between the two images so that the difference at the time of superimposition becomes clear.
一方、比較のため、カメラアングルの補正を行わず、画像の平行移動補正のみを適用した入力画像と標準画像との差分画像を図13に示す。図12および図13の差分画像では、両画像の対応画素の差が大きい部分はより白く描画される。図13ではカメラアングルの差が画素値の差分として白く描画されているが、図12ではそのような差分を示す描画は見られず、カメラアングルを一致する補正が正確に行われたことが分かる。明らかに本発明による画像補正が有効であることが分かる。 On the other hand, for comparison, FIG. 13 shows a difference image between an input image and a standard image to which only the translational correction of the image is applied without correcting the camera angle. In the difference image of FIG. 12 and FIG. 13, the part where the difference of the corresponding pixel of both images is large is drawn more white. In FIG. 13, the difference between the camera angles is drawn white as the difference between the pixel values. However, in FIG. 12, no drawing showing such a difference is seen, and it can be seen that the correction for matching the camera angles was accurately performed. . Obviously, the image correction according to the present invention is effective.
上記本実施例では、入力画像と標準画像の撮影時間の差は5分程度であり、コンクリートにヒビの進展が見られなかったため、差分画像に差が現れなかったが、仮にヒビが進展した場合、本発明によれば、例えば図14に示すように、ヒビが進展した部分が明確に表示されることになる。 In the present embodiment, the difference between the shooting time of the input image and the standard image is about 5 minutes, and no progress of cracks was seen in the concrete, so there was no difference in the difference image. According to the present invention, for example, as shown in FIG. 14, the portion where the crack has progressed is clearly displayed.
なお、上述の実施形態は本発明の好適な実施の一例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形実施可能である。例えば上述の実施形態では、本発明のカメラアングル変化の検出方法・装置・プログラムを、コンクリート壁なのど監視対象設備の監視に利用したが、本発明は、三角測量、ステレオカメラの設定、カメラレンズ等の歪みの検出および補正などへも応用することが可能である。 The above-described embodiment is an example of a preferred embodiment of the present invention, but is not limited thereto, and various modifications can be made without departing from the gist of the present invention. For example, in the above-described embodiment, the camera angle change detection method / device / program according to the present invention is used for monitoring a facility to be monitored such as a concrete wall throat. However, the present invention is applicable to triangulation, stereo camera setting, camera lens. The present invention can also be applied to the detection and correction of distortion such as.
例えば2台の撮像手段(例えばデジタルカメラ)により同一平面と見なせる計測領域をそれぞれ撮影し、上述したカメラアングル変化の検出方法により、上記撮影した2画像間の回転角αおよび平面傾き角βおよび平面傾き方向γを求め、上記2台の撮像手段および計測領域を三角形の頂点とした三角測量に、上記求めた回転角αおよび平面傾き角βおよび平面傾き方向γを用いるようにしても良い。求めたα,β,γは、計測領域に対する撮像手段の物理的位置の補正するためのパラメータ、または撮像手段で撮影した画像を修正する情報処理を実行するためのパラメータ、または計測領域の位置を測定するためのパラメータとして利用できる。即ち、求めたα,β,γを用いて、計測領域に対する撮像手段の向きや位置を補正したり、2台の撮像手段によりそれぞれ撮影した2枚の画像の間の対応を正確に取ることによって、三角測量を高精度に行うことができる。異なるカメラアングルで撮影した画像を用いて、三角測量の原理により物体までの距離を高精度に推定する場合、画像間の対応付けを高精度に行うことで、高精度な計測が可能である。本発明を利用して、カメラアングルの違いを計算し、カメラアングルの違いによる影響を考慮した画像間の対応点探索を行うことにより、より高精度な処理が期待できる。また、基準平面となる計測領域を真正面から見た状態の画像を、例えば当該計測領域の表面をスキャナ等で読み込むことにより入手し、この画像を標準画像とする。そして、この標準画像を用いて、撮像手段により得られる画像を入力画像として、α=β=γ=0となるように撮像手段の位置を調整すれば、撮像手段を計測領域の真正面に設置することができる。さらに、1台の撮像手段を計測領域の真正面に設置し、この撮像手段と計測領域とを結ぶ光軸と直交する方向にもう一台の撮像手段を設置すれば、一方の撮像手段と計測領域とを結ぶ光軸と、他方の撮像手段と計測領域とを結ぶ光軸とが成す角(換言すれば計測領域に対する2台の撮像手段の光軸のずれ量)と、2台の撮像手段の間隔とから、計測領域の位置(計測領域の真正面に設置した撮像手段と計測領域との距離)を正確に求めることができる。 For example, measurement areas that can be regarded as the same plane are photographed by two imaging means (for example, digital cameras), respectively, and the rotation angle α, the plane tilt angle β, and the plane between the two captured images are detected by the above-described camera angle change detection method. The inclination direction γ is obtained, and the obtained rotation angle α, plane inclination angle β, and plane inclination direction γ may be used for triangulation with the two imaging means and the measurement region as the vertices of a triangle. The obtained α, β, and γ are parameters for correcting the physical position of the imaging unit with respect to the measurement region, parameters for executing information processing for correcting an image captured by the imaging unit, or the position of the measurement region. It can be used as a parameter for measurement. That is, by using the obtained α, β, and γ, the direction and position of the imaging means with respect to the measurement area are corrected, or the correspondence between the two images taken by the two imaging means is accurately taken. Triangulation can be performed with high accuracy. When estimating the distance to an object with high accuracy by using the images taken at different camera angles by the principle of triangulation, it is possible to perform high-accuracy measurement by associating the images with high accuracy. By using the present invention to calculate the difference in camera angle and to search for corresponding points between images in consideration of the effect of the difference in camera angle, more accurate processing can be expected. Further, an image in a state in which the measurement area serving as the reference plane is viewed from the front is obtained by, for example, reading the surface of the measurement area with a scanner or the like, and this image is set as a standard image. Then, by using this standard image and using the image obtained by the imaging means as an input image and adjusting the position of the imaging means so that α = β = γ = 0, the imaging means is installed in front of the measurement region. be able to. Furthermore, if one imaging means is installed in front of the measurement area, and another imaging means is installed in a direction perpendicular to the optical axis connecting the imaging means and the measurement area, one imaging means and the measurement area And the angle formed by the optical axis connecting the other imaging means and the measurement region (in other words, the amount of deviation of the optical axes of the two imaging means with respect to the measurement region) and the two imaging means From the interval, the position of the measurement area (the distance between the imaging means installed in front of the measurement area and the measurement area) can be accurately obtained.
また、予め用意された標準画像と、標準画像と同じカメラアングルの条件で同じ撮影対象を撮像手段により撮影して得られた入力画像とを用いて、上述したカメラアングル変化の検出方法により、標準画像と入力画像との間の回転角αおよび平面傾き角βおよび平面傾き方向γを求めることによって、撮像手段に起因する画像の歪みを検出するようにしても良い。例えば、基準平面を真正面から見た状態の画像を、例えば当該基準平面をスキャナ等で読み込むことにより入手し、この画像を標準画像とする。一方、撮像手段を治具などを用いて上記基準平面の真正面に配置して、基準平面を真正面から撮影した画像を入力画像とする。標準画像と入力画像との間で計算されたα,β,γが0でない場合、撮像手段に起因して、例えばカメラレンズの歪みに起因して、入力画像に歪みが生じていると判断できる。画像の歪みが検出された場合、例えば撮像手段の部品交換等を促すべく、警告やエラーを出力するようにしても良い。なお、上記では、基準平面を用いたが、適当なデジタルデータを作成可能であれば、平面である必要は特に無い。 In addition, the standard image prepared in advance and the input image obtained by photographing the same subject to be photographed with the imaging means under the same camera angle conditions as the standard image, the standard method is used to detect the change in camera angle. The image distortion caused by the imaging means may be detected by obtaining the rotation angle α, the plane tilt angle β, and the plane tilt direction γ between the image and the input image. For example, an image in a state in which the reference plane is viewed from the front is obtained by, for example, reading the reference plane with a scanner or the like, and this image is set as a standard image. On the other hand, an imaging unit is arranged in front of the reference plane using a jig or the like, and an image obtained by photographing the reference plane from the front is used as an input image. When α, β, and γ calculated between the standard image and the input image are not 0, it can be determined that the input image is distorted due to, for example, camera lens distortion. . When image distortion is detected, for example, a warning or error may be output in order to prompt replacement of parts of the imaging means. In the above description, the reference plane is used. However, the plane is not particularly required if appropriate digital data can be created.
さらに、上記のように検出された画像の歪みを、求めた回転角αおよび平面傾き角βおよび平面傾き方向γを用いて補正するようにしても良い。例えば、正常なレンズに対して、上記撮像手段に組み込まれたレンズはα,β,γで表される歪みが生じていると認識し、当該撮像手段で撮影された画像に対して、当該画像内の任意の点を中心として、上記求めた平面傾き方向γの方向に、上記求めた平面傾き角βを用いて1/cos β倍拡大し、かつ上記求めた回転角αだけ回転させる補正を行うようにしても良い。この場合、廉価なレンズを備えた撮像手段であっても高性能な画像を得ることができる。 Furthermore, the distortion of the image detected as described above may be corrected using the obtained rotation angle α, plane tilt angle β, and plane tilt direction γ. For example, with respect to a normal lens, the lens incorporated in the imaging unit recognizes that distortion represented by α, β, and γ has occurred, and the image captured by the imaging unit A correction that enlarges 1 / cos β times by using the obtained plane inclination angle β in the direction of the obtained plane inclination direction γ around the arbitrary point in the above and rotates by the obtained rotation angle α. You may make it do. In this case, a high-performance image can be obtained even with an imaging means equipped with an inexpensive lens.
また、上述したカメラアングル変化の検出方法により、2台の撮像手段により撮影した2画像間の回転角αおよび平面傾き角βおよび平面傾き方向γを求め、上記2台の撮像手段をステレオカメラとして機能させるための設定に、上記求めた回転角αおよび平面傾き角βおよび平面傾き方向γを用いるようにしても良い。ステレオ計測では、2つのカメラは離れており、そのカメラの方向を正確に設定することは非常に難しい。そこで、計測をはじめる前に、なにか基準となる平面(凹凸があっても、局所的に見ると平面とみなせるものであれば共通に写る物体でも良い)を使い、2つのカメラ間のα,β,γを求め、ステレオカメラの設定に役立てる。また、計測する物体の撮影時に必要であれば補正するようにしても良い。さらに、基準となる平面をスキャナ等で読み込む、または予めあるデジタルデータを印刷する等により、平面を真正面(あるいは既知の角度)から撮影したとみなせるデジタルデータが存在するときは、当該平面とそれぞれのカメラ画像とのα,β,γを求めることにより、平面の真正面にカメラを設置することが可能となる。本発明によれば、例えば安価な汎用のデジタルカメラを2台用意すれば、これら2台のカメラを、従来は高価な専用カメラであったステレオカメラとして機能させることができる。 Further, the rotation angle α, the plane tilt angle β, and the plane tilt direction γ between the two images taken by the two image pickup means are obtained by the above-described camera angle change detection method, and the two image pickup means are used as a stereo camera. The rotation angle α, the plane tilt angle β, and the plane tilt direction γ determined above may be used for setting for functioning. In stereo measurement, the two cameras are separated from each other, and it is very difficult to accurately set the directions of the cameras. Therefore, before starting the measurement, α, β between the two cameras is used by using a standard plane (even if there is unevenness or an object that can be regarded as a plane when viewed locally). , Γ are obtained and used for setting the stereo camera. Further, correction may be made if necessary when photographing the object to be measured. Furthermore, when there is digital data that can be considered to be taken from the front (or a known angle) by reading a reference plane with a scanner or printing digital data in advance, the plane and each By obtaining α, β, and γ with the camera image, the camera can be installed in front of the plane. According to the present invention, for example, if two inexpensive general-purpose digital cameras are prepared, these two cameras can be made to function as a stereo camera which has conventionally been an expensive dedicated camera.
1 画像処理装置(カメラアングル変化の検出装置)
2 画像取込手段
3 β算出手段
4 γ決定手段
5 α算出手段
6 パワースペクトル算出手段
7 ログポーラ変換手段
8 相関計算領域抽出手段
9 位相限定相関計算手段
10 拡大縮小率算出手段
11 カメラアングル補正手段
12 差分画像出力手段
20 コンピュータ
1 Image processing device (camera angle change detection device)
2 Image capture means 3 β calculation means 4 γ determination means 5 α calculation means 6 power spectrum calculation means 7 log polar conversion means 8 correlation calculation area extraction means 9 phase-only correlation calculation means 10 enlargement / reduction ratio calculation means 11 camera angle correction means 12 Difference image output means 20 Computer
Claims (13)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004328532A JP4796295B2 (en) | 2004-11-12 | 2004-11-12 | Camera angle change detection method, apparatus and program, and image processing method, equipment monitoring method, surveying method, and stereo camera setting method using the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004328532A JP4796295B2 (en) | 2004-11-12 | 2004-11-12 | Camera angle change detection method, apparatus and program, and image processing method, equipment monitoring method, surveying method, and stereo camera setting method using the same |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006138735A JP2006138735A (en) | 2006-06-01 |
JP4796295B2 true JP4796295B2 (en) | 2011-10-19 |
Family
ID=36619657
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004328532A Expired - Fee Related JP4796295B2 (en) | 2004-11-12 | 2004-11-12 | Camera angle change detection method, apparatus and program, and image processing method, equipment monitoring method, surveying method, and stereo camera setting method using the same |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4796295B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6564076B2 (en) * | 2018-01-12 | 2019-08-21 | 株式会社トプコン | Ophthalmic equipment |
DE102018122816B9 (en) * | 2018-09-18 | 2024-07-04 | Carl Zeiss Meditec Ag | Method and device for determining a property of an object |
CN111292245A (en) * | 2018-12-07 | 2020-06-16 | 北京字节跳动网络技术有限公司 | Image processing method and device |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06292058A (en) * | 1993-03-30 | 1994-10-18 | Kansai Electric Power Co Inc:The | Method for adjusting angle of pickup for television camera and its system |
JP3608305B2 (en) * | 1996-08-14 | 2005-01-12 | 株式会社明電舎 | Camera posture detection device |
JP2002032741A (en) * | 2000-07-13 | 2002-01-31 | Sony Corp | System and method for three-dimensional image generation and program providing medium |
JP2003177019A (en) * | 2001-10-03 | 2003-06-27 | Mamoru Otsuki | Method for camera posture calculation by free photographing |
JP2004046772A (en) * | 2002-05-13 | 2004-02-12 | 3D Media Co Ltd | Method, system and apparatus for processing image |
JP2004271292A (en) * | 2003-03-07 | 2004-09-30 | Meidensha Corp | Calibrator and stereo camera position/attitude calibration device |
-
2004
- 2004-11-12 JP JP2004328532A patent/JP4796295B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2006138735A (en) | 2006-06-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5580164B2 (en) | Optical information processing apparatus, optical information processing method, optical information processing system, and optical information processing program | |
WO2017092631A1 (en) | Image distortion correction method for fisheye image, and calibration method for fisheye camera | |
US7489335B2 (en) | Photographic apparatus with function of image correction and method thereof | |
JP4435145B2 (en) | Method and apparatus for providing panoramic image by calibrating geometric information | |
JP2005308553A (en) | Three-dimensional image measuring device and method | |
JPWO2018235163A1 (en) | Calibration apparatus, calibration chart, chart pattern generation apparatus, and calibration method | |
JP5388921B2 (en) | Three-dimensional distance measuring apparatus and method | |
US6256058B1 (en) | Method for simultaneously compositing a panoramic image and determining camera focal length | |
JPH11337493A (en) | Detecting system for position of abnormal point by image processing | |
JP2010287074A (en) | Camera calibration device, camera calibration method, camera calibration program and recording medium recording the program | |
CN112598747A (en) | Combined calibration method for monocular camera and projector | |
JP2005149500A (en) | Method for correcting distortion in multi-focus image stack | |
JP2010186265A (en) | Camera calibration device, camera calibration method, camera calibration program, and recording medium with the program recorded threin | |
JP2011155412A (en) | Projection system and distortion correction method in the same | |
JP6370646B2 (en) | MTF measuring device | |
JP2005140547A (en) | 3-dimensional measuring method, 3-dimensional measuring device and computer program | |
JP2009253715A (en) | Camera calibrating device, camera calibrating method, camera calibrating program, and recording medium for recording the program | |
JP4776983B2 (en) | Image composition apparatus and image composition method | |
JP4796295B2 (en) | Camera angle change detection method, apparatus and program, and image processing method, equipment monitoring method, surveying method, and stereo camera setting method using the same | |
JP6099281B2 (en) | Book reading system and book reading method | |
JP7192526B2 (en) | Image processing device, image processing method and program | |
KR102076635B1 (en) | Apparatus and method for generating panorama image for scattered fixed cameras | |
JPH1096606A (en) | Shape measuring method and device | |
JP4169464B2 (en) | Image processing method, image processing apparatus, and computer-readable recording medium | |
JP4925112B2 (en) | Free viewpoint image generation method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070903 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100401 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100804 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101004 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110517 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110708 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110726 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110729 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4796295 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140805 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |