JP2006309529A - Image extraction method and device, and device for generating photograph for certificates - Google Patents

Image extraction method and device, and device for generating photograph for certificates Download PDF

Info

Publication number
JP2006309529A
JP2006309529A JP2005131720A JP2005131720A JP2006309529A JP 2006309529 A JP2006309529 A JP 2006309529A JP 2005131720 A JP2005131720 A JP 2005131720A JP 2005131720 A JP2005131720 A JP 2005131720A JP 2006309529 A JP2006309529 A JP 2006309529A
Authority
JP
Japan
Prior art keywords
image
coordinates
pixel
feature points
extraction method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2005131720A
Other languages
Japanese (ja)
Inventor
Kimitaka Murashita
君孝 村下
Masayoshi Shimizu
雅芳 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2005131720A priority Critical patent/JP2006309529A/en
Publication of JP2006309529A publication Critical patent/JP2006309529A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a method and device for extracting a target image compatible with a camera having six axes flexibility in viewpoint and visual line. <P>SOLUTION: The image extraction method includes steps of: photographing a first image at a first viewpoint and visual line, extracting at least three feature points from the first image, photographing a second image at an arbitrary second viewpoint and visual line, estimating at least three points inside the second image corresponding to the feature points in the first image to extract corresponding three sets of feature points, calculating a deviation amount between the first image and the second image on the basis of coordinates of the extracted three sets of feature points to normalize the coordinates of the second image into the first image, calculating the difference of pixel values of corresponding pixels between the first image and the normalized second image, and extracting a pixel having the calculated difference larger than a prescribed threshold as a target area. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、背景と対象とを含む複数枚の画像を用い、背景画像と対象画像とを分離して対象画像を切り出す方法、および装置に関し、特に画像を撮影するカメラが視点／視線の６軸自由度を有する場合にも対応可能な、対象画像切り出し方法、および装置に関する。   The present invention relates to a method and apparatus that uses a plurality of images including a background and a target, separates the background image and the target image, and cuts out the target image. In particular, the camera that captures the image has six axes of viewpoint / line of sight. The present invention relates to a target image clipping method and apparatus that can cope with a case of having a degree of freedom.

証明写真などのポートレート撮影システムや侵入検知／監視システムなどにおいて、対象とする物体と背景とを分離し、対象とする物体を切り出す画像処理方法が開示されている（特許文献１〜特許文献４参照）。
特開２００２−９９９１０号公報 特開２０００−３６０３２号公報 特開２００２−１５８９９９号公報 特開２００２−３４４９４９号公報 特許文献１に記載の方法では、図４に示す対象画像の抽出例のごとく、予め、背景画像（Ｆａ）を撮影して蓄積し、新たに撮影した背景と対象とを含む画像の中から、ユーザが指定した画像（Ｆｂ）と背景画像（Ｆａ）との差分をとることにより抽出画像（Ｆｃ）として抽出する。 An image processing method for separating a target object and a background and cutting out the target object in portrait photography systems such as ID photographs and intrusion detection / monitoring systems is disclosed (Patent Documents 1 to 4). reference).
JP 2002-99910 A JP 2000-36032 A JP 2002-158999 A In the method described in Japanese Patent Laid-Open No. 2002-344949, a background image (Fa) is captured and accumulated in advance, as in the extraction example of the target image shown in FIG. Is extracted as an extracted image (Fc) by taking the difference between the image (Fb) designated by the user and the background image (Fa).

特許文献２に記載の方法では、背景画像と対象画像から対象を抽出する際に、背景画像と対象画像の共通領域（背景）の明るさの違いを補正することで対象の抽出を高精度化している。   In the method described in Patent Document 2, when extracting a target from a background image and a target image, the accuracy of target extraction is improved by correcting a difference in brightness of a common area (background) between the background image and the target image. ing.

特許文献３に記載の方法では、所定の監視区域内の物体を検出するため監視区域内の複数の位置から撮影した画像を背景画像として保持し、物体が映っている画像（対象画像）の背景領域がどの背景画像と同一であるかをマッチングしている。   In the method described in Patent Document 3, images taken from a plurality of positions in a monitoring area are detected as background images in order to detect an object in a predetermined monitoring area, and the background of an image (target image) in which the object is reflected It matches which background image the region is identical to.

特許文献４に記載の方法では、動画像をブロックごとに符号化して復号する際の情報から該ブロックの平行移動量を求めている。   In the method described in Patent Document 4, the amount of parallel movement of a block is obtained from information when a moving image is encoded and decoded for each block.

特許文献１、および特許文献２に記載の方法では、カメラの視点／視線が固定されていることを前提としている。図４に示すごとく、背景画像Ｆａと背景と対象とを含む画像Ｆｂとから対象画像のみを抽出して抽出画像Ｆｃとする場合、次式に示すごとく、同一座標（ｘ，ｙ）にある画素ごとに差分を求め、差分が予め定めた閾値Ｔｈ以下のときは背景領域とみなし、例えば、Ｆｃ＝０（黒）、あるいはブルーバック等所定の色とし、閾値Ｔｈ以上のときは対象画像とし、Ｆｃ＝Ｆｂとして抽出する。   In the methods described in Patent Literature 1 and Patent Literature 2, it is assumed that the viewpoint / line of sight of the camera is fixed. As shown in FIG. 4, when only the target image is extracted from the background image Fa and the image Fb including the background and the target to obtain the extracted image Fc, the pixels at the same coordinates (x, y) as shown in the following equation: A difference is obtained for each, and when the difference is equal to or smaller than a predetermined threshold Th, it is regarded as a background region, for example, Fc = 0 (black) or a predetermined color such as a blue background, and when the difference is equal to or larger than the threshold Th, a target image is obtained. Extract as Fc = Fb.

Figure 2006309529
しかし、撮影者がカメラを持って撮影する場合、図５に示すごとく、カメラの視点、視線の６軸にずれが生じて背景の位置が移動するため、特許文献１、および特許文献２に記載の方法では対応出来ない。
Figure 2006309529
 However, when the photographer takes a picture with a camera, as shown in FIG. 5, the viewpoint of the camera and the six axes of the line of sight are shifted and the position of the background is moved. This method cannot be used.

図５に示すずれのうち（１）、（２）、（３）は平行移動、（４）、（５）、（６）は回転移動である。   Of the deviations shown in FIG. 5, (1), (2), and (3) are parallel movements, and (4), (5), and (6) are rotational movements.

対象と背景とが十分に遠いとき、撮影された画像の、（１）、（２）、（３）のずれによる変化は無視できる範囲と見なせるが、（４）、（５）、（６）のずれは無視できない場合が多い。   When the object and the background are sufficiently far away, the change due to the deviation of (1), (2), (3) in the captured image can be regarded as a negligible range, but (4), (5), (6) The deviation is often not negligible.

また、撮影された画像の移動の種類という観点で分類すると、対象と背景とが十分に遠いとき、（１）、（２）、（３）、（４）、（５）は平行移動（図６）であり、（６）は回転移動（図７）になる。   Further, when classified from the viewpoint of the type of movement of the photographed image, when the object and the background are sufficiently far away, (1), (2), (3), (4), and (5) are translated (see FIG. 6), and (6) is rotational movement (FIG. 7).

画像が平行移動と見なせる場合は、特許文献３、および特許文献４に記載の方法が適用できる。図６に示すごとく、画像が平行移動した場合、すなわち画像Ｆａ中の特徴点Ａ（ｘ，ｙ）に対応する、画像Ｆｂ中の点Ａ’（ｘ’，ｙ’）を、例えばパターンマッチング法、あるいは、金出他が提唱するＫＬＴ法等を用いて推定し、対応する位置の画素ごとに比較する。（非特許文献１、非特許文献２参照）
TomasiC. and Kanade T. “Detection and Trucking of Point Figures”, CMU Tech. Rep. CMU-CS-91-132, April 1991 金出武雄, コンラッド・ポールマン, 森田俊彦,”因子分解法による物体形状とカメラ運動の復元”, 電子情報通信学会論文誌 D-II Vol.J76-D-II No.8,pp1497-1505, 1993年8月 この場合、（ｘ，ｙ）と（ｘ’，ｙ’）の関係はずれ量をΔｘ，Δｙとした場合、 When the image can be regarded as parallel movement, the methods described in Patent Document 3 and Patent Document 4 can be applied. As shown in FIG. 6, when the image is translated, that is, the point A ′ (x ′, y ′) in the image Fb corresponding to the feature point A (x, y) in the image Fa is obtained by, for example, the pattern matching method. Alternatively, the estimation is performed using the KLT method proposed by Kaide et al., And comparison is made for each pixel at the corresponding position. (See Non-Patent Document 1 and Non-Patent Document 2)
TomasiC. And Kanade T. “Detection and Trucking of Point Figures”, CMU Tech. Rep. CMU-CS-91-132, April 1991 Takeo Kanade, Conrad Poleman, Toshihiko Morita, “Reconstruction of object shape and camera motion by factorization method”, IEICE Transactions D-II Vol.J76-D-II No.8, pp1497-1505, August 1993 In this case, the relationship between (x, y) and (x ', y')

Figure 2006309529
で表すことができる。図８に示すごとく、画像中の各特徴点Ａ、と点Ａ’とのずれ量は、点Ｂ、と点Ｂ’とのずれ量、点Ｃ、と点Ｃ’とのずれ量と同一で、それぞれ、Δｘ，Δｙある。
Figure 2006309529
 It can be expressed as As shown in FIG. 8, the shift amount between each feature point A and point A ′ in the image is the same as the shift amount between point B and point B ′ and the shift amount between point C and point C ′. , Δx and Δy, respectively.

すなわち抽出画像Ｆｃは、   That is, the extracted image Fc is

Figure 2006309529
となる。
Figure 2006309529
 It becomes.

しかし、撮影者がカメラを持って画像を撮影した場合、画像には平行移動だけでなく回転が加わる（図９）。   However, when the photographer takes an image with a camera, the image is not only translated but also rotated (FIG. 9).

この場合、ずれ量の値は座標によって全て異なる（図１０）ため、全画素について個別にずれ量を算出する必要があり、特許文献３、および特許文献４に記載の方法は適用できない。   In this case, since the values of the shift amounts are all different depending on the coordinates (FIG. 10), it is necessary to calculate the shift amounts individually for all pixels, and the methods described in Patent Document 3 and Patent Document 4 cannot be applied.

本発明は、かかる課題を解決し、カメラの視点、視線が６軸自由度を有する場合にも対応可能な、対象画像切り出し方法、および装置を提供することを目的とする。   An object of the present invention is to solve such a problem and to provide a target image clipping method and apparatus that can cope with a case where the viewpoint and line of sight of a camera have six degrees of freedom.

第一の発明は、第一の視点、視線で第一の画像を撮影し、第一の画像から少なくとも３点の特徴点を抽出し、任意の第二の視点、視線で第二の画像を撮影し、第一の画像内の特徴点に対応する第二の画像内の点を、少なくとも３点推定して対応する特徴点の組を３組抽出し、抽出した３組の特徴点の座標を基に、第一の画像と第二の画像とのずれ量を算出して第二の画像の座標を第一の画像に正規化し、第一の画像と正規化した第二の画像の対応する画素について画素値の差分を算出し、算出した差分が、予め設定した所定の閾値よりも大きい画素を、対象領域として抽出することを特徴とする画像抽出方法。   The first invention captures the first image with the first viewpoint and line of sight, extracts at least three feature points from the first image, and captures the second image with any second viewpoint and line of sight. Photographed, estimated at least three points in the second image corresponding to the feature points in the first image, extracted three sets of corresponding feature points, and extracted three sets of feature point coordinates Based on the above, the amount of deviation between the first image and the second image is calculated, the coordinates of the second image are normalized to the first image, and the correspondence between the first image and the normalized second image An image extraction method comprising: calculating a pixel value difference for a pixel to be extracted, and extracting a pixel having the calculated difference larger than a predetermined threshold value as a target region.

第二の発明は、第一の発明に記載の画像抽出方法であって、アフィン行列に、類似の特徴を有する点の組の座標を代入することにより第二の画像を撮影した視点、視線を特定することを特徴とする。   A second invention is an image extraction method according to the first invention, wherein the viewpoint and line of sight of the second image are obtained by substituting the coordinates of a set of points having similar characteristics into an affine matrix. It is characterized by specifying.

第三の発明は、第一の発明に記載の画像抽出方法であって、さらに、入力した複数の画像を表示し、１枚以上の背景画像、およびまたは、１枚以上の背景と対象とを含む画像のいずれか一方、または両方を指定することを特徴とする。   A third invention is the image extraction method according to the first invention, further displaying a plurality of input images, and displaying one or more background images and / or one or more backgrounds and objects. One or both of the included images are designated.

第四の発明は、視点、視線の６軸自由度を有し、少なくとも二つの画像を撮影する手段と、前記画像撮影手段で撮影した第一の画像から特徴点を抽出する特徴点抽出手段と、第一の画像の特徴点と、第二の画像とを入力し、第一の画像の特徴点に対応する点を第二の画像内で推定してその点の座標を検出し、第一の画像の特徴点の座標と、検出した点の座標とから第一の画像と第二の画像のずれ量を算出するずれ量算出手段と、前記ずれ量算出手段で算出したずれ量を基に、第一の画像の画素と、第一の画像の画素に対応する第二の画像の画素が同一位置となるように第二の画像の座標を補正するずれ補正画像生成手段と、
第一の画像の画素値と、第一の画像の画素に対応する、前記ずれ補正画像生成手段で生成した第二の画像の画素値との差分値を算出する差分算出手段と、差分が予め定めた閾値より大きい領域を対象として抽出する手段とを有することを特徴とする画像抽出装置。
第五の発明は、第一の発明に記載の画像抽出方法であって、さらに、抽出画像に外接する矩形領域を設定し、抽出画像の左右、或いは上下に余白を付加することで、該外接矩形領域に外接する、所定の縦横比の余白付領域を設定し、該余白付領域を、縦横比を変えることなく所定の寸法に拡縮することを特徴とする。 4th invention has a 6-axis freedom degree of a viewpoint and a visual line, The means to image | photograph at least 2 images, The feature point extraction means to extract a feature point from the 1st image image | photographed with the said image imaging means, The feature point of the first image and the second image are input, the point corresponding to the feature point of the first image is estimated in the second image, and the coordinates of the point are detected. Based on the deviation amount calculating means for calculating the deviation amount between the first image and the second image from the coordinates of the feature point of the image and the coordinates of the detected point, and the deviation amount calculated by the deviation amount calculating means. A displacement correction image generation means for correcting the coordinates of the second image so that the pixels of the first image and the pixels of the second image corresponding to the pixels of the first image are in the same position;
A difference calculating means for calculating a difference value between a pixel value of the first image and a pixel value of the second image generated by the shift correction image generating means corresponding to the pixel of the first image; An image extracting apparatus comprising means for extracting a region larger than a predetermined threshold as a target.
A fifth invention is the image extraction method according to the first invention, further comprising setting a circumscribing rectangular area to the extracted image and adding margins to the left and right or the top and bottom of the extracted image, A margined area having a predetermined aspect ratio that circumscribes the rectangular area is set, and the margined area is enlarged or reduced to a predetermined size without changing the aspect ratio.

本発明により、固定されたカメラで撮影した画像だけでなく、撮影者が手に持つような、視点、視線の６軸自由度を有するカメラで撮影した画像であっても、背景画像と対象画像とを分離し、対象画像を切り出すことが可能となる。   According to the present invention, not only an image captured by a fixed camera but also an image captured by a camera having a six-axis degree of freedom of viewpoint and line of sight that the photographer has in his hand, the background image and the target image And the target image can be cut out.

図１に本発明のフロー例を示す。ステップＳ１１で、背景のみの第一の画像を撮影し、ステップＳ１２で第一の画像から複数の特徴点を抽出する。この場合、対象を含む第二の画像を撮影したときに、当該特徴点が当該対象により隠されても最低３個の特徴点が検出できるように、十分な個数、特徴点を抽出することが望ましい。   FIG. 1 shows a flow example of the present invention. In step S11, a first image of only the background is taken, and in step S12, a plurality of feature points are extracted from the first image. In this case, when a second image including the target is photographed, a sufficient number of feature points can be extracted so that at least three feature points can be detected even if the feature points are hidden by the target. desirable.

ステップＳ１３で、背景と対象とを含む第二の画像を撮影し、ステップＳ１４で、第一の画像内の特徴点に対応する第二の画像内の点を３点推定し、対応する特徴点の組を３組抽出する。異なる視点、視線から撮影した二つの画像から、対応する特徴点を見つけ出す方法としては、例えば前記ＫＬＴ法を用いる。   In step S13, a second image including the background and the object is photographed. In step S14, three points in the second image corresponding to the feature points in the first image are estimated, and the corresponding feature points. Three sets are extracted. For example, the KLT method is used as a method of finding corresponding feature points from two images taken from different viewpoints and lines of sight.

ステップＳ１５では、抽出した３組の特徴点の座標を基に、第一の画像と第二の画像とのずれ量Δx，Δyを算出し、第二の画像の座標を第一の画像に正規化する。ずれ量は、３組の特徴点の座標を、例えば次式に示すアフィン行列に代入し、連立方程式を解くことによりアフィン行列のパラメータとして算出する。第二の画像の座標正規化は、当該アフィン行列に第二の画像の座標を代入することにより求められる。   In step S15, deviation amounts Δx and Δy between the first image and the second image are calculated based on the coordinates of the three sets of extracted feature points, and the coordinates of the second image are normalized to the first image. Turn into. The amount of deviation is calculated as an affine matrix parameter by substituting the coordinates of the three sets of feature points into, for example, the affine matrix shown in the following equation and solving the simultaneous equations. The normalization of the coordinates of the second image is obtained by substituting the coordinates of the second image into the affine matrix.

Figure 2006309529
ステップＳ１６では、第一の画像と正規化した第二の画像の対応する画素について、画素値の差分ΔＰを算出する。
Figure 2006309529
 In step S16, a pixel value difference ΔP is calculated for the corresponding pixels of the first image and the normalized second image.

ステップＳ１７では、算出したΔＰと閾値Ｔｈとを比較する。ΔＰが閾値Ｔｈよりも大きい場合はステップＳ１８に進み、当該画素を、対象領域として抽出画像に出力し、ΔＰが閾値Ｔｈ以下の場合は当該画素を背景領域とみなし、ステップＳ１９に進む。   In step S17, the calculated ΔP is compared with the threshold value Th. If ΔP is larger than the threshold value Th, the process proceeds to step S18, and the pixel is output to the extracted image as a target area. If ΔP is equal to or smaller than the threshold value Th, the pixel is regarded as a background area, and the process proceeds to step S19.

ステップＳ１９では、第一の画像と正規化した第二の画像の対応する全画素について処理が完了したかを確認し、未処理の画素がある場合はステップＳ１５に戻り、未処理の画素がない場合は処理を終了する。   In step S19, it is checked whether the processing has been completed for all corresponding pixels of the first image and the normalized second image. If there is an unprocessed pixel, the process returns to step S15, and there is no unprocessed pixel. If so, the process ends.

これにより、背景をのぞいた、対象画像のみを抽出画像として出力することが可能となる。   As a result, it is possible to output only the target image as an extracted image except for the background.

図２は本発明の実施例１を示す。実施例１において、画像撮影手段１０は、視点、視線の６軸自由度を有するカメラなどの入力装置であって、背景のみの第一の画像と、背景と対象とを含む第二の画像とを撮影して保持する。   FIG. 2 shows Example 1 of the present invention. In the first embodiment, the image capturing unit 10 is an input device such as a camera having six-axis degrees of freedom of viewpoint and line of sight, and includes a first image including only a background and a second image including the background and the target. Shoot and hold.

特徴点抽出手段１１は第一の画像内の局所的に存在する小領域を、少なくとも３点、特徴点として抽出する。この場合、対象を含む第二の画像を撮影したときに、当該特徴点が当該対象により隠されても、最低３個の特徴点が検出できるように、十分な個数、特徴点を抽出する。特徴点は、図３に示すような縦横にエッジがあるような部分が最適である。縦横方向それぞれのエッジを持っていることで、画像が任意の回転を行った場合でも、特徴点が第二の画像ではどこにあるかの推定を高精度に行うことが可能となる。   The feature point extraction unit 11 extracts at least three small areas that exist locally in the first image as feature points. In this case, when a second image including the target is photographed, a sufficient number and feature points are extracted so that at least three feature points can be detected even if the feature points are hidden by the target. The optimum feature point is a portion having edges in the vertical and horizontal directions as shown in FIG. By having the edges in the vertical and horizontal directions, it is possible to estimate with high accuracy where the feature points are in the second image even when the image is arbitrarily rotated.

ずれ量算出手段１２では、第一の画像の特徴点と、第二の画像とを入力し、例えばＫＬＴ法を用いて第一の画像の特徴点に対応する点を第二の画像内で推定し、その点の座標を検出する。   The deviation amount calculation means 12 inputs the feature point of the first image and the second image, and estimates the point corresponding to the feature point of the first image in the second image using, for example, the KLT method. Then, the coordinates of the point are detected.

ずれ量算出手段１２ではさらに、第一の画像の特徴点の座標と、検出した点の座標とから第一の画像と第二の画像のずれ量を算出する。ずれ量は、３組の点の座標をアフィン行列に代入し、連立方程式を解くことによりアフィン行列のパラメータとして算出する。   The deviation amount calculation means 12 further calculates the deviation amount between the first image and the second image from the coordinates of the feature points of the first image and the coordinates of the detected points. The amount of deviation is calculated as an affine matrix parameter by substituting the coordinates of three sets of points into an affine matrix and solving simultaneous equations.

ずれ補正画像生成手段１３では、ずれ量算出手段１２で算出したアフィン行列を用い、第一の画像の画素に対応する第二の画像の画素が、第一の画像の画素と同一位置となるように第二の画像の座標を補正する。   The shift corrected image generation unit 13 uses the affine matrix calculated by the shift amount calculation unit 12 so that the pixel of the second image corresponding to the pixel of the first image is at the same position as the pixel of the first image. The coordinates of the second image are corrected.

差分算出手段１４は、第一の画像の画素値と、第一の画像の画素に対応する第二の画像の画素値との差分値を算出する。外光の影響やカメラのセンサモジュールの感度などの問題から、同一の背景であっても必ずしも差分は０にはならないが、差分が、予め定めた閾値Ｔｈ未満であれば同一背景とみなす。   The difference calculating unit 14 calculates a difference value between the pixel value of the first image and the pixel value of the second image corresponding to the pixel of the first image. Due to problems such as the influence of external light and the sensitivity of the sensor module of the camera, even if the background is the same, the difference is not necessarily 0. However, if the difference is less than a predetermined threshold Th, the background is regarded as the same.

対象画像抽出手段１５は、差分値＜Ｔｈの場合は背景として予め定めた背景色（例えば黒やブルーなど）を出力し、差分値≧Ｔｈの場合は第二の画像の画素、すなわち、対象画像の画素値を出力する。このような処理を実行することで、平行移動のみならず回転移動を有する画像から対象物を抽出することが可能となる。   The target image extraction unit 15 outputs a background color (for example, black or blue) determined in advance as the background when the difference value <Th, and the pixel of the second image, that is, the target image when the difference value ≧ Th. The pixel value of is output. By executing such processing, it is possible to extract an object from an image having a rotational movement as well as a parallel movement.

なお、特徴点が4組求められる場合は、当該座標の組を次式に示すＨｏｍｏｇｒａｐｈｙ Ｍａｔｒｉｘに代入することによりずれ量を算出することも可能である。   When four sets of feature points are obtained, it is also possible to calculate the amount of deviation by substituting the set of coordinates into Homography Matrix shown in the following equation.

Figure 2006309529
対象抽出に使用する画像は、背景のみの背景画像と対象と背景とが映っている対象画像の２枚があれば抽出可能であるが、撮影した複数枚の画像を表示し、ユーザが最適な画像を選択することが出来るようにすることで、ユーザの望む抽出画像を生成することが可能となる。
Figure 2006309529
 The images used for target extraction can be extracted as long as there are two images: a background image with only a background and a target image in which the target and the background are reflected. By making it possible to select an image, an extracted image desired by the user can be generated.

図１１は、実施例１に示す方法を、免許証やパスポート等の対象の画像サイズが規定されている証明書写真装置に適用する実施例２のフローを示す。例えばパスポートの場合、画像サイズは ４．５ｃｍ×３．５ｃｍ、頭頂部に余白、背景は無背景（薄い色）と規定されている。   FIG. 11 shows a flow of the second embodiment in which the method shown in the first embodiment is applied to a certificate photograph apparatus in which the target image size such as a license or a passport is defined. For example, in the case of a passport, the image size is specified as 4.5 cm × 3.5 cm, the margin at the top of the head, and the background as no background (light color).

実施例１で、図１２に示す領域を抽出した例について説明する。ステップＳ２１で、抽出した領域の上部を顔とみなして、当該領域に外接する対象矩形領域をセットする（図１３）。次にステップＳ２２で、当該対象矩形領域に外接する、縦横比Ｎ：Ｍ＝９：７の余白付写真領域をセットする（図１４）。   An example in which the region shown in FIG. 12 is extracted in the first embodiment will be described. In step S21, the upper part of the extracted area is regarded as a face, and a target rectangular area circumscribing the area is set (FIG. 13). Next, in step S22, a photo area with a margin with an aspect ratio N: M = 9: 7 circumscribing the target rectangular area is set (FIG. 14).

次にステップＳ２３で、対象領域の上下に余白があるかを判定し、余白がある場合はステップＳ２４に進み、余白を対象領域の上側とし、余白付写真領域の縦横比を保存し、縦４５ｍｍとなるように拡縮して写真領域をセットする。対象領域の上下に余白が無い場合は、ステップＳ２５に進み、余白付写真領域の縦横比を保存し、縦３８ｍｍとなるように拡縮し、対象領域の最上部に余白７ｍｍを追加して写真領域をセットする。   Next, in step S23, it is determined whether there is a margin above and below the target area. If there is a margin, the process proceeds to step S24, the margin is set above the target area, the aspect ratio of the photo area with the margin is saved, and the height is 45 mm. Set the photo area by scaling. If there are no margins above and below the target area, the process proceeds to step S25, where the aspect ratio of the photo area with margins is saved, enlarged or reduced to 38 mm in length, and a 7 mm margin is added to the top of the target area. Set.

これにより，抽出した対象領域から証明写真を生成することが可能になる。
（付記１）
第一の視点、視線で第一の画像を撮影し、第一の画像から少なくとも３点の特徴点を抽出し、任意の第二の視点、視線で第二の画像を撮影し、第一の画像内の特徴点に対応する第二の画像内の点を、少なくとも３点推定して対応する特徴点の組を３組抽出し、抽出した３組の特徴点の座標を基に、第一の画像と第二の画像とのずれ量を算出して第二の画像の座標を第一の画像に正規化し、第一の画像と正規化した第二の画像の対応する画素について画素値の差分を算出し、算出した差分が、予め設定した所定の閾値よりも大きい画素を、対象領域として抽出することを特徴とする画像抽出方法。
（付記２）
付記１に記載の画像抽出方法であって、アフィン行列に、類似の特徴を有する点の組の座標を代入することにより第二の画像を撮影した視点、視線を特定することを特徴とする画像抽出方法。
（付記３）
付記１に記載の画像抽出方法であって、さらに、入力した複数の画像を表示し、１枚以上の背景画像、およびまたは、１枚以上の背景と対象とを含む画像のいずれか一方、または両方を指定することを特徴とする画像抽出方法。
（付記４）
視点、視線の６軸自由度を有し、少なくとも二つの画像を撮影する手段と、前記画像撮影手段で撮影した第一の画像から特徴点を抽出する特徴点抽出手段と、第一の画像の特徴点と、第二の画像とを入力し、第一の画像の特徴点に対応する点を第二の画像内で推定してその点の座標を検出し、第一の画像の特徴点の座標と、検出した点の座標とから第一の画像と第二の画像のずれ量を算出するずれ量算出手段と、前記ずれ量算出手段で算出したずれ量を基に、第一の画像の画素と、第一の画像の画素に対応する第二の画像の画素が同一位置となるように第二の画像の座標を補正するずれ補正画像生成手段と、
第一の画像の画素値と、第一の画像の画素に対応する、前記ずれ補正画像生成手段で生成した第二の画像の画素値との差分値を算出する差分算出手段と、差分が予め定めた閾値より大きい領域を対象として抽出する手段とを有することを特徴とする画像抽出装置。
（付記５）
付記１に記載の画像抽出方法であって、さらに、抽出画像に外接する矩形領域を設定し、抽出画像の左右、或いは上下に余白を付加することで、該外接矩形領域に外接する、所定の縦横比の余白付領域を設定し、該余白付領域を、縦横比を変えることなく所定の寸法に拡縮することを特徴とする。
（付記６）
第一の視点、視線で第一の画像を撮影し、第一の画像から少なくとも４点の特徴点を抽出し、任意の第二の視点、視線で第二の画像を撮影し、第一の画像内の特徴点に対応する第二の画像内の点を４点推定して対応する特徴点の組を４組抽出し、ホモグラフィー行列に、抽出した４組の特徴点の座標を代入することにより第一の画像と第二の画像とのずれ量を算出して第二の画像の座標を第一の画像に正規化し、第一の画像と正規化した第二の画像の対応する画素について画素値の差分を算出し、算出した差分が、予め設定した所定の閾値よりも大きい画素を、対象領域として抽出することを特徴とする画像抽出方法。
（付記７）
付記５に記載の画像抽出方法であって、さらに、余白付領域の上下に余白が無い場合は、縦横比を変えることなく所定の寸法に拡縮した後に、余白付領域の上下に所定の余白を追加することを特徴とする。 This makes it possible to generate an ID photo from the extracted target area.
(Appendix 1)
The first image is taken from the first viewpoint and line of sight, at least three feature points are extracted from the first image, the second image is taken from any second viewpoint and line of sight, At least three points in the second image corresponding to the feature points in the image are estimated, and three sets of corresponding feature points are extracted. Based on the coordinates of the extracted three feature points, the first The amount of deviation between the first image and the second image is calculated, the coordinates of the second image are normalized to the first image, and the pixel values of the corresponding pixels of the second image normalized with the first image are calculated. An image extraction method characterized by calculating a difference, and extracting a pixel whose calculated difference is larger than a predetermined threshold value as a target region.
(Appendix 2)
The image extraction method according to attachment 1, wherein the viewpoint and line of sight of the second image is specified by substituting the coordinates of a set of points having similar characteristics into an affine matrix. Extraction method.
(Appendix 3)
The image extraction method according to attachment 1, further comprising: displaying one or more background images and one or more background images and / or images including one or more backgrounds and objects, or An image extraction method characterized by specifying both.
(Appendix 4)
Means for photographing at least two images having six degrees of freedom of viewpoint and line of sight, feature point extracting means for extracting feature points from the first image photographed by the image photographing means, The feature point and the second image are input, the point corresponding to the feature point of the first image is estimated in the second image, the coordinates of the point are detected, and the feature point of the first image is detected. Based on the coordinates and the coordinates of the detected points, a deviation amount calculating means for calculating a deviation amount between the first image and the second image, and based on the deviation amount calculated by the deviation amount calculating means, A displacement correction image generating means for correcting the coordinates of the second image so that the pixel and the pixel of the second image corresponding to the pixel of the first image are in the same position;
A difference calculating means for calculating a difference value between a pixel value of the first image and a pixel value of the second image generated by the shift correction image generating means corresponding to the pixel of the first image; An image extracting apparatus comprising means for extracting a region larger than a predetermined threshold as a target.
(Appendix 5)
The image extraction method according to attachment 1, further comprising setting a circumscribing rectangular area to the extracted image, and adding a margin to the left or right or upper and lower sides of the extracted image to circumscribe the circumscribed rectangular area. A margined area having an aspect ratio is set, and the margined area is enlarged or reduced to a predetermined size without changing the aspect ratio.
(Appendix 6)
The first image is taken at the first viewpoint and line of sight, at least four feature points are extracted from the first image, the second image is taken at any second viewpoint and line of sight, Four points in the second image corresponding to the feature points in the image are estimated, four sets of corresponding feature points are extracted, and the coordinates of the four extracted feature points are substituted into the homography matrix. Accordingly, the amount of deviation between the first image and the second image is calculated, the coordinates of the second image are normalized to the first image, and the first image and the corresponding pixel of the normalized second image An image extraction method characterized by calculating a pixel value difference for, and extracting a pixel having the calculated difference larger than a predetermined threshold value as a target region.
(Appendix 7)
The image extraction method according to attachment 5, wherein if there are no margins above and below the marginal area, the predetermined margins are formed above and below the marginal area after scaling to a predetermined dimension without changing the aspect ratio. It is characterized by adding.

本発明のフロー例Example flow of the present invention 実施例１Example 1 特徴点の例Example of feature points 対象画像の抽出例Example of target image extraction ６軸ずれの説明図Explanatory drawing of 6-axis deviation （１）〜（５）軸ずれの効果(1) to (5) Effect of axis deviation （６）軸ずれの効果(6) Effect of shaft misalignment 平行移動による各点のずれMisalignment of each point due to translation ６軸ずれが生じた画像Image with 6-axis deviation 回転移動による各点のずれMisalignment of each point due to rotational movement 実施例２のフローExample 2 flow 抽出画像例Extracted image example 対象矩形領域Target rectangular area 余白付写真領域Photo area with margins 写真領域Photo area

符号の説明Explanation of symbols

１０ 画像撮影手段
１１ 特徴点抽出手段
１２ ずれ量算出手段
１３ ずれ補正画像生成手段
１４ 差分算出手段
１５ 対象画像抽出手段 DESCRIPTION OF SYMBOLS 10 Image photographing means 11 Feature point extracting means 12 Deviation amount calculating means 13 Deviation corrected image generating means 14 Difference calculating means 15 Target image extracting means

Claims (5)

第一の視点、視線で第一の画像を撮影し、
第一の画像から少なくとも３点の特徴点を抽出し、
任意の第二の視点、視線で第二の画像を撮影し、
第一の画像内の特徴点に対応する第二の画像内の点を、少なくとも３点推定して対応する特徴点の組を３組抽出し、
抽出した３組の特徴点の座標を基に、第一の画像と第二の画像とのずれ量を算出して第二の画像の座標を第一の画像に正規化し、
第一の画像と正規化した第二の画像の対応する画素について画素値の差分を算出し、算出した差分が、予め設定した所定の閾値よりも大きい画素を、対象領域として抽出することを特徴とする画像抽出方法。 Take the first image from the first viewpoint, line of sight,
Extract at least 3 feature points from the first image,
Take a second image with any second viewpoint, line of sight,
At least three points in the second image corresponding to the feature points in the first image are estimated to extract three sets of corresponding feature points;
Based on the coordinates of the three extracted feature points, the amount of deviation between the first image and the second image is calculated, and the coordinates of the second image are normalized to the first image.
A pixel value difference is calculated for corresponding pixels of the first image and the normalized second image, and a pixel having the calculated difference larger than a predetermined threshold value is extracted as a target region. Image extraction method. 請求項１に記載の画像抽出方法であって、
アフィン行列に、類似の特徴を有する点の組の座標を代入することにより第二の画像を撮影した視点、視線を特定することを特徴とする画像抽出方法。 The image extraction method according to claim 1,
An image extraction method characterized by specifying the viewpoint and line of sight of a second image by substituting the coordinates of a set of points having similar characteristics into an affine matrix. 請求項１に記載の画像抽出方法であって、さらに、
入力した複数の画像を表示し、１枚以上の背景画像、およびまたは、１枚以上の背景と対象とを含む画像のいずれか一方、または両方を指定することを特徴とする画像抽出方法。 The image extraction method according to claim 1, further comprising:
An image extraction method for displaying a plurality of input images and designating one or both of one or more background images and / or one or more images including a background and a target. 視点、視線の６軸自由度を有し、少なくとも二つの画像を撮影する手段と、
前記画像撮影手段で撮影した第一の画像から特徴点を抽出する特徴点抽出手段と、
第一の画像の特徴点と、第二の画像とを入力し、第一の画像の特徴点に対応する点を第二の画像内で推定してその点の座標を検出し、第一の画像の特徴点の座標と、検出した点の座標とから第一の画像と第二の画像のずれ量を算出するずれ量算出手段と、
前記ずれ量算出手段で算出したずれ量を基に、第一の画像の画素と、第一の画像の画素に対応する第二の画像の画素が同一位置となるように第二の画像の座標を補正するずれ補正画像生成手段と、
第一の画像の画素値と、第一の画像の画素に対応する、前記ずれ補正画像生成手段で生成した第二の画像の画素値との差分値を算出する差分算出手段と、
差分が予め定めた閾値より大きい領域を対象として抽出する手段とを有することを特徴とする画像抽出装置。 Means for photographing at least two images having six degrees of freedom of viewpoint and line of sight
Feature point extracting means for extracting feature points from the first image photographed by the image photographing means;
The feature point of the first image and the second image are input, the point corresponding to the feature point of the first image is estimated in the second image, and the coordinates of the point are detected. A deviation amount calculating means for calculating a deviation amount between the first image and the second image from the coordinates of the feature points of the image and the coordinates of the detected points;
Based on the shift amount calculated by the shift amount calculation means, the coordinates of the second image are such that the first image pixel and the second image pixel corresponding to the first image pixel are in the same position. Misalignment correction image generation means for correcting
Difference calculating means for calculating a difference value between a pixel value of the first image and a pixel value of the second image generated by the shift correction image generating means corresponding to the pixel of the first image;
An image extracting apparatus comprising: means for extracting a region where the difference is larger than a predetermined threshold. 請求項１に記載の画像抽出方法であって、さらに、
抽出画像に外接する矩形領域を設定し、
抽出画像の左右、或いは上下に余白を付加することで、該外接矩形領域に外接する、所定の縦横比の余白付領域を設定し、
該余白付領域を、縦横比を変えることなく所定の寸法に拡縮することを特徴とする画像抽出方法。 The image extraction method according to claim 1, further comprising:
Set a rectangular area that circumscribes the extracted image,
By adding margins on the left and right or top and bottom of the extracted image, a margin area with a predetermined aspect ratio that circumscribes the circumscribed rectangular area is set,
An image extracting method, wherein the margined region is enlarged or reduced to a predetermined size without changing an aspect ratio.
JP2005131720A 2005-04-28 2005-04-28 Image extraction method and device, and device for generating photograph for certificates Withdrawn JP2006309529A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005131720A JP2006309529A (en) 2005-04-28 2005-04-28 Image extraction method and device, and device for generating photograph for certificates

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005131720A JP2006309529A (en) 2005-04-28 2005-04-28 Image extraction method and device, and device for generating photograph for certificates

Publications (1)

Publication Number Publication Date
JP2006309529A true JP2006309529A (en) 2006-11-09

Family

ID=37476335

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005131720A Withdrawn JP2006309529A (en) 2005-04-28 2005-04-28 Image extraction method and device, and device for generating photograph for certificates

Country Status (1)

Country Link
JP (1) JP2006309529A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009004916A1 (en) * 2007-06-29 2009-01-08 Nec Corporation Masquerade detection system, masquerade detection method and masquerade detection program
JP2011134322A (en) * 2009-12-23 2011-07-07 Intel Corp Model-based play field registration

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009004916A1 (en) * 2007-06-29 2009-01-08 Nec Corporation Masquerade detection system, masquerade detection method and masquerade detection program
US8315441B2 (en) 2007-06-29 2012-11-20 Nec Corporation Masquerade detection system, masquerade detection method and masquerade detection program
JP2011134322A (en) * 2009-12-23 2011-07-07 Intel Corp Model-based play field registration
KR101232509B1 (en) * 2009-12-23 2013-02-12 인텔 코오퍼레이션 Model-based play field registration
US8553982B2 (en) 2009-12-23 2013-10-08 Intel Corporation Model-based play field registration

Similar Documents

Publication Publication Date Title
US9769443B2 (en) Camera-assisted two dimensional keystone correction
US9361680B2 (en) Image processing apparatus, image processing method, and imaging apparatus
KR101175097B1 (en) Panorama image generating method
JP4529837B2 (en) Imaging apparatus, image correction method, and program
KR101192893B1 (en) Image capture apparatus, computer readable recording medium, and control method
TWI332638B (en) Image processing apparatus, image processing method and recordable medium
US20100033553A1 (en) In-camera panorama image stitching assistance
JP5803467B2 (en) Image processing apparatus, imaging apparatus, and image processing method
JP2016218905A (en) Information processing device, information processing method and program
TW200425736A (en) Image processing system, projector and image processing method
JP2007201948A (en) Imaging apparatus, image processing method and program
US20160050372A1 (en) Systems and methods for depth enhanced and content aware video stabilization
JP2007074578A (en) Image processor, photography instrument, and program
JP6656035B2 (en) Image processing apparatus, imaging apparatus, and control method for image processing apparatus
CN110944101A (en) Image pickup apparatus and image recording method
US9002132B2 (en) Depth image noise removal apparatus and method based on camera pose
JP6104066B2 (en) Image processing apparatus and image processing method
EP2439700B1 (en) Method and Arrangement for Identifying Virtual Visual Information in Images
JP2006309529A (en) Image extraction method and device, and device for generating photograph for certificates
JP4871315B2 (en) Compound eye photographing apparatus, control method therefor, and program
JP6320165B2 (en) Image processing apparatus, control method therefor, and program
KR20220115223A (en) Method and apparatus for multi-camera calibration
JP6995529B2 (en) Image pickup device and its control method
TWI516120B (en) Method for generating panoramic image and image capturing device thereof
JP2009068935A (en) Stereo measurement apparatus, stereo measurement method, and stereo measurement processing program

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20080701