JP2005182164A - Image area determination method, and image area determination apparatus, image correction apparatus, and digital watermark extraction apparatus capable of using method - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To solve a problem wherein watermark detection from a picked-up image of a print image embedded with a digital watermark requires high precision extraction of an original image area from the picked-up image. <P>SOLUTION: An edge detection filter part 42 detects edges of an original image area included in a picked-up image to determine points on the edges as vertex search start points Vs. An edge tracking part 44 tracks the edge lines from the vertex search start points Vs in the directions of vertices of the original image area to determine end points of the edge lines and set them as tentative vertices Ve of the original image area. A Fourier transform processing part 46 applies the Fourier transform processing to the surrounding images of the tentative vertices Ve. A phase angle calculation part 47 calculates phase angles of low frequency components after the Fourier transform. A vertex displacement adjustment part 48 computes the displacements of the tentative vertices Ve from true vertex positions according to the calculated phase angles to determine final detection vertices Vf displacement-adjusted from the tentative vertices Ve. An image area extraction part 41 extracts the original image area from the picked-up image according to the coordinate values of the final detection vertices Vf. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は、画像処理技術に関し、特に電子透かしの埋め込まれた印刷画像を撮影した画像の原画像領域を判定する画像領域判定方法、ならびにその方法を利用可能な画像領域判定装置、画像補正装置および電子透かし抽出装置に関する。   The present invention relates to an image processing technique, and in particular, an image area determination method for determining an original image area of an image obtained by photographing a print image embedded with a digital watermark, and an image area determination apparatus, an image correction apparatus, and The present invention relates to a digital watermark extraction apparatus.

電子透かしが埋め込まれたデジタル画像を印刷媒体に印刷し、印刷された画像をデジタルカメラやスキャナ等で撮影して再度デジタル化して埋め込まれた電子透かしを検出するシステムがある。たとえば、チケットやカードを利用者に発行する際に、発行者や利用者に関する識別情報などを電子透かしとして視覚的に検知できないように画像に埋め込んでチケットやカードに印刷する。チケットやカードの利用時に、その電子透かしを検出することにより、偽造や不正入手などの不正行為を防止することができる。また、複写機やプリンタで画像を印刷する際に、著作権情報や機器の識別番号等を電子透かしとして埋めこんで印刷することにより、著作物、有価証券等の不正コピーを防止することができる。   There is a system for printing a digital image in which a digital watermark is embedded on a printing medium, photographing the printed image with a digital camera, a scanner, or the like and digitizing it again to detect the embedded digital watermark. For example, when a ticket or card is issued to a user, identification information about the issuer or the user is embedded in an image so that it cannot be visually detected as a digital watermark and printed on the ticket or card. By detecting the digital watermark when using a ticket or card, it is possible to prevent fraudulent acts such as forgery and unauthorized acquisition. In addition, when an image is printed with a copier or printer, it is possible to prevent unauthorized copying of copyrighted works, securities, etc. by embedding copyright information and device identification numbers as digital watermarks. .

一般にデジタルカメラやスキャナを用いて印刷画像を撮影してデジタル化すると、撮影画像には、撮影機器のレンズの形状や焦点距離に依存したレンズ歪みや、撮影時の光軸の傾きに起因する透視歪みが生じ、印刷画像と撮影画像の間で画素のずれが現れる。そのため、印刷画像に埋め込まれた電子透かしを撮影画像から正しく抽出することは困難であり、撮影画像の歪み補正が必要となる。   Generally, when a printed image is photographed and digitized using a digital camera or scanner, the photographed image can be seen through due to lens distortion that depends on the lens shape and focal length of the photographing device and the tilt of the optical axis at the time of photographing. Distortion occurs, and a pixel shift appears between the printed image and the captured image. Therefore, it is difficult to correctly extract the digital watermark embedded in the print image from the photographed image, and it is necessary to correct the distortion of the photographed image.

特許文献１には、画像の周囲に基準枠を付加して印刷し、基準枠の付加された印刷画像を撮影して、基準枠をもとに撮影画像の画像領域の大きさを算出し、撮影画像の歪みを補正する技術が開示されている。
特開２００３−１１０８４６号公報 In Patent Document 1, a reference frame is added around an image for printing, a print image with the reference frame added is photographed, and the size of the image area of the photographed image is calculated based on the reference frame. A technique for correcting distortion of a captured image is disclosed.
Japanese Patent Laid-Open No. 2003-110846

撮影による画像歪みを補正するためには、まず撮影画像に含まれる原画像領域を正確に抽出する必要がある。原画像領域の画像枠をエッジ抽出処理によって抽出するのが一般的であるが、撮影画像には歪みがある上、撮影状況によってはノイズが含まれるため、高精度でエッジを抽出することは難しい。原画像領域を正確に抽出できなかった場合、画像歪みの補正が正しくなされる保証がなくなる。その結果、原画像領域に埋め込まれた電子透かしの検出に失敗したり、検出精度が落ちるなどの問題が生じる。   In order to correct image distortion caused by shooting, it is first necessary to accurately extract an original image area included in the shot image. It is common to extract the image frame of the original image area by edge extraction processing, but it is difficult to extract edges with high accuracy because the captured image is distorted and noise is included depending on the shooting situation . If the original image area cannot be extracted accurately, there is no guarantee that the image distortion will be corrected correctly. As a result, problems such as failure to detect the digital watermark embedded in the original image area and a decrease in detection accuracy occur.

特許文献１に開示された技術では、電子透かしの埋め込まれた画像を印刷する際に、画像の周囲に基準枠を付加して印刷する必要があり、手間がかかり、印刷画像の見映えも悪くなる。   In the technique disclosed in Patent Document 1, when printing an image in which a digital watermark is embedded, it is necessary to add a reference frame to the periphery of the image, which is troublesome and the printed image does not look good. Become.

本発明はこうした状況に鑑みてなされたもので、その目的は、印刷画像を撮影した画像において原画像領域を簡易な方法で正確に判定することのできる画像領域判定技術を提供することにある。また、別の目的は、その画像領域判定技術を利用して、撮影による画像歪みを補正することのできる画像補正技術、さらには電子透かしの埋め込まれた印刷画像を撮影した画像から電子透かしを高い精度で検出することのできる電子透かし抽出技術を提供することにある。   The present invention has been made in view of such circumstances, and an object thereof is to provide an image region determination technique that can accurately determine an original image region by a simple method in an image obtained by photographing a print image. Another object is to use the image area determination technology to correct image distortion caused by shooting, and to increase the digital watermark from an image obtained by shooting a print image embedded with a digital watermark. An object of the present invention is to provide a digital watermark extraction technique that can be detected with high accuracy.

本発明のある態様は画像領域判定装置に関する。この装置は、原画像が印刷された印刷媒体の撮影画像を取得する画像入力部と、前記撮影画像における検査画像領域を空間周波数領域に変換した場合の周波数成分の位相にもとづいて、前記撮影画像における原画像領域を判定する画像領域判定部とを含む。前記画像領域判定部は、前記検査画像領域を空間周波数領域に変換した場合の低周波数成分の位相角にもとづいて、前記原画像領域のエッジを検出するエッジ検出部を含んでもよい。前記画像領域判定部は、前記検査画像領域を空間周波数領域に変換した場合の低周波数成分の位相角にもとづいて、前記原画像領域の頂点の位置を特定する頂点特定部を含んでもよい。   One embodiment of the present invention relates to an image region determination device. The apparatus includes an image input unit that acquires a captured image of a print medium on which an original image is printed, and the captured image based on a phase of a frequency component when an inspection image region in the captured image is converted into a spatial frequency region. And an image area determination unit for determining an original image area. The image region determination unit may include an edge detection unit that detects an edge of the original image region based on a phase angle of a low frequency component when the inspection image region is converted into a spatial frequency region. The image region determination unit may include a vertex specifying unit that specifies a position of a vertex of the original image region based on a phase angle of a low frequency component when the inspection image region is converted into a spatial frequency region.

空間周波数領域への変換には、たとえばフーリエ変換を用いることができる。印刷媒体を撮影すると、原画像の印刷領域の周辺の余白部分も合わせて撮影されるため、撮影画像から余白部分を取り除いた原画像領域を抽出することが必要になるが、この構成によれば、空間周波数領域における周波数成分を用いて頂点やエッジなどの原画像領域の特徴点を検出するため、撮影画像に含まれるノイズの影響を受けることなく、撮影領域から原画像領域を高精度で抽出することができる。   For example, Fourier transform can be used for the conversion to the spatial frequency domain. When the print medium is photographed, the margin part around the print area of the original image is also photographed. Therefore, it is necessary to extract the original image area obtained by removing the margin part from the photographed image. Since the feature points of the original image area such as vertices and edges are detected using the frequency components in the spatial frequency domain, the original image area can be extracted from the shooting area with high accuracy without being affected by noise contained in the captured image. can do.

前記頂点特定部は、前記原画像領域の暫定的な頂点付近の検査画像領域を空間周波数領域に変換した場合の低周波数成分の位相角と、前記暫定的な頂点の位置に前記原画像領域の真の頂点があると仮定した場合の参照画像領域を空間周波数領域に変換した場合の低周波数成分の位相角との差にもとづいて、前記暫定的な頂点の真の位置からのずれを求めてもよい。この暫定的な頂点は、前記エッジ検出部により検出されたエッジの端点であってもよく、何らかの手法でおおまかに求めたものであってもよい。エッジ検出部により検出されるエッジの端点が原画像領域のおおよその頂点の位置を与えるものであっても、頂点特定部はその頂点の位置の精度を改善することができる。   The vertex specifying unit includes a phase angle of a low-frequency component when the inspection image region near the temporary vertex of the original image region is converted into a spatial frequency region, and the position of the original image region at the position of the temporary vertex. Based on the difference from the phase angle of the low-frequency component when the reference image region is converted to the spatial frequency region when it is assumed that there is a true vertex, the deviation of the provisional vertex from the true position is obtained. Also good. The provisional vertex may be an end point of the edge detected by the edge detection unit, or may be obtained roughly by some method. Even if the end point of the edge detected by the edge detector gives the approximate vertex position of the original image area, the vertex specifying part can improve the accuracy of the vertex position.

本発明の別の態様は画像補正装置に関する。この装置は、原画像が印刷された印刷媒体の撮影画像を取得する画像入力部と、前記撮影画像における検査画像領域を空間周波数領域に変換した場合の周波数成分の位相にもとづいて、前記撮影画像における原画像領域を判定する画像領域判定部と、判定された前記原画像領域の撮影による歪みを補正する画像補正部とを含む。   Another embodiment of the present invention relates to an image correction apparatus. The apparatus includes an image input unit that acquires a captured image of a print medium on which an original image is printed, and the captured image based on a phase of a frequency component when an inspection image region in the captured image is converted into a spatial frequency region. An image region determination unit that determines an original image region and an image correction unit that corrects distortion due to photographing of the determined original image region.

本発明のさらに別の態様は電子透かし抽出装置に関する。この装置は、電子透かしが埋め込まれた原画像が印刷された印刷媒体の撮影画像を取得する画像入力部と、前記撮影画像における検査画像領域を空間周波数領域に変換した場合の周波数成分の位相にもとづいて、前記撮影画像における原画像領域を判定する画像領域判定部と、判定された前記原画像領域の撮影による歪みを補正する画像補正部と、補正された前記原画像領域から前記電子透かしを抽出する抽出部とを含む。   Still another embodiment of the present invention relates to a digital watermark extraction apparatus. This apparatus includes an image input unit that acquires a captured image of a print medium on which an original image embedded with a digital watermark is printed, and a phase of a frequency component when an inspection image region in the captured image is converted into a spatial frequency region. First, an image area determination unit that determines an original image area in the captured image, an image correction unit that corrects distortion due to shooting of the determined original image area, and the digital watermark from the corrected original image area. An extraction unit for extraction.

本発明のさらに別の態様は画像領域判定方法に関する。この方法は、原画像が印刷された印刷媒体の撮影画像を取得するステップと、前記撮影画像における検査点付近の画像領域を空間周波数領域に変換した場合の周波数成分の位相にもとづいて、前記撮影画像における原画像領域を判定するステップとを含む。   Still another embodiment of the present invention relates to an image region determination method. This method is based on the steps of obtaining a photographed image of a print medium on which an original image is printed, and the photographing based on the phase of a frequency component when an image area near an inspection point in the photographed image is converted into a spatial frequency domain. Determining an original image area in the image.

前記原画像領域を判定するステップは、前記検査点付近の画像領域を空間周波数領域に変換した場合の低周波数成分の実軸成分が実質的に零である場合に、前記検査点が前記原画像領域のエッジ上にあると判定するエッジ検出ステップを含んでもよい。「実質的に零である」とは、ノイズの影響を考慮した誤差の範囲で、零に近いことをいう。   The step of determining the original image area includes determining that the inspection point is the original image when the real axis component of the low frequency component when the image area in the vicinity of the inspection point is converted into a spatial frequency domain is substantially zero. An edge detection step for determining that the area is on an edge of the region may be included. “Substantially zero” means being close to zero within an error range that takes into account the effects of noise.

前記原画像領域を判定するステップは、前記検査点を前記エッジに沿って走査しながら前記エッジ検出ステップを繰り返すことにより、エッジラインを追跡するステップをさらに含んでもよい。ここで「エッジに沿って走査」とは、エッジに平行に走査するだけではなく、所定の幅でエッジと垂直な方向への走査も組み合わせて走査することも含める。エッジに沿った走査により、エッジラインの端点に到達すると、その端点が原画像領域の頂点の暫定的な位置を与える。   The step of determining the original image region may further include a step of tracking an edge line by repeating the edge detection step while scanning the inspection point along the edge. Here, “scanning along the edge” includes not only scanning in parallel with the edge but also scanning in combination with scanning in a direction perpendicular to the edge with a predetermined width. When the end point of the edge line is reached by scanning along the edge, the end point gives a temporary position of the vertex of the original image area.

本発明のさらに別の態様はコンピュータプログラムに関する。このプログラムは、電子透かしが埋め込まれた原画像が印刷された印刷媒体の撮影画像を取得するステップと、前記撮影画像における検査画像領域を空間周波数領域に変換した場合の周波数成分の位相にもとづいて、前記撮影画像における原画像領域を判定するステップと、判定された前記原画像領域の撮影による歪みを補正するステップと、補正された前記原画像領域から前記電子透かしを抽出するステップとをコンピュータに実行させる。   Yet another embodiment of the present invention relates to a computer program. This program is based on a step of acquiring a captured image of a print medium on which an original image embedded with a digital watermark is printed, and a phase of a frequency component when an inspection image region in the captured image is converted into a spatial frequency region. A step of determining an original image area in the captured image, a step of correcting distortion caused by shooting of the determined original image area, and a step of extracting the digital watermark from the corrected original image area. Let it run.

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。   It should be noted that any combination of the above-described constituent elements and a conversion of the expression of the present invention between a method, an apparatus, a system, a recording medium, a computer program, etc. are also effective as an aspect of the present invention.

本発明によれば、印刷画像を撮影した画像において原画像領域を高精度で判定することができる。それにより、撮影による歪みを正確に補正することができ、また、電子透かしの埋め込まれた印刷画像を撮影した画像の場合、原画像領域から電子透かしを高い精度で検出することができる。   According to the present invention, an original image region can be determined with high accuracy in an image obtained by photographing a print image. Thereby, distortion caused by photographing can be accurately corrected, and in the case of an image obtained by photographing a print image embedded with a digital watermark, the digital watermark can be detected from the original image region with high accuracy.

本発明の実施の形態に係る電子透かしシステムは、図１の電子透かし埋め込み装置１００と図３の電子透かし抽出装置２００とを含み、電子透かし埋め込み装置１００によって電子透かしの埋め込まれた印刷画像が生成され、電子透かし抽出装置２００によって印刷画像を撮影して、埋め込まれた電子透かしが抽出される。電子透かし埋め込み装置１００は、たとえば、チケットやカードの発行に用いられ、電子透かし抽出装置２００は、チケットやカードの偽造を発見するために用いられる。どちらの装置もネットワーク上の端末からアクセスされるサーバとして構成してもよい。   The digital watermark system according to the embodiment of the present invention includes the digital watermark embedding apparatus 100 in FIG. 1 and the digital watermark extraction apparatus 200 in FIG. 3, and a print image in which the digital watermark is embedded is generated by the digital watermark embedding apparatus 100. Then, the digital watermark extracting apparatus 200 captures the print image, and the embedded digital watermark is extracted. The digital watermark embedding device 100 is used for issuing tickets and cards, for example, and the digital watermark extracting device 200 is used for finding counterfeit tickets and cards. Either device may be configured as a server accessed from a terminal on the network.

図１は、実施の形態に係る電子透かし埋め込み装置１００の構成図である。これらの構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされた画像処理機能および電子透かし埋め込み機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。   FIG. 1 is a configuration diagram of a digital watermark embedding apparatus 100 according to an embodiment. These configurations can be realized in hardware by any computer's CPU, memory, and other LSI, and in software, by programs with an image processing function and digital watermark embedding function loaded in the memory. However, here, functional blocks realized by their cooperation are depicted. Therefore, those skilled in the art will understand that these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof.

画像形成部１０は、入力されたデジタル画像Ｉを印刷時の解像度に変換する。埋め込み部１２は、画像形成部１０によって印刷時の解像度に変換されたデジタル画像Ｉに透かし情報Ｘを埋め込む。   The image forming unit 10 converts the input digital image I into a printing resolution. The embedding unit 12 embeds the watermark information X in the digital image I converted to the printing resolution by the image forming unit 10.

印刷部１４は、埋め込み部１２により透かし情報Ｘが埋め込まれたデジタル画像Ｉを紙やカードなどの印刷媒体に印刷し、印刷画像Ｐを生成する。なお、同図では、印刷部１４は電子透かし埋め込み装置１００の構成要素であるが、印刷部１４を電子透かし埋め込み装置１００の外部に設け、プリンタによって構成してもよく、その場合は、電子透かし埋め込み装置１００とプリンタは、周辺機器の接続ケーブルまたはネットワークで接続される。   The printing unit 14 prints the digital image I in which the watermark information X is embedded by the embedding unit 12 on a print medium such as paper or a card, and generates a print image P. In the figure, the printing unit 14 is a component of the digital watermark embedding device 100. However, the printing unit 14 may be provided outside the digital watermark embedding device 100 and configured by a printer. The embedding device 100 and the printer are connected by a peripheral device connection cable or a network.

図２は、出力された印刷画像Ｐを説明する図である。印刷媒体２４上に電子透かしの埋め込まれたデジタル画像Ｉ（原画像ともいう）が印刷されており、原画像の印刷された領域２０（以下、単に原画像領域２０という）の周囲には通常、印刷媒体２４の余白部分が存在する。   FIG. 2 is a diagram illustrating the output print image P. A digital image I (also referred to as an original image) in which a digital watermark is embedded is printed on the print medium 24, and usually around the printed area 20 of the original image (hereinafter simply referred to as the original image area 20), A margin portion of the print medium 24 exists.

図３は、実施の形態に係る電子透かし抽出装置２００の構成図である。これらの構成も、ＣＰＵ、メモリなどのハードウエア、画像処理機能および電子透かし抽出機能のあるソフトウエアの任意の組み合わせによっていろいろな形で実現することができる。   FIG. 3 is a configuration diagram of the digital watermark extracting apparatus 200 according to the embodiment. These configurations can also be realized in various forms by any combination of hardware such as a CPU and memory, and software having an image processing function and a digital watermark extraction function.

撮影部３０は、電子透かし埋め込み装置１００により生成された印刷画像Ｐを撮影し、印刷画像Ｐをデジタル化する。同図では、撮影部３０は電子透かし抽出装置２００の構成要素であるが、撮影部３０を電子透かし抽出装置２００の外部に設け、デジタルカメラやスキャナによって構成してもよく、その場合は、電子透かし抽出装置２００と、デジタルカメラまたはスキャナは、周辺機器の接続ケーブルまたはネットワークで接続される。特にデジタルカメラに無線通信機能がある場合は、デジタルカメラで取り込まれた撮影画像が無線で電子透かし抽出装置２００に送信される。   The photographing unit 30 photographs the print image P generated by the digital watermark embedding device 100 and digitizes the print image P. In the figure, the photographing unit 30 is a component of the digital watermark extracting apparatus 200. However, the photographing unit 30 may be provided outside the digital watermark extracting apparatus 200 and configured by a digital camera or a scanner. The watermark extraction apparatus 200 and the digital camera or scanner are connected by a connection cable or network of peripheral devices. In particular, when the digital camera has a wireless communication function, a captured image captured by the digital camera is transmitted to the digital watermark extraction apparatus 200 wirelessly.

図４は、撮影された印刷画像Ｐを説明する図である。撮影部３０は、印刷画像Ｐを撮影するとき、印刷媒体２４の原画像領域２０全体を撮影するが、通常、原画像領域２０の周囲の余白部分も撮影する。すなわち撮影領域２６は、一般に、印刷媒体２４上で原画像領域２０よりも広い範囲である。このように撮影部３０による撮影画像には、印刷媒体２４の余白部分も含まれているため、原画像領域２０の切り出しが必要となる。   FIG. 4 is a diagram for explaining a photographed print image P. When photographing the print image P, the photographing unit 30 photographs the entire original image area 20 of the print medium 24, but usually also captures a margin part around the original image area 20. That is, the shooting area 26 is generally wider than the original image area 20 on the print medium 24. As described above, since the photographed image by the photographing unit 30 includes the blank portion of the print medium 24, the original image region 20 needs to be cut out.

図３の画像領域判定部３２は、撮影部３０により取り込まれた撮影画像に含まれる原画像の領域を判定し、図４の撮影領域２６から余白部分を取り除いた原画像領域２０を抽出する。   The image area determination unit 32 in FIG. 3 determines the area of the original image included in the captured image captured by the imaging unit 30, and extracts the original image area 20 from which the blank portion is removed from the imaging area 26 in FIG.

図５は、画像領域判定部３２の詳細な構成を説明する図である。エッジ検出部３８は、撮影部３０により撮影された撮影領域２６に含まれる原画像領域２０のエッジを検出し、さらにそのエッジを追跡してエッジの端点を取得する。頂点特定部４０は、エッジ検出部３８が取得したエッジの端点をもとに、原画像領域２０の頂点の位置を特定する。画像領域抽出部４１は、頂点特定部４０により特定された頂点にもとづいて撮影領域２６から原画像領域２０を抽出し、画像補正部３４に与える。   FIG. 5 is a diagram illustrating a detailed configuration of the image area determination unit 32. The edge detection unit 38 detects an edge of the original image region 20 included in the imaging region 26 photographed by the photographing unit 30, and further tracks the edge to obtain an end point of the edge. The vertex specifying unit 40 specifies the position of the vertex of the original image area 20 based on the edge end points acquired by the edge detecting unit 38. The image region extraction unit 41 extracts the original image region 20 from the shooting region 26 based on the vertex specified by the vertex specification unit 40 and gives it to the image correction unit 34.

エッジ検出部３８と頂点特定部４０の構成を詳しく説明する。エッジ検出部３８のエッジ検出フィルタ部４２は、撮影領域２６に対してエッジ検出フィルタによるエッジ検出処理を施して、撮影領域２６内の原画像領域２０のエッジを検出し、最初に検出したエッジ上の点を頂点探索開始点Ｖｓとしてエッジ追跡部４４に与える。エッジ追跡部４４は、フーリエ変換処理などにより、頂点探索開始点Ｖｓから原画像領域２０の頂点方向にエッジラインを追跡することで、エッジラインの端点を検出し、その端点を原画像領域２０の暫定頂点Ｖｅとして頂点特定部４０に与える。   The configurations of the edge detection unit 38 and the vertex specifying unit 40 will be described in detail. The edge detection filter unit 42 of the edge detection unit 38 performs edge detection processing by the edge detection filter on the imaging region 26 to detect the edge of the original image region 20 in the imaging region 26, and the first detected edge Is given to the edge tracking unit 44 as a vertex search start point Vs. The edge tracking unit 44 detects the end point of the edge line by tracking the edge line from the vertex search start point Vs toward the vertex of the original image area 20 by Fourier transform processing or the like, and detects the end point of the original image area 20. The provisional vertex Ve is given to the vertex specifying unit 40.

頂点特定部４０のフーリエ変換処理部４６は、暫定頂点Ｖｅの周辺の画像にフーリエ変換処理を施す。位相角算出部４７は、フーリエ変換後の低周波数成分の位相角を算出する。頂点位置ずれ調整部４８は、算出された位相角にもとづき、真の頂点位置からの暫定頂点Ｖｅのずれを求め、暫定頂点Ｖｅの位置ずれを調整した最終検出頂点Ｖｆを求め、画像領域抽出部４１に与える。   The Fourier transform processing unit 46 of the vertex specifying unit 40 performs a Fourier transform process on the image around the provisional vertex Ve. The phase angle calculation unit 47 calculates the phase angle of the low frequency component after Fourier transform. The vertex position deviation adjustment unit 48 obtains a deviation of the temporary vertex Ve from the true vertex position based on the calculated phase angle, obtains a final detected vertex Vf in which the position deviation of the temporary vertex Ve is adjusted, and an image region extraction unit 41.

画像領域抽出部４１は、最終検出頂点Ｖｆの座標値をもとに撮影領域２６から原画像領域２０を抽出し、画像補正部３４に与える。画像領域抽出部４１は、最終検出頂点Ｖｆ以外に、エッジ検出部３８により検出されるエッジも利用して、原画像領域２０を抽出してもよい。   The image area extraction unit 41 extracts the original image area 20 from the imaging area 26 based on the coordinate value of the final detection vertex Vf, and provides the extracted image area 20 to the image correction unit 34. The image region extraction unit 41 may extract the original image region 20 by using the edges detected by the edge detection unit 38 in addition to the final detection vertex Vf.

図６は、エッジ検出部３８および頂点特定部４０により原画像領域２０が判定される様子を説明する図である。撮影領域２６は長方形ＥＦＨＧ、原画像領域２０は長方形ＡＢＤＣで図示されている。撮影領域２６の長方形ＥＦＨＧの大きさは、縦ｈｅｉｇｈｔ画素、横ｗｉｄｔｈ画素である。以下では、横方向をｘ軸、縦方向をｙ軸とする座標系を設定する。   FIG. 6 is a diagram for explaining how the original image area 20 is determined by the edge detection unit 38 and the vertex specifying unit 40. The imaging area 26 is illustrated as a rectangle EFHG, and the original image area 20 is illustrated as a rectangle ABDC. The size of the rectangle EFHG in the imaging region 26 is vertical height pixels and horizontal width pixels. In the following, a coordinate system in which the horizontal direction is the x axis and the vertical direction is the y axis is set.

エッジ検出部３８のエッジ検出フィルタ部４２は、撮影領域２６の中心Ｏを求め、撮影領域２６の左上の頂点Ｅから中心Ｏに向けて、傾きθのエッジ走査方向５０を定める。エッジ検出フィルタ部４２は、頂点Ｅからエッジ走査方向５０に沿って撮影領域２６を走査し、エッジ検出フィルタなどを用いて、原画像領域２０のエッジを検出する。これにより、エッジ走査方向５０と原画像領域２０の辺ＡＣとの交点Ｉにおいて、最初にエッジが検出される。この交点Ｉが頂点探索開始点Ｖｓである。   The edge detection filter unit 42 of the edge detection unit 38 obtains the center O of the imaging region 26 and determines the edge scanning direction 50 with the inclination θ from the upper left vertex E of the imaging region 26 toward the center O. The edge detection filter unit 42 scans the imaging region 26 along the edge scanning direction 50 from the vertex E, and detects an edge of the original image region 20 using an edge detection filter or the like. Thus, an edge is first detected at the intersection I between the edge scanning direction 50 and the side AC of the original image area 20. This intersection I is the vertex search start point Vs.

その後、エッジ追跡部４４は、左向きに頂点走査方向５２を定め、点Ｉから頂点走査方向５２に沿って撮影領域２６を走査し、フーリエ変換処理などを利用して、原画像領域２０のエッジラインを追跡する。エッジ追跡部４４による頂点走査方向５２に沿ったエッジラインの追跡は、エッジラインの端点が検出された時点で停止する。この端点が暫定頂点Ｖｅである。   Thereafter, the edge tracking unit 44 determines the vertex scanning direction 52 in the left direction, scans the imaging region 26 from the point I along the vertex scanning direction 52, and uses the Fourier transform process or the like, thereby using the edge line of the original image region 20. To track. The tracking of the edge line along the vertex scanning direction 52 by the edge tracking unit 44 stops when the end point of the edge line is detected. This end point is the provisional vertex Ve.

さらに、頂点特定部４０は、エッジ追跡部４４により得られた暫定頂点Ｖｅの位置ずれを調整して、原画像領域２０の頂点Ａの座標を最終検出頂点Ｖｆとして求める。   Further, the vertex specifying unit 40 adjusts the positional deviation of the temporary vertex Ve obtained by the edge tracking unit 44, and obtains the coordinates of the vertex A of the original image area 20 as the final detected vertex Vf.

なお、エッジ追跡部４４が頂点Ａを探索する向きは、同図の例では左向きであったが、エッジ走査方向５０が原画像領域２０の辺ＡＢと交わる場合は、頂点Ａを探索する向きは、上向きとなることに留意する。   The direction in which the edge tracking unit 44 searches for the vertex A is leftward in the example of the figure, but when the edge scanning direction 50 intersects the side AB of the original image area 20, the direction in which the vertex A is searched is Note that it will be upwards.

撮影領域２６の右下の頂点Ｈを走査開始点として、原画像領域２０の右下の頂点Ｄを探索する場合は、エッジ検出フィルタ部４２は、エッジ走査方向５４に沿った走査により、原画像領域２０の辺ＣＤ上の点Ｌにおいて最初にエッジを検出する。エッジ追跡部４４は、下向きに頂点走査方向５６を定め、点Ｌから頂点走査方向５６に沿ってエッジラインを追跡し、辺ＣＤの端点付近で停止し、暫定頂点Ｖｅを取得する。頂点特定部４０は、暫定頂点Ｖｅの位置ずれを調整して、原画像領域２０の頂点Ｄを最終検出頂点Ｖｆとして求める。   When searching for the lower right vertex D of the original image region 20 with the lower right vertex H of the imaging region 26 as the scanning start point, the edge detection filter unit 42 scans the original image by scanning along the edge scanning direction 54. An edge is first detected at a point L on the side CD of the region 20. The edge tracking unit 44 determines the vertex scanning direction 56 downward, tracks the edge line from the point L along the vertex scanning direction 56, stops near the end point of the side CD, and acquires the provisional vertex Ve. The vertex specifying unit 40 adjusts the positional deviation of the provisional vertex Ve to obtain the vertex D of the original image area 20 as the final detected vertex Vf.

ここでも、エッジ追跡部４４が頂点Ｄを探索する向きは、同図の例では下向きであったが、エッジ走査方向５４が原画像領域２０の辺ＢＤと交わる場合は、頂点Ｄを探索する向きは、右向きとなることに留意する。   Here, the direction in which the edge tracking unit 44 searches for the vertex D is downward in the example of the figure, but when the edge scanning direction 54 intersects the side BD of the original image region 20, the direction in which the vertex D is searched for. Note that it turns right.

撮影領域２６の左下の頂点Ｆを走査開始点として、原画像領域２０の左下の頂点Ｂを探索する場合、撮影領域２６の右上の頂点Ｇを走査開始点として、原画像領域２０の右上の頂点Ｃを探索する場合も同様の処理が行われる。   When searching for the lower left vertex B of the original image area 20 with the lower left vertex F of the imaging area 26 as the scanning start point, the upper right vertex of the original image area 20 with the upper right vertex G of the imaging area 26 as the scanning start point. The same process is performed when searching for C.

図３の画像補正部３４は、画像領域判定部３２により抽出された原画像領域２０の歪み補正を行う。撮影部３０によって印刷画像Ｐを取り込む際、撮影画像にはレンズ歪みや透視歪みが生じる。画像補正部３４は、埋め込まれた電子透かしを正確に抽出できるように、画像に生じた歪みを補正する。   The image correction unit 34 in FIG. 3 performs distortion correction on the original image region 20 extracted by the image region determination unit 32. When the print image P is captured by the photographing unit 30, lens distortion and perspective distortion occur in the photographed image. The image correction unit 34 corrects distortion generated in the image so that the embedded digital watermark can be accurately extracted.

図７（ａ）、（ｂ）は、原画像領域２０の歪みを説明する図である。図７（ａ）は、撮影による歪みのない理想的な状態の原画像領域２０を示したものであり、矩形ＡＢＤＣは長方形である。図７（ｂ）は、撮影による歪みのある原画像領域２０を示したものである。デジタルカメラで撮影した場合、印刷媒体２４を正確に真上から撮影することは難しく、光軸のずれにより透視歪みが生じる。ここでは透視歪みを強調して矩形ＡＢＤＣを図示しているが、一般にはレンズの歪曲収差により樽型や糸巻き型のレンズ歪みも生じている。画像補正部３４は、図７（ｂ）のような歪みの生じた矩形ＡＢＤＣを４頂点の座標値を用いて幾何変換することにより、図７（ａ）の歪みのない長方形ＡＢＤＣに変形する。   7A and 7B are diagrams for explaining the distortion of the original image area 20. FIG. 7A shows the original image region 20 in an ideal state without distortion caused by photographing, and the rectangle ABDC is a rectangle. FIG. 7B shows an original image area 20 that is distorted by photographing. When the image is taken with a digital camera, it is difficult to accurately photograph the print medium 24 from directly above, and perspective distortion occurs due to the deviation of the optical axis. Here, a rectangular ABDC is illustrated with emphasis on perspective distortion, but generally barrel distortion or pincushion lens distortion also occurs due to lens distortion. The image correcting unit 34 transforms the rectangular ABDC having distortion as shown in FIG. 7B into a rectangular ABDC without distortion as shown in FIG. 7A by geometrically transforming using the coordinate values of the four vertices.

図３の透かし抽出部３６は、画像補正部３４によって歪み補正された原画像領域２０の透かし埋め込み領域から透かしビットを検出することにより、透かし情報Ｘを抽出する。透かしビットを検出する際、埋め込み領域に歪みがあると、透かしの検出が困難になるが、画像補正部３４により歪みが補正されているため、透かしの検出精度が保証される。   The watermark extraction unit 36 in FIG. 3 extracts watermark information X by detecting watermark bits from the watermark embedding region of the original image region 20 whose distortion has been corrected by the image correction unit 34. When the watermark bit is detected, if the embedded region is distorted, it is difficult to detect the watermark. However, since the image correction unit 34 corrects the distortion, the watermark detection accuracy is guaranteed.

以上の構成による電子透かし抽出装置２００による電子透かし抽出手順を説明する。   A digital watermark extraction procedure by the digital watermark extraction apparatus 200 having the above configuration will be described.

図８は、電子透かし抽出手順の全体的な流れを示すフローチャートである。撮影部３０は印刷画像Ｐを撮影する（Ｓ１０）。画像領域判定部３２は画像領域判定処理を行い、撮影画像から原画像領域２０を抽出する（Ｓ１２）。画像補正部３４は、原画像領域２０に画像補正処理を施し、撮影による歪みを補正する（Ｓ１４）。透かし抽出部３６は、補正後の原画像領域２０から透かし情報Ｘを検出する処理を行う（Ｓ１６）。   FIG. 8 is a flowchart showing the overall flow of the digital watermark extraction procedure. The imaging unit 30 captures the print image P (S10). The image area determination unit 32 performs image area determination processing, and extracts the original image area 20 from the captured image (S12). The image correction unit 34 performs image correction processing on the original image area 20 to correct distortion caused by shooting (S14). The watermark extraction unit 36 performs a process of detecting the watermark information X from the corrected original image area 20 (S16).

図９は、図８の画像領域判定処理Ｓ１２の大まかな流れを示すフローチャートである。エッジ検出部３８のエッジ検出フィルタ部４２は、撮影領域２６に含まれる原画像領域２０のエッジを検出する処理を行う（Ｓ２０）。エッジ追跡部４４は、原画像領域２０のエッジラインを追跡して、エッジラインの端点を原画像領域２０の暫定頂点Ｖｅとして取得する処理を行う（Ｓ２２）。頂点特定部４０は、暫定頂点Ｖｅをもとに、原画像領域２０の頂点の位置を正確に特定する処理を行う（Ｓ２４）。   FIG. 9 is a flowchart showing a rough flow of the image region determination processing S12 of FIG. The edge detection filter unit 42 of the edge detection unit 38 performs processing for detecting an edge of the original image region 20 included in the imaging region 26 (S20). The edge tracking unit 44 performs processing for tracking the edge line of the original image area 20 and acquiring the end point of the edge line as the provisional vertex Ve of the original image area 20 (S22). The vertex specifying unit 40 performs processing for accurately specifying the position of the vertex of the original image area 20 based on the provisional vertex Ve (S24).

図１０は、図９のエッジ検出処理Ｓ２０の詳細な手順を示すフローチャートである。エッジ検出フィルタ部４２は、撮影領域２６のサイズ（ｗｉｄｔｈ，ｈｅｉｇｈｔ）を取得し（Ｓ３０）、撮影領域２６のアスペクト比ｗｉｄｔｈ／ｈｅｉｇｈｔを算出する（Ｓ３２）。また、エッジ検出フィルタの出力値の閾値Ｔを設定する（Ｓ３４）。   FIG. 10 is a flowchart showing a detailed procedure of the edge detection process S20 of FIG. The edge detection filter unit 42 acquires the size (width, height) of the shooting area 26 (S30), and calculates the aspect ratio width / height of the shooting area 26 (S32). Further, the threshold value T of the output value of the edge detection filter is set (S34).

エッジ検出フィルタ部４２は、走査開始点の座標（ｉ，ｊ）を設定する（Ｓ３６）。走査開始点は、図５に示す撮影領域２６の４隅Ｅ、Ｆ、Ｇ、Ｈのいずれかに設定される。ここでは、左上の頂点Ｅを走査開始点として設定し、左上の頂点Ａを検出する場合を説明する。ｘ座標値ｉにアスペクト比ｗｉｄｔｈ／ｈｅｉｇｈｔを加算し、ｙ座標値ｊに１を加算することにより、検査点（ｉ，ｊ）を定め、走査開始点から撮影画像の中心に向かう走査方向に沿って探索を進める（Ｓ３８）。   The edge detection filter unit 42 sets the coordinates (i, j) of the scanning start point (S36). The scanning start point is set to one of the four corners E, F, G, and H of the imaging region 26 shown in FIG. Here, a case where the upper left vertex E is set as the scanning start point and the upper left vertex A is detected will be described. By adding the aspect ratio width / height to the x-coordinate value i and adding 1 to the y-coordinate value j, the inspection point (i, j) is determined, and along the scanning direction from the scanning start point toward the center of the captured image The search is advanced (S38).

なお、左下の頂点Ｆを走査開始点として設定し、左下の頂点Ｂを検出する場合は、ｘ座標値ｉにアスペクト比ｗｉｄｔｈ／ｈｅｉｇｈｔを加算し、ｙ座標値ｊから１を減算することにより、検査点（ｉ，ｊ）を定める。また、右上の頂点Ｇを走査開始点として設定し、右上の頂点Ｃを検出する場合は、ｘ座標値ｉからアスペクト比ｗｉｄｔｈ／ｈｅｉｇｈｔを減算し、ｙ座標値ｊに１を加算することにより、検査点（ｉ，ｊ）を定める。また、右下の頂点Ｈを走査開始点として設定し、右下の頂点Ｄを検出する場合は、ｘ座標値ｉからアスペクト比ｗｉｄｔｈ／ｈｅｉｇｈｔを減算し、ｙ座標値ｊから１を減算することにより、検査点（ｉ，ｊ）を定める。   When the lower left vertex F is set as the scanning start point and the lower left vertex B is detected, the aspect ratio width / height is added to the x coordinate value i, and 1 is subtracted from the y coordinate value j. An inspection point (i, j) is determined. When the upper right vertex G is set as the scanning start point and the upper right vertex C is detected, the aspect ratio width / height is subtracted from the x coordinate value i and 1 is added to the y coordinate value j. An inspection point (i, j) is determined. When the lower right vertex H is set as the scanning start point and the lower right vertex D is detected, the aspect ratio width / height is subtracted from the x coordinate value i, and 1 is subtracted from the y coordinate value j. To determine the inspection point (i, j).

エッジ検出フィルタ部４２は、検査点（ｉ，ｊ）を中心とする小領域にエッジ検出フィルタを施し、エッジ検出フィルタによる出力値Ｐを計算する（Ｓ４０）。出力値Ｐが閾値Ｔを超えた場合（Ｓ４２のＹ）、エッジが検出されたと判定し、エッジ方向を特定し（Ｓ４４）、エッジが検出されたときの検査点の座標（ｉ，ｊ）を頂点探索開始点Ｖｓの座標（ｉ_ｓ，ｊ_ｓ）として取得する（Ｓ４６）。出力値Ｐが閾値Ｔを超えない場合（Ｓ４２のＮ）、ステップＳ３８に戻り、検査点の座標値をインクリメントして、さらにエッジ検出フィルタによる走査を続ける。 The edge detection filter unit 42 applies an edge detection filter to a small region centered on the inspection point (i, j), and calculates an output value P by the edge detection filter (S40). When the output value P exceeds the threshold T (Y in S42), it is determined that an edge is detected, the edge direction is specified (S44), and the coordinates (i, j) of the inspection point when the edge is detected are determined. Acquired as coordinates (i _s , j _s ) of the vertex search start point Vs (S46). When the output value P does not exceed the threshold value T (N in S42), the process returns to step S38, the coordinate value of the inspection point is incremented, and scanning by the edge detection filter is continued.

図１１（ａ）〜（ｄ）は、エッジ検出フィルタを説明する図である。エッジ検出フィルタ部４２は、テンプレート・マッチングの方法を用いたエッジ検出フィルタリングを行う。具体的には、エッジ検出フィルタの一例として、Ｐｒｅｗｉｔｔオペレータを用いて、エッジラインとエッジ方向を検出する。同図には、Ｐｒｅｗｉｔｔオペレータのマスクパターンと、そのマスクパターンにより検出されるエッジパターンが示されている。   FIGS. 11A to 11D are diagrams for explaining an edge detection filter. The edge detection filter unit 42 performs edge detection filtering using a template matching method. Specifically, as an example of an edge detection filter, an edge line and an edge direction are detected using a Prewitt operator. This figure shows a mask pattern of the Prewitt operator and an edge pattern detected by the mask pattern.

図１１（ａ）は、上向きのエッジを検出するためのマスクパターン６０と、そのマスクパターン６０により検出されるエッジパターン６１である。エッジ検出フィルタ部４２は、検査点を中心とする縦横３画素の検査領域にこのマスクパターン６０を適用し、検査領域内の各画素の画素値にマスクパターン６０のマスクの値を乗じて和をとることで、出力値Ｐを計算する。出力値Ｐが閾値Ｔよりも大きい場合、検査点がエッジライン上にあり、同図に示す上向きのエッジパターン６１が検出されたと判定する。ここで、エッジの向きは、エッジラインに垂直であって、画素の暗い方から明るい方に向かう方向、すなわち輝度値の小さい方から輝度値の大きい方に向かう方向に定義されることに注意する。   FIG. 11A shows a mask pattern 60 for detecting an upward edge and an edge pattern 61 detected by the mask pattern 60. The edge detection filter unit 42 applies this mask pattern 60 to the inspection area of three pixels in the vertical and horizontal directions centering on the inspection point, and multiplies the pixel value of each pixel in the inspection area by the mask value of the mask pattern 60 to obtain the sum. As a result, the output value P is calculated. When the output value P is larger than the threshold value T, it is determined that the inspection point is on the edge line and the upward edge pattern 61 shown in FIG. Note that the direction of the edge is defined as a direction perpendicular to the edge line and going from a darker pixel to a brighter pixel, that is, a direction from a smaller luminance value to a larger luminance value. .

同様に、図１１（ｂ）は、下向きのエッジを検出するためのマスクパターン６２と、それにより検出されるエッジパターン６３、図１１（ｃ）は、左向きのエッジを検出するためのマスクパターン６４とそれにより検出されるエッジパターン６５、図１１（ｄ）は、右向きのエッジを検出するためのマスクパターン６６とそれにより検出されるエッジパターン６７を示す。   Similarly, FIG. 11B shows a mask pattern 62 for detecting a downward edge and an edge pattern 63 detected thereby, and FIG. 11C shows a mask pattern 64 for detecting a left-facing edge. FIG. 11D shows a mask pattern 66 for detecting a rightward edge and an edge pattern 67 detected thereby.

図１０のステップＳ４０〜Ｓ４４では、エッジ検出フィルタ部４２は、検査点（ｉ，ｊ）を中心とする縦横３画素の検査領域に対して、撮影領域２６の左上の隅Ｅから走査を開始する場合は、図１１（ａ）、図１１（ｃ）に示す上向き、左向きのエッジを検出するマスクパターン６０、６４を適用して、それぞれの出力値Ｐを計算し、いずれかのマスクパターンによる出力値Ｐが閾値Ｔを超えた場合に、エッジが検出されたものと判定し、閾値Ｔを超えた方のマスクパターンにより、エッジの方向を特定する。すなわち、エッジが検出された時点で検査点Ｖはエッジライン上にあり、エッジが上向きか左向きかが特定され、このときの検査点Ｖの座標（ｉ，ｊ）が頂点探索開始点Ｖｓの座標（ｉ_ｓ，ｊ_ｓ）となる。 In steps S40 to S44 of FIG. 10, the edge detection filter unit 42 starts scanning from the upper left corner E of the imaging region 26 with respect to the inspection region of three pixels in the vertical and horizontal directions centering on the inspection point (i, j). In this case, the mask patterns 60 and 64 for detecting the upward and leftward edges shown in FIGS. 11A and 11C are applied, the respective output values P are calculated, and the output by any of the mask patterns is performed. When the value P exceeds the threshold T, it is determined that an edge has been detected, and the direction of the edge is specified by the mask pattern that exceeds the threshold T. That is, when the edge is detected, the inspection point V is on the edge line, and it is specified whether the edge is upward or leftward. The coordinates (i, j) of the inspection point V at this time are the coordinates of the vertex search start point Vs. (I _s , j _s ).

同様に、撮影領域２６の左下の隅Ｆから走査を開始する場合は、エッジ検出フィルタ部４２は、図１１（ｂ）、図１１（ｃ）に示す下向き、左向きのエッジを検出するマスクパターン６２、６４を適用して出力値Ｐを計算する。また、撮影領域２６の右上の隅Ｇから走査を開始する場合は、図１１（ａ）、図１１（ｄ）に示す上向き、右向きのエッジを検出するマスクパターン６０、６６を適用して出力値Ｐを計算する。撮影領域２６の右下の隅Ｈから走査を開始する場合は、図１１（ｂ）、図１１（ｄ）に示す下向き、右向きのエッジを検出するマスクパターン６２、６６を適用して出力値Ｐを計算する。   Similarly, when scanning starts from the lower left corner F of the imaging region 26, the edge detection filter unit 42 detects the downward and leftward edges of the mask pattern 62 shown in FIGS. 11 (b) and 11 (c). , 64 is applied to calculate the output value P. When scanning is started from the upper right corner G of the imaging region 26, the output value is applied by applying the mask patterns 60 and 66 for detecting the upward and rightward edges shown in FIGS. 11 (a) and 11 (d). Calculate P. When scanning is started from the lower right corner H of the imaging region 26, the output value P is applied by applying the mask patterns 62 and 66 for detecting the downward and rightward edges shown in FIGS. 11 (b) and 11 (d). Calculate

図１２（ａ）、（ｂ）は、エッジ検出フィルタにより原画像領域２０のエッジが検出される様子を説明する図である。図１２（ａ）では、撮影領域２６の左上の頂点Ｅからエッジ走査方向５０に沿って、上向きのエッジを検出するマスクパターン６０と左向きのエッジを検出するマスクパターン６４とが検査点Ｖを中心とする検査領域に適用され、検査点Ｖが原画像領域２０の上辺に到達したときに、上向きのエッジを検出するマスクパターン６０による出力値Ｐが閾値Ｔを超え、上向きのエッジ方向７０が検出される。このときの検査点Ｖを頂点探索開始点Ｖｓとする。   FIGS. 12A and 12B are diagrams for explaining how the edge of the original image area 20 is detected by the edge detection filter. In FIG. 12A, the mask pattern 60 for detecting the upward edge and the mask pattern 64 for detecting the leftward edge from the vertex E at the upper left of the imaging region 26 along the edge scanning direction 50 are centered on the inspection point V. When the inspection point V reaches the upper side of the original image area 20, the output value P by the mask pattern 60 for detecting the upward edge exceeds the threshold T, and the upward edge direction 70 is detected. Is done. The inspection point V at this time is set as a vertex search start point Vs.

同様に、図１２（ｂ）では、撮影領域２６の右下の頂点Ｈからエッジ走査方向５４に沿って、下向きのエッジを検出するマスクパターン６２と右向きのエッジを検出するマスクパターン６６とが検査点Ｖを中心とする検査領域に適用され、検査点Ｖが原画像領域２０の右辺に到達したときに、右向きのエッジを検出するマスクパターン６６による出力値Ｐが閾値Ｔを超え、右向きのエッジ方向７２が検出される。このときの検査点Ｖを頂点探索開始点Ｖｓとする。   Similarly, in FIG. 12B, a mask pattern 62 for detecting a downward edge and a mask pattern 66 for detecting a right edge are inspected along the edge scanning direction 54 from the lower right vertex H of the imaging region 26. When the inspection point V reaches the right side of the original image area 20 when applied to the inspection area centered on the point V, the output value P by the mask pattern 66 for detecting the rightward edge exceeds the threshold T, and the rightward edge A direction 72 is detected. The inspection point V at this time is set as a vertex search start point Vs.

図１３は、図９のエッジライン追跡処理Ｓ２２の詳細な手順を説明するフローチャートである。エッジ追跡部４４は、図１０のエッジ検出処理Ｓ２０で最終的に得られた頂点探索開始点Ｖｓの座標（ｉ_ｓ，ｊ_ｓ）を検査点Ｖの座標（ｉ，ｊ）に代入する（Ｓ５０）。エッジ検出のために画像領域を走査する幅（以下、単に走査幅という）ｄを所定の値に設定する（Ｓ５１）。図１０のエッジ検出処理Ｓ２０で特定されたエッジ方向が横向きである場合（Ｓ５２のＹ）、縦方向走査処理を行い（Ｓ５４）、エッジ方向が横向きでない場合（Ｓ５２のＮ）、横方向走査処理を行う（Ｓ５６）。縦方向走査処理Ｓ５４または横方向走査処理Ｓ５６により、原画像領域２０のエッジラインが追跡され、エッジラインの端点が暫定頂点Ｖｅの座標（ｉ_ｅ，ｊ_ｅ）として取得される（Ｓ５８）。 FIG. 13 is a flowchart for explaining the detailed procedure of the edge line tracking process S22 of FIG. The edge tracking unit 44 substitutes the coordinates (i _s , j _s ) of the vertex search start point Vs finally obtained in the edge detection process S20 of FIG. 10 into the coordinates (i, j) of the inspection point V (S50). ). A width d (hereinafter simply referred to as a scanning width) d for scanning an image region for edge detection is set to a predetermined value (S51). When the edge direction specified in the edge detection process S20 in FIG. 10 is horizontal (Y in S52), vertical scanning is performed (S54), and when the edge direction is not horizontal (N in S52), horizontal scanning is performed. (S56). Through the vertical scanning process S54 or the horizontal scanning process S56, the edge line of the original image area 20 is tracked, and the end point of the edge line is acquired as the coordinates (i _e , j _e ) of the provisional vertex Ve (S58).

図１４は、図１３の縦方向走査処理Ｓ５４の詳細な手順を説明するフローチャートである。この縦方向走査処理Ｓ５４では、エッジ検出部３８が、図１５に示す縦横Ｎ画素の検査領域８０を空間周波数領域に変換したときの低周波数成分の位相角に基づいて、原画像領域２０のエッジを検出する。なお、一例としてＮは１６である。なお、ここでは、左上の頂点Ａを検出する場合を説明する。   FIG. 14 is a flowchart for explaining the detailed procedure of the vertical scanning process S54 of FIG. In the vertical scanning process S54, the edge detection unit 38 converts the edge of the original image region 20 based on the phase angle of the low frequency component when the inspection region 80 of the vertical and horizontal N pixels shown in FIG. Is detected. As an example, N is 16. Here, the case where the upper left vertex A is detected will be described.

ステップＳ６０では、エッジ追跡のスタート位置が設定される。前記頂点探索開始点Ｖｓのｘ座標、ｙ座標をそれぞれ（i，ｊ）としたとき、エッジ追跡のスタート位置である検査点Ｖのｘ座標、ｙ座標はそれぞれ、（i−ｄ／２，ｊ）に設定される。なお、一例として、走査幅ｄは８であり、前記Ｎより小さい値に設定される。なお、図１５において、紙面右側がiの正方向であり、紙面下側がｊの正方向である。   In step S60, the start position of edge tracking is set. When the x-coordinate and y-coordinate of the vertex search start point Vs are (i, j), respectively, the x-coordinate and y-coordinate of the inspection point V, which is the start position of edge tracking, are (i−d / 2, j ). As an example, the scanning width d is 8 and is set to a value smaller than the N. In FIG. 15, the right side of the drawing is the positive direction of i, and the lower side of the drawing is the positive direction of j.

ステップＳ６２では、エッジ追跡部４４により、前記検査点Ｖを中心とする縦横Ｎ画素の検査領域８０にフーリエ変換処理が施される。ここで、検査領域８０の各画素の輝度値をｈ（ｘ、ｙ）とし、検査領域８０にフーリエ変換処理として離散フーリエ変換を行った結果をＨ（ｕ，ｖ）とすると、Ｈ（ｕ，ｖ）は、式（１）のように表現される。
Ｈ（ｕ，ｖ）
＝Σ_ｙ＝０ ^Ｎ-１Σ_ｘ＝０ ^Ｎ-１
｛ｈ'（ｘ，ｙ）ｅｘｐ［−ｉ２π（ｕｘ＋ｖｙ）／Ｎ］｝
ｕ，ｖ＝０，１，２，…，Ｎ−１ （１）
但し、
ｈ'（ｘ，ｙ）＝ｈ（ｘ−ｉ＋（Ｎ＋ｄ）／２，ｙ−ｊ＋Ｎ／２）
なお、式（１）において、指数関数ｅｘｐ［］の中で用いられるｉは虚数単位であり、ｘ座標値を表すｉとは区別される。 In step S <b> 62, the edge tracking unit 44 performs a Fourier transform process on the inspection area 80 of N pixels in the vertical and horizontal directions centering on the inspection point V. Here, assuming that the luminance value of each pixel in the inspection region 80 is h (x, y), and the result of the discrete Fourier transform performed as Fourier transform processing on the inspection region 80 is H (u, v), H (u, v) is expressed as in equation (1).
H (u, v)
= Σ _{y = 0} ^N-1 Σ _{x = 0} ^N-1
{H ′ (x, y) exp [−i2π (ux + vy) / N]}
u, v = 0, 1, 2,..., N-1 (1)
However,
h ′ (x, y) = h (x−i + (N + d) / 2, y−j + N / 2)
In Expression (1), i used in the exponential function exp [] is an imaginary unit, and is distinguished from i representing the x coordinate value.

ステップＳ６４では、エッジ追跡部４４により、検査領域８０のフーリエ変換の水平方向の交流成分における最低周波数成分（以下、最低水平周波数成分という）の実数成分、即ち、Ｈ（１，０）の実数成分Ｈ_ｒ（１，０）が取得される。 In step S64, the edge tracking unit 44 causes the real component of the lowest frequency component (hereinafter referred to as the lowest horizontal frequency component) in the horizontal AC component of the Fourier transform of the inspection region 80, that is, the real component of H (1,0). H _r (1,0) is obtained.

ここで、式（１）は、次のように変形することができる。
Ｈ（ｕ，ｖ）
＝Σ_ｙ＝０ ^Ｎ−１｛ｅｘｐ［−ｉ２πｖｙ／Ｎ］｝
×Σ_ｘ＝０ ^Ｎ−１｛ｈ'（ｘ，ｙ）ｅｘｐ［−ｉ２πｕｘ／Ｎ］｝ （２） Here, Equation (1) can be modified as follows.
H (u, v)
= Σ _{y = 0} ^N−1 {exp [−i2πvy / N]}
× Σ _{x = 0} ^N−1 {h ′ (x, y) exp [−i2πux / N]} (2)

したがって、Ｈ（１，０）は、
Ｈ（１，０）
＝Σ_ｙ＝０ ^Ｎ−１Σ_ｘ＝０ ^Ｎ−１｛ｈ'（ｘ，ｙ）ｅｘｐ［−ｉ２πｘ／Ｎ］｝ （３）
となる。ところで、ｈ（ｘ，ｙ）が複素数である場合、
ｈ（ｘ，ｙ）＝ｈ_ｒ（ｘ，ｙ）＋ｉｈ_ｉ（ｘ，ｙ） （４）
と表現することができる。したがって、ｈ（ｘ，ｙ）ｅｘｐ［−ｉ２πｘ／Ｎ］は、次式のように変形できる。
ｈ（ｘ，ｙ）ｅｘｐ［−ｉ２πｘ／Ｎ］
＝ｈ（ｘ、ｙ）｛ｃｏｓ［２πｘ／Ｎ］−ｉｓｉｎ［２πｘ／Ｎ］｝
＝ｈ_ｒ（ｘ，ｙ）｛ｃｏｓ［２πｘ／Ｎ］−ｉｓｉｎ［２πｘ／Ｎ］｝
＋ｈ_ｉ（ｘ，ｙ）｛ｓｉｎ［２πｘ／Ｎ］−ｉｃｏｓ［２πｘ／Ｎ］｝ （５） Therefore, H (1,0) is
H (1,0)
= Σ _{y = 0} ^N−1 Σ _{x = 0} ^N−1 {h ′ (x, y) exp [−i2πx / N]} (3)
It becomes. By the way, when h (x, y) is a complex number,
_{h (x, y) = h} r (x, y) + ih i (x, y) (4)
It can be expressed as Therefore, h (x, y) exp [−i2πx / N] can be transformed as follows.
h (x, y) exp [-i2πx / N]
= H (x, y) {cos [2πx / N] −isin [2πx / N]}
_{= H r (x, y)} {cos [2πx / N] -isin [2πx / N]}
_{+ H i (x, y)} {sin [2πx / N] -icos [2πx / N]} (5)

ここで、検査領域８０の各画素の輝度値ｈ（ｘ、ｙ）の虚数成分は０であるとすると、
ｈ（ｘ，ｙ）ｅｘｐ［−ｉ２πｘ／Ｎ］
＝ｈ_ｒ（ｘ，ｙ）｛ｃｏｓ［２πｘ／Ｎ］−ｉｓｉｎ［２πｘ／Ｎ］｝ （６）
となる。ゆえに、Ｈ（１，０）は、
Ｈ（１，０）＝Σ_ｙ＝０ ^Ｎ−１Σ_ｘ＝０ ^Ｎ−１
｛ｈ_ｒ'（ｘ，ｙ）（ｃｏｓ［２πｘ／Ｎ］−ｉｓｉｎ［２πｘ／Ｎ］）｝ （７）
但し、
ｈ_ｒ'（ｘ，ｙ）＝ｈ_ｒ（ｘ−ｉ＋（Ｎ＋ｄ）／２，ｙ−ｊ＋Ｎ／２）
となる。 Here, assuming that the imaginary number component of the luminance value h (x, y) of each pixel in the inspection region 80 is 0,
h (x, y) exp [-i2πx / N]
_{= H r (x, y)} {cos [2πx / N] -isin [2πx / N]} (6)
It becomes. Therefore, H (1,0) is
H (1,0) = Σ _{y = 0} ^N−1 Σ _{x = 0} ^N−1
{H _r ′ (x, y) (cos [2πx / N] −isin [2πx / N])} (7)
However,
h _r ′ (x, y) = h _r (x−i + (N + d) / 2, y−j + N / 2)
It becomes.

また、Ｈ（１，０）の実数成分Ｈ_ｒ（１，０）、虚数成分Ｈ_ｉ（１，０）はそれぞれ、
Ｈ_ｒ（１，０）
＝Σ_ｙ＝０ ^Ｎ−１Σ_ｘ＝０ ^Ｎ−１ｈ_ｒ'（ｘ，ｙ）ｃｏｓ［２πｘ／Ｎ］ （８ｒ）
Ｈ_ｉ（１，０）
＝−Σ_ｙ＝０ ^Ｎ−１Σ_ｘ＝０ ^Ｎ−１ｈ_ｒ'（ｘ，ｙ）ｓｉｎ［２πｘ／Ｎ］ （８ｉ）
となる。 Further, the real component H _r (1, 0) and the imaginary component H _i (1, 0) of H (1, 0) are respectively
H _r (1,0)
= Σ _{y = 0} ^N−1 Σ _{x = 0} ^N−1 h _r ′ (x, y) cos [2πx / N] (8r)
H _i (1,0)
^{_{= -Σ y = 0 N-1}} Σ x = 0 N-1 h r '(x, y) sin [2πx / N] (8i)
It becomes.

上記Ｈ（１，０）の値は、検査領域８０における輝度値ｈ（ｘ、ｙ）の分布によって異なる。以下３つの例（Ａ）、（Ｂ）、（Ｃ）を挙げて説明する。   The value of H (1,0) varies depending on the distribution of the luminance value h (x, y) in the inspection region 80. Hereinafter, three examples (A), (B), and (C) will be described.

（Ａ）ｈ（ｘ，ｙ）が一様分布のとき
即ち、
ｈ（ｘ，ｙ）＝ｍ （９）
但し、ｉ−Ｎ／２≦ｘ≦ｉ＋Ｎ／２―１ かつ、
ｊ−Ｎ／２≦ｙ≦ｊ＋Ｎ／２―１
である場合、
Ｈ_ｒ（１，０）
＝ｍΣ_ｙ＝０ ^Ｎ−１Σ_ｘ＝０ ^Ｎ−１ｃｏｓ［２πｘ／Ｎ］
Ｈ_ｉ（１，０）
＝−ｍΣ_ｙ＝０ ^Ｎ−１Σ_ｘ＝０ ^Ｎ−１ｓｉｎ［２πｘ／Ｎ］
となるが、ここで、
Σ_ｘ＝０ ^Ｎ−１ｃｏｓ［２πｘ／Ｎ］＝０
Σ_ｘ＝０ ^Ｎ−１ｓｉｎ［２πｘ／Ｎ］＝０
であるから、
Ｈ_ｒ（１，０）＝Ｈ_ｉ（１，０）＝０
となり、Ｈ（１，０）の実数成分Ｈ_ｒ（１，０）、虚数成分Ｈ_ｉ（１，０）は、ともに０になる。 (A) When h (x, y) has a uniform distribution, that is,
h (x, y) = m (9)
However, i−N / 2 ≦ x ≦ i + N / 2-1 and
j−N / 2 ≦ y ≦ j + N / 2−1
If it is,
H _r (1,0)
= MΣ _{y = 0} ^N−1 Σ _{x = 0} ^N−1 cos [2πx / N]
H _i (1,0)
= −mΣ _{y = 0} ^N−1 Σ _{x = 0} ^N−1 sin [2πx / N]
Where
Σ _{x = 0} ^N−1 cos [2πx / N] = 0
Σ _{x = 0} ^N−1 sin [2πx / N] = 0
Because
H _r (1,0) = H _i (1,0) = 0
Thus, the real component H _r (1, 0) and the imaginary component H _i (1, 0) of H (1, 0) are both zero.

（Ｂ）検査領域８０の中央の検査点Ｖに原画像領域２０と余白領域のエッジがある場合、例えば、
ｈ（ｘ，ｙ）
＝ｍ_１ （ｉ−Ｎ／２≦ｘ≦ｉ−１、ｊ−Ｎ／２≦ｙ≦ｊ＋Ｎ／２―１）；
ｍ_２ （ｉ≦ｘ＜ｉ＋Ｎ／２―１、ｊ−Ｎ／２≦ｙ≦ｊ＋Ｎ／２―１） （１０）
（但し、ｍ_１：余白領域の輝度、ｍ_２：原画像領域２０の輝度であり、ｍ_１＜ｍ_２）
のとき、
Ｈ_ｒ（１，０）
＝Σ_ｙ＝０ ^Ｎ−１Σ_ｘ＝０ ^{Ｎ／２−１}ｍ_１ｃｏｓ［２πｘ／Ｎ］
＋Σ_ｙ＝０ ^Ｎ−１Σ_{ｘ＝Ｎ／２} ^Ｎ−１ｍ_２ｃｏｓ［２πｘ／Ｎ］ （１１ｒ）
Ｈ_ｉ（１，０）
＝−Σ_ｙ＝０ ^Ｎ−１Σ_ｘ＝０ ^{Ｎ／２−１}ｍ_１ｓｉｎ［２πｘ／Ｎ］
−Σ_ｙ＝０ ^Ｎ−１Σ_{ｘ＝Ｎ／２} ^Ｎ−１ｍ_２ｓｉｎ［２πｘ／Ｎ］ （１１ｉ） (B) When there is an edge of the original image area 20 and a blank area at the center inspection point V of the inspection area 80, for example,
h (x, y)
= M ₁ (i−N / 2 ≦ x ≦ i−1, j−N / 2 ≦ y ≦ j + N / 2-1);
m ₂ (i ≦ x <i + N / 2-1, j−N / 2 ≦ y ≦ j + N / 2-1) (10)
(Where m _{1 is} the brightness of the margin area, m ₂ is the brightness of the original image area 20, and m ₁ <m ₂ )
When,
H _r (1,0)
= Σ _{y = 0} ^N−1 Σ _{x = 0} ^{N / 2-1} m ₁ cos [2πx / N]
+ Σ _{y = 0} ^N−1 Σ _{x = N / 2} ^N−1 m ₂ cos [2πx / N] (11r)
H _i (1,0)
= −Σ _{y = 0} ^N−1 Σ _{x = 0} ^{N / 2-1} m ₁ sin [2πx / N]
−Σ _{y = 0} ^N−1 Σ _{x = N / 2} ^N−1 m ₂ sin [2πx / N] (11i)

ここで、
Σ_ｘ＝０ ^{Ｎ／２−１}ｃｏｓ［２πｘ／Ｎ］＝Σ_{ｘ＝Ｎ／２} ^Ｎ−１ｃｏｓ［２πｘ／Ｎ］＝０
であるから、
Ｈ_ｒ（１，０）＝０
Ｈ_ｉ（１，０）
＝−Ｎ×（ｍ_１Σ_ｘ＝０ ^{Ｎ／２−１}ｓｉｎ［２πｘ／Ｎ］
＋ｍ_２Σ_{ｘ＝Ｎ／２} ^Ｎ−１ｓｉｎ［２πｘ／Ｎ］）
となり、Ｈ（１，０）の実数成分Ｈ_ｒ（１，０）は０となるが、虚数成分Ｈ_ｉ（１，０）は０にはならない。 here,
Σx _{= 0} ^{N / 2-1} cos [2πx / N] = Σx _{= N / 2} ^N−1 cos [2πx / N] = 0
Because
H _r (1,0) = 0
H _i (1,0)
= −N × (m ₁ Σ _{x = 0} ^{N / 2-1} sin [2πx / N]
+ _{M 2} Σ _{x = N / 2} ^N−1 sin [2πx / N])
Thus, the real component H _r (1, 0) of H (1, 0) is 0, but the imaginary component H _i (1, 0) is not 0.

（Ｃ）検査領域８０の中央の検査点Ｖではないところに原画像領域２０と余白領域のエッジがある場合、例えば、
ｈ（ｘ、ｙ）
＝ｍ_１ （０≦ｘ≦Ｎ／４−１、ｊ−Ｎ／２≦ｙ≦ｊ＋Ｎ／２―１）；
ｍ_２ （Ｎ／４≦ｘ＜Ｎ−１、ｊ−Ｎ／２≦ｙ≦ｊ＋Ｎ／２―１） （１２）
（但しｍ_１≠ｍ_２）
である場合、
Ｈ_ｒ（１，０）
＝Σ_ｙ＝０ ^Ｎ−１Σ_ｘ＝０ ^{Ｎ／４−１}ｍ_１ｃｏｓ［２πｘ／Ｎ］
＋Σ_ｙ＝０ ^Ｎ−１Σ_{ｘ＝Ｎ／４} ^Ｎ−１ｍ_２ｃｏｓ［２πｘ／Ｎ］
Ｈ_ｉ（１，０）
＝−Σ_ｙ＝０ ^Ｎ−１Σ_ｘ＝０ ^{Ｎ／４−１}ｍ_１ｓｉｎ［２πｘ／Ｎ］
−Σ_ｙ＝０ ^Ｎ−１Σ_{ｘ＝Ｎ／４} ^Ｎ−１ｍ_２ｓｉｎ［２πｘ／Ｎ］
となり、Ｈ（１，０）の実数成分Ｈ_ｒ（１，０）及び虚数成分Ｈ_ｉ（１，０）は０にはならない。 (C) When the edge of the original image area 20 and the margin area is not located at the center inspection point V of the inspection area 80, for example,
h (x, y)
= M ₁ (0 ≦ x ≦ N / 4-1, j−N / 2 ≦ y ≦ j + N / 2-1);
m ₂ (N / 4 ≦ x <N−1, j−N / 2 ≦ y ≦ j + N / 2-1) (12)
(However, m ₁ ≠ m ₂ )
If it is,
H _r (1,0)
= Σ _{y = 0} ^N−1 Σ _{x = 0} ^{N / 4-1} m ₁ cos [2πx / N]
+ Σ _{y = 0} ^N−1 Σ _{x = N / 4} ^N−1 m ₂ cos [2πx / N]
H _i (1,0)
= −Σ _{y = 0} ^N−1 Σ _{x = 0} ^{N / 4−1} m ₁ sin [2πx / N]
−Σ _{y = 0} ^N−1 Σ _{x = N / 4} ^N−1 m ₂ sin [2πx / N]
Thus, the real component H _r (1, 0) and the imaginary component H _i (1, 0) of H (1, 0) do not become zero.

ステップＳ６６では、前記Ｈ（１，０）が０であるかどうかが評価される。Ｈ（１，０）の実数成分Ｈ_ｒ（１，０）が０でなければ、上記（Ｂ）の説明から、前記検査点Ｖ（ｉ，ｊ）は、原画像領域２０と余白領域のエッジ上にはないものとみなされる。そして、ステップＳ６８へ進み、検査点Ｖのｘ座標値ｉが１だけインクリメントされ、検査点Ｖがｘ軸方向に移動される。そして、ステップＳ６２では、新しい検査点Ｖを中心とする縦横Ｎ画素の検査領域８０にフーリエ変換処理が施される。 In step S66, it is evaluated whether or not H (1, 0) is zero. If the real component H _r (1, 0) of H (1, 0) is not 0, the inspection point V (i, j) is the edge of the original image area 20 and the margin area from the description of (B) above. Considered not above. In step S68, the x-coordinate value i of the inspection point V is incremented by 1, and the inspection point V is moved in the x-axis direction. In step S62, a Fourier transform process is performed on the inspection region 80 of N pixels in the vertical and horizontal directions centering on the new inspection point V.

上記ステップＳ６６において、Ｈ（１，０）の実数成分Ｈ_ｒ（１，０）が０であれば、前記検査点Ｖ（ｉ，ｊ）は、原画像領域２０と余白領域のエッジ上にあるものとみなされ、その検査点Ｖにおいてエッジが検出されたと判定される。 In step S66, if the real component H _r (1, 0) of H (1, 0) is 0, the inspection point V (i, j) is on the edge of the original image area 20 and the margin area. It is determined that an edge is detected at the inspection point V.

なお、図１４において、Ｈ_１，０は上記Ｈ_ｒ（１，０）のことを、Ｈ_０，１はＨ_ｒ（０，１）のことを意味している。また、以後の文中で登場するＨ_１，０及びＨ_０，１も同様のことを意味する。また、以後の文中で登場するフーリエ変換の（１，０）成分、フーリエ変換の（０，１）成分はそれぞれＨ（１，０）、Ｈ（０，１）のことを指すものとする。 In FIG. 14, H _1,0 means H _r (1,0), and H _0,1 means H _r (0,1). In addition, H _1,0 and H _0,1 appearing in the following sentences mean the same thing. In addition, the (1, 0) component of the Fourier transform and the (0, 1) component of the Fourier transform appearing in the following sentences refer to H (1, 0) and H (0, 1), respectively.

エッジが検出されると、ステップＳ７０では、検査領域８０のフーリエ変換の垂直方向の交流成分における最低周波数成分（以下、最低垂直周波数成分という）の実数成分、即ちＨ（０，１）の実数成分Ｈ_ｒ（０，１）が取得され、記憶される。ここで、ステップＳ７０では、新しく得られた実数成分Ｈ_ｒ（０，１）が次回のステップＳ７０の実行時まで一時的にメモリに記憶され、後述のようにステップＳ７１でその内容が読み出され、ステップＳ７２で実数成分Ｈ_ｒ（０，１）の変化量の計算に利用される。 When the edge is detected, in step S70, the real component of the lowest frequency component (hereinafter referred to as the lowest vertical frequency component) in the AC component in the vertical direction of the Fourier transform of the inspection region 80, that is, the real component of H (0,1). H _r (0,1) is acquired and stored. Here, in step S70, the newly obtained real component H _r (0, 1) is temporarily stored in the memory until the next execution of step S70, and the content is read in step S71 as described later. In step S72, it is used to calculate the amount of change in the real number component H _r (0, 1).

式（８ｒ）の導出と同様の方法により、Ｈ_ｒ（０，１）、Ｈ_ｉ（０，１）は、
Ｈ_ｒ（０，１）
＝Σ_ｘ＝０ ^Ｎ−１Σ_ｙ＝０ ^Ｎ−１ｈ_ｒ'（ｘ，ｙ）ｃｏｓ［２πｙ／Ｎ］ （１３ｒ）
Ｈ_ｉ（０，１）
＝−Σ_ｘ＝０ ^Ｎ−１Σ_ｙ＝０ ^Ｎ−１ｈ_ｒ'（ｘ，ｙ）ｓｉｎ［２πｙ／Ｎ］ （１３ｉ）
となる。上記Ｈ_ｒ（０，１）、Ｈ_ｉ（０，１）の値も、検査領域８０における輝度値ｈ（ｘ，ｙ）の分布によって異なる。以下３つの例（Ｄ）、（Ｅ）、（Ｆ）の例を挙げて説明する。 H _r (0,1) and H _i (0,1) are obtained by the same method as the derivation of equation (8r).
H _r (0,1)
= Σ _{x = 0} ^N−1 Σ _{y = 0} ^N−1 h _r ′ (x, y) cos [2πy / N] (13r)
H _i (0,1)
^{_{= -Σ x = 0 N-1}} Σ y = 0 N-1 h r '(x, y) sin [2πy / N] (13i)
It becomes. The values of H _r (0, 1) and H _i (0, 1) also differ depending on the distribution of luminance values h (x, y) in the inspection region 80. Hereinafter, three examples (D), (E), and (F) will be described.

（Ｄ）検査領域８０の中央の検査点Ｖに原画像領域２０と余白領域のエッジがあるが、検査領域８０内に原画像領域２０の頂点がない場合、例えば、
ｈ（ｘ、ｙ）
＝ｍ_１ （ｉ−Ｎ／２≦ｘ≦ｉ−１、ｊ−Ｎ／２≦ｙ≦ｊ＋Ｎ／２―１）；
ｍ_２ （ｉ≦ｘ＜ｉ＋Ｎ／２―１、ｊ−Ｎ／２≦ｙ≦ｊ＋Ｎ／２―１） （１４）
のとき、
Ｈ_ｒ（０，１）
＝Σ_ｘ＝０ ^{Ｎ／２−１}ｍ_１Σ_ｙ＝０ ^Ｎ−１ｃｏｓ［２πｙ／Ｎ］
＋Σ_{ｘ＝Ｎ／２} ^Ｎ−１ｍ_２Σ_ｙ＝０ ^Ｎ−１ｃｏｓ［２πｙ／Ｎ］ （１５ｒ）
Ｈ_ｉ（０，１）
＝−Σ_ｘ＝０ ^{Ｎ／２−１}ｍ_１Σ_ｙ＝０ ^Ｎ−１ｓｉｎ［２πｙ／Ｎ］
−Σ_{ｘ＝Ｎ／２} ^Ｎ−１ｍ_２Σ_ｙ＝０ ^Ｎ−１ｓｉｎ［２πｙ／Ｎ］ （１５ｉ）
となる。 (D) When there is an edge of the original image area 20 and a blank area at the inspection point V in the center of the inspection area 80, but there is no vertex of the original image area 20 in the inspection area 80, for example,
h (x, y)
= M ₁ (i−N / 2 ≦ x ≦ i−1, j−N / 2 ≦ y ≦ j + N / 2-1);
m ₂ (i ≦ x <i + N / 2-1, j−N / 2 ≦ y ≦ j + N / 2-1) (14)
When,
H _r (0,1)
= Σ _{x = 0} ^{N / 2-1} m ₁ Σ _{y = 0} ^N−1 cos [2πy / N]
+ Σ _{x = N / 2} ^N−1 m ₂ Σ _{y = 0} ^N−1 cos [2πy / N] (15r)
H _i (0,1)
= −Σ _{x = 0} ^{N / 2-1} m ₁ Σ _{y = 0} ^N−1 sin [2πy / N]
−Σ _{x = N / 2} ^N−1 m ₂ Σ _{y = 0} ^N−1 sin [2πy / N] (15i)
It becomes.

ここで、
Σ_ｙ＝０ ^Ｎ−１ｃｏｓ［２πｙ／Ｎ］＝Σ_ｙ＝０ ^Ｎ−１ｓｉｎ［２πｙ／Ｎ］＝０
であるから、
Ｈ_ｒ（０，１）＝Ｈ_ｉ（０，１）＝０
となる。 here,
Σ _{y = 0} ^N−1 cos [2πy / N] = Σ _{y = 0} ^N−1 sin [2πy / N] = 0
Because
H _r (0,1) = H _i (0,1) = 0
It becomes.

（Ｅ）検査領域８０内に原画像領域２０の頂点がある場合（但し、検査点Ｖと頂点は一致しないものとする）、例えば、
ｈ（ｘ、ｙ）
＝ｍ_１ （ｉ−Ｎ／２≦ｘ≦ｉ−１、ｊ−Ｎ／２≦ｙ≦ｊ＋Ｎ／２―１）；
ｍ_１ （ｉ≦ｘ＜ｉ＋Ｎ／２―１、ｊ−Ｎ／２≦ｙ≦ｊ＋Ｎ／４−１）；
ｍ_２ （ｉ≦ｘ＜ｉ＋Ｎ／２―１、ｊ＋Ｎ／４≦ｙ≦ｊ＋Ｎ／２―１） （１６）
のとき、
Ｈ_ｒ（０，１）
＝Σ_ｘ＝０ ^{Ｎ／２−１}ｍ_１Σ_ｙ＝０ ^Ｎ−１ｃｏｓ［２πｙ／Ｎ］
＋Σ_{ｘ＝Ｎ／２} ^Ｎ−１ｍ_１Σ_ｙ＝０ ^{３Ｎ／４−１}ｃｏｓ［２πｙ／Ｎ］
＋Σ_{ｘ＝Ｎ／２} ^Ｎ−１ｍ_２Σ_{ｙ＝３Ｎ／４} ^Ｎ−１ｃｏｓ［２πｙ／Ｎ］ （１７ｒ）
Ｈ_ｉ（０，１）
＝−Σ_ｘ＝０ ^{Ｎ／２−１}ｍ_１Σ_ｙ＝０ ^Ｎ−１ｓｉｎ［２πｙ／Ｎ］
−Σ_{ｘ＝Ｎ／２} ^Ｎ−１ｍ_１Σ_ｙ＝０ ^{３Ｎ／４−１}ｓｉｎ［２πｙ／Ｎ］
−Σ_{ｘ＝Ｎ／２} ^Ｎ−１ｍ_２Σ_{ｙ＝３Ｎ／４} ^Ｎ−１ｓｉｎ［２πｙ／Ｎ］ （１７ｉ）
となる。 (E) When there is a vertex of the original image area 20 in the inspection area 80 (provided that the inspection point V and the vertex do not coincide), for example,
h (x, y)
= M ₁ (i−N / 2 ≦ x ≦ i−1, j−N / 2 ≦ y ≦ j + N / 2-1);
m ₁ (i ≦ x <i + N / 2-1, j−N / 2 ≦ y ≦ j + N / 4-1);
m ₂ (i ≦ x <i + N / 2-1, j + N / 4 ≦ y ≦ j + N / 2-1) (16)
When,
H _r (0,1)
= Σ _{x = 0} ^{N / 2-1} m ₁ Σ _{y = 0} ^N−1 cos [2πy / N]
+ Σ _{x = N / 2} ^N−1 m ₁ Σ _{y = 0} ^{3N / 4−1} cos [2πy / N]
+ Σ _{x = N / 2} ^N−1 m ₂ Σ _{y = 3N / 4} ^N−1 cos [2πy / N] (17r)
H _i (0,1)
= −Σ _{x = 0} ^{N / 2-1} m ₁ Σ _{y = 0} ^N−1 sin [2πy / N]
−Σ _{x = N / 2} ^N−1 m ₁ Σ _{y = 0} ^{3N / 4−1} sin [2πy / N]
−Σ _{x = N / 2} ^N−1 m ₂ Σ _{y = 3N / 4} ^N−1 sin [2πy / N] (17i)
It becomes.

ここで、
Σ_ｙ＝０ ^Ｎ−１ｃｏｓ［２πｙ／Ｎ］＝Σ_ｙ＝０ ^Ｎ−１ｓｉｎ［２πｙ／Ｎ］＝０
であるから、
Ｈ_ｒ（０，１）
＝Σ_{ｘ＝Ｎ／２} ^Ｎ−１ｍ_１Σ_ｙ＝０ ^{３Ｎ／４−１}ｃｏｓ［２πｙ／Ｎ］
＋Σ_{ｘ＝Ｎ／２} ^Ｎ−１ｍ_２Σ_{ｙ＝３Ｎ／４} ^Ｎ−１ｃｏｓ［２πｙ／Ｎ］
＝Ｎ／２×（ｍ_１Σ_ｙ＝０ ^{３Ｎ／４−１}ｃｏｓ［２πｙ／Ｎ］
＋ｍ_２Σ_{ｙ＝３Ｎ／４} ^Ｎ−１ｃｏｓ［２πｙ／Ｎ］） （１８ｒ）
Ｈ_ｉ（０，１）
＝−Σ_{ｘ＝Ｎ／２} ^Ｎ−１ｍ_１Σ_ｙ＝０ ^{３Ｎ／４−１}ｓｉｎ［２πｙ／Ｎ］
−Σ_{ｘ＝Ｎ／２} ^Ｎ−１ｍ_２Σ_{ｙ＝３Ｎ／４} ^Ｎ−１ｓｉｎ［２πｙ／Ｎ］
＝−Ｎ／２×（ｍ_１Σ_ｙ＝０ ^{３Ｎ／４−１}ｓｉｎ［２πｙ／Ｎ］
＋ｍ_２Σ_{ｙ＝３Ｎ／４} ^Ｎ−１ｓｉｎ［２πｙ／Ｎ］） （１８ｉ）
となり、Ｈ（０，１）の実数成分Ｈ_ｒ（０，１）及び虚数成分Ｈ_ｉ（０，１）は０にならない。 here,
Σ _{y = 0} ^N−1 cos [2πy / N] = Σ _{y = 0} ^N−1 sin [2πy / N] = 0
Because
H _r (0,1)
= Σ _{x = N / 2} ^N−1 m ₁ Σ _{y = 0} ^{3N / 4−1} cos [2πy / N]
+ Σ _{x = N / 2} ^N−1 m ₂ Σ _{y = 3N / 4} ^N−1 cos [2πy / N]
= N / 2 × (m ₁ Σ _{y = 0} ^{3N / 4−1} cos [2πy / N]
+ ^M ₂ Σ _{y = 3N / 4} ^N−1 cos [2πy / N]) (18r)
H _i (0,1)
= −Σ _{x = N / 2} ^N−1 m ₁ Σ _{y = 0} ^{3N / 4-1} sin [2πy / N]
−Σ _{x = N / 2} ^N−1 m ₂ Σ _{y = 3N / 4} ^N−1 sin [2πy / N]
= −N / 2 × (m ₁ Σ _{y = 0} ^{3N / 4-1} sin [2πy / N]
+ ^M ₂ Σ _{y = 3N / 4} ^N−1 sin [2πy / N]) (18i)
Thus, the real component H _r (0,1) and the imaginary component H _i (0,1) of H (0,1) do not become zero.

（Ｆ）検査点Ｖと頂点が一致した場合、即ち、
ｈ（ｘ、ｙ）
＝ｍ_１ （ｉ−Ｎ／２≦ｘ≦ｉ−１、ｊ−Ｎ／２≦ｙ≦ｊ＋Ｎ／２―１）；
ｍ_１ （ｉ≦ｘ＜ｉ＋Ｎ／２―１、ｊ−Ｎ／２≦ｙ≦ｊ−１）；
ｍ_２ （ｉ≦ｘ＜ｉ＋Ｎ／２―１、ｊ≦ｙ≦ｊ＋Ｎ／２―１） （１９）
のとき、
Ｈ_ｒ（０，１）
＝Σ_ｘ＝０ ^{Ｎ／２−１}ｍ_１Σ_ｙ＝０ ^Ｎ−１ｃｏｓ［２πｙ／Ｎ］
＋Σ_{ｘ＝Ｎ／２} ^Ｎ−１ｍ_１Σ_ｙ＝０ ^{Ｎ／２−１}ｃｏｓ［２πｙ／Ｎ］
＋Σ_{ｘ＝Ｎ／２} ^Ｎ−１ｍ_２Σ_{ｙ＝Ｎ／２} ^Ｎ−１ｃｏｓ［２πｙ／Ｎ］ （２０ｒ）
Ｈ_ｉ（０，１）
＝−Σ_ｘ＝０ ^{Ｎ／２−１}ｍ_１Σ_ｙ＝０ ^Ｎ−１ｓｉｎ［２πｙ／Ｎ］
−Σ_{ｘ＝Ｎ／２} ^Ｎ−１ｍ_１Σ_ｙ＝０ ^{Ｎ／２−１}ｓｉｎ［２πｙ／Ｎ］
−Σ_{ｘ＝Ｎ／２} ^Ｎ−１ｍ_２Σ_{ｙ＝Ｎ／２} ^Ｎ−１ｓｉｎ［２πｙ／Ｎ］ （２０ｉ）
となる。 (F) When the inspection point V coincides with the vertex, that is,
h (x, y)
= M ₁ (i−N / 2 ≦ x ≦ i−1, j−N / 2 ≦ y ≦ j + N / 2-1);
m ₁ (i ≦ x <i + N / 2-1, j−N / 2 ≦ y ≦ j−1);
m ₂ (i ≦ x <i + N / 2-1, j ≦ y ≦ j + N / 2-1) (19)
When,
H _r (0,1)
= Σ _{x = 0} ^{N / 2-1} m ₁ Σ _{y = 0} ^N−1 cos [2πy / N]
+ Σ _{x = N / 2} ^N−1 m ₁ Σ _{y = 0} ^{N / 2-1} cos [2πy / N]
+ Σ _{x = N / 2} ^N−1 m ₂ Σ _{y = N / 2} ^N−1 cos [2πy / N] (20r)
H _i (0,1)
= −Σ _{x = 0} ^{N / 2-1} m ₁ Σ _{y = 0} ^N−1 sin [2πy / N]
−Σ _{x = N / 2} ^N−1 m ₁ Σ _{y = 0} ^{N / 2-1} sin [2πy / N]
^{_{-Σ x = N / 2 N-}} 1 m 2 Σ y = N / 2 N-1 sin [2πy / N] (20i)
It becomes.

ここで、
Σ_ｙ＝０ ^Ｎ−１ｃｏｓ［２πｙ／Ｎ］
＝Σ_ｙ＝０ ^{Ｎ／２−１}ｃｏｓ［２πｙ／Ｎ］＝Σ_{ｙ＝Ｎ／２} ^Ｎ−１ｃｏｓ［２πｙ／Ｎ］
＝０であり、
Σ_ｙ＝０ ^Ｎ−１ｓｉｎ［２πｙ／Ｎ］＝０
であるから、
Ｈ_ｒ（０，１）＝０、
Ｈ_ｉ（０，１）
＝−Ｎｍ_１／２Σ_ｙ＝０ ^{Ｎ／２−１}ｓｉｎ［２πｙ／Ｎ］
＝−Ｎｍ_２／２Σ_{ｙ＝Ｎ／２} ^Ｎ−１ｓｉｎ［２πｙ／Ｎ］
となる。Ｈ（０，１）のうち、実数成分Ｈ_ｒ（０，１）は０となる。 here,
Σ _{y = 0} ^N−1 cos [2πy / N]
= Σ _{y = 0} ^{N / 2-1} cos [2πy / N] = Σ _{y = N / 2} ^N−1 cos [2πy / N]
= 0,
Σ _{y = 0} ^N−1 sin [2πy / N] = 0
Because
H _r (0,1) = 0,
H _i (0,1)
= −Nm ₁ / 2Σ _{y = 0} ^{N / 2-1} sin [2πy / N]
= −Nm ₂ / 2Σ _{y = N / 2} ^N−1 sin [2πy / N]
It becomes. Of H (0,1), the real component H _r (0,1) is zero.

ステップＳ７１では、前回のステップＳ７０の実行時に記憶したＨ_ｒ（０，１）がメモリから読み出される。ステップＳ７２では、ステップＳ７０において今回新しく取得されたＨ_ｒ（０，１）とメモリに記憶されていた前回のＨ_ｒ（０，１）とを比較し、その変化量が所定の閾値よりも大きいかどうかが評価される。ここで、Ｈ_ｒ（０，１）が０でない場合は、上記（Ｅ）の場合に該当する。すなわち、検査領域８０内に原画像領域２０の頂点があるということである。ただし、頂点が検査領域８０の端付近にある場合は、Ｈ_ｒ（０，１）の値は０にはならないものの、大きな値をとることはない。検査点を垂直方向にずらしていくにつれ、原画像領域２０の頂点は検査領域８０の中央部に近づいていくが、これに伴って、Ｈ_ｒ（０，１）は徐々に大きくなっていく。したがって、Ｈ_ｒ（０，１）の変化量が所定の閾値より大きい場合は、原画像領域２０の頂点は検査領域８０の中央部に近づいてきたものとみなし、ステップＳ５４の一連の処理は終了する。 In step S71, H _r (0, 1) stored in the previous execution of step S70 is read from the memory. In step S72, H _r (0,1) newly acquired in step S70 is compared with the previous H _r (0,1) stored in the memory, and the amount of change is larger than a predetermined threshold value. Whether it is evaluated. Here, when H _r (0, 1) is not 0, it corresponds to the case of (E) above. That is, the vertex of the original image area 20 is in the inspection area 80. However, when the vertex is near the end of the inspection area 80, the value of H _r (0, 1) does not become 0, but does not take a large value. As the inspection point is shifted in the vertical direction, the vertex of the original image region 20 approaches the center of the inspection region 80, and accordingly, H _r (0, 1) gradually increases. Therefore, if the amount of change in H _r (0, 1) is greater than the predetermined threshold, it is considered that the vertex of the original image area 20 has approached the center of the inspection area 80, and the series of processes in step S54 is completed. To do.

一方、ステップＳ７２においてＨ_ｒ（０，１）の変化量が所定の閾値以下であると判断された場合は、ステップＳ７４へ進む。ステップＳ７４では、ｊが１だけデクリメントされる。即ち、検査点Ｖは、左上の頂点Ａを探索するために、図１５の紙面上側に移動する。そして、ステップＳ６０以降の処理が繰り返される。 On the other hand, if it is determined in step S72 that the amount of change in H _r (0, 1) is equal to or less than the predetermined threshold value, the process proceeds to step S74. In step S74, j is decremented by one. That is, the inspection point V moves to the upper side in FIG. 15 in order to search for the upper left vertex A. And the process after step S60 is repeated.

図１５は、左上の頂点Ａを探索する場合における縦方向走査処理Ｓ５４が行われる様子を説明する図である。図１０のエッジ検出処理Ｓ２０で最終的に得られた頂点探索開始点Ｖｓ（ｉ，ｊ）を中心として、エッジ検出処理Ｓ２０で特定されたエッジ方向７４にｄ画素の幅をもつ走査幅７６が設定される。頂点探索開始点Ｖｓ（ｉ，ｊ）をエッジ方向７４にｄ／２画素だけずらすことにより、縦方向走査処理Ｓ５４の走査のスタート位置である検査点Ｖ（ｉ−ｄ／２，ｊ）が設定される。エッジ検出部３８は、この検査点Ｖにおいて縦横Ｎ画素からなる検査領域８０を設定し、検査領域８０の画素値をフーリエ変換する。画素数Ｎはたとえば１６に設定される。   FIG. 15 is a diagram illustrating a state in which the vertical scanning process S54 is performed when searching for the top left vertex A. FIG. A scan width 76 having a width of d pixels in the edge direction 74 specified in the edge detection process S20 with the vertex search start point Vs (i, j) finally obtained in the edge detection process S20 of FIG. Is set. By shifting the vertex search start point Vs (i, j) by d / 2 pixels in the edge direction 74, the inspection point V (id-2, j) which is the scanning start position of the vertical direction scanning process S54 is set. Is done. The edge detector 38 sets an inspection region 80 composed of vertical and horizontal N pixels at the inspection point V, and performs a Fourier transform on the pixel value of the inspection region 80. The number of pixels N is set to 16, for example.

エッジ検出部３８は、検査領域８０を検出されたエッジ方向７４と平行な走査方向７８に１画素ずつシフトさせながらフーリエ変換処理を行い、最低水平周波数成分の実軸成分Ｈ_１，０の値が０になることにより、検査点Ｖが原画像領域２０のエッジライン上に到達したことを検出する。検査点Ｖがエッジライン上に到達すると、エッジ方向とは垂直な走査方向７９に沿って、検査領域８０を上向きに１画素だけシフトさせ、同じようにｄ／２だけ検査領域８０をずらした位置をスタート位置として、エッジ方向と並行な走査方向７８にエッジ検出を続ける。これが、ステップＳ６０〜Ｓ６８の走査処理である。 The edge detection unit 38 performs a Fourier transform process while shifting the inspection region 80 one pixel at a time in the scanning direction 78 parallel to the detected edge direction 74, and the value of the real axis component _H1,0 of the lowest horizontal frequency component is obtained. By becoming 0, it is detected that the inspection point V has reached the edge line of the original image area 20. When the inspection point V reaches the edge line, the inspection area 80 is shifted upward by one pixel along the scanning direction 79 perpendicular to the edge direction, and the inspection area 80 is similarly shifted by d / 2. As a start position, edge detection is continued in the scanning direction 78 parallel to the edge direction. This is the scanning process of steps S60 to S68.

なお、検査領域８０を横向き、上向きにシフトさせる量が、１画素でなくてもよく、２画素以上Ｎ画素以下であってもよい。また、二分探索法を用いて走査範囲を絞り込みながら、走査を行ってもよい。   Note that the amount by which the inspection region 80 is shifted horizontally and upward may not be one pixel, but may be 2 pixels or more and N pixels or less. Further, scanning may be performed while narrowing the scanning range using the binary search method.

なお、図１４と図１５では、左上の頂点Ａを縦方向に探索して検出する場合を説明した。左下の頂点Ｂを検出する場合は、ステップＳ７４において、検査点Ｖのｙ座標値ｊが１だけインクリメントされるように変更する。また、右上の頂点Ｃを検出する場合は、ステップＳ６０において、検査点Ｖのｘ座標値ｉがi＋ｄ／２に設定され、ステップＳ６８において、検査点Ｖのｘ座標値ｉが１だけデクリメントされるように変更する。また、右下の頂点Ｄを検出する場合は、ステップＳ６０において、検査点Ｖのｘ座標ｉがi＋ｄ／２に設定され、ステップＳ６８において、検査点Ｖのｘ座標値ｉが１だけデクリメントされ、ステップＳ７４において、検査点Ｖのｙ座標値ｊが１だけインクリメントされるように変更する。   14 and 15, the case has been described in which the top left vertex A is searched and detected in the vertical direction. When the lower left vertex B is detected, in step S74, the y coordinate value j of the inspection point V is changed so as to be incremented by one. When the upper right vertex C is detected, the x coordinate value i of the inspection point V is set to i + d / 2 in step S60, and the x coordinate value i of the inspection point V is decremented by 1 in step S68. Change as follows. When the lower right vertex D is detected, the x coordinate i of the inspection point V is set to i + d / 2 in step S60, and the x coordinate value i of the inspection point V is decremented by 1 in step S68. In step S74, the y coordinate value j of the inspection point V is changed so as to be incremented by one.

ところで、輝度値分布がｈ'（ｘ，ｙ）である縦横Ｎ画素の検査領域８０の座標をｘ方向（水平方向）にｋだけシフトさせたｈ'（ｘ−ｋ，ｙ）のフーリエ変換を求めると、次のようになる。
Ｆ｛ｈ'（ｘ−ｋ，ｙ）｝
＝Σ_ｙ＝０ ^Ｎ-１Σ_ｘ＝０ ^Ｎ-１
｛ｈ'（ｘ−ｋ，ｙ）ｅｘｐ［−ｉ２π（ｕｘ＋ｕｋ＋ｖｙ）／Ｎ］｝
＝ｅｘｐ（−ｉ２πｕｋ／Ｎ）Ｈ（ｕ，ｖ） （２１） By the way, Fourier transformation of h ′ (x−k, y) is performed by shifting the coordinates of the inspection area 80 of vertical and horizontal N pixels whose luminance value distribution is h ′ (x, y) by k in the x direction (horizontal direction). When asked, it becomes as follows.
F {h ′ (x−k, y)}
= Σ _{y = 0} ^N-1 Σ _{x = 0} ^N-1
{H ′ (x−k, y) exp [−i2π (ux + uk + vy) / N]}
= Exp (-i2πuk / N) H (u, v) (21)

式（２１）は、輝度値分布がｋ画素分だけｘ方向（水平方向）にシフトすると、フーリエ変換後の信号空間においては、信号の位相角が２πｕｋ／Ｎだけシフトすることを意味する。逆にいえば、フーリエ変換後の信号の位相角のシフト量２πｕｋ／Ｎを角周波数ω＝２πｕ／Ｎで除算することにより、原信号のシフト量を求めることができる。   Equation (21) means that when the luminance value distribution is shifted in the x direction (horizontal direction) by k pixels, the signal phase angle is shifted by 2πuk / N in the signal space after Fourier transform. Conversely, the shift amount of the original signal can be obtained by dividing the phase angle shift amount 2πuk / N of the signal after Fourier transform by the angular frequency ω = 2πu / N.

なお、上記ステップＳ６６では、検査点Ｖを中心としたフーリエ変換の実数成分Ｈ_１，０が０である場合にエッジが検出されたものと判定したが、これに代えて、前記実数成分Ｈ_１，０が所定の値以下である場合にエッジが検出されたものと判定するものであっても良い。これにより、原画像領域２０及び余白部分の輝度値が均一でない場合、たとえばノイズに起因し、場所によってばらついている場合でも、エッジ位置を正しく検出することができる。あるいは、実数成分Ｈ_１，０の絶対値が最小となるような前記検査点Ｖがエッジ位置であるとみなすものであっても良い。 In step S66, it is determined that an edge is detected when the real component H ₁ , 0 of the Fourier transform centered on the inspection point V is 0. Instead, the real component H ₁ is used instead. _{, 0} may be determined to be an edge detected when it is equal to or less than a predetermined value. Thereby, even when the luminance values of the original image region 20 and the margin part are not uniform, for example, due to noise, the edge position can be correctly detected. Alternatively, the inspection point V that minimizes the absolute value of the real number component H ₁ , ₀ may be regarded as the edge position.

図１６（ａ）〜（ｄ）は、検査領域８０のフーリエ変換の最低水平周波数成分により横方向のエッジが判定される原理を説明する図である。図１６（ａ）のように、検査領域８０の中心点Ｖがちょうど原画像領域２０のエッジライン上に存在するとき、フーリエ変換の最低水平周波数成分である（１，０）成分は、図１６（ｄ）に示す実数部を実軸Ｒｅ、虚数部を虚軸Ｉｍにとった座標系の単位円上で、実軸成分が０の虚軸Ｉｍ上のベクトル９０で表される。   FIGS. 16A to 16D are diagrams for explaining the principle that the edge in the horizontal direction is determined by the lowest horizontal frequency component of the Fourier transform of the inspection region 80. FIG. As shown in FIG. 16A, when the center point V of the inspection area 80 is just on the edge line of the original image area 20, the (1,0) component that is the lowest horizontal frequency component of the Fourier transform is The real part shown in (d) is represented by a vector 90 on the imaginary axis Im on the unit circle of the coordinate system with the real axis Re and the imaginary part taken on the imaginary axis Im.

一方、図１６（ｂ）のように、検査領域８０の中心点Ｖが原画像領域２０の横方向のエッジラインからｋ画素だけ左にずれているときは、フーリエ変換の最低水平周波数成分である（１，０）成分は、図１６（ｄ）に示すように、Ｉｍ軸に対して位相角が−ωｋをなすベクトル９２で表され、このときの実軸成分Ｈ_１，０は負である。また、図１６（ｃ）のように、検査領域８０の中心点Ｖが原画像領域２０の横方向のエッジラインからｋ画素だけ右にずれているときは、フーリエ変換の最低水平周波数成分である（１，０）成分は、図１６（ｄ）に示すように、Ｉｍ軸に対して位相角がωｋをなすベクトル９１で表され、このときの実軸成分Ｈ_１，０は正である。 On the other hand, as shown in FIG. 16B, when the center point V of the inspection area 80 is shifted to the left by k pixels from the horizontal edge line of the original image area 20, it is the lowest horizontal frequency component of the Fourier transform. As shown in FIG. 16D, the (1,0) component is represented by a vector 92 having a phase angle of −ωk with respect to the Im axis, and the real axis component H _{1,0 at} this time is negative. . As shown in FIG. 16C, when the center point V of the inspection area 80 is shifted to the right by k pixels from the horizontal edge line of the original image area 20, it is the lowest horizontal frequency component of the Fourier transform. As shown in FIG. 16 (d), the (1,0) component is represented by a vector 91 whose phase angle is ωk with respect to the Im axis, and the real axis component H _{1,0 at} this time is positive.

したがって、フーリエ変換の（１，０）成分の実軸成分Ｈ_１，０の値が０であれば、そのときの検査領域８０の中心点Ｖがエッジライン上にあると判定でき、（１，０）成分の実軸成分Ｈ_１，０の値が０でなければ、中心点Ｖがエッジラインからずれていると判定できる。この性質に基づき、図１４のステップＳ６６では、実軸成分Ｈ_１，０の値が０であるかどうかでエッジ検出を判定している。なお、実際の検出においては、ノイズによる影響があるため、実軸成分Ｈ_１，０の値が正確に０でなくても、０に近い場合に、エッジ検出の判定を行ってよい。 Therefore, if the value of the real axis component H _1,0 of the (1, 0) component of the Fourier transform is 0, it can be determined that the center point V of the inspection region 80 at that time is on the edge line, (1, If the value of the real axis component H ₁ , 0 of the 0) component is not 0, it can be determined that the center point V is deviated from the edge line. Based on this property, in step S66 in FIG. 14, edge detection is determined based on whether or not the value of the real axis component H _1,0 is zero. In actual detection, since there is an influence of noise, even if the value of the real axis component H ₁ , 0 is not exactly 0, edge detection may be determined when it is close to 0.

エッジ検出の判定精度を高めるため、最低周波数成分（１，０）だけでなく、２番目の低周波数成分（２，０）についても実軸成分Ｈ_２，０が０であるかどうかを合わせて評価してもよい。さらに高周波の成分を用いてもよいが、高周波になるほどノイズの影響を受けやすいことに注意する。 In order to increase the accuracy of edge detection, whether or not the real axis component H _2,0 is 0 is set not only for the lowest frequency component (1, 0) but also for the second low frequency component (2, 0). You may evaluate. Furthermore, although a high frequency component may be used, it should be noted that the higher the frequency, the more susceptible to noise.

ここで、フーリエ変換の最低周波数成分（１，０）における角周波数ωは、検査領域８０の画素数Ｎを用いて、ω＝２π／Ｎと表されることから、位置ずれｋが画素数Ｎの半分である場合の位相角はωｋ＝（２π／Ｎ）×（Ｎ／２）＝πであり、このときの最低周波数成分（１，０）は、虚軸Ｉｍ上の負の向きのベクトル９３となる。このときが位置ずれｋの検出限界となるから、最低周波数成分（１，０）の位相角ωｋによって検出可能な位置ずれｋの範囲は−Ｎ／２≦ｋ＜Ｎ／２である。   Here, since the angular frequency ω in the lowest frequency component (1, 0) of the Fourier transform is expressed as ω = 2π / N using the number of pixels N in the inspection region 80, the positional deviation k is the number of pixels N. Is the phase angle ωk = (2π / N) × (N / 2) = π, and the lowest frequency component (1,0) at this time is a vector in the negative direction on the imaginary axis Im 93. Since this is the detection limit of the positional deviation k, the range of the positional deviation k that can be detected by the phase angle ωk of the lowest frequency component (1, 0) is −N / 2 ≦ k <N / 2.

また、２番目の低周波数成分（２，０）における角周波数ωは、ω＝４π／Ｎであり、一般にフーリエ変換の周波数成分（ｉ，０）における角周波数ωは、ω＝（２π／Ｎ）×ｉであるから、２番目の低周波数成分（２，０）をエッジ検出に用いた場合、検出可能な位置ずれｋの範囲は、−Ｎ／４≦ｋ＜Ｎ／４に狭まる。一般に周波数成分（ｉ，０）を用いた場合、検出可能な位置ずれｋの範囲は、−Ｎ／（２ｉ）≦ｋ＜Ｎ／（２ｉ）に狭まる。   The angular frequency ω in the second low-frequency component (2, 0) is ω = 4π / N, and generally the angular frequency ω in the frequency component (i, 0) of the Fourier transform is ω = (2π / N ) × i, when the second low-frequency component (2, 0) is used for edge detection, the range of detectable positional deviation k is narrowed to −N / 4 ≦ k <N / 4. In general, when the frequency component (i, 0) is used, the range of the detectable positional deviation k is narrowed to −N / (2i) ≦ k <N / (2i).

図１６（ａ）〜（ｄ）では、検査領域８０のフーリエ変換の最低水平周波数成分すなわち（１，０）成分の実軸成分Ｈ_１，０により横方向のエッジの検出が可能であることを説明したが、同様に、検査領域８０のフーリエ変換の最低垂直周波数成分すなわち（０，１）成分の実軸成分Ｈ_０，１により縦方向のエッジの検出が可能である。 In FIGS. 16A to _16D, it is possible to detect the edge in the horizontal direction by the lowest horizontal frequency component of the Fourier transform of the inspection region 80, that is, the real axis component H _1,0 of the (1,0) component. As described above, similarly, the vertical edge can be detected by the lowest vertical frequency component of the Fourier transform of the inspection region 80, that is, the real axis component H _0,1 of the (0, 1) component.

図１７は、図１４のステップＳ７２の縦方向走査の停止条件を説明する図である。検査領域８０を縦方向に１画素ずつシフトして縦方向の走査を続け、同図のように、検査領域８０内に原画像領域２０の頂点Ａが入ったとする。このとき検査領域の中心点（検査点）Ｖは、原画像領域２０のエッジライン上にあるが、原画像領域２０の頂点Ａからずれている。   FIG. 17 is a diagram illustrating the vertical scanning stop condition in step S72 of FIG. It is assumed that the inspection area 80 is shifted by one pixel in the vertical direction and scanning in the vertical direction is continued, and the vertex A of the original image area 20 enters the inspection area 80 as shown in FIG. At this time, the center point (inspection point) V of the inspection area is on the edge line of the original image area 20, but is shifted from the vertex A of the original image area 20.

このとき、検査領域８０の中心点Ｖが原画像領域２０の上辺のエッジラインからずれているために、検査領域８０のフーリエ変換の低周波垂直成分すなわち（０，１）成分の実軸成分Ｈ_０，１の値は非零である。縦方向走査により、検査領域８０内に原画像領域２０の頂点Ａが入ることにより、（０，１）成分の実軸成分Ｈ_０，１の値に変化が生じるため、この変化をとらえて、縦方向走査を終了する。ステップＳ７２では（０，１）成分の実軸成分Ｈ_０，１の変化量と所定の閾値の大小関係にもとづいて停止の判定を行ったが、これに代えて、実軸成分Ｈ_０，１と所定の閾値の大小関係にもとづいて停止の判定を行ってもよい。この場合、図１４のステップＳ７１の処理は不要である。縦方向走査の停止時点での検査点Ｖをエッジラインの端点とみなし、検査点Ｖの座標値を暫定頂点Ｖｅの座標値として取得する。 At this time, since the center point V of the inspection area 80 is shifted from the edge line on the upper side of the original image area 20, the low-frequency vertical component of the Fourier transform of the inspection area 80, that is, the real axis component H of the (0, 1) component. The values _{0 and 1} are non-zero. When the vertex A of the original image area 20 enters the inspection area 80 by the vertical scanning, the value of the real axis component H _0,1 of the (0, 1) component changes. The vertical scanning is finished. In step S72, the stop determination is made based on the magnitude relationship between the change amount of the real axis component H _0,1 of the (0, 1) component and a predetermined threshold value. Instead, the real axis component H _0,1 The stop may be determined based on the magnitude relationship between the predetermined threshold value and the predetermined threshold value. In this case, the process of step S71 in FIG. 14 is not necessary. The inspection point V when the vertical scanning is stopped is regarded as the end point of the edge line, and the coordinate value of the inspection point V is acquired as the coordinate value of the provisional vertex Ve.

図１８は、図１３の横方向走査処理Ｓ５６の詳細な手順を説明するフローチャートである。横方向走査処理Ｓ５６は、図１４の縦方向走査処理Ｓ５４と走査方向が異なるだけで、処理としては同じである。なお、ここでは、左上の頂点Ａを検出場合を説明する。   FIG. 18 is a flowchart for explaining the detailed procedure of the horizontal scanning process S56 of FIG. The horizontal scanning process S56 is the same as the vertical scanning process S54 of FIG. 14 except for the scanning direction. Here, the case where the upper left vertex A is detected will be described.

エッジ追跡部４４は、検査点Ｖのｙ座標値を示す変数ｊから走査幅ｄの１／２を減算することにより、検査点Ｖのスタート位置を設定する（Ｓ８０）。エッジ追跡部４４は、検査点Ｖ（ｉ，ｊ）を中心とする縦横Ｎ画素の検査領域にフーリエ変換処理を施す（Ｓ８２）。エッジ追跡部４４は、検査領域のフーリエ変換の（０，１）成分の実軸成分Ｈ_０，１を取得し（Ｓ８４）、実軸成分Ｈ_０，１が０でない場合（Ｓ８６のＮ）、ｙ座標値ｊを１だけインクリメントして、検査点Ｖをｙ軸方向に移動させ（Ｓ８８）、新しい検査点Ｖについてフーリエ変換処理Ｓ８２を続ける。 The edge tracking unit 44 sets the start position of the inspection point V by subtracting ½ of the scanning width d from the variable j indicating the y coordinate value of the inspection point V (S80). The edge tracking unit 44 performs a Fourier transform process on the inspection region of N pixels in the vertical and horizontal directions centering on the inspection point V (i, j) (S82). The edge tracking unit 44 acquires the real axis component H _0,1 of the (0, 1) component of the Fourier transform of the inspection region (S84), and when the real axis component H _0,1 is not 0 (N in S86), The y coordinate value j is incremented by 1, the inspection point V is moved in the y-axis direction (S88), and the Fourier transform processing S82 is continued for the new inspection point V.

実軸成分Ｈ_０，１が０である場合（Ｓ８６のＹ）、その検査点Ｖにおいてエッジが検出されたと判定し、次にフーリエ変換の（１，０）成分の実軸成分Ｈ_１，０を取得し（Ｓ９０）、実軸成分Ｈ_１，０を閾値と比較して、横方向走査の停止条件の成否を調べる（Ｓ９２）。停止条件が成立する、すなわち実軸成分Ｈ_１，０が閾値よりも大きい場合（Ｓ９２のＹ）、横方向走査処理を終了してリターンする。停止条件が成立しない、すなわち実軸成分Ｈ_１，０が閾値以下である場合（Ｓ９２のＮ）、検査点Ｖのｘ座標値ｉを１だけデクリメントして、左上の頂点Ａを探索するために、左向きに検査点Ｖを移動させ（Ｓ９４）、ステップＳ８０以降の処理を繰り返す。 When the real axis component H _0,1 is 0 (Y in S86), it is determined that an edge is detected at the inspection point V, and then the real axis component H _1,0 of the (1, 0) component of the Fourier transform is detected. (S90), the real axis component H ₁ , ₀ is compared with a threshold value, and the success or failure of the horizontal scanning stop condition is checked (S92). When the stop condition is satisfied, that is, when the real axis components H _{1 and 0} are larger than the threshold value (Y in S92), the horizontal scanning process is finished and the process returns. When the stop condition is not satisfied, that is, when the real axis components H _{1 and 0} are equal to or smaller than the threshold value (N in S92), the x coordinate value i of the inspection point V is decremented by 1 to search for the upper left vertex A Then, the inspection point V is moved leftward (S94), and the processes after step S80 are repeated.

なお、図１８では、左上の頂点Ａを横方向に探索して検出する場合を説明した。左下の頂点Ｂを検出する場合は、ステップＳ８０において、検査点Ｖのｙ座標値ｊがｊ＋ｄ／２に設定され、ステップＳ８８において、検査点Ｖのｙ座標値ｊが１だけデクリメントされるように変更する。また、右上の頂点Ｃを検出する場合は、ステップＳ９４において、検査点Ｖのｘ座標値ｉが１だけインクリメントされるように変更する。また、右下の頂点Ｄを検出する場合は、ステップＳ８０において、検査点Ｖのｙ座標ｊがｊ＋ｄ／２に設定され、ステップＳ８８において、検査点Ｖのｙ座標値ｊが１だけデクリメントされ、ステップＳ９４において、検査点Ｖのｘ座標値ｉが１だけインクリメントされるように変更する。   In FIG. 18, the case has been described in which the top left vertex A is searched and detected in the horizontal direction. When detecting the lower left vertex B, the y coordinate value j of the inspection point V is set to j + d / 2 in step S80, and the y coordinate value j of the inspection point V is decremented by 1 in step S88. change. When the upper right vertex C is detected, the x coordinate value i of the inspection point V is changed to be incremented by 1 in step S94. If the lower right vertex D is detected, the y coordinate j of the inspection point V is set to j + d / 2 in step S80, and the y coordinate value j of the inspection point V is decremented by 1 in step S88. In step S94, the x coordinate value i of the inspection point V is changed so as to be incremented by one.

図１４の縦方向走査処理Ｓ５４および図１８の横方向走査処理Ｓ５６では、検査点を１画素ずつシフトさせて、その都度、検査領域に対するフーリエ変換を求めた。しかしながら、図１６（ａ）〜（ｄ）で説明したように、検査領域８０の中心点Ｖとエッジラインとのずれｋが、フーリエ変換後の空間では、虚軸Ｉｍとなす位相角ωｋとして現れることを利用すれば、位相角ωｋを角周波数ωで除算することにより、位置ずれｋを求めることができる。したがって、検査領域８０内にエッジラインが入った時点でのフーリエ変換処理の結果から、検査領域８０の中心点Ｖとエッジラインのずれｋを算出して、その後の検査領域８０の走査とフーリエ変換処理を省略して、エッジラインの位置を求めてもよい。この方法によれば、フーリエ変換処理の回数を減らすことができる。   In the vertical scanning process S54 in FIG. 14 and the horizontal scanning process S56 in FIG. 18, the inspection point is shifted pixel by pixel, and the Fourier transform for the inspection region is obtained each time. However, as described in FIGS. 16A to 16D, the shift k between the center point V of the inspection region 80 and the edge line appears as a phase angle ωk formed with the imaginary axis Im in the space after Fourier transform. By utilizing this fact, the positional deviation k can be obtained by dividing the phase angle ωk by the angular frequency ω. Accordingly, the shift k between the center point V of the inspection region 80 and the edge line is calculated from the result of the Fourier transform processing at the time when the edge line enters the inspection region 80, and the subsequent scanning of the inspection region 80 and Fourier transform are performed. The processing may be omitted and the position of the edge line may be obtained. According to this method, the number of Fourier transform processes can be reduced.

図１９は、図９の頂点位置特定処理Ｓ２４の詳細な手順を説明するフローチャートである。この処理において、頂点特定部４０のフーリエ変換処理部４６および位相角算出部４７は、暫定頂点Ｖｅの位置ずれ検出処理を行い、真の頂点の位置に対する暫定頂点Ｖｅのｘ軸方向のずれｄｉｆｆ＿ｘとｙ軸方向のずれｄｉｆｆ＿ｙとを求める。   FIG. 19 is a flowchart for explaining the detailed procedure of the vertex position specifying process S24 of FIG. In this process, the Fourier transform processing unit 46 and the phase angle calculation unit 47 of the vertex specifying unit 40 perform a positional deviation detection process for the provisional vertex Ve, and the deviation diff_x in the x-axis direction of the provisional vertex Ve with respect to the true vertex position. A deviation diff_y in the y-axis direction is obtained.

図２０（ａ）、（ｂ）は、暫定頂点Ｖｅの位置ずれを説明する図である。図２０（ａ）は、縦方向走査処理Ｓ５４または横方向走査処理Ｓ５６の走査が終わった時点での検査領域８０と原画像領域２０の関係を示す。検査領域８０の中心点すなわち暫定頂点Ｖｅ（ｉ_ｅ，ｊ_ｅ）は、原画像領域２０の真の頂点Ａの位置からｘ軸方向にｄｉｆｆ＿ｘ、ｙ軸方向にｄｉｆｆ＿ｙだけずれている。このようなずれが生じるのは、縦方向走査処理Ｓ５４および横方向走査処理Ｓ５６では、検査領域８０内に原画像領域２０の頂点が入った時点で、走査を停止し、それ以降の探索を行わないためである。また、ノイズの影響により、エッジの追跡だけでは正確な頂点位置を判定できないためでもある。 20A and 20B are diagrams for explaining the positional deviation of the provisional vertex Ve. FIG. 20A shows the relationship between the inspection area 80 and the original image area 20 at the time when the scanning in the vertical direction scanning process S54 or the horizontal direction scanning process S56 is completed. The center point of the inspection area 80, that is, the provisional vertex Ve (i _e , j _e ) is shifted from the position of the true vertex A of the original image area 20 by diff_x in the x-axis direction and diff_y in the y-axis direction. Such a shift occurs in the vertical scanning process S54 and the horizontal scanning process S56 when the apex of the original image area 20 enters the inspection area 80, and the subsequent search is performed. This is because there is not. Moreover, it is because an accurate vertex position cannot be determined only by tracking an edge due to the influence of noise.

図２０（ｂ）は、検査領域８０の中心点すなわち暫定頂点Ｖｅと、原画像領域２０の頂点Ａとが一致している理想的な状態を示したものである。図２０（ｂ）の理想的な状態における検査領域８０の画像は参照画像として、図２０（ａ）の実際の検査領域８０における暫定頂点Ｖｅの位置ずれの調整のために利用される。   FIG. 20B shows an ideal state in which the center point of the inspection area 80, that is, the provisional vertex Ve, and the vertex A of the original image area 20 coincide with each other. The image of the inspection region 80 in the ideal state of FIG. 20B is used as a reference image for adjusting the positional deviation of the provisional vertex Ve in the actual inspection region 80 of FIG.

頂点特定部４０のフーリエ変換処理部４６は、図１３の縦方向走査処理Ｓ５４または横方向走査処理Ｓ５６により得られた暫定頂点Ｖｅのｘ座標値ｉ_ｅ、ｙ座標値ｊ_ｅをそれぞれ変数ｉ，ｊに代入し（Ｓ１００）、暫定頂点Ｖｅを中心とする所定のサイズの頂点周辺画像を抽出する（Ｓ１１０）。この頂点周辺画像として、図２０（ａ）に示した暫定頂点Ｖｅを中心とする縦横Ｎ画素の検査領域８０を用いることができる。 The Fourier transform processing unit 46 of the vertex specifying unit 40 uses the x coordinate value i _e and the y coordinate value j _e of the provisional vertex Ve obtained by the vertical scanning process S54 or the horizontal scanning process S56 of FIG. Substituting into j (S100), a vertex peripheral image of a predetermined size centered on the provisional vertex Ve is extracted (S110). As the vertex peripheral image, the inspection area 80 of N pixels in the vertical and horizontal directions centered on the temporary vertex Ve shown in FIG. 20A can be used.

次に、フーリエ変換処理部４６は、暫定頂点Ｖｅの位置ずれを検出するために、頂点周辺画像と同一サイズの参照画像を設定する（Ｓ１１２）。この参照画像として、図２０（ｂ）に示した原画像領域２０の頂点Ａを中心とする縦横Ｎ画素の検査領域８０を用いることができる。原画像の４隅の画像を何らかの形で事前に取得しておき、余白部分が白色の場合、４隅の画像を背景が白地の画像に貼り付けることで、図２０（ｂ）の参照画像を生成することができる。あるいは、図２０（ｂ）の参照画像は、白地の背景に図２０（ａ）の原画像領域２０の輝度値と実質的に同一な輝度値をもつ画像を人工的に生成して貼り付けることにより生成してもよい。   Next, the Fourier transform processing unit 46 sets a reference image having the same size as the vertex peripheral image in order to detect a positional shift of the provisional vertex Ve (S112). As this reference image, it is possible to use an inspection area 80 of N pixels in the vertical and horizontal directions centering on the vertex A of the original image area 20 shown in FIG. When the four corner images of the original image are acquired in advance in some form and the margin is white, the four corner images are pasted on the white background image, so that the reference image in FIG. Can be generated. Alternatively, for the reference image in FIG. 20B, an image having a luminance value substantially the same as the luminance value of the original image region 20 in FIG. 20A is artificially generated and pasted on a white background. May be generated.

フーリエ変換処理部４６は、頂点周辺画像と参照画像のそれぞれにフーリエ変換処理を施す（Ｓ１１４）。位相角算出部４７は、頂点周辺画像と参照画像のそれぞれのフーリエ変換の最低水平周波数成分すなわち（１，０）成分の位相角α_１、α_２を算出する（Ｓ１１６）。また、位相角算出部４７は、頂点周辺画像と参照画像のそれぞれのフーリエ変換の最低垂直周波数成分すなわち（０，１）成分の位相角β_１、β_２を算出する（Ｓ１１８）。 The Fourier transform processing unit 46 performs a Fourier transform process on each of the vertex peripheral image and the reference image (S114). The phase angle calculation unit 47 calculates the phase angles α ₁ and α ₂ of the lowest horizontal frequency component, that is, the (1,0) component of the Fourier transform of each of the vertex peripheral image and the reference image (S116). Further, the phase angle calculation unit 47 calculates the phase angles β ₁ and β ₂ of the lowest vertical frequency component, that is, the (0, 1) component of the Fourier transform of each of the vertex peripheral image and the reference image (S118).

頂点位置ずれ調整部４８は、暫定頂点Ｖｅのｙ軸方向の位置ずれｄｉｆｆ＿ｙを（α_２−α_１）／（２π／Ｎ）により算出し（Ｓ１２０）、暫定頂点Ｖｅのｘ軸方向の位置ずれｄｉｆｆ＿ｘを（β_２−β_１）／（２π／Ｎ）により算出する（Ｓ１２２）。 The vertex position deviation adjustment unit 48 calculates the position deviation diff_y in the y-axis direction of the provisional vertex Ve from (α ₂ −α ₁ ) / (2π / N) (S120), and the position deviation of the provisional vertex Ve in the x-axis direction. Diff_x is calculated by (β ₂ −β ₁ ) / (2π / N) (S122).

頂点位置ずれ調整部４８は、変数ｉからｘ軸方向のずれｄｉｆｆ＿ｘを減算し、変数ｊからｙ軸方向のずれｄｉｆｆ＿ｙを減算することにより、最終検出頂点Ｖｆの座標（ｉ，ｊ）を求める（Ｓ１２４）。ここで、ｘ軸方向のずれｄｉｆｆ＿ｘ、ｙ軸方向のずれｄｉｆｆ＿ｙは、真の頂点のｘ、ｙ座標からのずれの方向により正負の符号がつけられた整数値であるとする。   The vertex position deviation adjustment unit 48 subtracts the deviation diff_x in the x-axis direction from the variable i, and subtracts the deviation diff_y in the y-axis direction from the variable j to obtain the coordinates (i, j) of the final detected vertex Vf ( S124). Here, it is assumed that the deviation diff_x in the x-axis direction and the deviation diff_y in the y-axis direction are integer values that are positively or negatively signed depending on the deviation direction from the x and y coordinates of the true vertex.

図２１は、頂点周辺画像と参照画像のフーリエ変換の低周波数成分の位相角の関係を説明する図である。同図は、頂点周辺画像と参照画像のフーリエ変換の最低水平周波数成分すなわち（１，０）成分を実軸Ｒｅと虚軸Ｉｍからなる座標系の単位円上の点で示したものであり、頂点周辺画像のフーリエ変換の（１，０）成分１２０の位相角はα_１、参照画像のフーリエ変換の（１，０）成分１２２の位相角はα_２であり、位相差Δα＝α_２−α_１が生じる。この位相差は、暫定頂点Ｖｅが真の頂点の位置からｙ軸方向にｄｉｆｆ＿ｊだけずれていることにより生じる。 FIG. 21 is a diagram illustrating the relationship between the phase angles of the low frequency components of the Fourier transform between the vertex peripheral image and the reference image. This figure shows the lowest horizontal frequency component of the Fourier transform of the vertex peripheral image and the reference image, that is, the (1, 0) component as a point on the unit circle of the coordinate system composed of the real axis Re and the imaginary axis Im. The phase angle of the (1,0) component 120 of the Fourier transform of the vertex peripheral image is α ₁ , the phase angle of the (1,0) component 122 of the Fourier transform of the reference image is α ₂ , and the phase difference Δα = α ₂ − α ₁ is generated. This phase difference is caused by the provisional vertex Ve being shifted from the true vertex position by diff_j in the y-axis direction.

図１６（ａ）〜（ｄ）で既に説明したように、画像上のｋ画素のずれは、フーリエ変換後の空間ではωｋの位相差として現れ、最低周波数成分については、角周波数ω＝２π／Ｎであるから、位相差を（２π／Ｎ）で除算することにより、位置ずれｋを算出することができる。すなわち、暫定頂点Ｖｅのｙ軸方向のずれｄｉｆｆ＿ｊは位相差Δαを（２π／Ｎ）で除算することで求められる。同様に、暫定頂点Ｖｅのｘ軸方向のずれｄｉｆｆ＿ｉについては、頂点周辺画像と参照画像のフーリエ変換の最低垂直周波数成分である（０，１）成分の位相角β_１、β_２を求め、その位相差Δβ＝β_２−β_１を（２π／Ｎ）で除算することで求められる。 As already described with reference to FIGS. 16A to 16D, the shift of k pixels on the image appears as a phase difference of ωk in the space after Fourier transform, and the lowest frequency component has an angular frequency ω = 2π / Since it is N, the positional deviation k can be calculated by dividing the phase difference by (2π / N). That is, the deviation diff_j in the y-axis direction of the provisional vertex Ve can be obtained by dividing the phase difference Δα by (2π / N). Similarly, regarding the diff_i in the x-axis direction of the provisional vertex Ve, the phase angles β ₁ and β ₂ of the (0, 1) component which is the lowest vertical frequency component of the Fourier transform between the vertex peripheral image and the reference image are obtained, It is obtained by dividing the phase difference Δβ = β ₂ −β ₁ by (2π / N).

また、上記のように頂点周辺画像と参照画像の両方を利用することにより、撮影部３０による撮影時のノイズ等による悪影響を除去することができる。   Further, by using both the vertex peripheral image and the reference image as described above, it is possible to remove an adverse effect due to noise or the like during photographing by the photographing unit 30.

以上、画像領域判定処理Ｓ１２の詳細な手順を図９〜図２１で説明した。上記の縦方向走査処理Ｓ５４および横方向走査処理Ｓ５６では、検査領域の画像のフーリエ変換の低周波数成分を評価することによりエッジを検出したが、エッジ検出フィルタを用いてエッジを検出してもよい。以下、エッジ検出フィルタによるエッジ検出手順を説明する。   The detailed procedure of the image area determination processing S12 has been described above with reference to FIGS. In the vertical scanning process S54 and the horizontal scanning process S56 described above, the edge is detected by evaluating the low-frequency component of the Fourier transform of the image in the inspection region, but the edge may be detected using an edge detection filter. . Hereinafter, an edge detection procedure using the edge detection filter will be described.

縦横Ｎ画素の検査領域に対して、横方向のエッジ、縦方向のエッジを検出するためのフィルタを設定し、畳み込み演算を利用したフィルタ演算の出力値を求める。ここではＮ＝４の場合を説明する。検査領域の画像（以下、入力信号ともいう）をｘ（ｉ，ｊ）とし、フィルタ演算による出力信号をｙ（ｍ，ｎ）とする。またエッジ検出フィルタをｈ（ｉ，ｊ）とする。フィルタ演算を次式のタップ数Ｌ＝４の畳み込み演算で行う。
ｙ（ｍ，ｎ）＝Σ_ｉ＝０ ^３Σ_ｊ＝０ ^３ｈ（ｍ−ｉ，ｎ−ｊ）ｘ（ｉ，ｊ） A filter for detecting a horizontal edge and a vertical edge is set for an inspection region of vertical and horizontal N pixels, and an output value of a filter operation using a convolution operation is obtained. Here, a case where N = 4 will be described. An image of the inspection area (hereinafter also referred to as an input signal) is x (i, j), and an output signal by the filter operation is y (m, n). The edge detection filter is h (i, j). The filter operation is performed by a convolution operation with the number of taps L = 4 in the following equation.
y (m, n) = Σ _{i = 0} ³ Σ _{j = 0} ³ h (m−i, n−j) x (i, j)

図２２（ａ）〜（ｃ）は、エッジ検出フィルタｈ（ｉ，ｊ）と入力信号ｘ（ｉ，ｊ）の例を説明する図である。図２２（ａ）は、横方向のエッジを検出するフィルタｈ（ｉ，ｊ）と、そのフィルタを用いた畳み込み演算によるレスポンスが最も大きくなる入力信号ｘ（ｉ，ｊ）を示す。ここで、エッジの方向は、エッジラインに垂直な方向に定義されていることに注意する。   22A to 22C are diagrams illustrating examples of the edge detection filter h (i, j) and the input signal x (i, j). FIG. 22A shows a filter h (i, j) for detecting a horizontal edge, and an input signal x (i, j) that maximizes a response by a convolution operation using the filter. Note that the edge direction is defined in a direction perpendicular to the edge line.

図２２（ｂ）は、縦方向のエッジを検出するフィルタｈ（ｉ，ｊ）と、そのフィルタを用いた畳み込み演算によるレスポンスが最も大きくなる入力信号ｘ（ｉ，ｊ）を示す。図２２（ｃ）は、左上の頂点を検出するフィルタｈ（ｉ，ｊ）と、そのフィルタを用いた畳み込み演算によるレスポンスが最も大きくなる入力信号ｘ（ｉ，ｊ）を示す。   FIG. 22B shows a filter h (i, j) for detecting a vertical edge and an input signal x (i, j) that maximizes a response by a convolution operation using the filter. FIG. 22C shows a filter h (i, j) for detecting the top left vertex and an input signal x (i, j) that maximizes the response by the convolution operation using the filter.

図２３は、エッジ検出フィルタによる縦方向走査処理Ｓ５４を説明するフローチャートである。なお、ここでは、左上の頂点Ａを検出場合を説明する。エッジ検出フィルタの出力信号の閾値を設定する（Ｓ１３０）。頂点探索開始点Ｖｓのｘ座標値ｉから走査幅ｄの１／２を減算して、エッジの走査開始点を設定する（Ｓ１３２）。   FIG. 23 is a flowchart for explaining the vertical scanning process S54 by the edge detection filter. Here, the case where the upper left vertex A is detected will be described. The threshold value of the output signal of the edge detection filter is set (S130). The scanning start point of the edge is set by subtracting 1/2 of the scanning width d from the x coordinate value i of the vertex search starting point Vs (S132).

エッジ追跡部４４は、検査点Ｖ（ｉ，ｊ）を中心とする縦横Ｎ画素の領域の２次元画像信号に対して、タップ数Ｌの横方向エッジ検出フィルタによる畳み込み演算を計算し、２次元出力信号ｙ_１を求める（Ｓ１３４）。ここでタップ数Ｌは画素数Ｎに等しい。 The edge tracking unit 44 calculates a convolution operation by a lateral edge detection filter having a tap number L on a two-dimensional image signal in a region of N pixels in the vertical and horizontal directions centering on the inspection point V (i, j). obtaining the output signal _{y 1} (S134). Here, the tap number L is equal to the pixel number N.

２次元出力信号ｙ_１の値が閾値以下である場合（Ｓ１３６のＮ）、ｘ座標値ｉを１だけインクリメントして、検査領域をｘ軸方向にシフトさせ（Ｓ１３８）、ステップＳ１３４のフィルタ演算を繰り返す。 If the value of the 2-dimensional output signal _{y 1} is equal to or smaller than the threshold (S136 of N), and increments the x-coordinate values i, shifts the inspection area in the x-axis direction (S138), the filter operation of step S134 repeat.

２次元出力信号ｙ_１の値が閾値を超えた場合（Ｓ１３６のＹ）、横方向のエッジが検出されたと判定し、次に、点（ｉ，ｊ）を中心とした２次元画像信号に対して、タップ数Ｌの縦方向エッジ検出フィルタによる畳み込み演算を計算し、２次元出力信号ｙ_２を求める（Ｓ１４０）。 If the value of the two-dimensional output signal y ₁ exceeds the threshold value (S136 of Y), the determined lateral edge is detected, then the point (i, j) with respect to the two-dimensional image signals with a focus on Te to calculate the convolution operation by longitudinal edge detection filter tap number L, obtaining a two-dimensional output signal y ₂ (S140).

２次元出力信号ｙ_２の値が閾値を超えた場合（Ｓ１４２のＹ）、縦方向走査処理を終了しリターンする。２次元出力信号ｙ_２の値が閾値以下である場合（Ｓ１４２のＮ）、ｙ座標値ｊをタップＬだけデクリメントして、左上の頂点Ａを探索するために、検査領域を上向きにシフトさせ（Ｓ１４４）、ステップＳ１３２以降のエッジ検出を継続する。 If the value of the two-dimensional output signal y ₂ exceeds the threshold value (S142 of Y), the return ends the longitudinal scanning process. If the value of the 2-dimensional output signal y ₂ is equal to or smaller than the threshold (S142 of N), and decrements the y-coordinate value j by tap L, in order to explore the upper left vertex A, upward shifts the examination region ( S144), the edge detection after step S132 is continued.

なお、図２３では、左上の頂点Ａを縦方向に探索して検出する場合を説明した。左下の頂点Ｂを検出する場合は、ステップＳ１４４において、検査点Ｖのｙ座標値ｊがＬだけインクリメントされるように変更する。また、右上の頂点Ｃを検出する場合は、ステップＳ１３２において、検査点Ｖのｘ座標値ｉがi＋ｄ／２に設定され、ステップＳ１３８において、検査点Ｖのｘ座標値ｉが１だけデクリメントされるように変更する。また、右下の頂点Ｄを検出する場合は、ステップＳ１３２において、検査点Ｖのｘ座標ｉがi＋ｄ／２に設定され、ステップＳ１３８において、検査点Ｖのｘ座標値ｉが１だけデクリメントされ、ステップＳ１４４において、検査点Ｖのｙ座標値ｊがＬだけインクリメントされるように変更する。   In addition, in FIG. 23, the case where the top left vertex A is searched and detected in the vertical direction has been described. When detecting the lower left vertex B, the y coordinate value j of the inspection point V is changed so as to be incremented by L in step S144. If the upper right vertex C is detected, the x coordinate value i of the inspection point V is set to i + d / 2 in step S132, and the x coordinate value i of the inspection point V is decremented by 1 in step S138. Change as follows. When detecting the lower right vertex D, the x coordinate i of the inspection point V is set to i + d / 2 in step S132, and the x coordinate value i of the inspection point V is decremented by 1 in step S138. In step S144, the y coordinate value j of the inspection point V is changed so as to be incremented by L.

エッジ検出フィルタによる横方向走査処理Ｓ５６についても、検出するエッジ方向と走査方向を変えれば、同様の手順で実施することができる。   The horizontal scanning process S56 by the edge detection filter can be performed in the same procedure as long as the detected edge direction and scanning direction are changed.

なお、図２２（ｃ）に示した頂点を検出するためのフィルタを用いれば、エッジ検出フィルタで頂点を検出することもできる。しかしながら、エッジ検出フィルタによる方法は、ノイズに弱いため、頂点の正確な位置を特定するには、フーリエ変換の低周波数成分を用いて位相差から位置ずれを求める方法が有効である。   If the filter for detecting vertices shown in FIG. 22C is used, the vertices can be detected by an edge detection filter. However, since the method using the edge detection filter is vulnerable to noise, a method for obtaining a positional deviation from a phase difference using a low-frequency component of Fourier transform is effective for specifying an accurate position of the vertex.

以上述べたように、実施の形態の電子透かし抽出装置２００では、撮影画像に含まれる原画像領域を判定する際、検査領域を空間周波数領域に変換し、変換後の信号の位相角に基づいて、原画像領域の頂点を高精度に求めることができる。空間周波数領域に変換したときの低周波数成分を利用するため、撮影画像に撮影による画像の歪みやノイズがある場合でも、正確に頂点を求めることができる。電子透かし抽出装置２００は、このようにして原画像領域を正確に抽出した上で、撮影による歪みを補正し、補正された原画像領域から電子透かしを抽出するため、透かしの検出精度が向上する。   As described above, in the digital watermark extracting apparatus 200 according to the embodiment, when determining the original image area included in the captured image, the inspection area is converted into the spatial frequency area, and based on the phase angle of the converted signal. The vertex of the original image area can be obtained with high accuracy. Since the low-frequency component when converted into the spatial frequency domain is used, the vertex can be accurately obtained even when the captured image has image distortion or noise caused by the imaging. Since the digital watermark extraction apparatus 200 accurately extracts the original image area in this way, corrects distortion caused by shooting, and extracts the digital watermark from the corrected original image area, thereby improving the watermark detection accuracy. .

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。   The present invention has been described based on the embodiments. The embodiments are exemplifications, and it will be understood by those skilled in the art that various modifications can be made to combinations of the respective constituent elements and processing processes, and such modifications are within the scope of the present invention. .

そのような変形例として、上記の説明では、原画像領域２０の４頂点をすべて特定し、４頂点の座標値をもとに原画像領域２０を抽出したが、原画像領域２０の対角線上にある２頂点のみを求めるように構成してもよい。撮影領域２６の撮影による歪みが左右対称であるなら、対角線上にある２頂点の座標値から線対称を仮定して原画像領域２０を抽出することが可能である。また、撮影画像の歪みが撮影機器のレンズによるものだけであるなら、原画像領域２０のいずれかひとつの頂点のみを特定し、レンズ歪みが撮影領域２６の中心に関して点対称であることを利用して、原画像領域２０を抽出することも可能である。   As such a modification example, in the above description, all four vertices of the original image area 20 are specified, and the original image area 20 is extracted based on the coordinate values of the four vertices. You may comprise so that only a certain 2 vertex may be calculated | required. If the distortion caused by shooting of the shooting area 26 is left-right symmetric, it is possible to extract the original image area 20 assuming line symmetry from the coordinate values of the two vertices on the diagonal line. Further, if the distortion of the captured image is only due to the lens of the imaging device, only one vertex of the original image area 20 is specified, and the fact that the lens distortion is point-symmetric with respect to the center of the imaging area 26 is used. Thus, the original image region 20 can be extracted.

上記の説明では、原画像領域２０を抽出するために、フーリエ変換後の信号の位相角を利用して、原画像領域２０の各頂点の座標値を高い精度で求めたが、同じ位相角を用いた方法で、原画像領域２０の各辺を高い精度で求めてもよい。撮影による歪みにより原画像領域２０の各辺は歪曲している。原画像領域２０の各辺を正確に特定することで、原画像領域２０をより厳密に抽出し、歪み補正の精度を高めることができる。   In the above description, in order to extract the original image area 20, the coordinate value of each vertex of the original image area 20 is obtained with high accuracy using the phase angle of the signal after Fourier transform. The sides of the original image area 20 may be obtained with high accuracy by the method used. Each side of the original image area 20 is distorted due to distortion caused by shooting. By accurately specifying each side of the original image area 20, the original image area 20 can be extracted more strictly, and the accuracy of distortion correction can be improved.

上記の透かし検出処理において、透かし検出に失敗した場合、画像領域判定部３２は、エッジ検出フィルタの閾値などのパラメータを変えて、原画像領域２０の判定処理を再度行ってもよい。また、透かし検出に失敗した場合、画像補正部３４が撮影部３０に印刷画像Ｐの再撮影を要求してもよい。   In the above watermark detection process, when the watermark detection fails, the image area determination unit 32 may change the parameters such as the threshold value of the edge detection filter and perform the determination process of the original image area 20 again. When the watermark detection fails, the image correction unit 34 may request the photographing unit 30 to re-photograph the print image P.

なお上記実施例では、エッジ検出フィルタ部４２はＰｒｅｗｉｔｔオペレータを用いてエッジラインとエッジ方向を検出していたが、これに代えて、フーリエ変換フィルタを用いてエッジラインとエッジ方向を検出するものであっても良い。   In the above embodiment, the edge detection filter unit 42 detects the edge line and the edge direction using the Prewitt operator, but instead detects the edge line and the edge direction using a Fourier transform filter. There may be.

図２４のフローチャートを参照して、フーリエ変換フィルタを用いたエッジライン及びエッジ方向の検出手順を説明する。なお、図２４において、図１０のエッジ検出処理Ｓ２０の手順を示すフローチャートと処理を同じくする処理ステップについては同じステップ番号を割り当て、かかる処理ステップについての説明は省略する。   With reference to the flowchart of FIG. 24, the detection procedure of the edge line and edge direction using a Fourier-transform filter is demonstrated. In FIG. 24, the same step numbers are assigned to the processing steps that are the same as those in the flowchart showing the procedure of the edge detection processing S20 in FIG. 10, and description of such processing steps is omitted.

ステップＳ２０４では、検査点（ｉ，ｊ）を中心とした縦横Ｎ画素の検査領域８０の輝度値に係る２次元ＦＦＴが行われる。ここではＮは２のべき乗に相当する数（８、１６、６４等）である。   In step S204, a two-dimensional FFT is performed on the luminance value of the inspection area 80 of N pixels in the vertical and horizontal directions centering on the inspection point (i, j). Here, N is a number (8, 16, 64, etc.) corresponding to a power of 2.

ステップＳ２０５では、Ｈ_ｒ（１，０）、Ｈ_ｒ（０，１）、Ｈ_ｉ（１，０）、Ｈ_ｉ（０，１）の値が取得される。ここでＨ_ｒ（ｘ，ｙ）、Ｈ_ｉ（ｘ，ｙ）の定義は、エッジ追跡部４４の処理に関する説明で定義したものと同じである。 In step S205, the values of H _r (1, 0), H _r (0, 1), H _i (1, 0), H _i (0, 1) are acquired. Here, the definitions of H _r (x, y) and H _i (x, y) are the same as those defined in the description of the processing of the edge tracking unit 44.

ステップＳ２０６では、上記Ｈ_ｒ（１，０）、Ｈ_ｒ（０，１）、Ｈ_ｉ（１，０）、Ｈ_ｉ（０，１）の全てが０であるかどうかが判断される。検査領域８０内の全ての画素の輝度値は同じである場合、上記４変数は全てが０になる。ステップＳ３６で取得した走査開始点が余白領域であるならば、ステップＳ２０６でｙｅｓと判定された場合は、検査領域８０内は全て余白領域である。このとき、ステップＳ３８において、検査点のｘ座標値ｉにアスペクト比ｗｉｄｔｈ／ｈｅｉｇｈｔを加算し、ｙ座標値ｊに１を加算して、ステップＳ２０４に戻り、探索を続ける。 In step S206, it is determined whether or not all of H _r (1, 0), H _r (0, 1), H _i (1, 0), and H _i (0, 1) are zero. When the luminance values of all the pixels in the inspection area 80 are the same, all the four variables are 0. If the scanning start point acquired in step S36 is a blank area, if it is determined yes in step S206, the entire inspection area 80 is a blank area. At this time, in step S38, the aspect ratio width / height is added to the x coordinate value i of the inspection point, 1 is added to the y coordinate value j, the process returns to step S204, and the search is continued.

ステップＳ２０６において、上記４変数のいずれかが０ではないと判断されたら、検査領域８０内に余白領域と原画像領域２０のエッジがあるものと判断される。   If it is determined in step S206 that any of the four variables is not 0, it is determined that the margin area and the edge of the original image area 20 exist in the inspection area 80.

ステップＳ２０９では、Ｈ_ｒ（１，０）、Ｈ_ｒ（０，１）の両方が０であるかどうかが判断される。検査点（ｉ，ｊ）が余白領域と原画像領域２０のエッジ上にある場合、この両方の変数が０になる。Ｈ_ｒ（１，０）、Ｈ_ｒ（０，１）の少なくとも一方が０でない場合（Ｓ２０９のＮ）、ステップＳ３８において、検査点のｘ座標値ｉにアスペクト比ｗｉｄｔｈ／ｈｅｉｇｈｔを加算し、ｙ座標値ｊに１を加算して、ステップＳ２０４に戻り、探索を続ける。 In step _S209, H r _(1,0), whether both H r (0,1) is 0 is determined. When the inspection point (i, j) is on the margin area and the edge of the original image area 20, both variables are zero. H _{r (1,0),} when at least one of H r (0, 1) is not 0 (S209 of N), in step S38, the added aspect ratio width / height in x-coordinate value i of the inspection point, y 1 is added to the coordinate value j, the process returns to step S204, and the search is continued.

Ｈ_ｒ（１，０）、Ｈ_ｒ（０，１）の両方が０である場合（Ｓ２０９のＹ）、ステップＳ２１０において、Ｈ_ｉ（１，０）が０であるかどうかが判断される。Ｈ_ｉ（１，０）が０である場合（Ｓ２１０のＹ）、前記エッジの方向が水平方向（ｘ軸方向）であると判断される（Ｓ２１１）。Ｈ_ｉ（１，０）が０でない場合（Ｓ２１０のＮ）、ステップＳ２０６において４変数Ｈ_ｒ（１，０）、Ｈ_ｒ（０，１）、Ｈ_ｉ（１，０）、Ｈ_ｉ（０，１）のいずれかが０ではなかったことから、Ｈ_ｉ（０，１）が０であることがわかり、前記エッジの方向が垂直方向（ｙ軸方向）であると判定される（Ｓ２１２）。このようにして、フーリエ変換フィルタを用いても、エッジラインとエッジ方向を検出することができる。 If both H _r (1, 0) and H _r (0, 1) are 0 (Y in S209), it is determined in step S210 whether H _i (1,0) is 0. When H _i (1, 0) is 0 (Y in S210), it is determined that the edge direction is the horizontal direction (x-axis direction) (S211). When H _i (1, 0) is not 0 (N in S210), four variables H _r (1, 0), H _r (0, 1), H _i (1, 0), H _i (0) are obtained in step S206. , 1) is not 0, it is known that H _i (0, 1) is 0, and it is determined that the edge direction is the vertical direction (y-axis direction) (S212). . In this way, the edge line and the edge direction can be detected even using the Fourier transform filter.

また、上記実施例では、エッジ追跡部４４が縦方向のエッジ走査処理（Ｓ５４）を行う際、検査点Ｖをｘ方向に走査させつつＨ_ｒ（１，０）の値を評価することにより余白領域と原画像領域２０のエッジ位置を特定していた。これに代えて、Ｈ_ｒ（１，０）とＨ_ｉ（１，０）から導かれるＨ（１，０）の位相角、すなわちａｒｃｔａｎ［Ｈ_ｉ（１，０）／Ｈ_ｒ（１，０）］が検査点とエッジ位置からの距離に比例する性質を利用して、前記位相角に基づいてエッジ位置を特定するものであっても良い。かかる方法によれば、撮影条件が良好ではない場合はエッジ位置を誤判定するおそれがあるが、検査点Ｖをｘ方向に走査させながらエッジ位置を特定する方法と比較すれば、エッジ位置の特定を高速に行うことができる。 Further, in the above embodiment, when the edge tracking unit 44 performs the edge scanning process in the vertical direction (S54), the margin is obtained by evaluating the value of H _r (1, 0) while scanning the inspection point V in the x direction. The edge positions of the area and the original image area 20 are specified. Instead, the phase angle of H (1, 0) derived from H _r (1, 0) and H _i (1, 0), that is, arctan [H _i (1, 0) / H _r (1, 0). )] May be used to specify the edge position based on the phase angle using a property proportional to the distance from the inspection point to the edge position. According to such a method, there is a possibility that the edge position may be erroneously determined when the photographing conditions are not good. However, the edge position is specified as compared with the method of specifying the edge position while scanning the inspection point V in the x direction. Can be performed at high speed.

上記の実施例は、透かし入り画像の原画像領域２０の頂点の検出に関するものであったが、上記で説明した頂点検出方法は、それ以外の一般的な画像においても適用できるものであり、特に電子透かしの用途に限られない。   The above embodiment relates to the detection of the vertices of the original image area 20 of the watermarked image. However, the vertex detection method described above can be applied to other general images. It is not limited to the use of digital watermark.

実施の形態に係る電子透かし埋め込み装置の構成図である。1 is a configuration diagram of a digital watermark embedding device according to an embodiment. FIG. 図１の電子透かし埋め込み装置から出力される印刷画像を説明する図である。It is a figure explaining the printing image output from the digital watermark embedding apparatus of FIG. 実施の形態に係る電子透かし抽出装置の構成図である。It is a block diagram of the digital watermark extraction apparatus which concerns on embodiment. 図３の電子透かし抽出装置により撮影された印刷画像を説明する図である。It is a figure explaining the printing image image | photographed with the digital watermark extraction apparatus of FIG. 図３の画像領域判定部の詳細な構成を説明する図である。It is a figure explaining the detailed structure of the image area | region determination part of FIG. 図５のエッジ検出部および頂点特定部により原画像領域が判定される様子を説明する図である。It is a figure explaining a mode that an original image area | region is determined by the edge detection part and vertex specific | specification part of FIG. 原画像領域の撮影による歪みを説明する図である。It is a figure explaining the distortion by imaging | photography of an original image area | region. 図３の電子透かし抽出装置による電子透かし抽出手順の全体的な流れを示すフローチャートである。It is a flowchart which shows the whole flow of the digital watermark extraction procedure by the digital watermark extraction apparatus of FIG. 図８の画像領域判定処理の大まかな流れを示すフローチャートである。It is a flowchart which shows the rough flow of the image area | region determination processing of FIG. 図９のエッジ検出処理の詳細な手順を示すフローチャートである。10 is a flowchart showing a detailed procedure of edge detection processing in FIG. 9. エッジ検出フィルタを説明する図である。It is a figure explaining an edge detection filter. エッジ検出フィルタにより原画像領域のエッジが検出される様子を説明する図である。It is a figure explaining a mode that the edge of an original image area | region is detected by an edge detection filter. 図９のエッジライン追跡処理の詳細な手順を説明するフローチャートである。It is a flowchart explaining the detailed procedure of the edge line tracking process of FIG. 図１３の縦方向走査処理の詳細な手順を説明するフローチャートである。It is a flowchart explaining the detailed procedure of the vertical direction scanning process of FIG. 左上の頂点を探索する場合における縦方向走査処理が行われる様子を説明する図である。It is a figure explaining a mode that the vertical direction scanning process in the case of searching for the upper left vertex is performed. 検査領域のフーリエ変換の最低水平周波数成分により横方向のエッジが判定される原理を説明する図である。It is a figure explaining the principle by which the edge of a horizontal direction is determined by the minimum horizontal frequency component of the Fourier-transform of a test | inspection area | region. 図１４の縦方向走査の停止条件を説明する図である。It is a figure explaining the stop condition of the vertical scanning of FIG. 図１３の横方向走査処理の詳細な手順を説明するフローチャートである。It is a flowchart explaining the detailed procedure of the horizontal direction scanning process of FIG. 図９の頂点位置特定処理の詳細な手順を説明するフローチャートである。It is a flowchart explaining the detailed procedure of the vertex position specific process of FIG. 暫定頂点の位置ずれを説明する図である。It is a figure explaining the position shift of a temporary vertex. 頂点周辺画像と参照画像のフーリエ変換の低周波数成分の位相角の関係を説明する図である。It is a figure explaining the relationship of the phase angle of the low frequency component of the Fourier transformation of a vertex periphery image and a reference image. エッジ検出フィルタと入力信号の例を説明する図である。It is a figure explaining the example of an edge detection filter and an input signal. エッジ検出フィルタによる縦方向走査処理を説明するフローチャートである。It is a flowchart explaining the vertical direction scanning process by an edge detection filter. フーリエ変換フィルタを用いたエッジライン及びエッジ方向の検出手順を説明するフローチャートである。It is a flowchart explaining the detection procedure of the edge line and edge direction using a Fourier-transform filter.

符号の説明Explanation of symbols

１０ 画像形成部、 １２ 埋め込み部、 １４ 印刷部、 ２０ 原画像領域、 ２４ 印刷媒体、 ２６ 撮影領域、 ３０ 撮影部、 ３２ 画像領域判定部、 ３４ 画像補正部、 ３６ 透かし抽出部、 ３８ エッジ検出部、 ４０ 頂点特定部、 ４１ 画像領域抽出部、 ４２ エッジ検出フィルタ部、 ４４ エッジ追跡部、 ４６ フーリエ変換処理部、 ４７ 位相角算出部、 ４８ 頂点位置ずれ調整部、 １００ 電子透かし埋め込み装置、 ２００ 電子透かし抽出装置。   DESCRIPTION OF SYMBOLS 10 Image formation part, 12 Embedding part, 14 Printing part, 20 Original image area, 24 Print medium, 26 Shooting area, 30 Shooting part, 32 Image area determination part, 34 Image correction part, 36 Watermark extraction part, 38 Edge detection part , 40 vertex identification unit, 41 image region extraction unit, 42 edge detection filter unit, 44 edge tracking unit, 46 Fourier transform processing unit, 47 phase angle calculation unit, 48 vertex position deviation adjustment unit, 100 digital watermark embedding device, 200 electron Watermark extraction device.

Claims (13)

原画像が印刷された印刷媒体の撮影画像を取得する画像入力部と、
前記撮影画像における検査画像領域を空間周波数領域に変換した場合の周波数成分の位相にもとづいて、前記撮影画像における原画像領域を判定する画像領域判定部とを含むことを特徴とする画像領域判定装置。 An image input unit for acquiring a captured image of a print medium on which the original image is printed;
An image region determination apparatus comprising: an image region determination unit that determines an original image region in the photographed image based on a phase of a frequency component when the inspection image region in the photographed image is converted into a spatial frequency region. . 前記画像領域判定部は、前記検査画像領域を空間周波数領域に変換した場合の低周波数成分の位相角にもとづいて、前記原画像領域のエッジを検出するエッジ検出部を含むことを特徴とする請求項１に記載の画像領域判定装置。   The image region determination unit includes an edge detection unit that detects an edge of the original image region based on a phase angle of a low frequency component when the inspection image region is converted into a spatial frequency region. Item 4. The image region determination device according to Item 1. 前記画像領域判定部は、前記検査画像領域を空間周波数領域に変換した場合の低周波数成分の位相角にもとづいて、前記原画像領域の頂点の位置を特定する頂点特定部を含むことを特徴とする請求項１または２に記載の画像領域判定装置。   The image region determination unit includes a vertex specifying unit that specifies a position of a vertex of the original image region based on a phase angle of a low frequency component when the inspection image region is converted into a spatial frequency region. The image region determination apparatus according to claim 1 or 2. 前記エッジ検出部により検出されたエッジの端点を前記原画像領域の暫定的な頂点として、前記暫定的な頂点付近の検査画像領域を空間周波数領域に変換した場合の低周波数成分の位相角にもとづいて、前記暫定的な頂点の位置ずれを調整する頂点特定部を含むことを特徴とする請求項２に記載の画像領域判定装置。   Based on the phase angle of the low frequency component when the end point of the edge detected by the edge detection unit is used as a temporary vertex of the original image region and the inspection image region near the temporary vertex is converted into a spatial frequency region. The image region determination apparatus according to claim 2, further comprising a vertex specifying unit that adjusts a temporary positional shift of the vertex. 前記頂点特定部は、前記原画像領域の暫定的な頂点付近の検査画像領域を空間周波数領域に変換した場合の低周波数成分の位相角と、前記暫定的な頂点の位置に前記原画像領域の真の頂点があると仮定した場合の参照画像領域を空間周波数領域に変換した場合の低周波数成分の位相角との差にもとづいて、前記暫定的な頂点の真の位置からのずれを求めることを特徴とする請求項３または４に記載の画像領域判定装置。   The vertex specifying unit includes a phase angle of a low-frequency component when the inspection image region near the temporary vertex of the original image region is converted into a spatial frequency region, and the position of the original image region at the position of the temporary vertex. Determining the deviation of the provisional vertex from the true position based on the difference from the phase angle of the low-frequency component when the reference image region is converted into the spatial frequency region assuming that there is a true vertex The image region determination apparatus according to claim 3, wherein: 原画像が印刷された印刷媒体の撮影画像を取得する画像入力部と、
前記撮影画像における検査画像領域を空間周波数領域に変換した場合の周波数成分の位相にもとづいて、前記撮影画像における原画像領域を判定する画像領域判定部と、
判定された前記原画像領域の撮影による歪みを補正する画像補正部とを含むことを特徴とする画像補正装置。 An image input unit for acquiring a captured image of a print medium on which the original image is printed;
An image region determination unit that determines an original image region in the captured image based on a phase of a frequency component when the inspection image region in the captured image is converted into a spatial frequency region;
An image correction apparatus comprising: an image correction unit that corrects distortion caused by photographing of the determined original image region. 電子透かしが埋め込まれた原画像が印刷された印刷媒体の撮影画像を取得する画像入力部と、
前記撮影画像における検査画像領域を空間周波数領域に変換した場合の周波数成分の位相にもとづいて、前記撮影画像における原画像領域を判定する画像領域判定部と、
判定された前記原画像領域の撮影による歪みを補正する画像補正部と、
補正された前記原画像領域から前記電子透かしを抽出する抽出部とを含むことを特徴とする電子透かし抽出装置。 An image input unit for acquiring a captured image of a print medium on which an original image embedded with a digital watermark is printed;
An image region determination unit that determines an original image region in the captured image based on a phase of a frequency component when the inspection image region in the captured image is converted into a spatial frequency region;
An image correction unit that corrects distortion due to shooting of the determined original image area;
An electronic watermark extraction apparatus comprising: an extraction unit that extracts the electronic watermark from the corrected original image region. 原画像が印刷された印刷媒体の撮影画像を取得するステップと、
前記撮影画像における検査点付近の画像領域を空間周波数領域に変換した場合の周波数成分の位相にもとづいて、前記撮影画像における原画像領域を判定するステップとを含むことを特徴とする画像領域判定方法。 Obtaining a captured image of a print medium on which the original image is printed;
And determining an original image area in the captured image based on a phase of a frequency component when an image area in the vicinity of the inspection point in the captured image is converted into a spatial frequency domain. . 前記原画像領域を判定するステップは、前記検査点付近の画像領域を空間周波数領域に変換した場合の低周波数成分の実軸成分が実質的に零である場合に、前記検査点が前記原画像領域のエッジ上にあると判定するエッジ検出ステップを含むことを特徴とする請求項８に記載の画像領域判定方法。   The step of determining the original image area includes determining that the inspection point is the original image when the real axis component of the low frequency component when the image area in the vicinity of the inspection point is converted into a spatial frequency domain is substantially zero. The image region determination method according to claim 8, further comprising an edge detection step of determining that the image is on an edge of the region. 前記原画像領域を判定するステップは、前記検査点を前記エッジに沿って走査しながら前記エッジ検出ステップを繰り返すことにより、エッジラインを追跡するステップをさらに含むことを特徴とする請求項９に記載の画像領域判定方法。   The step of determining the original image region further includes tracking an edge line by repeating the edge detection step while scanning the inspection point along the edge. Image area determination method. 前記原画像領域を判定するステップは、前記原画像領域の暫定的な頂点付近の画像領域を空間周波数領域に変換した場合の低周波数成分の位相角と、前記暫定的な頂点の位置に前記原画像領域の真の頂点があると仮定した場合の参照画像領域を空間周波数領域に変換した場合の低周波数成分の位相角との差にもとづいて、前記暫定的な頂点の真の位置からのずれを求めるステップを含むことを特徴とする請求項８から１０のいずれかに記載の画像領域判定方法。   The step of determining the original image region includes the phase angle of the low frequency component when the image region near the provisional vertex of the original image region is converted into the spatial frequency region, and the position of the provisional vertex. Based on the difference from the phase angle of the low-frequency component when the reference image region is converted to the spatial frequency region when it is assumed that there is a true vertex of the image region, the provisional vertex is shifted from the true position. The method for determining an image area according to claim 8, further comprising a step of determining the image area. 前記原画像領域を判定するステップは、前記エッジラインの追跡により得られる前記エッジラインの端点を前記原画像領域の暫定的な頂点として、前記暫定的な頂点付近の画像領域を空間周波数領域に変換した場合の低周波数成分の位相角と、前記暫定的な頂点の位置に前記原画像領域の真の頂点があると仮定した場合の参照画像領域を空間周波数領域に変換した場合の低周波数成分の位相角との差にもとづいて、前記暫定的な頂点の真の位置からのずれを求めることを特徴とする請求項１０に記載の画像領域判定方法。   The step of determining the original image area includes converting an edge area of the edge line obtained by tracking the edge line as a temporary vertex of the original image area and converting the image area near the temporary vertex to a spatial frequency domain. The phase angle of the low-frequency component when the reference image region is converted into the spatial frequency region when the original image region is assumed to have a true vertex at the temporary vertex position. The image region determination method according to claim 10, wherein a deviation of the provisional vertex from a true position is obtained based on a difference from a phase angle. 電子透かしが埋め込まれた原画像が印刷された印刷媒体の撮影画像を取得するステップと、
前記撮影画像における検査画像領域を空間周波数領域に変換した場合の周波数成分の位相にもとづいて、前記撮影画像における原画像領域を判定するステップと、
判定された前記原画像領域の撮影による歪みを補正するステップと、
補正された前記原画像領域から前記電子透かしを抽出するステップとをコンピュータに実行させることを特徴とするコンピュータプログラム。
Obtaining a captured image of a print medium on which an original image embedded with a digital watermark is printed;
Determining an original image region in the captured image based on a phase of a frequency component when the inspection image region in the captured image is converted into a spatial frequency region;
Correcting distortion caused by photographing of the determined original image area;
A computer program causing a computer to execute the step of extracting the digital watermark from the corrected original image area.

Images