JP2007058634A - Image processing method and image processor, digital camera equipment, and recording medium with image processing program stored thereon - Google Patents
Image processing method and image processor, digital camera equipment, and recording medium with image processing program stored thereon Download PDFInfo
- Publication number
- JP2007058634A JP2007058634A JP2005243958A JP2005243958A JP2007058634A JP 2007058634 A JP2007058634 A JP 2007058634A JP 2005243958 A JP2005243958 A JP 2005243958A JP 2005243958 A JP2005243958 A JP 2005243958A JP 2007058634 A JP2007058634 A JP 2007058634A
- Authority
- JP
- Japan
- Prior art keywords
- line segment
- image processing
- quadrilateral
- line
- pair
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 238000011156 evaluation Methods 0.000 claims abstract description 82
- 230000009466 transformation Effects 0.000 claims abstract description 29
- 239000011159 matrix material Substances 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims description 73
- 238000000605 extraction Methods 0.000 claims description 28
- 230000008859 change Effects 0.000 claims description 23
- 238000001514 detection method Methods 0.000 claims description 9
- 238000000513 principal component analysis Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 6
- 238000012854 evaluation process Methods 0.000 claims 2
- 238000012937 correction Methods 0.000 abstract description 17
- 238000000034 method Methods 0.000 description 27
- 230000008569 process Effects 0.000 description 21
- 230000006870 function Effects 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000003708 edge detection Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 239000002131 composite material Substances 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229910052704 radon Inorganic materials 0.000 description 1
- SYUHGPGVQRZVTB-UHFFFAOYSA-N radon atom Chemical compound [Rn] SYUHGPGVQRZVTB-UHFFFAOYSA-N 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
Description
本発明は、撮影された画像に対するあおり補正の前処理技術に係り、特に入力画像から四辺形を認識する画像処理方法及び装置、その機能を備えたデジタルカメラ装置、並びに画像処理プログラムを記録した記録媒体に関する。 The present invention relates to a tilt correction preprocessing technique for a captured image, and in particular, an image processing method and apparatus for recognizing a quadrilateral from an input image, a digital camera apparatus having the function, and a recording in which an image processing program is recorded. It relates to the medium.
近年、デジタルカメラは広く普及し、風景や人物に限らず、時刻表やポスター、掲示板等をメモ代りに撮影するのにも用いられるようになってきた。しかしながら、撮影された時刻表やポスター等は、撮影する位置により“あおり”が生じて、画像が歪むため、撮影されたポスター等は読みづらく、撮影された画像をそのまま再利用するには最適なものでなかった。 In recent years, digital cameras have become widespread and have been used not only for landscapes and people, but also for shooting timetables, posters, bulletin boards, etc. instead of memos. However, the timetables and posters that were shot are “anchored” depending on the shooting position, and the images are distorted. Therefore, the shot posters are difficult to read, and are optimal for reusing the shot images as they are. It was not a thing.
あおりは、実際の被写体は矩形であるのに対し、撮影される画像が、撮影する位置により台形等に歪む現象である。時刻表やポスター等の平面状の被写体をデジタルカメラで撮影する場合、このようなあおりを補正し、あたかも被写体に正対した位置から撮影した画像に変換する必要がある。 The tilt is a phenomenon in which an actual subject is a rectangle, but a captured image is distorted into a trapezoid or the like depending on the shooting position. When photographing a planar object such as a timetable or a poster with a digital camera, it is necessary to correct such tilt and convert it to an image photographed from a position facing the object.
従来からデジタルカメラで撮影された画像から撮影時のあおりを補正する方法が種々提案されているが、代表的なものとしては次の方法がある（例えば、特許文献１、特許文献２参照）。まず、撮影された画像から縮小画像を生成し、該縮小画像からエッジ領域を抽出して、該エッジ領域に対し歪曲補正を行う。次に、この歪曲補正後のエッジ領域にハフ変換やラドン変換を行って直線を検出し、直線の組み合わせから、被写体の四辺形を認識する。この四辺形をもとに射影変換行列を算出し、撮影画像を射影変換することにより、あおり補正を行う。
Conventionally, various methods for correcting a tilt at the time of photographing from an image photographed by a digital camera have been proposed, but typical methods include the following methods (see, for example,
上記従来技術では、画像中心からの距離が遠い直線を優先的に四辺形の一辺として認識している。そのため、画像の中心部に被写体が位置しない場合（認識する４辺が画像中心位置から４方向に位置しない場合）、被写体を認識することができない。また、ハフ変換などにより直線検出を行っているため、処理時間が膨大になる。特にハフ変換の投票は非常に時間がかかる処理方法である。特許文献２では、Ｘ軸方向の候補となる直線の傾きを４５°≦θ≦１３５°、Ｙ軸の候補となる直線の傾きを１３５°≦θ≦２２５°と限定することで高速化を図っているが、高速化には限界がある。また、検出されたＮ本の直線の傾きを基に四辺形の縦方向の辺、横方向の辺などと限定してしまうと、認識できる撮影条件が限られてしまう。例えば、図１７の（ａ）は四辺形は認識できるが、（ｂ）の四辺形は、（ａ）についてカメラをスキューされて撮影させただけであるにもかかわらず、認識できなくなってしまう。
In the above prior art, a straight line that is far from the center of the image is preferentially recognized as one side of the quadrilateral. Therefore, when the subject is not located at the center of the image (when the four sides to be recognized are not located in four directions from the image center position), the subject cannot be recognized. Further, since the straight line is detected by Hough transform or the like, the processing time becomes enormous. In particular, the Hough transform voting is a very time-consuming processing method. In
本発明は、あおり補正の前処理として、入力画像から一つあるいはそれ以上の四辺形を認識する技術として、上記従来技術より高精度かつ処理時間の短縮が可能な画像処理方法及び装置、その機能を備えたデジタルカメラ装置、並びに画像処理プログラムを記録した記録媒体を提供することにある。 The present invention provides, as preprocessing for tilt correction, as a technique for recognizing one or more quadrilaterals from an input image, an image processing method and apparatus capable of reducing the processing time with higher accuracy than the prior art, and functions thereof And a recording medium on which an image processing program is recorded.
本発明では、処理時間が膨大になるハフ変換などを使用しないで直線を検出するために、入力画像の画素ごとにエッジ方向というものを定義し、エッジ方向ごとにエッジ領域を検出し、エッジ領域ごとに対応する線分（直線）を検出する。これにより、エッジ検出処理を高速化できる。 In the present invention, in order to detect a straight line without using Hough transform or the like that requires a large processing time, an edge direction is defined for each pixel of the input image, an edge region is detected for each edge direction, and an edge region is detected. The corresponding line segment (straight line) is detected every time. This can speed up the edge detection process.
上記したように、検出されたＮ本の線分（直線）の傾きを基に四辺形の縦方向の辺、横方向の辺などと限定すると、認識できる撮影条件が限られる。そこで、本発明では、検出されたＮ本の線分から４本を組み合わせてできる全ての四辺形を考慮することで、撮影条件に対する制限を緩和する。しかし、検出されたＮ本の線分から４本を組み合わせてできる全ての四辺形を考慮することは非常に処理時間がかかる。そのため、Ｎ本の線分から２本を組み合わせて線分ペアなるものを作り、各線分ペアに対して、例えば、対辺、隣接辺、無関係の３つに分類し、評価値を与えて、対辺と隣接辺関係の線分ペアに着目して四辺形を認識し、評価値に基づいて四辺形を選択する。これにより、以下のように処理時間を大きく短縮できる。 As described above, if the quadrangle is limited to a vertical side, a horizontal side, or the like based on the detected inclinations of N line segments (straight lines), the recognizable imaging conditions are limited. Therefore, in the present invention, all the quadrilaterals that are formed by combining four of the detected N line segments are taken into consideration, thereby relaxing the restriction on the photographing conditions. However, it takes a very long processing time to consider all quadrilaterals formed by combining four of the detected N line segments. Therefore, a line segment pair is formed by combining two line segments from N line segments, and for each line segment pair, for example, classified into the opposite side, the adjacent side, and the unrelated three, an evaluation value is given, and the opposite side and The quadrilateral is recognized by paying attention to the line segment pair of the adjacent side, and the quadrilateral is selected based on the evaluation value. Thereby, the processing time can be greatly shortened as follows.
いま、Ｎ本の線分から、４本の線分を抜き出すことにより得られる四辺形は最大 Ｋ＝３×Ｎ×（Ｎ−１）×（Ｎ−２）×（Ｎ−３）／２４通りある（４本の線分の隣接する順序も考慮する）。よって処理時間を高速化するには、Ｋの数を減らすことが重要である。 Now, there are a maximum of K = 3 × N × (N−1) × (N−2) × (N−3) / 24 quadrilaterals obtained by extracting four line segments from N line segments. (Also consider the order of adjoining four line segments). Therefore, to increase the processing time, it is important to reduce the number of K.
通常、人間が長方形状の看板を撮影する場合、正対した位置に近い状態から画像範囲にちょうど収まる程度の大きさで撮影する。そのとき、撮影した画像上での長方形状の看板の形は、以下の２つの特徴を持つ。
１．長方形の対辺が平行に近く、一定以上の距離離れた位置にある
２．長方形の隣接辺同士のなす角は９０度に近く、無論、隣接辺同士は交点を持つ
Normally, when a person shoots a rectangular signboard, the photograph is taken from a state close to a directly facing position to a size that fits in the image range. At that time, the shape of the rectangular signboard on the photographed image has the following two characteristics.
1. 1. The opposite sides of the rectangle are close to parallel and are at a distance more than a certain distance. The angle between adjacent sides of the rectangle is close to 90 degrees, and of course, the adjacent sides have intersections.
そのため、Ｎ本の線分から２本の線分を抜き出し、２本の線分（直線）のなす角が平行に近いものは対辺、９０度に近いものは隣接辺、それ以外は無関係と分類する。また、Ｎ本の線分から２本の線分を無限に延長して線分の交点を算出し、交点と２本の線分との距離を算出することで、２本のエッジの隣接辺らしさ（＝評価値）を算出する。 Therefore, two line segments are extracted from N line segments, and the two line segments (straight lines) are classified as being opposite sides when the angles formed by the two lines (straight lines) are parallel, adjacent sides when the angle is close to 90 degrees, and irrelevant otherwise. . In addition, two line segments are extended indefinitely from N line segments, the intersection of the line segments is calculated, and the distance between the intersection and the two line segments is calculated, so that the adjacent edges of the two edges are similar. (= Evaluation value) is calculated.
四辺形の４本の線分は、２つの対辺の組と４つの隣接辺の組から必ずできるので、Ｋ通りの四辺形のうち、２つの対辺の組と４つの隣接辺、の組から生成されていない四辺形は無視することができる。また、四辺形の４つの頂点は線分同士が交わったところなので、４つの評価値の大小により四辺形を評価することができる。 Since the four line segments of a quadrilateral can always be made from a pair of two opposite sides and a pair of four adjacent sides, it is generated from a pair of two opposite sides and four adjacent sides among K quadrilaterals. An unfinished quadrilateral can be ignored. Further, since the four vertices of the quadrilateral are where the line segments intersect, the quadrilateral can be evaluated based on the magnitude of the four evaluation values.
また、本発明では、ノイズなどの影響で線分が途切れてしまった場合、入力画像が歪曲ゆがみを持つ場合、被写体の背景が複雑な色をしている場合などでも四辺形を抽出できるようにするため、必要に応じて複数の線分を合成することにより、新しい線分を生成する。 In the present invention, the quadrilateral can be extracted even when the line segment is interrupted due to noise or the like, the input image has distortion or the background of the subject has a complex color. Therefore, a new line segment is generated by combining a plurality of line segments as necessary.
また、黒地に白い長方形の描かれた画像に対して、通常のＳobelフィルタでエッジ検出を行うと、長方形の外周上の画素全てが一つのエッジ領域として抽出されてしまう。本発明では、ハフ変換を使用しないで、エッジ方向で分けてエッジ領域を求めることにより、長方形の各辺を異なるエッジ領域として抽出することができる。 Further, when edge detection is performed on an image in which a white rectangle is drawn on a black background using a normal Sobel filter, all pixels on the outer periphery of the rectangle are extracted as one edge region. In the present invention, each side of the rectangle can be extracted as a different edge region by dividing the edge direction and obtaining the edge region without using the Hough transform.
また、本発明では、撮影者が通常撮影する場合、被写体を画像範囲内に大きく撮影することが一般的なので、その特性を利用するため、さらには、撮影者があおり補正モードで画像を撮影する際の構図を決定しやすくするため、四辺形の面積に基づいて評価値を算出し、該評価値を考慮して四辺形を選択できるようにする。 Further, in the present invention, when the photographer normally shoots, it is common to shoot the subject large within the image range, and in order to use the characteristics, the photographer further shoots an image in the correction mode. In order to make it easy to determine the composition at the time, an evaluation value is calculated based on the area of the quadrilateral, and the quadrilateral can be selected in consideration of the evaluation value.
また、本発明では、使用者が撮影対象に選択する平面上の被写体の大半は長方形であるから、長方形のみの認識のみ行うことに限定することで、使用者が長方形を被写体として撮影したときの認識精度を大幅に向上させるため、四辺形を平行四辺形に変換する射影変換行列を算出し、射影変換後の平行四辺形の形状に基づいて評価値を算出し、評価値を考慮して四辺形を選択できるようにする。 In the present invention, since most of the subjects on the plane selected by the user as the object to be photographed are rectangular, it is limited to only recognizing only the rectangle, so that the user can photograph the rectangle as the subject. To greatly improve recognition accuracy, calculate a projection transformation matrix that converts a quadrilateral into a parallelogram, calculate an evaluation value based on the shape of the parallelogram after the projective transformation, and consider the evaluation value Lets you select a shape.
本発明によれば、高精度かつ高速に、撮影画像から四辺形を認識し、該認識した四辺形を正対した位置から撮影した場合と同等な画像に変換することができる。 According to the present invention, it is possible to recognize a quadrilateral from a captured image with high accuracy and high speed, and to convert the image into an image equivalent to a case where the recognized quadrilateral is captured from a directly facing position.
以下、本発明の一実施の形態について図面を参照して説明する。
図１は本発明の画像処理機能を備えたデジタルカメラ装置の一実施形態を示す全体的構成図である。図１において、撮影部１１はレンズ１１１、絞り１１２、シャッター１１３、光電変換素子１１４及び前処理部１１５などで構成される。シャッター１１３の操作により、被写体光がレンズ１１１、絞り１１２を通して光電変換素子１１４に受光し、アナログ画像信号に変換される。光電変換素子１１４には、例えば、ＣＣＤ（電荷結合素子）が使用される。前処理部１１５は、プリアンプやＡＧＣ（自動利得制御）等のアナログ信号処理部やＡ／Ｄ変換部を備えており、光電変換素子１１４から出力されたアナログ画像信号に対して増巾・クランプなどの前処理を施した後、該アナログ画像信号をデジタル画像信号に変換する。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is an overall configuration diagram showing an embodiment of a digital camera device having an image processing function of the present invention. In FIG. 1, the photographing unit 11 includes a
撮影部１１の前処理部１１５から出力されたデジタル画像信号は、カメラ信号処理部１２を通してフレームメモリ１５に格納される。フレームメモリ１５には、ＶＲＡＭ，ＳＲＡＭ，ＤＲＡＭなどの半導体メモリが使用され、カメラ信号処理部１２での処理対象の画像信号を一時保持するのに利用される。
The digital image signal output from the preprocessing
カメラ信号処理部１２はデジタル信号処理プロセッサ（ＤＳＰ）などにより構成されている。このカメラ信号処理部１２に、本発明の画像処理機能としてのあおり補正部１２０が備えられているが、その詳細は後述する。ＲＯＭ１３はカメラ信号処理部１２で使用されるプログラムを保持するプログラムメモリ、ＲＡＭ１４はカメラ信号処理部１２の処理途中のデータや、その他の必要なデータなどを一時的に保持するのに用いられる作業用メモリである。
The camera
ＣＰＵ１６はマイコンなどにより構成され、撮像部１１及びカメラ信号処理部１２などの動作を制御する。なお、ＲＯＭ１３、ＲＡＭ１４は、ＣＰＵ１６で兼用することでもよい。
The
フレームメモリ１５の画像信号はカメラ信号処理部１２に読み出され、該カメラ信号処理部１２において画像圧縮などの処理が施された後、インターフェース部（Ｉ／Ｆ）１７を介して外部記憶装置１９に記録されることにより保存される。外部記憶装置１９には、ＩＣメモリカードや光磁気ディスクなどが使用されるが、モデムカードやＩＳＤＮカードなどを利用して、ネットワークを経由して遠隔地の端末等に画像信号を送信することも可能である。逆に、外部記憶装置１９から読み出された画像信号は、Ｉ／Ｆ１７を介してカメラ信号処理部１２に送信され、カメラ信号処理部１２において伸長処理が施され、フレームメモリ１５に格納される。
The image signal in the
画像信号の表示は、フレームメモリ１５の画像信号をカメラ信号処理部１２、Ｉ／Ｆ１７を介して表示部１８に送信することによって行われる。表示部１８は、例えば、本デジタルカメラ装置の筐体に設置された液晶表示装置により構成される。
The display of the image signal is performed by transmitting the image signal in the
ここで、カメラ信号処理部１２内のあおり補正部１２０は、例えば、フレームメモリ１５に格納された撮影画像デジタル画像信号を入力として、入力画像からあおり補正をする対象となる四辺形（長方形）の被写体を抽出し、あおり歪みの補正を行う。あおり補正されたデジタル画像信号は、例えば、フレームメモリ１５に再び格納して、以後の処理に利用される。図２は、あおり補正の具体的処理イメージを示したものである。あおり補正部１２０は、ＲＯＭ１３にあおり補正のための画像処理プログラムを格納して、それをカメラ信号処理部１２のデジタル信号処理プロセッサ（ＤＳＰ）に実行させるか、あるいは処理機能の一部または全部をハードウェアとして構成することでもよい。以下に、あおり補正部１２０の詳細構成および処理について説明する。
Here, the
図３は、あおり補正部１２０の一実施例を示す詳細構成図である。本あおり補正部１２０はエッジ領域検出部２１０、線分抽出部２２０、線分生成部２３０、線分ペア分類・評価部２４０、四辺形評価部２５０、四辺形選択部２６０、及び、射影変換部２７０から構成される。ここで、２１０〜２６０の各部をまとめて四辺形抽出部２００と総称することにする。この四辺形抽出部２００が本発明の主要部を形成している。以下、各部での処理を詳述する。
FIG. 3 is a detailed configuration diagram illustrating an embodiment of the
＜エッジ領域抽出＞
エッジ領域検出部２１０では、撮影画像である入力画像からエッジ領域を検出する。具体的には、輝度変化の大きい部分を抽出してエッジ領域とする。図４にエッジ領域検出の処理フローチャートを示す。
<Edge region extraction>
The edge
まず、入力画像に対してＳobelフィルタやＣannyフィルタなどのエッジ検出フィルタによりフィルタリングを施し、各画素に対して、Ｘ方向の輝度変化量（ｇｈ）、Ｙ方向の輝度変化量（ｇｖ）を計算する（ステップ１００１）。そして、Ｘ変化量ｇｈ、Ｙ変化量ｇｖを入力とする関数funcl（ｇｈ，ｇｖ）の戻り値が閾値以上の画素をエッジ部（エッジ画素）とし、funcl（ｇｈ，ｇｖ）の戻り値が閾値以下の画素はエッジ部とみなさず、非エッジ画素とする（ステップ１００２）。次に、Ｘ変化量ｇｈとＹ変化量ｇｖによる２次元空間を複数のグループに分割し、各エッジ画素を、その方向に応じてグループ分けする（ステップ１００３）。実施例では、後述するように、ｇｈとｇｖによる２次元空間を８つに分割し、各エッジ画素をグループ１からグループ８までの８つのグループに区別する。最後に、各グループごとにラベル等で識別してエッジ画像を作成し（ステップ１００４）、エッジ領域分割を行う（ステップ１００５）。
First, the input image is filtered by an edge detection filter such as a Sobel filter or a Canny filter, and the luminance change amount (gh) in the X direction and the luminance change amount (gv) in the Y direction are calculated for each pixel. (Step 1001). Then, a pixel whose return value of the function funcl (gh, gv) having the X change amount gh and the Y change amount gv as an input is equal to or greater than the threshold value is defined as an edge portion (edge pixel), and the return value of funcl (gh, gv) is the threshold value The following pixels are not regarded as edge portions and are non-edge pixels (step 1002). Next, the two-dimensional space based on the X change amount gh and the Y change amount gv is divided into a plurality of groups, and each edge pixel is grouped according to its direction (step 1003). In the embodiment, as described later, the two-dimensional space by gh and gv is divided into eight, and each edge pixel is classified into eight groups from
以下に、エッジ検出処理について、より具体的に説明する。ここでは、入力画像の輝度画像は図５（ｃ）の如くとし、エッジ検出フィルタには図５（ａ），（ｂ）に示すＳobelフィルタを使用するとする。図５（ｃ）において、（ｘ00，ｙ00）は画素座標、ｖ00は画素値を表している。他の画素についても同様である。 Hereinafter, the edge detection process will be described more specifically. Here, the luminance image of the input image is as shown in FIG. 5C, and the Sobel filter shown in FIGS. 5A and 5B is used as the edge detection filter. In FIG. 5C, (x00, y00) represents pixel coordinates, and v00 represents a pixel value. The same applies to other pixels.
いま、対象画素は、画素（ｘ11，ｙ11）とする。画素（ｘ11，ｙ11）のＸ方向の輝度変化量ｇｈは、図５（ａ）に示すＸ方向のＳobelフィルタを図５（ｃ）の輝度画像に施すことで、次のように求まる。
ｇｈ＝ｖ00×(−１)＋ｖ10×(−２)＋ｖ20×(−１)＋ｖ02×１＋ｖ12×２＋ｖ22×１
また、画素（ｘ11，ｙ11）のＹ方向の輝度変化量ｇｖは、図５（ｂ）に示すＹ方向のＳobelフィルタを図５（ｃ）の輝度画像に施すことで、次のように求まる。
ｇｖ＝ｖ00×(−１)＋ｖ01×(−２)＋ｖ02×(−１)＋ｖ20×１＋ｖ21×２＋ｖ22×１
画素（ｘ11，ｙ11）の輝度変化量ｇを、ｇ＝ｇｈ２＋ｇｖ２として求め、ｇが所定の閾値（例えば、５０とする）以上の場合、該画素（ｘ11，ｙ11）をエッジ画素とし、閾値以下の場合は非エッジ画素とする。
Now, let the target pixel be a pixel (x11, y11). The luminance change amount gh in the X direction of the pixel (x11, y11) can be obtained as follows by applying the Sobel filter in the X direction shown in FIG. 5A to the luminance image in FIG.
gh = v00 × (−1) + v10 × (−2) + v20 × (−1) + v02 × 1 + v12 × 2 + v22 × 1
Further, the luminance change amount gv in the Y direction of the pixel (x11, y11) can be obtained as follows by applying the Sobel filter in the Y direction shown in FIG. 5B to the luminance image in FIG.
gv = v00 × (−1) + v01 × (−2) + v02 × (−1) + v20 × 1 + v21 × 2 + v22 × 1
The luminance change amount g of the pixel (x11, y11) is obtained as g = gh 2 + gv 2 , and when g is a predetermined threshold value (for example, 50) or more, the pixel (x11, y11) is set as an edge pixel, If it is less than or equal to the threshold value, it is determined as a non-edge pixel.
各画素について上記処理を繰り返すことで、入力画像のエッジ部分が抽出される。入力画像のエッジ部分が抽出されたなら、図６に示すように、Ｘ方向の輝度変化量ｇｈとＹ方向の輝度変化量ｇｖによる２次元空間を８つに分割し、その方向に応じて、各エッジ画素をグループ１からグループ８のいずれかにグループ分けする。このようにエッジ画素をエッジ方向で区別することで、被写体の周囲に存在するであろう４本のエッジを区別して扱うことができる（長方形の各辺を異なるエッジ領域として抽出することができる）。また、ハフ変換などを使用しないでエッジ検出するため、処理を高速化できる。
By repeating the above process for each pixel, an edge portion of the input image is extracted. When the edge portion of the input image is extracted, as shown in FIG. 6, the two-dimensional space by the luminance change amount gh in the X direction and the luminance change amount gv in the Y direction is divided into eight, and according to the direction, Each edge pixel is grouped into one of
エッジ画像は、エッジ画素には０（黒）、非エッジ画素には２５５（白）を割り当てることにより作成される。ここでは、エッジ画像は１〜８の各方向グループごとに作成するとする。すなわち、８枚のエッジ画素を作成する。８枚のエッジ画像が、どの方向グループに属するかはラベル等で識別できるようにする。そして、各エッジ画像について、黒連結領域ごとに領域分割し、分割されたそれぞれの領域をエッジ領域とする。ここで、エッジ領域のうち、所定閾値より少ないエッジ画素数から構成されているエッジ領域（黒連結領域）はノイズとして除去する。 An edge image is created by assigning 0 (black) to edge pixels and 255 (white) to non-edge pixels. Here, it is assumed that an edge image is created for each direction group of 1 to 8. That is, eight edge pixels are created. To which direction group the eight edge images belong can be identified by a label or the like. Then, for each edge image, the area is divided for each black connected area, and each divided area is set as an edge area. Here, of the edge regions, an edge region (black connected region) that is composed of a smaller number of edge pixels than a predetermined threshold is removed as noise.
なお、エッジ画像は１枚のみとし、各エッジ画素について、例えば、各方向グループごとに異なる色などを割り振って区別することも可能である。 Note that it is possible to distinguish only one edge image by assigning a different color or the like to each edge group, for example, for each edge group.
＜線分抽出＞
線分抽出部２２０では、エッジ領域検出部２１０で検出された各エッジ領域の画素情報に対して主成分分析を行うことにより各エッジ領域に対応する線分を抽出する。この線分抽出を各方向グループについて行う。図７に線分抽出の全体的処理フローチャートを示す。また、図８に具体例を示す。
<Line segment extraction>
The line
まず、各エッジ領域の画素情報に対して主成分分析を行い（ステップ１１０１）、線分（直線）を抽出する（ステップ１１０２）。いま、図８（ａ）のようなエッジ領域が存在したとする。このエッジ領域の画素情報を用いて主成分分析を行うことで、図８（ｂ）に描かれているような線分（直線）が抽出される。ここで、主成分分析を行った際に、同時に第一主成分の寄与率を求めておき、エッジの線らしさとして直線と併せて保存しておく。続いて図８（ｃ）に示すように、エッジ領域を囲う最小の矩形を定めて、該矩形と線分の交点を求め、エッジ領域に対応する線分の２端点（の座標）を決定する（ステップ１１０３）。 First, principal component analysis is performed on the pixel information of each edge region (step 1101), and a line segment (straight line) is extracted (step 1102). Now, assume that an edge region as shown in FIG. By performing principal component analysis using the pixel information of the edge region, a line segment (straight line) as illustrated in FIG. 8B is extracted. Here, when the principal component analysis is performed, the contribution ratio of the first principal component is obtained at the same time, and is stored together with the straight line as the edge-likeness. Subsequently, as shown in FIG. 8C, a minimum rectangle surrounding the edge region is determined, an intersection of the rectangle and the line segment is obtained, and two end points (coordinates) of the line segment corresponding to the edge region are determined. (Step 1103).
以上の処理を８枚のエッジ画像から検出された各エッジ領域について実施することで、入力画像中の各エッジ領域に対応する線分の抽出がひとまず完了する。 By performing the above processing for each edge region detected from the eight edge images, extraction of line segments corresponding to each edge region in the input image is completed for the time being.
続いて、ノイズの影響などで、本来一本の直線であるものが途切れて検出されてしまう場合を補うために、８枚のエッジ画像ごとに、各エッジ領域の主成分方向（２方向）に探索を行って隣接するエッジ領域を見つけ、必要なら隣接エッジ領域を統合し、あらためて線分の抽出をやり直す（ステップ１１０４）。図９に隣接エッジ領域の統合処理のフローチャートを示す。また、図１０に具体的処理例を示す。図１０は、１枚のエッジ画像中の一部分で、エッジ領域３０１、３０２、３０３の３つのエッジ領域が存在することを表している。 Subsequently, in order to make up for the case where a line that is originally a single line is cut off due to the influence of noise or the like, in the principal component direction (two directions) of each edge region for every eight edge images. A search is performed to find adjacent edge regions, and if necessary, adjacent edge regions are integrated, and line segment extraction is performed again (step 1104). FIG. 9 shows a flowchart of adjacent edge region integration processing. FIG. 10 shows a specific processing example. FIG. 10 shows that three edge regions 301, 302, and 303 exist in a part of one edge image.
まず、着目するエッジ領域の主成分方向（２方向）に規定する画素数だけ探索を行い（ステップ１１１０）、隣接エッジ領域が存在するか否か判定する（ステップ１１１１）。図１０の場合、矢印３１１、３１２に示すように、例えばエッジ領域３０１の左右の２つの端点から規定の画素数だけ探索する。図１０で矢印の長さが、探索する規定の画素数を示している。該規定の画素数は、一定値にしてもよいし、エッジ領域に対応する線分の長さをもとに設定してもよい。
First, a search is performed for the number of pixels defined in the principal component direction (two directions) of the edge region of interest (step 1110), and it is determined whether there is an adjacent edge region (step 1111). In the case of FIG. 10, as indicated by
図１０の例では、エッジ領域３０１の端点からエッジ領域３０２は規定の画素数以内しか離れていないので、エッジ領域３０１とエッジ領域３０２は隣接エッジ領域と判定されるが、エッジ領域３０１とエッジ領域３０３は規定の画素数以上離れているので、隣接エッジ領域とは判定されない。 In the example of FIG. 10, since the edge region 302 is located within the prescribed number of pixels from the end point of the edge region 301, the edge region 301 and the edge region 302 are determined to be adjacent edge regions. Since 303 is more than the prescribed number of pixels, it is not determined as an adjacent edge region.
次に、隣接エッジ領域が存在する場合、隣接エッジ領域同士の画素情報を合成した合成画素情報を作成し（ステップ１１１２）、合成画素情報に対して主成分分析を行う（ステップ１１１３）。そして、このとき算出されたエッジの線らしさが閾値以上であるか判定し（ステップ１１１４）、閾値以上である場合（主成分の割合が多い）、隣接エッジ領域を統合したエッジ領域を作成して、元のエッジ領域を除去する（ステップ１１１５）。そして、作成した領域に関して、再びステップ１１１０からの処理を行う。これを全てのエッジ領域に対して繰返し、その後、あらためて図７の処理を実施する。
Next, when there is an adjacent edge region, composite pixel information obtained by combining the pixel information of the adjacent edge regions is created (step 1112), and principal component analysis is performed on the composite pixel information (step 1113). Then, it is determined whether the calculated linearity of the edge is equal to or greater than a threshold value (step 1114). If it is equal to or greater than the threshold value (the ratio of the main component is large), an edge area obtained by integrating adjacent edge areas is created. The original edge region is removed (step 1115). Then, the processing from
図１０の場合、隣接エッジ領域と判定されたエッジ領域３０１とエッジ領域３０２の画素情報の合成画素情報を作成し、該合成画素情報に対して主成分分析を行う。そして、エッジの線らしさが閾値以上なら、エッジ領域３０１とエッジ領域３０２を統合して新たなエッジ領域を作成し、エッジ領域３０１とエッジ領域３０２は除去する。そして、新たなエッジ領域に着目して再びステップ１１１０からの処理を行う。
In the case of FIG. 10, composite pixel information of the pixel information of the edge region 301 and the edge region 302 determined to be adjacent edge regions is created, and principal component analysis is performed on the composite pixel information. If the edge linearity is equal to or greater than the threshold, the edge region 301 and the edge region 302 are integrated to create a new edge region, and the edge region 301 and the edge region 302 are removed. Then, the processing from
以上のような処理を８枚のエッジ画像について、全てのエッジ領域に対して繰り返す。そして、最終的に残った各エッジ領域に対して図７の処理を行うことで、線分の抽出が完了する。 The above processing is repeated for all edge regions for eight edge images. Then, the extraction of the line segment is completed by performing the process of FIG. 7 on each finally remaining edge region.
ここまでの処理では、分かり易いように、８枚のエッジ画像から抽出されたエッジ領域を別々に処理するとしたが、以下の処理では、８枚のエッジ画像から抽出されたエッジ領域を区別せずに扱う。ここで、エッジ領域の総計はＮ１であり、したがって、線分抽出部２２０で抽出された線分の総計はＮ１本となる。各線分には通し番号がふられているとする。
In the processing so far, for the sake of easy understanding, the edge regions extracted from the eight edge images are processed separately. However, in the following processing, the edge regions extracted from the eight edge images are not distinguished. To deal with. Here, the total number of edge regions is N1, and therefore the total number of line segments extracted by the line
＜線分生成＞
線分生成部２３０では、線分抽出部２２０で抽出されたＮ１本の線分から、必要に応じて新たな線分を生成する処理を行う。エッジ領域抽出部２１０において、エッジ方向を８方向に分けたことに起因して、同一線分であるにもかかわらず、複数の線分に分割されて認識されてしまう線分が存在する場合がある。そのような場合を補う処理を線分生成部２３０で行う。線分生成部２３０は、入力画像が歪曲ゆがみを持つ場合、被写体の背景が複雑な色をしている場合などに対応するための処理である。図１１に線分生成部２３０の処理フローチャートを示す。また、図１２に具体例を示す。
<Line segment generation>
The line
線分抽出部２２０で抽出されたＮ１本の線分を入力として（ステップ１２００）、番号ｉと番号ｊの２本の線分を取り出し（ステップ１２０１）、Ｎ１本の線分から２本の線分を選ぶすべての組合せである、Ｎ１×（Ｎ１−１）／２個の線分ペアを生成する（ステップ１２０２）。ここで、各線分ペアには通し番号をつけておく。そして、カウント値Ｃntを１に初期設定し、また、Ｎ２＝Ｎ１とした後（ステップ１２０３）、以下の処理を行う。Ｃntは処理対象線分ペアの番号を表し、Ｎ２は既存の線分（Ｎ１本）＋新たな線分の総計を表す。
Using the N1 line segments extracted by the line
カウント値ＣntがＮ１×（Ｎ−１）／２を超えたか判定し（ステップ１２０４）、超えたから処理を終える。超えない場合、Ｃnt番目（最初は１番目）の線分ペアを選択し（ステップ１２０５）、当該線分ペアを構成する２つの線分（線分Ａ、線分Ｂとする）の成す角度を０〜９０°の範囲で算出する（ステップ１２０６）。そして、該線分ペアＡ，Ｂの成す角度が所定の閾値（例えば、５度）以下か判定し（ステップ１２０７）、閾値以上の場合にはＣntを＋１して（ステップ１２１６）、ステップ１２０４へ戻る。例えば、線分Ａと線分Ｂの位置関係が、図１２（ａ），（ｂ）のような場合には、線分ペアＡ，Ｂの成す角はθで表される。ここで、図１２の（ａ）は、線分ペアＡ，Ｂの成す角θが閾値以上の場合を示し、（ｂ）は線分ペアの成す角度θが閾値以下の場合を示しているとする。 It is determined whether the count value Cnt has exceeded N1 × (N−1) / 2 (step 1204). If not, the Cnt-th (initially first) line segment pair is selected (step 1205), and the angle formed by the two line segments (line segment A and line segment B) constituting the line pair is determined. Calculation is performed in the range of 0 to 90 ° (step 1206). Then, it is determined whether or not the angle formed by the line segment pair A and B is equal to or smaller than a predetermined threshold (for example, 5 degrees) (step 1207), and if it is equal to or larger than the threshold, Cnt is incremented by 1 (step 1216). Return. For example, when the positional relationship between the line segment A and the line segment B is as shown in FIGS. 12A and 12B, the angle formed by the line segment pair A and B is represented by θ. Here, FIG. 12A shows a case where the angle θ formed by the line segment pairs A and B is equal to or larger than the threshold value, and FIG. 12B shows a case where the angle θ formed by the line segment pair is equal to or smaller than the threshold value. To do.
線分ペアＡ，Ｂの成す角度が閾値以下の場合（例えば、図１２の（ｂ）の場合）、次に、当該線分ペアの距離を測定する（ステップ１２０８）。ここで、線分ペアＡ，Ｂの距離は、以下の１から４の距離の内、最小の値と定義する。
１．線分Ｂを無限に延長した直線と、線分Ａの始点との距離
２．線分Ｂを無限に延長した直線と、線分Ａの終点との距離
３．線分Ａを無限に延長した直線と、線分Ｂの始点との距離
４．線分Ａを無限に延長した直線と、線分Ｂの終点との距離
If the angle formed by the line segment pairs A and B is equal to or smaller than the threshold (for example, in the case of FIG. 12B), the distance between the line segment pairs is measured (step 1208). Here, the distance between the line segment pairs A and B is defined as the minimum value among the following 1 to 4 distances.
1. 1. Distance between a straight line obtained by infinitely extending line segment B and the start point of
求まった線分ペアＡ，Ｂの距離が所定の閾値以下か判定し（ステップ１２０９）、閾値以上（距離が離れすぎている）の場合には、Ｃntを＋１して（ステップ１２１６）、ステップ１２０４へ戻る。 It is determined whether the distance between the obtained line segment pair A and B is equal to or smaller than a predetermined threshold (step 1209). If the distance is equal to or larger than the threshold (the distance is too far), Cnt is incremented by 1 (step 1216). Return to.
一方、線分ペアの距離が所定の閾値以下の場合には、当該線分ペアの線分Ａの始点と終点、線分Ｂの始点と終点との組み合わせの４通りの距離を計算し、そのうちの最大値（距離１）と最小値（距離２）を求める（ステップ１２１０）。そして、次の式（１）
Ｖ＜（線分Ａの長さ＋線分Ｂの長さ＋距離２）／距離１ （１）
を満足するか否か判定する（ステップ１２１１）。ここで、Ｖは所定の閾値である。満足しない場合には、Ｃntを＋１して（ステップ１２１６）、ステップ１２０４へ戻る。
On the other hand, when the distance of the line segment pair is less than or equal to a predetermined threshold, four distances of the combination of the start point and end point of line segment A and the start point and end point of line segment B are calculated, The maximum value (distance 1) and the minimum value (distance 2) are obtained (step 1210). And the following formula (1)
V <(length of line segment A + length of line segment B + distance 2) / distance 1 (1)
Is satisfied (step 1211). Here, V is a predetermined threshold value. If not satisfied, Cnt is incremented by 1 (step 1216), and the process returns to step 1204.
上記式（１）を満たす場合、当該線分ペアを構成する線分Ａと線分ＢのＸ，Ｙ座標の大小関係を比較して、以下の条件
［条件］
（線分Ａの始点と終点のＸ座標が、線分Ｂの始点と終点のＸ座標よりも大きい。
または、線分Ａの始点と終点のＸ座標が、線分Ｂの始点と終点のＸ座標よりも小さい。）
かつ、
（線分Ａの始点と終点のＹ座標が、線分Ｂの始点と終点のＹ座標よりも大きい。
または、線分Ａの始点と終点のＹ座標が、線分Ｂの始点と終点のＹ座標よりも小さい。）
を満足するか否か判定する（ステップ１２１２）。満足しない場合には、Ｃntを＋１して（ステップ１２１６）、ステップ１２０４に戻る。
When the above formula (1) is satisfied, the magnitude relation between the X and Y coordinates of the line segment A and the line segment B constituting the line segment pair is compared.
(The X coordinate of the start point and end point of line segment A is larger than the X coordinate of the start point and end point of line segment B.
Alternatively, the X coordinate of the start point and end point of line segment A is smaller than the X coordinate of the start point and end point of line segment B. )
And,
(The Y coordinate of the start point and end point of line segment A is larger than the Y coordinate of the start point and end point of line segment B.
Alternatively, the Y coordinate of the start point and end point of line segment A is smaller than the Y coordinate of the start point and end point of line segment B. )
Is determined (step 1212). If not satisfied, Cnt is incremented by 1 (step 1216), and the process returns to step 1204.
上記条件を満たす場合、新しい線分を生成する（ステップ１２１３）。新しい線分は、ステップ１２１０で算出した、当該線分ペアの線分Ａの始点と終点、線分Ｂの始点と終点との組み合わせの４通りのうち、距離が最大となる２頂点の組を始点、終点に持つ線分Ｃとする。図１２（ｂ）の例の場合、図１２（ｃ）のように新しい線分Ｃが生成される。既存の線分はそのまま残し、この生成された線分に後続の通し番号を付けて追加する（ステップ１２１４）。そして、Ｎ２を＋１し（ステップ１２１５）、Ｃntを＋１して（ステップ１２１６）、ステップ１２０４へ戻る。
If the above condition is satisfied, a new line segment is generated (step 1213). The new line segment is a set of two vertices having the maximum distance among the four combinations of the start point and end point of line segment A and the start point and end point of line segment B calculated in
以上の処理を、Ｎ１×（Ｎ１−１）／２個のすべての線分ペアについて繰り返すことで、所望の線分が生成され追加される。このようにして、既存のＮ１本の線分に、この線分生成部２３０で新たに生成されて追加された線分を加えて、合計Ｎ２本の線分が得られる。
By repeating the above processing for all N1 × (N1-1) / 2 line segment pairs, a desired line segment is generated and added. In this way, a total of N2 line segments are obtained by adding the line segments newly generated and added by the line
なお、ここでは、図１１のステップ１２０７、１２０９、１２１１、１２１３の各条件がすべて満たす場合に、新しい線分を生成するとしたが、必要に応じて、そのうちの一部の条件でも満たす時、新しい線分を生成するようにしてもよい。また、生成された線分Ｃと既存の線分で新たに線分ペアを作成し、この線分ペアについて、更に新しい線分を生成すべきか否か判定するようにしてもよい。
In this example, a new line segment is generated when all the conditions of
＜線分ペア分類・評価＞
線分ペア分類・評価部２４０では、既存のＮ１本の線分と、線分生成部２３０で新たに生成された（Ｎ２−Ｎ１）本の線分とを加えたＮ２本の線分から、番号ｉと番号ｊの２本の線分を取り出し（これを線分ペアｉ，ｊと呼ぶ）、線分ペアの分類と評価値を設定する。ここでは、無関係、対辺関係、隣接関係の３種類に分類するとする。図１３に線分ペア分類・評価部２４０の処理フローチャートを示す。
<Line segment pair classification and evaluation>
In the line segment pair classification /
既存の線分に、線分生成部２３０で生成された線分が加わったＮ２本の線分を入力として（ステップ１３００）、番号ｉと番号ｊの２本の線分（線分ペアｉ，ｊ）を取り出し（ステップ１３０１）、Ｎ２本の線分から２本の線分を選ぶすべての組み合わせである、Ｎ２本（Ｎ２−１）／２個の線分ペアを生成する（ステップ１３０２）。各線分ペアには通し番号をつけておく。そして、カウント値Ｃntを１に初期設定した後（ステップ１３０３）、以下の処理を行う。
The N2 line segments obtained by adding the line segments generated by the line
カウント値ＣntがＮ２×（Ｎ２−１）／２を超えたか判定し（ステップ１３０４）、超えたなら処理を終える。超えない場合、Ｃnt番目（最初は１番目）の線分ペアを選択し（ステップ１３０５）、当該線分ペアを構成する２つの線分（線分Ａ、線分Ｂとする）の成す角度を０〜９０°の範囲で算出する（ステップ１３０６）。線分ペアの成す角度は、図１２に示したと同様である。ここで、線分ペアの成す角度に応じて以下の処理を行う。なお、α、βは、例えば、統計等によりあらかじめ決めておく。 It is determined whether the count value Cnt exceeds N2 × (N2-1) / 2 (step 1304). If not, the Cnt-th (initially first) line segment pair is selected (step 1305), and the angle formed by the two line segments (line segment A and line segment B) constituting the line segment pair is determined. Calculation is made within the range of 0 to 90 ° (step 1306). The angle formed by the pair of line segments is the same as that shown in FIG. Here, the following processing is performed according to the angle formed by the line segment pair. Note that α and β are determined in advance by, for example, statistics.
線分ペアの成す角度が０〜α度の場合には、当該線分ペアの距離を測定する（ステップ１３０７）。そして、線分ペアの距離が所定の閾値以下か判定し（ステップ１３０８）、閾値以下のときは、線分ペアの分類を「無関係」とし、更に該線分ペアの評価値を０に設定する（ステップ１３０９）。線分ペアの距離が閾値以上のときは、該線分ペアの分類を「対辺関係」とし、更に該線分ペアの評価値を０に設定する（ステップ１３１０）。その後、Ｃntを＋１して（ステップ１３１４）、ステップ１３０４へ戻る。 When the angle formed by the line segment pair is 0 to α degrees, the distance of the line segment pair is measured (step 1307). Then, it is determined whether the distance between the pair of line segments is equal to or smaller than a predetermined threshold value (step 1308). If the distance is equal to or smaller than the threshold value, the line segment pair classification is set to “irrelevant” and the evaluation value of the line segment pair is set to 0. (Step 1309). When the distance of the line segment pair is equal to or greater than the threshold, the line segment pair classification is set to “opposite side relationship”, and the evaluation value of the line segment pair is set to 0 (step 1310). Thereafter, Cnt is incremented by 1 (step 1314), and the process returns to step 1304.
線分ペアの成す角度がα〜β度の場合には、当該線分ペアの分類を「対辺関係」として（ステップ１３１１）、ステップ１３１３の処理に進む。また、線分ペアの成す角度がβ〜９０度の場合には、当該線分ペアの分類を「隣接関係」として（ステップ１３１２）、ステップ１３１３の処理に進む。その後、Ｃntを＋１して（ステップ１３１４）、ステップ１３０４へ戻る。 When the angle formed by the line segment pair is α to β degrees, the line segment pair is classified as “opposite side relationship” (step 1311), and the process proceeds to step 1313. When the angle formed by the line segment pair is β to 90 degrees, the line segment pair is classified as “adjacent relationship” (step 1312), and the process proceeds to step 1313. Thereafter, Cnt is incremented by 1 (step 1314), and the process returns to step 1304.
ステップ１３１３では、当該線分ペアの評価値を、次のようにして求めて設定する。評価値は０〜１までの値で表現する。
１．線分Ａを無限に延長した直線と、線分Ｂを無限に延長した直線の交点Ｏを求める。
２．交点Ｏと線分Ａの始点とのユークリッド距離、交点Ｏと線分Ａの終点とのユークリッド距離を求め、小さい方の距離を距離Ａとする。
３．交点Ｏと線分Ｂの始点とのユークリッド距離、交点Ｏと線分Ｂの終点とのユークリッド距離を求め、小さい方の距離を距離Ｂとする。
４．距離Ａ、距離Ｂを式（２）に代入することにより評価値（Ｖａｌｕｅ）を算出する。
In
1. An intersection point O of a straight line obtained by infinitely extending the line segment A and a straight line obtained by extending the line segment B indefinitely is obtained.
2. The Euclidean distance between the intersection point O and the start point of the line segment A and the Euclidean distance between the intersection point O and the end point of the line segment A are obtained, and the smaller distance is defined as the distance A.
3. The Euclidean distance between the intersection point O and the start point of the line segment B and the Euclidean distance between the intersection point O and the end point of the line segment B are obtained, and the smaller distance is defined as the distance B.
4). An evaluation value (Value) is calculated by substituting distance A and distance B into equation (2).
本実施例では、線分ペアの分類を３種類（対辺関係、隣接関係、無関係）とし、線分ペアの評価値を１種類としたが、対辺関係にも評価値を設ける方法も考えられる。ただし、分類や評価値の数を増やすと処理時間が増大する。 In this embodiment, there are three types of line segment pairs (opposite side relationship, adjacent relationship, irrelevant) and one type of evaluation value for the line segment pair, but a method of providing evaluation values for the opposite side relationship is also conceivable. However, the processing time increases when the number of classifications and evaluation values is increased.
＜四辺形評価＞
四辺形評価部２５０では、線分ペア分類・評価部２４０で得られたＲ組（Ｒ＝Ｎ２（Ｎ２−１）／２）の線分ペアから２組を順次取り出して、その種類と評価値に基づいて、当該２組の線分ペアが形成する四辺形に関して評価値の設定を行う。図１４に四辺形評価部２５０の処理フローチャートを示す。
<Rectangular evaluation>
The
線分ペア分類・評価部２４０で得られたＮ２×（Ｎ２−１）／２個の線分ペアを入力として（ステップ１４００）、Ｐ＝１，Ｒ＝Ｎ２×（Ｎ２−１）／２と設定し（ステップ１４０１）、Ｒ組（Ｒ＝Ｎ２×（Ｎ２−１）／２）の線分ペアから２組の線分ペアの組み合わせをすべて抽出して（ステップ１４０２〜１４０６）、以下の処理を行う。
Using N2 × (N2-1) / 2 line segment pairs obtained by the line segment pair classifying / evaluating
２組の線分ペアを抽出し、線分ペアＰ、線分ペアＱとする（ステップ１４０７）。なお、線分ペアＰは線分ｉと線分ｊから構成される線分ペアｉ，ｊと等価であり、同様に線分ペアＱは線分ペアｋ，ｌと等価である。 Two pairs of line segments are extracted and set as a line segment pair P and a line segment pair Q (step 1407). Note that the line segment pair P is equivalent to the line segment pair i, j composed of the line segment i and the line segment j, and similarly, the line segment pair Q is equivalent to the line segment pair k, l.
まず、線分ペアＰと線分Ｑが「対辺関係」か否かを調べる（ステップ１４０８）。線分ペアＰと線分Ｑが両方とも「対辺関係」である場合、線分ペアＰ，Ｑを構成する線分ｉ、線分ｊ、線分ｋ、線分ｌが四辺形を成す可能性がある。そこで、次に、４つの線分ペア（線分ペアｊ，ｋ、線分ペアｉ，ｌ、線分ペアｊ，ｋ、線分ペアｊ，ｌ）の評価値が０より大きいか否かを調べる（ステップ１４０９）。４つの線分ペアがすべて０より大きい評価値である場合、線分（直線）ｉと線分ｋの交点ｋの交点ｍ１、線分ｉと線分ｌの交点ｍ２、線分ｊと線分ｌの交点ｍ３、線分ｊと線分ｋの交点ｍ４からなる四辺形を生成する（ステップ１４１０）。そして、この四辺形の評価値Ｖ（ｉ，ｋ，ｊ，ｌ）を、４つの線分ペアの評価値の和とする（ステップ１４１１）。 First, it is checked whether or not the line segment pair P and the line segment Q are “opposite side relationship” (step 1408). When both the line segment pair P and the line segment Q are “opposite side relationship”, the line segment i, the line segment j, the line segment k, and the line segment l constituting the line segment pair P and Q may form a quadrilateral. There is. Therefore, next, whether or not the evaluation value of the four line segment pairs (line segment pair j, k, line segment pair i, l, line segment pair j, k, line segment pair j, l) is greater than 0 is determined. Check (step 1409). When all four line segment pairs have evaluation values greater than 0, the intersection point m1 of the intersection k of the line segment (straight line) i and the line segment k, the intersection point m2 of the line segment i and the line segment l, the line segment j and the line segment A quadrangle is generated which is composed of an intersection m3 of l and an intersection m4 of the line segment j and the line segment k (step 1410). Then, the evaluation value V (i, k, j, l) of this quadrilateral is set as the sum of the evaluation values of the four line segment pairs (step 1411).
本実施例では線分ペアの評価値が０より大きいか否かにより判別を行ったが、あらかじめ線分ペアの評価値に対しソートなどを行い、評価値が上位の線分ペアのみを利用するように評価値に閾値を設けると更に処理時間が短くなる。また、ｍ１，ｍ２，ｍ３，ｍ４の座標が画像領域から遠い位置に存在する場合は、Ｖ（ｉ，ｋ，ｊ，ｌ）＝０としてもよい。加えて、四辺形ｍ１ｍ２ｍ３ｍ４が凸四辺形でない場合もＶ（ｉ，ｋ，ｊ，ｌ）＝０としてもよい。 In this embodiment, the determination is made based on whether or not the evaluation value of the line segment pair is larger than 0. However, the evaluation value of the line segment pair is sorted in advance, and only the line segment pair having the higher evaluation value is used. Thus, if a threshold value is provided for the evaluation value, the processing time is further shortened. When the coordinates of m1, m2, m3, and m4 are present at a position far from the image area, V (i, k, j, l) may be set to zero. In addition, V (i, k, j, l) may be set to 0 even when the quadrangle m1m2m3m4 is not a convex quadrangle.
次に、四辺形ｍ１ｍ２ｍ３ｍ４の面積Ｓを求め、Ｖ（ｉ，ｋ，ｊ，ｌ）に乗算する（ステップ１４１２）。なおＳを乗算する代わりに、Ｓとともに単調増加する関数ｇ（Ｓ）を作成し、ｇ（Ｓ）をＶ（ｉ，ｋ，ｊ，ｌ）に乗算、加算することでもよい。 Next, the area S of the quadrangle m1m2m3m4 is obtained and multiplied by V (i, k, j, l) (step 1412). Instead of multiplying S, a function g (S) that monotonically increases with S may be created, and g (S) may be multiplied and added to V (i, k, j, l).
次に、形状により四辺形ｍ１ｍ２ｍ３ｍ４を評価する（ステップ１４１３）。これは、例えば、次のようにして行う。線分ペアｉ，ｊの交点と線分ペアｋ，ｌの交点を２つの消失点とし、２つの消失点を無限遠点に変換するような射影変換行列を求める。この射影変換行列を求めるには、四辺形ｍ１ｍ２ｍ３ｍ４が三次元平面上に存在する平行四辺形であると仮定することで、平面の単位法線ベクトル（ａ，ｂ，ｃ）を算出し（例えば、森北出版、金谷健一著、「画像理解」）を参照）、単位法線ベクトルをカメラの光軸と一致させるような回転移動行列を、入力画像撮影時の焦点距離を利用して求めることができる。そして、四辺形ｍ１ｍ２ｍ３ｍ４を射影変換した射影平行四辺形ｎ１ｎ２ｎ３ｎ４を考え、射影平行四辺形の一つの角度θ（０°〜９０°）を算出する。もし、θが９０°以上となった場合は、そのほかの平行四辺形の角の角度を算出する。求めたθをＶ（ｉ，ｋ，ｊ，ｌ）に乗算する。なお、θを乗算する代わりに、θとともに単調増加する関数ｆ（θ）を作成し、ｆ（θ）をＶ（ｉ，ｋ，ｊ，ｌ）に乗算、加算することでもよい。また、上記面積Ｓやｇ（ｓ）で重み付けされたＶ（ｉ，ｋ，ｊ，ｌ）に、さらにθやｆ（０）を重み付けすることでもよい。 Next, the quadrangle m1m2m3m4 is evaluated according to the shape (step 1413). This is performed as follows, for example. A projective transformation matrix is obtained in which the intersection of the line segment pair i, j and the intersection of the line segment pair k, l are two vanishing points, and the two vanishing points are converted into infinity points. In order to obtain this projective transformation matrix, the unit normal vector (a, b, c) of the plane is calculated by assuming that the quadrangle m1m2m3m4 is a parallelogram existing on a three-dimensional plane (for example, (See Morikita Publishing, Kenichi Kanaya, "Image Understanding")), and a rotational movement matrix that matches the unit normal vector with the optical axis of the camera can be obtained using the focal length at the time of capturing the input image. . Then, a projection parallelogram n1n2n3n4 obtained by projective transformation of the quadrangle m1m2m3m4 is considered, and one angle θ (0 ° to 90 °) of the projection parallelogram is calculated. If θ is 90 ° or more, the angle of the other parallelogram is calculated. The obtained θ is multiplied by V (i, k, j, l). Instead of multiplying θ, a function f (θ) that monotonically increases with θ may be created, and f (θ) may be multiplied and added to V (i, k, j, l). Further, V (i, k, j, l) weighted by the area S or g (s) may be further weighted by θ or f (0).
次に、四辺形ｉ，ｋ，ｊ，ｌを構成する４つの線分ペアの交点ｍ１ｍ２ｍ３ｍ４と、評価値Ｖ（ｉ，ｋ，ｊ，ｌ）とをメモリ等に登録する（ステップ１４１４）。 Next, the intersections m1m2m3m4 of the four line segment pairs constituting the quadrilaterals i, k, j, l and the evaluation value V (i, k, j, l) are registered in a memory or the like (step 1414).
＜四辺形選択＞
四辺形選択部２６０では、四辺形評価部２５０にて登録された四辺形のうち、評価値Ｖ（ｉ，ｋ，ｊ，ｌ）が高い順に一つあるいはそれ以上の四辺形を選択する。なお、必要に応じて面積による評価値あるいは形状による評価値のいずれか一方を用いて選択することでもよい。
<Selection of quadrilateral>
The
＜射影変換＞
射影変換部２７０では、四辺形選択部で選択された四辺形をもとに射影変換行列を算出し、入力画像に対して射影変換を行って、あおり補正を実施する。
<Projective transformation>
The
射影変換行列の算出は、例えば次のように行われる。まず、四辺形ｍ１ｍ２ｍ３ｍ４の各頂点の順序を、原点に最も近い頂点を先頭とした時計回りに並び替え、再度四辺形ｍ１ｍ２ｍ３ｍ４とする。これを図１５に示す。次にステップ１４１３と同様の方法で射影平行四辺形を算出し、ｎ１ｎ２：ｎ１ｎ４の値を求める。入力画像の画像サイズをＩＭＧＷ×ＩＭＧＨとしたとき、横の長さ：縦の長さ＝ｎ１ｎ２：ｎ１ｎ４を満たす長方形で、面積が最大＆長方形の中心が画像中心と一致するような長方形を求め、その長方形の頂点を時計回りにｕ１，ｕ２，ｕ３，ｕ４とする。なお、四辺形ｍ１ｍ２ｍ３ｍ４と同様、ｕ１がｕ１ｕ２ｕ３ｕ４のうち、最も原点に近い頂点とする。そしてｍ１→ｕ１，ｍ２→ｕ２，ｍ３→ｕ３，ｍ４→ｕ４と対応付ける射影変換行列を求める。
The calculation of the projective transformation matrix is performed as follows, for example. First, the order of the vertices of the quadrangle m1m2m3m4 is rearranged clockwise with the vertex closest to the origin as the head, and again the quadrangle m1m2m3m4. This is shown in FIG. Next, a projected parallelogram is calculated in the same manner as in
こうして求められた射影変換行列を使用して、入力画像に射影変換を施す。なお、射影変換を施す際には必要に応じて画像の拡大・縮小、平行移動・回転移動を加えることもできる。 Using the projective transformation matrix thus obtained, projective transformation is performed on the input image. When projective transformation is performed, image enlargement / reduction, translation / rotation can be added as necessary.
図１６に具体例を示す。例えば、撮影画像（入力画像）が図１６（ａ）であるとし、この射影画像から抽出された四辺形が図１６（ｂ）中の１６００で示された四辺形形状だとすると、例えば、図１６（ｃ）のようなあおり補正された画像を得ることができる。 A specific example is shown in FIG. For example, if the captured image (input image) is FIG. 16A, and the quadrilateral extracted from the projected image is the quadrilateral shape indicated by 1600 in FIG. 16B, for example, FIG. A tilt-corrected image such as c) can be obtained.
以上、本発明の一実施形態について説明したが、本発明は、この実施形態に限定されるものではなく、種々の変更、拡張が可能である。 As mentioned above, although one Embodiment of this invention was described, this invention is not limited to this Embodiment, A various change and expansion are possible.
１２０ あおり補正部
２００ 四辺形抽出部
２１０ エッジ領域検出部
２２０ 線分抽出部
２３０ 線分生成部
２４０ 線分ペア分類・評価部
２５０ 四辺形評価部
２６０ 四辺形選択部
２７０ 射影変換部
DESCRIPTION OF
Claims (20)
入力画像から複数のエッジ領域を検出するエッジ領域検出工程と、
前記検出された複数のエッジ領域に対応する複数の線分を抽出する線分抽出工程と、
前記抽出された複数の線分から、２つの線分（以下、線分ペア）の組み合わせを選択し、各線分ペアを、当該線分ペアを構成する２つの線分の相対位置に応じて分類し、当該線分ペアの評価値を算出する線分ペア分類・評価工程と、
複数の線分ペアから、２つの線分ペアの組み合わせを選択し、それぞれ、２つの線分ペアの４つの線分により四辺形を生成し、各四辺形について、当該四辺形を構成する線分ペアの分類と評価値に基づいて四辺形評価値を算出する四辺形評価工程と、
前記算出された四辺形評価値に基づいて四辺形を選択する四辺形選択工程と、
を有することを特徴とする画像処理方法。 An image processing method for recognizing one or more quadrilaterals from an input image,
An edge region detection step of detecting a plurality of edge regions from the input image;
A line segment extraction step of extracting a plurality of line segments corresponding to the detected plurality of edge regions;
A combination of two line segments (hereinafter referred to as line segment pairs) is selected from the plurality of extracted line segments, and each line segment pair is classified according to the relative position of the two line segments constituting the line segment pair. , Line segment pair classification / evaluation process for calculating the evaluation value of the line segment pair,
A combination of two line segment pairs is selected from a plurality of line segment pairs, a quadrilateral is generated from each of the four line segments of the two line segment pairs, and for each quadrilateral, the line segment constituting the quadrilateral is generated. A quadrilateral evaluation process for calculating a quadrilateral evaluation value based on the classification and evaluation value of the pair,
A quadrilateral selection step of selecting a quadrilateral based on the calculated quadrilateral evaluation value;
An image processing method comprising:
前記線分抽出工程により抽出された複数の線分を入力として、線分ペアの組み合わせを複数選択し、各線分ペアを構成する２つの線分の位置関係により、新しい線分を生成して既存の線分に追加する線分生成工程をさらに有し、
前記線分ペア分類・評価工程では、前記線分抽出工程で抽出された線分と前記線分生成工程で生成された線分とを入力として、線分ペアのすべての組み合わせを選択する、
ことを特徴とする画像処理方法。 The image processing method according to claim 1,
Using a plurality of line segments extracted in the line segment extraction step as input, select a plurality of combinations of line segment pairs, and generate a new line segment based on the positional relationship between the two line segments that constitute each line segment pair. A line generation step of adding to the line segment of
In the line segment pair classification / evaluation step, the line segment extracted in the line segment extraction step and the line segment generated in the line segment generation step are input, and all combinations of line segment pairs are selected.
An image processing method.
前記エッジ領域検出工程では、入力画像の各画素に対して輝度の縦変化量、横変化量を算出し、該縦変化量と横変化量に基づいてエッジ領域を検出すると共に、該縦変化量と横変化量による２次元空間を複数に分割して、エッジ領域を、その方向に応じて複数のグループ（以下、方向グループ）にグループ分けする、
ことを特徴とする画像処理方法。 The image processing method according to claim 1 or 2,
In the edge region detection step, the vertical change amount and the horizontal change amount of the luminance are calculated for each pixel of the input image, the edge region is detected based on the vertical change amount and the horizontal change amount, and the vertical change amount And dividing the two-dimensional space by the lateral change amount into a plurality of groups, and grouping the edge region into a plurality of groups (hereinafter referred to as direction groups) according to the direction,
An image processing method.
前記線分抽出工程では、各方向グループごとに、各エッジ領域の画素情報を用いて主成分分析を行って、線分（直線）を抽出する、
ことを特徴とする画像処理方法。 The image processing method according to claim 3.
In the line segment extraction step, for each direction group, a principal component analysis is performed using pixel information of each edge region, and a line segment (straight line) is extracted.
An image processing method.
前記線分抽出工程では、各エッジ領域の主成分方向に探索を行い、所定の画素数以内の隣接する複数のエッジ領域を統合して、元のエッジ領域を除去し、該統合したエッジ領域に対応する線分を抽出する、
ことを特徴とする画像処理方法。 The image processing method according to claim 4,
In the line segment extraction step, a search is performed in the principal component direction of each edge region, a plurality of adjacent edge regions within a predetermined number of pixels are integrated, the original edge region is removed, and the integrated edge region is Extract the corresponding line segment,
An image processing method.
前記線分ペア分類・評価工程では、各線分ペアを、当該線分ペアを構成する２つの線分の相対位置関係に応じて、対辺、隣接辺あるいは無関係に分類して、評価値を算出し、
前記四辺形評価工程では、対辺と隣接辺関係の線分ペアをもとに四辺形を生成して四辺形評価値を算出する、
ことを特徴とする画像処理方法。 The image processing method according to any one of claims 1 to 5,
In the line segment pair classification / evaluation step, each line pair is classified into an opposite side, an adjacent side or irrelevant according to the relative positional relationship between the two line segments constituting the line segment pair, and an evaluation value is calculated. ,
In the quadrilateral evaluation step, a quadrilateral is generated based on the line segment pair of the opposite side and the adjacent side, and a quadrangle evaluation value is calculated.
An image processing method.
前記四辺形評価工程では、四辺形の面積を求め、前記線分ペアの評価値による四辺形評価値に前記面積を重み付けした値を、あらたに四辺形評価値とする、
ことを特徴とする画像処理方法。 The image processing method according to any one of claims 1 to 6,
In the quadrilateral evaluation step, the area of the quadrilateral is obtained, and a value obtained by weighting the area to the quadrilateral evaluation value according to the evaluation value of the line segment pair is newly set as a quadrilateral evaluation value.
An image processing method.
前記四辺形評価工程では、四辺形を平行四辺形に変換する射影変換行列を求め、射影変換後の平行四辺形の形状に基づいて前記四辺形評価値を重み付けした値を四辺形評価値とする、
ことを特徴とする画像処理方法。 The image processing method according to any one of claims 1 to 7,
In the quadrilateral evaluation step, a projection transformation matrix for converting the quadrilateral into a parallelogram is obtained, and a value obtained by weighting the quadrilateral evaluation value based on the shape of the parallelogram after the projective transformation is used as the quadrilateral evaluation value. ,
An image processing method.
前記四辺形選択工程により選択された四辺形から射影変換行列を算出し、前記入力画像に対して射影変換を施す射影変換工程をさらに有する、
ことを特徴とする画像処理方法。 The image processing method according to any one of claims 1 to 8,
A projective transformation step of calculating a projective transformation matrix from the quadrilateral selected by the quadrilateral selecting step, and performing a projective transformation on the input image;
An image processing method.
入力画像から複数のエッジ領域を検出するエッジ領域検出手段と、
前記検出された複数のエッジ領域に対応する複数の線分を抽出する線分抽出手段と、
前記抽出された複数の線分から、２つの線分（以下、線分ペア）の組み合わせを選択し、各線分ペアを、当該線分ペアを構成する２つの線分の相対位置に応じて分類し、当該線分ペアの評価値を算出する線分ペア分類・評価手段と、
複数の線分ペアから、２つの線分ペアの組み合わせを選択し、それぞれ、２つの線分ペアの４つの線分により四辺形を生成し、各四辺形について、当該四辺形を構成する線分ペアの分類と評価値に基づいて四辺形評価値を算出する四辺形評価手段と、
前記算出された四辺形評価値に基づいて四辺形を選択する四辺形選択手段と、
を有することを特徴とする画像処理装置。 An image processing device that recognizes one or more quadrilaterals from an input image,
Edge region detecting means for detecting a plurality of edge regions from the input image;
Line segment extraction means for extracting a plurality of line segments corresponding to the detected plurality of edge regions;
A combination of two line segments (hereinafter referred to as line segment pairs) is selected from the plurality of extracted line segments, and each line segment pair is classified according to the relative position of the two line segments constituting the line segment pair. , Line segment pair classification / evaluation means for calculating an evaluation value of the line segment pair,
A combination of two line segment pairs is selected from a plurality of line segment pairs, a quadrilateral is generated from each of the four line segments of the two line segment pairs, and for each quadrilateral, the line segment constituting the quadrilateral is generated. A quadrangle evaluation means for calculating a quadrangle evaluation value based on the classification and evaluation value of the pair;
A quadrilateral selection means for selecting a quadrilateral based on the calculated quadrilateral evaluation value;
An image processing apparatus comprising:
前記線分抽出手段により抽出された複数の線分を入力として、線分ペアの組み合わせを複数選択し、各線分ペアを構成する２つの線分の位置関係により、新しい線分を生成して既存の線分に追加する線分生成手段をさらに有し、
前記線分ペア分類・評価手段では、前記線分抽出手段で抽出された線分と前記線分生成手段で生成された線分とを入力として、線分ペアのすべての組み合わせを選択する、
ことを特徴とする画像処理装置。 The image processing apparatus according to claim 10.
Using a plurality of line segments extracted by the line segment extraction means as input, a plurality of combinations of line segment pairs are selected, and a new line segment is generated based on the positional relationship between the two line segments constituting each line segment pair. A line generation means for adding to the line segment of
In the line pair classifying / evaluating means, the line segments extracted by the line segment extracting means and the line segments generated by the line segment generating means are input, and all combinations of line segment pairs are selected.
An image processing apparatus.
前記エッジ領域検出手段では、入力画像の各画素に対して輝度の縦変化量、横変化量を算出し、該縦変化量と横変化量に基づいてエッジ領域を検出すると共に、該縦変化量と横変化量による２次元空間を複数に分割して、エッジ領域を、その方向に応じて複数のグループ（以下、方向グループ）にグループ分けする、
ことを特徴とする画像処理装置。 The image processing apparatus according to claim 10 or 11,
The edge area detection means calculates the vertical and horizontal changes in luminance for each pixel of the input image, detects the edge area based on the vertical and horizontal changes, and detects the vertical change. And dividing the two-dimensional space by the lateral change amount into a plurality of groups, and grouping the edge region into a plurality of groups (hereinafter referred to as direction groups) according to the direction,
An image processing apparatus.
前記線分抽出手段では、各方向グループごとに、各エッジ領域の画素情報を用いて主成分分析を行って、線分（直線）を抽出する、
ことを特徴とする画像処理装置。 The image processing apparatus according to claim 12.
In the line segment extraction means, for each direction group, a principal component analysis is performed using pixel information of each edge region, and a line segment (straight line) is extracted.
An image processing apparatus.
前記線分抽出手段では、各エッジ領域の主成分方向に探索を行い、所定の画素数以内の隣接する複数のエッジ領域を統合して、元のエッジ領域を除去し、該統合したエッジ領域に対応する線分を抽出する、
ことを特徴とする画像処理装置。 The image processing apparatus according to claim 13.
The line segment extraction means performs a search in the principal component direction of each edge region, integrates a plurality of adjacent edge regions within a predetermined number of pixels, removes the original edge region, and creates the integrated edge region. Extract the corresponding line segment,
An image processing apparatus.
前記線分ペア分類・評価手段では、各線分ペアを、当該線分ペアを構成する２つの線分の相対位置関係に応じて、対辺、隣接辺あるいは無関係に分類して、評価値を算出し、
前記四辺形評価手段では、対辺と隣接辺関係の線分ペアをもとに四辺形を生成して四辺形評価値を算出する、
ことを特徴とする画像処理装置。 The image processing apparatus according to any one of claims 9 to 14,
The line segment pair classification / evaluation means classifies each line segment pair according to the relative positional relationship between the two line segments constituting the line segment pair, and calculates an evaluation value. ,
In the quadrilateral evaluation means, a quadrilateral is generated based on a line segment pair of an adjacent side and an adjacent side, and a quadrangle evaluation value is calculated.
An image processing apparatus.
前記四辺形評価手段では、四辺形の面積を求め、前記線分ペアの評価値による四辺形評価値に前記面積を重み付けした値を、あらたに四辺形評価値とする、
ことを特徴とする画像処理装置。 The image processing device according to any one of claims 9 to 15,
In the quadrilateral evaluation means, the area of the quadrilateral is obtained, and a value obtained by weighting the area to the quadrilateral evaluation value by the evaluation value of the line segment pair is newly set as a quadrilateral evaluation value.
An image processing apparatus.
前記四辺形評価手段では、四辺形を平行四辺形に変換する射影変換行列を求め、射影変換後の平行四辺形の形状に基づいて前記四辺形評価値を重み付けした値を、あらたに四辺形評価値とする、
ことを特徴とする画像処理装置。 The image processing apparatus according to any one of claims 9 to 16,
The quadrangle evaluation means obtains a projective transformation matrix for converting the quadrilateral into a parallelogram, and newly calculates the quadrilateral evaluation value obtained by weighting the quadrilateral evaluation value based on the shape of the parallelogram after the projective transformation. Value
An image processing apparatus.
前記四辺形選択手段により選択された四辺形から射影変換行列を算出し、前記入力画像に対して射影変換を施す射影変換手段をさらに有する、
ことを特徴とする画像処理装置。 The image processing apparatus according to any one of claims 9 to 17,
Further comprising a projective transformation means for calculating a projective transformation matrix from the quadrilateral selected by the quadrilateral selection means, and performing a projective transformation on the input image;
An image processing apparatus.
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005243958A JP4712487B2 (en) | 2005-08-25 | 2005-08-25 | Image processing method and apparatus, digital camera apparatus, and recording medium recording image processing program |
| PCT/JP2006/316076 WO2007023715A1 (en) | 2005-08-25 | 2006-08-09 | Image processing method and apparatus, digital camera, and recording medium recording image processing program |
| CN2006800306129A CN101248454B (en) | 2005-08-25 | 2006-08-09 | Image processing method and image processor, digital camera equipment, and recording medium with image processing program stored thereon |
| KR1020087004468A KR100947002B1 (en) | 2005-08-25 | 2006-08-09 | Image processing method and apparatus, digital camera, and recording medium recording image processing program |
| US12/063,684 US8120665B2 (en) | 2005-08-25 | 2006-08-09 | Image processing method and apparatus, digital camera, and recording medium recording image processing program |
| EP06782754.3A EP1917639A4 (en) | 2005-08-25 | 2006-08-09 | Image processing method and apparatus, digital camera, and recording medium recording image processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005243958A JP4712487B2 (en) | 2005-08-25 | 2005-08-25 | Image processing method and apparatus, digital camera apparatus, and recording medium recording image processing program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007058634A true JP2007058634A (en) | 2007-03-08 |
| JP4712487B2 JP4712487B2 (en) | 2011-06-29 |
Family
ID=37922065
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005243958A Expired - Fee Related JP4712487B2 (en) | 2005-08-25 | 2005-08-25 | Image processing method and apparatus, digital camera apparatus, and recording medium recording image processing program |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP4712487B2 (en) |
| CN (1) | CN101248454B (en) |
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010062722A (en) * | 2008-09-02 | 2010-03-18 | Casio Comput Co Ltd | Image processing apparatus and computer program |
| JP2010113653A (en) * | 2008-11-10 | 2010-05-20 | Kyodo Printing Co Ltd | Frame detection method, frame detector, and frame detection program |
| JP2010541087A (en) * | 2007-10-05 | 2010-12-24 | ソニー コンピュータ エンタテインメント ヨーロッパ リミテッド | Image analysis apparatus and method |
| JP4630936B1 (en) * | 2009-10-28 | 2011-02-09 | シャープ株式会社 | Image processing apparatus, image processing method, image processing program, and recording medium recording image processing program |
| JP2011035942A (en) * | 2010-11-12 | 2011-02-17 | Casio Computer Co Ltd | Image processing apparatus and computer program |
| JP2011034387A (en) * | 2009-08-03 | 2011-02-17 | Sharp Corp | Image output device, mobile terminal device, captured image processing system, image output method, program and recording medium |
| JP2011134322A (en) * | 2009-12-23 | 2011-07-07 | Intel Corp | Model-based play field registration |
| US8125544B2 (en) | 2008-09-02 | 2012-02-28 | Casio Computer Co., Ltd. | Image processing apparatus for extracting quadrangle area in image |
| JP2012212346A (en) * | 2011-03-31 | 2012-11-01 | Sony Corp | Image processing apparatus, image processing method and image processing program |
| JP2012216184A (en) * | 2012-01-24 | 2012-11-08 | Nanao Corp | Display device, image processing device, image area detecting method, and computer program |
| JP2013033406A (en) * | 2011-08-02 | 2013-02-14 | Ntt Comware Corp | Image processing device, image processing method, and image processing program |
| JP2013041315A (en) * | 2011-08-11 | 2013-02-28 | Fujitsu Ltd | Image recognition device and image recognition method |
| JP2013089234A (en) * | 2011-10-17 | 2013-05-13 | Sharp Corp | Image processing system |
| JP2013114380A (en) * | 2011-11-28 | 2013-06-10 | Kddi Corp | Information terminal device |
| JP2014021647A (en) * | 2012-07-17 | 2014-02-03 | Kurabo Ind Ltd | Tilt correction device, tilt correction method and computer program for tilt correction |
| US8744170B2 (en) | 2011-08-04 | 2014-06-03 | Casio Computer Co., Ltd. | Image processing apparatus detecting quadrilateral region from picked-up image |
| JP2014106922A (en) * | 2012-11-29 | 2014-06-09 | Samsung R&D Institute Japan Co Ltd | Pointing device and program for pointing device |
| JP2015035040A (en) * | 2013-08-08 | 2015-02-19 | カシオ計算機株式会社 | Image processing apparatus, image processing method, and program |
| JP2015049776A (en) * | 2013-09-03 | 2015-03-16 | 国立大学法人 東京大学 | Image processor, image processing method and image processing program |
| JP2015068707A (en) * | 2013-09-27 | 2015-04-13 | シャープ株式会社 | Defect determination device, defect inspection device, and defect determination method |
| JP2015153190A (en) * | 2014-02-14 | 2015-08-24 | Kddi株式会社 | Information terminal device, method and program |
| JP2016126447A (en) * | 2014-12-26 | 2016-07-11 | キヤノン株式会社 | Image processing apparatus and image processing method |
| JP2017028462A (en) * | 2015-07-21 | 2017-02-02 | キヤノン株式会社 | Image processing system, image processing method, and computer program |
| JP2018160216A (en) * | 2017-03-24 | 2018-10-11 | 株式会社Ｓｃｒｅｅｎホールディングス | Image processing method and image processing device |
| JP2018160217A (en) * | 2017-03-24 | 2018-10-11 | 株式会社Ｓｃｒｅｅｎホールディングス | Image processing method and image processing device |
| CN112507759A (en) * | 2019-09-16 | 2021-03-16 | ***股份有限公司 | Image processing method and image processing device for identifying bank card |
| US11094068B2 (en) | 2017-03-24 | 2021-08-17 | SCREEN Holdings Co., Ltd. | Image processing method and image processor |
| JP2022024601A (en) * | 2020-07-28 | 2022-02-09 | Kddi株式会社 | Camera calibration method, apparatus, and program |
| JP2022123068A (en) * | 2021-06-17 | 2022-08-23 | アポロ インテリジェント ドライビング テクノロジー（ペキン）カンパニー リミテッド | Method and apparatus for generating zebra crossing in high resolution map, and electronic device |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101720771B1 (en) * | 2010-02-02 | 2017-03-28 | 삼성전자주식회사 | Digital photographing apparatus, method for controlling the same, and recording medium storing program to execute the method |
| US8781152B2 (en) * | 2010-08-05 | 2014-07-15 | Brian Momeyer | Identifying visual media content captured by camera-enabled mobile device |
| CN102637252B (en) * | 2011-02-11 | 2014-07-02 | 汉王科技股份有限公司 | Calling card positioning method and device |
| JP2011134343A (en) * | 2011-02-24 | 2011-07-07 | Nintendo Co Ltd | Image processing program, image processing apparatus, image processing system, and image processing method |
| JP5854774B2 (en) | 2011-11-11 | 2016-02-09 | 株式会社Pfu | Image processing apparatus, straight line detection method, and computer program |
| JP5822664B2 (en) * | 2011-11-11 | 2015-11-24 | 株式会社Pfu | Image processing apparatus, straight line detection method, and computer program |
| JP5951367B2 (en) * | 2012-01-17 | 2016-07-13 | シャープ株式会社 | Imaging apparatus, captured image processing system, program, and recording medium |
| CN102881027A (en) * | 2012-07-26 | 2013-01-16 | 方正国际软件有限公司 | Method and system for detecting quadrangle of given region in image |
| JP2014092899A (en) * | 2012-11-02 | 2014-05-19 | Fuji Xerox Co Ltd | Image processing apparatus and image processing program |
| CN103327262B (en) * | 2013-06-19 | 2016-08-10 | 北京视博数字电视科技有限公司 | A kind of method and system of Video segmentation |
| CN103399695B (en) * | 2013-08-01 | 2016-08-24 | 上海合合信息科技发展有限公司 | Quadrangle frame identification method and device for intelligent wireless communication terminal |
| CN104822069B (en) * | 2015-04-30 | 2018-09-28 | 北京爱奇艺科技有限公司 | A kind of image information detecting method and device |
| CN105260997B (en) * | 2015-09-22 | 2019-02-01 | 北京医拍智能科技有限公司 | A kind of method of automatic acquisition target image |
| JP6842329B2 (en) * | 2017-03-24 | 2021-03-17 | 株式会社Ｓｃｒｅｅｎホールディングス | Image processing method and image processing equipment |
| WO2022087846A1 (en) * | 2020-10-27 | 2022-05-05 | Oppo广东移动通信有限公司 | Image processing method and apparatus, device, and storage medium |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05253352A (en) * | 1992-03-13 | 1993-10-05 | Ace Denken:Kk | Ball circulation apparatus in pachinko hall |
| JPH06194138A (en) * | 1992-12-24 | 1994-07-15 | Nippon Telegr & Teleph Corp <Ntt> | Attitude estimating method for object and its device |
| JPH09288741A (en) * | 1996-04-19 | 1997-11-04 | Nissan Motor Co Ltd | Graphic designation supporting device |
| JP2000341501A (en) * | 1999-03-23 | 2000-12-08 | Minolta Co Ltd | Device and method for processing image and recording medium with image processing program stored therein |
| JP2001177716A (en) * | 1999-12-17 | 2001-06-29 | Ricoh Co Ltd | Image processing method and image processor |
| JP2002359838A (en) * | 2001-03-28 | 2002-12-13 | Matsushita Electric Ind Co Ltd | Device for supporting driving |
| JP2003058877A (en) * | 2001-08-20 | 2003-02-28 | Pfu Ltd | Method, device and program for correcting distortion |
| JP2005018195A (en) * | 2003-06-24 | 2005-01-20 | Minolta Co Ltd | Image processing apparatus and image processing program |
| JP2005122320A (en) * | 2003-10-14 | 2005-05-12 | Casio Comput Co Ltd | Photographing apparatus, and its image processing method and program |
-
2005
- 2005-08-25 JP JP2005243958A patent/JP4712487B2/en not_active Expired - Fee Related
-
2006
- 2006-08-09 CN CN2006800306129A patent/CN101248454B/en active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05253352A (en) * | 1992-03-13 | 1993-10-05 | Ace Denken:Kk | Ball circulation apparatus in pachinko hall |
| JPH06194138A (en) * | 1992-12-24 | 1994-07-15 | Nippon Telegr & Teleph Corp <Ntt> | Attitude estimating method for object and its device |
| JPH09288741A (en) * | 1996-04-19 | 1997-11-04 | Nissan Motor Co Ltd | Graphic designation supporting device |
| JP2000341501A (en) * | 1999-03-23 | 2000-12-08 | Minolta Co Ltd | Device and method for processing image and recording medium with image processing program stored therein |
| JP2001177716A (en) * | 1999-12-17 | 2001-06-29 | Ricoh Co Ltd | Image processing method and image processor |
| JP2002359838A (en) * | 2001-03-28 | 2002-12-13 | Matsushita Electric Ind Co Ltd | Device for supporting driving |
| JP2003058877A (en) * | 2001-08-20 | 2003-02-28 | Pfu Ltd | Method, device and program for correcting distortion |
| JP2005018195A (en) * | 2003-06-24 | 2005-01-20 | Minolta Co Ltd | Image processing apparatus and image processing program |
| JP2005122320A (en) * | 2003-10-14 | 2005-05-12 | Casio Comput Co Ltd | Photographing apparatus, and its image processing method and program |
Cited By (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010541087A (en) * | 2007-10-05 | 2010-12-24 | ソニー コンピュータ エンタテインメント ヨーロッパ リミテッド | Image analysis apparatus and method |
| US8363955B2 (en) | 2007-10-05 | 2013-01-29 | Sony Computer Entertainment Europe Limited | Apparatus and method of image analysis |
| JP4715888B2 (en) * | 2008-09-02 | 2011-07-06 | カシオ計算機株式会社 | Image processing apparatus and computer program |
| JP2010062722A (en) * | 2008-09-02 | 2010-03-18 | Casio Comput Co Ltd | Image processing apparatus and computer program |
| US8125544B2 (en) | 2008-09-02 | 2012-02-28 | Casio Computer Co., Ltd. | Image processing apparatus for extracting quadrangle area in image |
| JP2010113653A (en) * | 2008-11-10 | 2010-05-20 | Kyodo Printing Co Ltd | Frame detection method, frame detector, and frame detection program |
| JP2011034387A (en) * | 2009-08-03 | 2011-02-17 | Sharp Corp | Image output device, mobile terminal device, captured image processing system, image output method, program and recording medium |
| US8731321B2 (en) | 2009-10-28 | 2014-05-20 | Sharp Kabushiki Kaisha | Image processing device, image processing method, image processing program, and recording medium with recorded image processing program |
| JP2011097251A (en) * | 2009-10-28 | 2011-05-12 | Sharp Corp | Image processor, image processing method, image processing program, and recording medium with image processing program recorded thereon |
| WO2011052276A1 (en) * | 2009-10-28 | 2011-05-05 | シャープ株式会社 | Image processing device, image processing method, image processing program, and recording medium with recorded image processing program |
| CN102648622A (en) * | 2009-10-28 | 2012-08-22 | 夏普株式会社 | Image processing device, image processing method, image processing program, and recording medium with recorded image processing program |
| EP2495949A1 (en) * | 2009-10-28 | 2012-09-05 | Sharp Kabushiki Kaisha | Image processing device, image processing method, image processing program, and recording medium with recorded image processing program |
| EP2495949A4 (en) * | 2009-10-28 | 2014-05-07 | Sharp Kk | Image processing device, image processing method, image processing program, and recording medium with recorded image processing program |
| JP4630936B1 (en) * | 2009-10-28 | 2011-02-09 | シャープ株式会社 | Image processing apparatus, image processing method, image processing program, and recording medium recording image processing program |
| JP2011134322A (en) * | 2009-12-23 | 2011-07-07 | Intel Corp | Model-based play field registration |
| JP2011035942A (en) * | 2010-11-12 | 2011-02-17 | Casio Computer Co Ltd | Image processing apparatus and computer program |
| US9715743B2 (en) | 2011-03-31 | 2017-07-25 | Sony Corporation | Image processing apparatus, image processing method, and program |
| US10360696B2 (en) | 2011-03-31 | 2019-07-23 | Sony Corporation | Image processing apparatus, image processing method, and program |
| US11195307B2 (en) | 2011-03-31 | 2021-12-07 | Sony Corporation | Image processing apparatus, image processing method, and program |
| US9443348B2 (en) | 2011-03-31 | 2016-09-13 | Sony Corporation | Image processing apparatus, image processing method, and program |
| JP2012212346A (en) * | 2011-03-31 | 2012-11-01 | Sony Corp | Image processing apparatus, image processing method and image processing program |
| JP2013033406A (en) * | 2011-08-02 | 2013-02-14 | Ntt Comware Corp | Image processing device, image processing method, and image processing program |
| US8744170B2 (en) | 2011-08-04 | 2014-06-03 | Casio Computer Co., Ltd. | Image processing apparatus detecting quadrilateral region from picked-up image |
| JP2013041315A (en) * | 2011-08-11 | 2013-02-28 | Fujitsu Ltd | Image recognition device and image recognition method |
| JP2013089234A (en) * | 2011-10-17 | 2013-05-13 | Sharp Corp | Image processing system |
| US9390342B2 (en) | 2011-10-17 | 2016-07-12 | Sharp Laboratories Of America, Inc. | Methods, systems and apparatus for correcting perspective distortion in a document image |
| JP2013114380A (en) * | 2011-11-28 | 2013-06-10 | Kddi Corp | Information terminal device |
| JP2012216184A (en) * | 2012-01-24 | 2012-11-08 | Nanao Corp | Display device, image processing device, image area detecting method, and computer program |
| JP2014021647A (en) * | 2012-07-17 | 2014-02-03 | Kurabo Ind Ltd | Tilt correction device, tilt correction method and computer program for tilt correction |
| JP2014106922A (en) * | 2012-11-29 | 2014-06-09 | Samsung R&D Institute Japan Co Ltd | Pointing device and program for pointing device |
| JP2015035040A (en) * | 2013-08-08 | 2015-02-19 | カシオ計算機株式会社 | Image processing apparatus, image processing method, and program |
| JP2015049776A (en) * | 2013-09-03 | 2015-03-16 | 国立大学法人 東京大学 | Image processor, image processing method and image processing program |
| JP2015068707A (en) * | 2013-09-27 | 2015-04-13 | シャープ株式会社 | Defect determination device, defect inspection device, and defect determination method |
| JP2015153190A (en) * | 2014-02-14 | 2015-08-24 | Kddi株式会社 | Information terminal device, method and program |
| JP2016126447A (en) * | 2014-12-26 | 2016-07-11 | キヤノン株式会社 | Image processing apparatus and image processing method |
| JP2017028462A (en) * | 2015-07-21 | 2017-02-02 | キヤノン株式会社 | Image processing system, image processing method, and computer program |
| US11094068B2 (en) | 2017-03-24 | 2021-08-17 | SCREEN Holdings Co., Ltd. | Image processing method and image processor |
| JP2018160217A (en) * | 2017-03-24 | 2018-10-11 | 株式会社Ｓｃｒｅｅｎホールディングス | Image processing method and image processing device |
| JP2018160216A (en) * | 2017-03-24 | 2018-10-11 | 株式会社Ｓｃｒｅｅｎホールディングス | Image processing method and image processing device |
| JP7025124B2 (en) | 2017-03-24 | 2022-02-24 | 株式会社Ｓｃｒｅｅｎホールディングス | Image processing method and image processing equipment |
| JP7112181B2 (en) | 2017-03-24 | 2022-08-03 | 株式会社Ｓｃｒｅｅｎホールディングス | Image processing method and image processing apparatus |
| CN112507759A (en) * | 2019-09-16 | 2021-03-16 | ***股份有限公司 | Image processing method and image processing device for identifying bank card |
| JP2022024601A (en) * | 2020-07-28 | 2022-02-09 | Kddi株式会社 | Camera calibration method, apparatus, and program |
| JP7297720B2 (en) | 2020-07-28 | 2023-06-26 | Kddi株式会社 | Camera calibration method, apparatus and program |
| JP2022123068A (en) * | 2021-06-17 | 2022-08-23 | アポロ インテリジェント ドライビング テクノロジー（ペキン）カンパニー リミテッド | Method and apparatus for generating zebra crossing in high resolution map, and electronic device |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101248454A (en) | 2008-08-20 |
| JP4712487B2 (en) | 2011-06-29 |
| CN101248454B (en) | 2012-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4712487B2 (en) | Image processing method and apparatus, digital camera apparatus, and recording medium recording image processing program | |
| CN106446873B (en) | Face detection method and device | |
| KR100947002B1 (en) | Image processing method and apparatus, digital camera, and recording medium recording image processing program | |
| US10303983B2 (en) | Image recognition apparatus, image recognition method, and recording medium | |
| US6985631B2 (en) | Systems and methods for automatically detecting a corner in a digitally captured image | |
| JP4662258B2 (en) | Image processing method and apparatus, digital camera apparatus, and recording medium recording image processing program | |
| JP2008517352A (en) | Non-contact optical means and 3D fingerprint recognition method | |
| JP5825172B2 (en) | Image determination apparatus, image determination method, and computer program for image determination | |
| US10404912B2 (en) | Image capturing apparatus, image processing apparatus, image capturing system, image processing method, and storage medium | |
| WO2018147059A1 (en) | Image processing device, image processing method, and program | |
| KR101324250B1 (en) | optical axis error compensation method using image processing, the method of the same, and the zoom camera provided for the compensation function of the optical axis error | |
| US20200364832A1 (en) | Photographing method and apparatus | |
| KR101868740B1 (en) | Apparatus and method for generating panorama image | |
| US20130208984A1 (en) | Content scene determination device | |
| JP5247338B2 (en) | Image processing apparatus and image processing method | |
| CN109785439A (en) | Human face sketch image generating method and Related product | |
| JP4182937B2 (en) | Image capturing apparatus, image processing method for image capturing apparatus, and program | |
| US20210281742A1 (en) | Document detections from video images | |
| JP5754931B2 (en) | Image analysis apparatus, image analysis method, and program | |
| JP4789526B2 (en) | Image processing apparatus and image processing method | |
| KR101028171B1 (en) | Determination of aspect ratio from perspective projection images | |
| CN112990096B (en) | Identity card information recording method based on integration of OCR and face detection | |
| JP6776532B2 (en) | Image processing equipment, imaging equipment, electronic devices and image processing programs | |
| CN115641635B (en) | Method for determining focusing parameters of iris image acquisition module and iris focusing equipment | |
| Kakar | Passive approaches for digital image forgery detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080624 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100901 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101028 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110316 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110323 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4712487 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140401 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |