JP2003179797A - Image processor, digital camera and program - Google Patents
Image processor, digital camera and programInfo
- Publication number
- JP2003179797A JP2003179797A JP2001379884A JP2001379884A JP2003179797A JP 2003179797 A JP2003179797 A JP 2003179797A JP 2001379884 A JP2001379884 A JP 2001379884A JP 2001379884 A JP2001379884 A JP 2001379884A JP 2003179797 A JP2003179797 A JP 2003179797A
- Authority
- JP
- Japan
- Prior art keywords
- image
- area
- detection
- image processing
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、実質的に同一のシ
ーンについて相互に位置ずれが生じている複数の画像に
関して位置合わせを行う画像処理技術に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing technique for performing registration for a plurality of images that are substantially out of position with respect to substantially the same scene.
【０００２】[0002]
【従来の技術】デジタルカメラで取得した画像について
は、その画像データを操作することにより様々な画像処
理が可能である。この画像処理の一例としては、以下で
説明する背景ぼけ強調処理技術や、焦点距離の異なる２
枚の画像から合焦部分のみを取り出して全焦点画像を生
成する技術などがある。2. Description of the Related Art Various images can be processed by manipulating image data of an image obtained by a digital camera. As an example of this image processing, a background blur enhancement processing technique described below and two different focal lengths are used.
There is a technique of taking out only the in-focus portion from a single image and generating an omnifocal image.
【０００３】背景ぼけ強調処理では、例えば人物などの
近距離の物体(近距離物)と、例えば家屋などの遠距離の
物体(遠距離物)とが混在する遠近競合シーンに対して、
まず焦点距離の異なる近景合焦画像と遠景合焦画像とを
取得する。次に、領域判別法によって近距離物に関する
近景合焦領域と、遠距離物に関する遠景合焦領域とに画
像を領域分割する。そして、この遠景合焦領域に対し
て、ぼかす効果のあるフィルタ(例えばガウシアンフィ
ルタ)で処理を行えば、近景合焦領域と遠景合焦領域と
の間でぼけ差が広がり、背景のぼけが強調された画像を
得ることができる。In background blur enhancement processing, for example, a near-far conflict scene in which a short-distance object (short-distance object) such as a person and a long-distance object (long-distance object) such as a house are mixed,
First, a near view focused image and a distant view focused image having different focal lengths are acquired. Next, the image is divided into a near view focused area for a short-distance object and a distant view focused area for a long-distance object by the area discrimination method. Then, if a filter having a blurring effect (for example, a Gaussian filter) is applied to the distant view in-focus area, the blur difference is widened between the near-view in-focus area and the distant-view in-focus area to enhance the background blur. Can be obtained.
【０００４】この背景ぼけ強調処理では、近景合焦画像
と遠景合焦画像とで対応する箇所を比較・合成するた
め、位置関係が適合した２枚の画像を用いなければ正確
な結果が得られないが、デジタルカメラで撮影する際に
手ぶれやシャッターボタンを押す際の力加減により、２
枚の画像間で位置ずれが発生することがある。In the background blur enhancement processing, since the corresponding portions of the in-focus image of the near view and the in-focus image of the distant view are compared and combined, an accurate result can be obtained unless two images having a positional relationship are used. However, due to camera shake when shooting with a digital camera and the force required to press the shutter button, 2
A position shift may occur between the images.
【０００５】複数の画像間の位置ずれを補正する技術と
しては、特許2506500と特平開11-185018とにアフィン変
換を用いた補正技術が開示されている。これらの補正技
術では、画像中の複数の点(領域)に関して画像間の移動
量を計算し、得られた複数の移動量から画像変換式を求
めて画像全体を変換し、位置ずれを補正している。As a technique for correcting the positional deviation between a plurality of images, a correction technique using affine transformation is disclosed in Japanese Patent No. 2506500 and Japanese Patent Publication No. 11-185018. In these correction techniques, the amount of movement between images is calculated for a plurality of points (regions) in the image, the image conversion formula is calculated from the obtained plurality of movement amounts, and the entire image is converted to correct the positional deviation. ing.
【０００６】[0006]
【発明が解決しようとする課題】しかしながら、上記の
特許2506500の補正技術では、画像中の領域すべてに関
して移動量を計算する必要があり、画像変換式を求める
までに多くの計算時間を必要とする。However, in the correction technique of the above-mentioned Japanese Patent No. 2506500, it is necessary to calculate the movement amount for all the areas in the image, and it takes a lot of calculation time to obtain the image conversion formula. .
【０００７】一方、特平開11-185018の補正技術では、
コントラスト等を基準に所定の領域を抽出し、その所定
の領域より小さい探索領域から移動量を求める点を選び
出すことで、またはユーザにより指定された領域に基づ
き移動量の計算を行う。そのため、これらの領域が画像
の中央部や１つの隅等の局所に集まる場合には、局所的
な情報を用いて画像全体を変換するために位置合わせの
誤差が生じてしまう。また、ユーザが領域を指定する場
合には、ユーザに手間をかけるとともに、指定操作の時
間が余分に必要となる。On the other hand, in the correction technology of Japanese Patent Laid-Open No. 11-185018,
A predetermined area is extracted on the basis of contrast or the like, and a movement amount is calculated by selecting a point for which the movement amount is obtained from a search area smaller than the predetermined area or based on the area designated by the user. Therefore, when these areas are locally gathered in the central portion or one corner of the image, an alignment error occurs because the entire image is converted using local information. In addition, when the user designates the area, it takes time and labor for the user and extra time is required for the designation operation.
【０００８】本発明は、上記課題に鑑みてなされたもの
であり、実質的に同一のシーンについて相互に位置ずれ
が生じている複数の画像に関して、正確かつ迅速に位置
合わせを行える画像処理技術を提供することを目的とす
る。The present invention has been made in view of the above-mentioned problems, and provides an image processing technique capable of accurately and promptly aligning a plurality of images that are misaligned with each other in substantially the same scene. The purpose is to provide.
【０００９】[0009]
【課題を解決するための手段】上記の課題を解決するた
め、請求項１の発明は、実質的に同一のシーンについて
相互に位置ずれが生じている複数の画像に関して位置合
わせを行う画像処理装置であって、(a)前記複数の画像
から、基準画像と、前記基準画像に対比する対比画像と
を指定する指定手段と、(b)前記基準画像の周辺領域に
疎散して検出エリアを３以上設定する設定手段と、(c)
前記検出エリアごとに、前記検出エリアの一部領域で所
定の条件を満足する特徴領域を検出する検出手段と、
(d)前記対比画像から、前記特徴領域に対応する対応領
域を抽出する抽出手段と、(e)前記特徴領域と前記対応
領域との位置情報に基づき、前記基準画像と前記比較画
像とに関して前記位置合わせの処理を行う処理手段とを
備える。In order to solve the above-mentioned problems, the invention of claim 1 is an image processing apparatus for performing registration for a plurality of images which are substantially misaligned in the same scene. It is, (a) from the plurality of images, a reference image, a designation means for designating a contrast image to be compared with the reference image, and (b) a detection area scattered in the peripheral area of the reference image. Setting means for setting 3 or more, (c)
For each of the detection areas, a detection unit that detects a characteristic area that satisfies a predetermined condition in a partial area of the detection area,
(d) from the contrast image, extraction means for extracting a corresponding region corresponding to the characteristic region, (e) based on position information of the characteristic region and the corresponding region, the reference image and the comparison image, And a processing means for performing alignment processing.
【００１０】また、請求項２の発明は、請求項１の発明
に係る画像処理装置において、前記所定の条件は、画素
分散値、高周波成分またはコントラストに係る条件であ
る。According to a second aspect of the invention, in the image processing apparatus according to the first aspect of the invention, the predetermined condition is a condition relating to a pixel dispersion value, a high frequency component or a contrast.
【００１１】また、請求項３の発明は、請求項１または
請求項２の発明に係る画像処理装置において、前記検出
手段は、(c-1)前記検出エリアが、繰返し模様またはモ
ノクロ模様で構成される特定エリアに相当するか否かを
判定する判定手段と、(c-2)前記検出エリアが前記特定
エリアに相当する場合には、当該検出エリアで前記特徴
領域の検出を禁止する禁止手段とを有する。According to a third aspect of the present invention, in the image processing apparatus according to the first or second aspect of the invention, the detecting means comprises: (c-1) the detection area is composed of a repeating pattern or a monochrome pattern. Determination means for determining whether or not it corresponds to a specific area, and (c-2) a prohibition means for prohibiting detection of the characteristic region in the detection area when the detection area corresponds to the specific area Have and.
【００１２】また、請求項４の発明は、請求項３の発明
に係る画像処理装置において、前記検出手段は、(c-3)
前記検出エリアが前記特定エリアに相当する場合で、か
つ前記特徴領域と前記対応領域との位置情報が２以下と
なる場合には、前記基準画像のうち前記設定手段で設定
された前記検出エリア以外の領域に、補助検出エリアを
設定する手段と、(c-4)前記補助検出エリアから前記特
徴領域を検出する手段とをさらに有する。According to a fourth aspect of the invention, in the image processing apparatus according to the third aspect of the invention, the detecting means is (c-3).
In the case where the detection area corresponds to the specific area and the positional information of the characteristic area and the corresponding area is 2 or less, other than the detection area set by the setting unit in the reference image. Further, it further comprises means for setting an auxiliary detection area in the area, and (c-4) means for detecting the characteristic area from the auxiliary detection area.
【００１３】また、請求項５の発明は、実質的に同一の
シーンについて相互に位置ずれが生じている複数の画像
に関して位置合わせが可能なデジタルカメラであって、
(a)前記複数の画像から、基準画像と、前記基準画像に
対比する対比画像とを指定する指定手段と、(b)前記基
準画像の周辺領域に疎散して検出エリアを３以上設定す
る設定手段と、(c)前記検出エリアごとに、前記検出エ
リアの一部領域で所定の条件を満足する特徴領域を検出
する検出手段と、(d)前記対比画像から、前記特徴領域
に対応する対応領域を抽出する抽出手段と、(e)前記特
徴領域と前記対応領域との位置情報に基づき、前記基準
画像と前記比較画像とに関して前記位置合わせの処理を
行う処理手段とを備える。According to a fifth aspect of the present invention, there is provided a digital camera capable of aligning a plurality of images which are substantially displaced from each other with respect to substantially the same scene.
(a) Designating means for designating a reference image and a comparison image to be compared with the reference image from the plurality of images; Setting means, (c) for each of the detection areas, detection means for detecting a characteristic area that satisfies a predetermined condition in a partial area of the detection area, and (d) from the comparison image, corresponding to the characteristic area An extraction unit that extracts a corresponding region, and (e) a processing unit that performs the alignment process for the reference image and the comparative image based on the position information of the characteristic region and the corresponding region.
【００１４】また、請求項６の発明は、画像処理装置に
内蔵されたコンピュータにおいて実行されることによ
り、当該画像処理装置を請求項１ないし請求項４のいず
れかの発明に係る画像処理装置として機能させるプログ
ラムである。Further, the invention of claim 6 is executed by a computer built in the image processing apparatus, so that the image processing apparatus serves as the image processing apparatus according to any one of claims 1 to 4. It is a program that makes it work.
【００１５】[0015]
【発明の実施の形態】＜画像処理装置の要部構成＞図１
は、本発明の実施形態に係る画像処理装置１の要部構成
を示す概略図である。BEST MODE FOR CARRYING OUT THE INVENTION <Principal Configuration of Image Processing Apparatus> FIG.
FIG. 1 is a schematic diagram showing a main configuration of an image processing device 1 according to an embodiment of the present invention.
【００１６】画像処理装置１は、例えばパーソナルコン
ピュータとして構成されており、箱状の形状を有する処
理部１０と、操作部１１と、表示部１２とを有してい
る。The image processing apparatus 1 is configured as a personal computer, for example, and has a box-shaped processing unit 10, an operation unit 11, and a display unit 12.
【００１７】処理部１０の前面には、光ディスク９１を
挿入するドライブ１０１と、メモリカード９２を挿入す
るドライブ１０２とが設けられている。A drive 101 for inserting the optical disk 91 and a drive 102 for inserting the memory card 92 are provided on the front surface of the processing unit 10.
【００１８】操作部１１は、マウス１１１とキーボード
１１２とを有しており、ユーザからの画像処理装置１に
対する入力操作を受付ける。The operation unit 11 has a mouse 111 and a keyboard 112, and receives an input operation to the image processing apparatus 1 from a user.
【００１９】表示部１２は、例えばＣＲＴで構成され、
表示手段として機能する。The display unit 12 is composed of, for example, a CRT,
Functions as a display means.
【００２０】図２は、画像処理装置１の機能ブロックを
示す図である。FIG. 2 is a diagram showing functional blocks of the image processing apparatus 1.
【００２１】画像処理装置１の処理部１０は、上記の操
作部１１および表示部１２に接続する入出力Ｉ／Ｆ１３
と、入出力Ｉ／Ｆ１３に電気的に接続する制御部１４と
を備えている。また、処理部１０は、制御部１４に電気
的に接続する記憶部１５と、入出力Ｉ／Ｆ１６とを備え
ている。The processing unit 10 of the image processing apparatus 1 is an input / output I / F 13 connected to the operation unit 11 and the display unit 12 described above.
And a control unit 14 electrically connected to the input / output I / F 13. The processing unit 10 also includes a storage unit 15 electrically connected to the control unit 14 and an input / output I / F 16.
【００２２】入出力Ｉ／Ｆ１３は、操作部１１および表
示部１２と制御部１４との間でデータの送受をコントロ
ールするためのインターフェースである。The input / output I / F 13 is an interface for controlling data transmission / reception between the operation unit 11 and the display unit 12 and the control unit 14.
【００２３】記憶部１５は、例えばハードディスクとし
て構成されており、画像処理プログラムなどを格納す
る。The storage unit 15 is configured as a hard disk, for example, and stores an image processing program and the like.
【００２４】入出力Ｉ／Ｆ１６は、ドライブ１０１、１
０２を介して、記録媒体である光ディスク９１、メモリ
カード９２に対するデータの入出力を行うためのインタ
ーフェースである。The input / output I / F 16 are drives 101, 1
An interface for inputting / outputting data to / from the optical disk 91 and the memory card 92, which are recording media, via the interface 02.
【００２５】制御部１４は、ＣＰＵ１４１およびメモリ
１４２を有しており、画像処理装置１の動作を統括制御
する部位である。この制御部１４で画像処理プログラム
が実行されることにより、複数の画像に対して位置合わ
せ処理を行うことができる。The control unit 14 has a CPU 141 and a memory 142, and is a part that controls the operation of the image processing apparatus 1 in an integrated manner. By executing the image processing program in the control unit 14, the alignment processing can be performed on a plurality of images.
【００２６】制御部１４のメモリ１４２には、光ディス
ク９１に記録されている画像処理プログラムなどのプロ
グラムデータを入出力Ｉ／Ｆ１６を介して格納すること
ができる。これにより、この格納したプログラムを画像
処理装置１の動作に反映できる。Program data such as an image processing program recorded on the optical disc 91 can be stored in the memory 142 of the control unit 14 via the input / output I / F 16. As a result, the stored program can be reflected in the operation of the image processing apparatus 1.
【００２７】＜画像処理装置１の動作＞図３は、画像処
理装置１の基本的な動作を説明するフローチャートであ
る。本動作は、焦点距離の異なる２枚の画像から背景ぼ
け強調画像を生成する動作となっており、画像処理プロ
グラムを制御部１４で実行することによって実施され
る。<Operation of Image Processing Apparatus 1> FIG. 3 is a flow chart for explaining the basic operation of the image processing apparatus 1. This operation is an operation of generating a background-blur-enhanced image from two images having different focal lengths, and is executed by executing the image processing program in the control unit 14.
【００２８】この画像処理装置１の動作前には、デジタ
ルカメラで焦点距離の異なる２枚の画像データを取得す
るが、これについて以下で簡単に説明する。Prior to the operation of the image processing apparatus 1, two pieces of image data having different focal lengths are acquired by a digital camera, which will be briefly described below.
【００２９】図４は、２枚の画像を取得する様子を説明
するための図である。FIG. 4 is a diagram for explaining how to obtain two images.
【００３０】デジタルカメラ２の前方には、近距離にあ
る人物(以下では「近距離物」という)ＳＡと、遠距離に
ある家屋ＳＢａや樹木ＳＢｂなどの物体(以下では「遠
距離物」という)ＳＢとが混在している。これらの近距
離物ＳＡと遠距離物ＳＢとが競合する遠近競合シーンに
対して、図５(ａ)に示すような近距離物ＳＡに合焦させ
た画像(近景合焦画像)ＧＡと、図５(ｂ)に示すような遠
距離物ＳＢに合焦させた画像(遠景合焦画像)ＧＢとを、
デジタルカメラ２によって取得する。ここでは、デジタ
ルカメラ２の焦点距離を変更しシャッターボタン２１を
２回押下することによって、実質的に同一のシーンにつ
いて近景合焦画像ＧＡと遠景合焦画像ＧＢとを撮影する
が、近景合焦画像ＧＡでは背景となる遠距離物ＳＢの輪
郭などがぼけ、遠景合焦画像ＧＢでは近距離物ＳＡがぼ
けて撮影されることとなる。また、遠景合焦画像ＧＢで
は、焦点距離の違いによる画角差（拡大、縮小）や撮影
時の手ぶれによる回転など、近景合焦画像ＧＡに対する
位置ずれが発生している。なお、図５に示す近景合焦画
像ＧＢは、主に方向Ｒｔに回転する画像を示している。
そして、これらの画像はデジタルカメラ２に着脱自在の
メモリカード９２に記録される。In front of the digital camera 2, a person at a short distance (hereinafter referred to as a "short distance object") SA and an object at a long distance such as a house SBa or a tree SBb (hereinafter referred to as "a long distance object"). ) SB is mixed. An image (near-view focused image) GA focused on the short-distance object SA as shown in FIG. 5A for a near-far conflict scene in which the short-distance object SA and the long-distance object SB compete. An image (distance view focused image) GB focused on a long-distance object SB as shown in FIG.
It is acquired by the digital camera 2. Here, by changing the focal length of the digital camera 2 and pressing the shutter button 21 twice, the near-field focused image GA and the distant-view focused image GB are captured for substantially the same scene. In the image GA, the outline of the long-distance object SB that is the background is blurred, and in the long-distance focus image GB, the short-distance object SA is blurred. Further, in the distant view focused image GB, a positional shift with respect to the near view focused image GA occurs due to a difference in angle of view (enlargement or reduction) due to a difference in focal length and rotation due to camera shake during shooting. The near-focus image GB shown in FIG. 5 is an image that mainly rotates in the direction Rt.
Then, these images are recorded on the memory card 92 which is detachable from the digital camera 2.
【００３１】図３に戻って説明する。Returning to FIG. 3, description will be made.
【００３２】メモリカード９２に記録されている、焦点
距離の異なる近景合焦画像ＧＡと遠景合焦画像ＧＢとを
ドライブ１０２を介して画像処理装置１で読込む(ステ
ップＳ１)。The in-focus image GA and the in-focus image GB with different focal lengths, which are recorded in the memory card 92, are read by the image processing apparatus 1 via the drive 102 (step S1).
【００３３】ステップＳ２では、位置合わせ処理を行う
(後で詳述)。これにより、遠景合焦画像ＧＢ(図５(ｂ))
の位置ずれが補正された遠景補正画像ＧＲ(図６)が生成
される。In step S2, a positioning process is performed.
(Detailed later). Thereby, the distant view focused image GB (FIG. 5B)
A distant view corrected image GR (FIG. 6) in which the positional deviation of is corrected is generated.
【００３４】ステップＳ３では、ステップＳ２で補正さ
れた遠景補正画像ＧＲと近景合焦画像ＧＡとの２枚の画
像に関して、領域分割法により領域分割する。具体的に
は、近距離物ＳＡと遠距離物ＳＢとのぼけ差を用いて、
図７に示すように近距離物ＳＡが撮影される近景領域Ｇ
ｐと、遠距離物ＳＢが撮像される遠景領域Ｇｑとに領域
を分割する。In step S3, the two images, the distant view corrected image GR and the close view focused image GA corrected in step S2, are divided into areas by the area dividing method. Specifically, using the blur difference between the short-range object SA and the long-range object SB,
As shown in FIG. 7, the near view area G in which the near object SA is photographed
The area is divided into p and a distant view area Gq in which the distant object SB is imaged.
【００３５】ステップＳ４では、ステップＳ３での領域
分割結果を利用して、背景ぼけ強調画像を生成する。す
なわち、遠景補正画像ＧＲから遠景領域Ｇｑ(図７)を抽
出して例えばガウシアンフィルタなどのぼかす効果のあ
るフィルタで処理したものと、近景合焦画像ＧＡから近
景領域Ｇｐを抽出したものとを画像合成する。これによ
り、図８に示すように、近距離物ＳＡに対して遠距離物
ＳＢのぼけ差が拡がった、つまり背景のぼけが強調され
た画像データが得られることとなる。In step S4, a background-blur-enhanced image is generated using the area division result obtained in step S3. That is, the distant view area Gq (FIG. 7) is extracted from the distant view corrected image GR and processed by a filter having a blurring effect such as a Gaussian filter, and the near view area Gp is extracted from the near view focused image GA. To synthesize. As a result, as shown in FIG. 8, image data in which the blur difference of the long-distance object SB is widened with respect to the short-distance object SA, that is, the background blur is emphasized is obtained.
【００３６】図９は、上記のステップＳ２に対応する位
置合わせ処理を説明するフローチャートである。FIG. 9 is a flow chart for explaining the positioning process corresponding to the above step S2.
【００３７】ステップＳ１１では、変数ｉの初期値とし
て１を代入する。In step S11, 1 is substituted as the initial value of the variable i.
【００３８】ステップＳ１２では、近景合焦画像ＧＡと
遠景合焦画像ＧＢとの２つの画像のうち一方の画像(基
準画像)を指定し、その周辺領域に４つの計算領域検出
エリアＥiを疎散して設定する。具体的には、あらかじ
めユーザによって選択され、または制御部１４によって
自動的に選択された近景合焦画像ＧＡを基準画像として
指定する。そして、図１０に示すように近景合焦画像Ｇ
Ａの４隅近傍にばらけて、４つの計算領域検出エリアＥ
(Ｅ１〜Ｅ４)を設定する。なお、計算領域検出エリアＥ
は、例えば縦横９６×９６ピクセルの大きさである。In step S12, one image (reference image) out of the two images of the in-focus image GA and the in-focus image GB is designated, and four calculation region detection areas Ei are scattered in the peripheral region. And set. Specifically, the close view focused image GA selected by the user in advance or automatically selected by the control unit 14 is designated as the reference image. Then, as shown in FIG.
There are four calculation area detection areas E scattered around the four corners of A.
Set (E1 to E4). The calculation area detection area E
Is, for example, 96 × 96 pixels vertically and horizontally.
【００３９】ステップＳ１３では、計算領域検出エリア
Ｅｉが適切であるか否かを判定する。ここでは、計算領
域検出エリアＥが、移動量計算領域ＥＣを正確に検出で
きない特定のエリア、具体的には図１１(ａ)に示す繰り
返しパターンを含む特定エリア、または図１１(ｂ)に示
す白黒の二極化した特定エリアに相当するかを判断す
る。ここで、計算領域検出エリアが適切である場合に
は、ステップＳ１４に進み、適切でない場合にはステッ
プＳ１５に進む。In step S13, it is determined whether the calculation area detection area Ei is appropriate. Here, the calculation area detection area E is a specific area in which the movement amount calculation area EC cannot be accurately detected, specifically, a specific area including the repeating pattern shown in FIG. 11A, or shown in FIG. 11B. Determine if it corresponds to a black and white polarized specific area. Here, if the calculation area detection area is appropriate, the process proceeds to step S14, and if not, the process proceeds to step S15.
【００４０】ステップＳ１４では、計算領域検出エリア
Ｅiごとに、図１０に示す移動量計算領域ＥＣを検出す
る。この移動量計算領域ＥＣは、計算領域検出エリアＥ
の一部の領域となるが、例えば計算領域検出エリアＥの
縦・横それぞれの１/３の３２ピクセル、面積で１/９つ
まり３２×３２ピクセルの大きさを有している。In step S14, the movement amount calculation area EC shown in FIG. 10 is detected for each calculation area detection area Ei. This movement amount calculation area EC is the calculation area detection area E.
The calculation area detection area E has a size of 32 pixels, which is 1/3 of each of the vertical and horizontal directions, and an area of 1/9, that is, 32 × 32 pixels.
【００４１】移動量計算領域ＥＣの検出方法について
は、公知技術のように、画素分散値、高周波成分または
コントラストを基準に、その特徴量が例えば最大となる
などの条件を満足する特徴領域が設定されることとな
る。具体例を挙げれば、計算領域検出エリアＥ１につい
ては、例えば図５(ａ)に示すように、樹木ＳＢａの輪郭
を含む領域ＥＣ１が移動量計算領域として検出される。Regarding the detection method of the movement amount calculation area EC, as in the known art, the characteristic area satisfying the condition that the characteristic quantity becomes maximum, for example, is set based on the pixel dispersion value, the high frequency component or the contrast. Will be done. As a specific example, for the calculation area detection area E1, as shown in FIG. 5A, for example, the area EC1 including the contour of the tree SBa is detected as the movement amount calculation area.
【００４２】なお、繰返しパターン(模様)で構成される
特定エリア(図１１(ａ))では、移動量計算領域ＥＣａと
ＥＣｂとが同一パターンとなるため、領域ＥＣａを移動
量計算領域として設定しても、対比画像である遠景合焦
画像ＧＢの対応領域として領域ＥＣｂが検出されてしま
う可能性があり、正確な移動量を算出できないこととな
る。また、白黒の二極化したモノクローム模様で構成さ
れる特定エリア(図１１(ｂ))については、例えば分散値
の高い領域ＥＣｆ、ＥＣｇなどが移動量計算領域として
設定される可能性が高いが、繰返しパターンと同様の理
由で、正確な移動量を算出できない。そこで、ステップ
Ｓ１３の動作によって、計算領域検出エリアとして不適
切なエリアを除外し、このエリアで移動量計算領域の検
出を禁止することとした。Since the movement amount calculation areas ECa and ECb are the same pattern in the specific area (FIG. 11A) constituted by the repeated pattern (pattern), the area ECa is set as the movement amount calculation area. However, the area ECb may be detected as the corresponding area of the distant view focused image GB which is the contrast image, and the accurate movement amount cannot be calculated. Further, with respect to the specific area (FIG. 11 (b)) formed of a monochrome monochrome pattern with bipolar, for example, areas ECf and ECg having a high variance value are likely to be set as the movement amount calculation area. For the same reason as the repetitive pattern, the accurate movement amount cannot be calculated. Therefore, by the operation of step S13, an inappropriate area is excluded as the calculation area detection area, and detection of the movement amount calculation area is prohibited in this area.
【００４３】ステップＳ１５では、変数ｉ＝４であるか
を判定する。ここで、ｉ＝４である場合には、ステップ
Ｓ１７に進み、ｉ＝４でない場合には、ステップＳ１６
に進む。In step S15, it is determined whether the variable i = 4. Here, if i = 4, the process proceeds to step S17, and if not i = 4, step S16.
Proceed to.
【００４４】ステップＳ１６では、変数ｉにｉ＋１を代
入する。In step S16, i + 1 is assigned to the variable i.
【００４５】ステップＳ１７では、ステップＳ１４で検
出した近景合焦画像ＧＡの移動量計算領域ＥＣと、これ
に対応する遠景合焦画像(対比画像)ＧＢの対応領域との
移動量を算出する。具体的には、図５(ａ)の移動量計算
領域ＥＣ１に対応する図５(ｂ)の対応領域ＥＣ２との位
置情報に基づき、移動量が計算される。この移動量の計
算では、領域全体が一定の移動量で移動しているものと
し、各画素(３２×３２)の移動量を平均することによっ
て、正確な移動量を求めることとする。In step S17, the amount of movement between the movement amount calculation area EC of the near-field focused image GA detected in step S14 and the corresponding area of the corresponding distant-view focused image (contrast image) GB is calculated. Specifically, the movement amount is calculated based on the position information of the movement amount calculation region EC1 of FIG. 5A and the corresponding region EC2 of FIG. 5B. In the calculation of the moving amount, it is assumed that the entire region is moving with a constant moving amount, and the moving amount of each pixel (32 × 32) is averaged to obtain the accurate moving amount.
【００４６】ステップＳ１８では、３以上の移動量が取
得されているかを判定する。ステップＳ１３において４
つの計算領域検出エリアＥのうち２つ以上が除外された
場合には移動量計算エリアＥが２以下となるため、２以
下の移動量(位置情報)しか取得できないが、このような
ケースであるか否かを判断する。ここで、３以上の移動
量が取得されている場合には、ステップＳ２１に進み、
３以上の移動量が取得されていない場合には、ステップ
Ｓ１９に進む。In step S18, it is determined whether three or more movement amounts have been acquired. 4 in step S13
When two or more of the one calculation area detection area E are excluded, the movement amount calculation area E becomes 2 or less, and thus only the movement amount (position information) of 2 or less can be acquired, but this is the case. Determine whether or not. Here, when the movement amount of 3 or more is acquired, the process proceeds to step S21,
If the movement amount of 3 or more has not been acquired, the process proceeds to step S19.
【００４７】ステップＳ１９では、図１２に示すよう
に、ステップＳ１２で設定した４つの計算領域検出エリ
アＥ１〜Ｅ４と重複しない領域において、画像の周辺領
域で分散させた計算領域補助検出エリアＥＳ１〜ＥＳ４
を設定する。そして、ステップＳ１４と同様に、計算領
域補助検出エリアＥＳ１〜ＥＳ４において、移動量計算
領域ＥＣを検出する。In step S19, as shown in FIG. 12, in the areas which do not overlap the four calculation area detection areas E1 to E4 set in step S12, the calculation area auxiliary detection areas ES1 to ES4 dispersed in the peripheral area of the image.
To set. Then, similarly to step S14, the movement amount calculation area EC is detected in the calculation area auxiliary detection areas ES1 to ES4.
【００４８】ステップＳ２０では、ステップＳ１７と同
様に、ステップＳ１９で検出した近景合焦画像ＧＡの移
動量計算領域ＥＣと、これに対応する遠景合焦領域ＧＢ
の対応領域との移動量を算出する。In step S20, as in step S17, the movement amount calculation area EC of the near-field focused image GA detected in step S19 and the corresponding distant-view focused area GB are calculated.
The amount of movement with respect to the corresponding area is calculated.
【００４９】ステップＳ２１では、ステップＳ１７(お
よびＳ２０)で算出された移動量から、遠景合焦画像Ｇ
Ｂを変換するための画像変換式を決定する。In step S21, the distant view focused image G is obtained from the movement amount calculated in step S17 (and S20).
An image conversion formula for converting B is determined.
【００５０】ここでは、変換対象の遠景合焦画像ＧＢ
が、近景合焦画像ＧＡに対して回転、拡大・縮小、平行
移動によって移動し、近景合焦画像ＧＡ上の点(ｘ，ｙ)
が遠景合焦画像ＧＢ上の点(Ｘ，Ｙ)に対応する場合を考
える。この場合には、近景合焦画像ＧＡの点(ｘ，ｙ)と
変換係数ａ、ｂ、ｃ、ｄ、ｅ、ｆとを用いて、遠景合焦
画像ＧＢの点(Ｘ，Ｙ)を、以下のように表すことができ
る。Here, the distant view focused image GB to be converted is
Is moved by rotation, enlargement / reduction, or parallel movement with respect to the close-range focused image GA, and a point (x, y) on the close-focus image GA
Consider a case where corresponds to a point (X, Y) on the distant view focused image GB. In this case, the point (X, Y) of the distant view focused image GB is calculated by using the point (x, y) of the close view focused image GA and the conversion coefficients a, b, c, d, e, f. It can be expressed as follows.
【００５１】
Ｘ＝ａ＋ｃｘ＋ｄｙ ・・・・・・(１)：
Ｙ＝ｂ＋ｅｘ＋ｆｙ ・・・・・・(２)：
上式(１)、(２)に基づき、ステップＳ１７(およびＳ２
０)で算出された移動量から、例えば３つの移動量計算
領域の中心点(ｘ1，ｙ1)、(ｘ2，ｙ2)、(ｘ3，ｙ3)が、
３つの点(Ｘ1，Ｙ1)、(Ｘ2，Ｙ2)、(Ｘ3，Ｙ3)に移動す
る場合には、次の６つの式(３)〜(８)が成立することと
なる。X = a + cx + dy (1): Y = b + ex + fy (2): Based on the above equations (1) and (2), step S17 (and S2)
0), the center points (x1, y1), (x2, y2), (x3, y3) of the three movement amount calculation regions are
When moving to three points (X1, Y1), (X2, Y2) and (X3, Y3), the following six equations (3) to (8) are established.
【００５２】
Ｘ1＝ａ＋ｃｘ1＋ｄｙ1・・・・・(３)：
Ｙ1＝ｂ＋ｅｘ1＋ｆｙ1・・・・・(４)：
Ｘ2＝ａ＋ｃｘ2＋ｄｙ2・・・・・(５)：
Ｙ2＝ｂ＋ｅｘ2＋ｆｙ2・・・・・(６)：
Ｘ3＝ａ＋ｃｘ3＋ｄｙ3・・・・・(７)：
Ｙ3＝ｂ＋ｅｘ3＋ｆｙ3・・・・・(８)：
以上の６つの連立式を解くことにより、未知数である６
つの変換係数ａ、ｂ、ｃ、ｄ、ｅ、ｆを求めることがで
きる。この求められた変換係数ａ、ｂ、ｃ、ｄ、ｅ、ｆ
を画像変換式(１)、(２)に代入することで、変換情報で
ある画像変換式が決定することとなる。なお、移動量が
ｎ(ｎ＞３)個取得された場合には、そのうちの適切な３
つの移動量（例えば画像上の３点を結んで形成される三
角形の面積が最大となる３点ごとの移動量）を選択して
変換係数ａ、ｂ、ｃ、ｄ、ｅ、ｆを算出するようにして
も良いし、ｎから３つを選択する全ての組合せnＣ3それ
ぞれで変換係数ａ、ｂ、ｃ、ｄ、ｅ、ｆを求め、その平
均値を算出するようにしても良い。X1 = a + cx1 + dy1 (3): Y1 = b + ex1 + fy1 (4): X2 = a + cx2 + dy2 (5): Y2 = b + ex2 + fy2 (6) : X3 = a + cx3 + dy3 (7): Y3 = b + ex3 + fy3 (8): By solving the above six simultaneous equations, an unknown number 6
Two conversion coefficients a, b, c, d, e, f can be obtained. The calculated conversion coefficients a, b, c, d, e, f
Is substituted into the image conversion formulas (1) and (2), the image conversion formula that is the conversion information is determined. When n (n> 3) movements are acquired, the appropriate 3
One of the movement amounts (for example, the movement amount of each of the three points where the area of the triangle formed by connecting the three points on the image is maximum) is selected, and the conversion coefficients a, b, c, d, e, f are calculated. Alternatively, the conversion coefficients a, b, c, d, e, and f may be obtained for each of all combinations n C 3 that select three from n , and the average value thereof may be calculated.
【００５３】ここで「３つ以上の」計算領域検出エリア
を使用する意義は以下の通りである。すなわち、複数の
２次元画像の位置合わせを行うにあたっては、<１>画像
中の１点での位置合わせを行うための平行移動量の情報
と、<２>２次元的な倍率変換と２次元的な回転とを特定
するための係数情報と、が必要になる。このとき、２次
元的な回転を一様回転に制限すれば１つのパラメータ
（回転角度θ）だけでその回転が特定されるが、より正
確な位置合わせを行うためには直交座標から斜交座標へ
の変換に相当する非一様回転をも許容する。このため、
回転についても、２つのパラメータが必要となり、ＸＹ
それぞれの方向への変倍率を規定する他の２つのパラメ
ータとともに、上記<２>の係数情報としては合計で４個
のパラメータ（ｃ〜ｆ）が必要となる。そして、平行移
動量の情報（ａ，ｂ）と合わせて、画像中で３組（２次
元×３組＝６個）以上の位置合わせ情報が必要となる。Here, the significance of using "more than two" calculation area detection areas is as follows. That is, when aligning a plurality of two-dimensional images, <1> information on the parallel movement amount for aligning at one point in the image, <2> two-dimensional magnification conversion and two-dimensional Coefficient information for identifying a specific rotation is required. At this time, if the two-dimensional rotation is limited to a uniform rotation, the rotation can be specified by only one parameter (rotation angle θ). However, in order to perform more accurate alignment, the Cartesian coordinates should be changed to the oblique coordinates. It also allows non-uniform rotation equivalent to the conversion to. For this reason,
Rotation also requires two parameters, XY
A total of four parameters (cf) are required as the coefficient information of <2> together with the other two parameters that define the scaling factor in each direction. Then, together with the information (a, b) of the parallel movement amount, three sets (two-dimensional × 3 sets = 6 pieces) of alignment information in the image are required.
【００５４】これに対応して、この発明では３つ以上の
計算領域検出エリアを設定している。各計算領域検出エ
リアは２次元エリアであるから、ＸＹそれぞれの方向で
の情報を持ち、さらにそれが３組以上あることによっ
て、２次元的な位置合わせに必要な定数（ａ〜ｆ）を定
めるために必要な６個以上の情報が特定される。In response to this, in the present invention, three or more calculation area detection areas are set. Since each calculation area detection area is a two-dimensional area, it has information in each of the XY directions, and by having three or more sets, constants (a to f) necessary for two-dimensional alignment are determined. Six or more pieces of information necessary for this are specified.
【００５５】ステップＳ２２では、ステップＳ２１で決
定された画像変換式に基づき、遠景合焦画像ＧＢの画像
変換、すなわち位置合わせ処理を行う。これにより、位
置ずれが補正された遠景補正画像ＧＲ(図６)が生成され
る。In step S22, based on the image conversion formula determined in step S21, image conversion of the distant view focused image GB, that is, position adjustment processing is performed. As a result, the distant view corrected image GR (FIG. 6) in which the displacement is corrected is generated.
【００５６】以上の画像処理装置１の動作により、３つ
以上の計算領域検出エリアを画像の周辺領域に疎散して
設定し、移動量計算領域を検出するため、正確かつ迅速
に位置合わせを行えることとなる。By the above-described operation of the image processing apparatus 1, three or more calculation area detection areas are set scatteredly in the peripheral area of the image, and the movement amount calculation area is detected. It will be possible.
【００５７】なお、上記のステップＳ１７(およびＳ２
０)における移動量算出の動作については、画像ピラミ
ッドを利用して、移動量を算出するようにしても良い。Incidentally, the above-mentioned step S17 (and S2
Regarding the movement amount calculation operation in 0), the movement amount may be calculated using an image pyramid.
【００５８】この画像ピラミッドとは、元の画像から順
に１/２ずつ縮小した画像を積み重ねて構成されるピラ
ミッドのことである。この画像ピラミッドを順次降りて
いくことにより、大きな移動量をもつ画像間の移動量を
比較的迅速に求めることができる。The image pyramid is a pyramid constructed by stacking images that have been reduced by 1/2 in order from the original image. By moving down this image pyramid in sequence, the movement amount between images having a large movement amount can be obtained relatively quickly.
【００５９】具体的には、図１３に示すように、元画像
である近景合焦画像ＧＡと、画像ＧＡを縮小率１/２、
１/４および１/８で縮小した画像ＧＡ２、ＧＡ４および
ＧＡ８とでピラミッドＰＡを形成するとともに、元画像
である遠景合焦画像ＧＢと、画像ＧＢを縮小率１/２、
１/４および１/８で縮小した画像ＧＢ２、ＧＢ４および
ＧＢ８とでピラミッドＰＢを形成する。ここでは、移動
量計算領域ＥＣについても各縮小率で縮小されることと
なる。Specifically, as shown in FIG. 13, the close-focused image GA that is the original image and the image GA are reduced by 1/2,
A pyramid PA is formed by the images GA2, GA4, and GA8 reduced by 1/4 and 1/8, and the distant view focused image GB that is the original image and the image GB are reduced by 1/2,
A pyramid PB is formed by the images GB2, GB4, and GB8 reduced by 1/4 and 1/8. Here, the movement amount calculation area EC is also reduced at each reduction rate.
【００６０】まず、縮小率１/８の画像ＧＡ８で決定さ
れた移動量計算領域に基づき、画像ＧＢ８の移動量を算
出する。次に、算出された画像ＧＢ８の移動量に基づき
画像ＧＢ４の移動量を概ね算出した後、正確な移動量を
画像ＧＡ４と画像ＧＢ４との対比によって求める。同様
の処理で画像ＧＢ２の移動量を求めた後、最後的に画像
ＧＢの移動量を求める。First, the moving amount of the image GB8 is calculated based on the moving amount calculation area determined for the image GA8 having the reduction ratio of 1/8. Next, after roughly calculating the moving amount of the image GB4 based on the calculated moving amount of the image GB8, an accurate moving amount is obtained by comparing the image GA4 and the image GB4. After the movement amount of the image GB2 is obtained by the same process, the movement amount of the image GB is finally obtained.
【００６１】画像ＧＡの移動量計算領域に基づき直接画
像ＧＢの移動量を算出するのでは演算量が大きくなる
が、このような画像ピラミッドを利用することにより、
縮小画像から順次に移動量を算出するため、画像ＧＢの
移動量計算の範囲を絞ることができる。その結果、移動
量算出に関する計算時間が短縮できる。The calculation amount is large if the movement amount of the image GB is directly calculated based on the movement amount calculation region of the image GA, but by using such an image pyramid,
Since the movement amount is sequentially calculated from the reduced image, the range of the movement amount calculation of the image GB can be narrowed down. As a result, the calculation time for calculating the movement amount can be shortened.
【００６２】＜変形例＞
◎上記の実施形態については、画像処理装置１で位置合
わせ処理を行うのは必須でなく、図４に示すデジタルカ
メラ２において位置合わせ処理を行っても良い。<Modification> In the above embodiment, it is not essential for the image processing apparatus 1 to perform the alignment process, and the digital camera 2 shown in FIG. 4 may perform the alignment process.
【００６３】この場合には、デジタルカメラ２の制御部
(ＣＰＵ)において、図３のステップＳ２〜Ｓ４の処理が
実行されることとなる。In this case, the control unit of the digital camera 2
In the (CPU), the processes of steps S2 to S4 in FIG. 3 are executed.
【００６４】◎上記の実施形態については、焦点距離の
異なる複数の画像の位置合わせを行うのは必須でなく、
露光時間が異なる複数の画像の位置合わせを行っても良
い。In the above embodiment, it is not essential to align a plurality of images having different focal lengths,
A plurality of images having different exposure times may be aligned.
【００６５】図１４は、露光時間の異なる画像の一例を
示す図である。図１４(ａ)は、デジタルカメラにおいて
短時間露光で撮影された画像ＨＡを示し、図１４(ｂ)
は、長時間露光で撮影された画像ＨＢを示している。FIG. 14 is a diagram showing an example of images having different exposure times. FIG. 14A shows an image HA taken by a digital camera with a short exposure, and FIG.
Shows an image HB taken with long exposure.
【００６６】この場合、画像ＨＡおよび画像ＨＢの混合
比を決定した後、この混合比を用いて画像ＨＡ、ＨＢを
合成することにより、ダイナミックレンジの拡大された
画像が得られる。この画像合成の際には、画像ＨＡ、Ｈ
Ｂの位置合せが必要となるが、上述した位置ずれ補正技
術を適用することによって、正確かつ迅速な補正が可能
となる。In this case, after determining the mixture ratio of the image HA and the image HB, and combining the images HA and HB using this mixture ratio, an image with an expanded dynamic range can be obtained. When this image is combined, images HA and H
Although the B alignment is required, the application of the above-described positional deviation correction technique enables accurate and quick correction.
【００６７】◎上記の実施形態における計算領域検出エ
リアについては、正方形の検出エリアを設定するのは必
須でなく、図１５(ａ)に示すような細長い矩形状の検出
エリアＥｖを画像周辺部に設定しても良く、また図１５
(ｂ)に示すような直角三角形の検出エリアＥｗを画像周
辺部に設定しても良い。With respect to the calculation area detection area in the above embodiment, it is not essential to set a square detection area, and an elongated rectangular detection area Ev as shown in FIG. It may be set, and FIG.
A right triangle detection area Ew as shown in (b) may be set in the peripheral portion of the image.
【００６８】また、計算領域検出エリアについては、図
１０に示すように４つのエリアを設定するのは必須でな
く、３つでも５つ以上のエリアを設定しても良い。計算
領域検出エリアの大きさについても、９６×９６に設定
するのは必須でなく、５０×５０などの他の大きさに設
定しても良い。As for the calculation area detection area, it is not essential to set four areas as shown in FIG. 10, and three areas or five or more areas may be set. The size of the calculation area detection area does not have to be set to 96 × 96, and may be set to another size such as 50 × 50.
【００６９】◎上記の実施形態における移動量計算領域
については、３２×３２などの正方形状に大きさを設定
するのは必須でなく、ｍ×ｎなどの他の大きさに設定し
てもかまわない。また、２×２以上の領域を設定するの
は必須でなく、１ピクセルを移動量計算領域として設定
しても良い。It is not essential to set the size of the movement amount calculation area in the above embodiment in a square shape such as 32 × 32, and it may be set to another size such as mxn. Absent. Further, it is not essential to set a region of 2 × 2 or more, and 1 pixel may be set as the movement amount calculation region.
【００７０】◎上記の実施形態における位置合わせ処理
については、デジタルカメラで取得した複数の画像に対
して行うのは必須でなく、スキャナやフィルムスキャナ
などの画像入力装置で写真等から取得した複数の画像に
対して行っても良い。これらの装置でも、写真等の画像
を置く位置、挿入の仕方によって位置ずれが生じるため
である。The alignment processing in the above embodiment is not essential to be performed on a plurality of images acquired by a digital camera, and a plurality of images acquired from a photograph or the like by an image input device such as a scanner or a film scanner. You may go to the image. This is because even in these devices, the position shift occurs depending on the position where an image such as a photograph is placed and the insertion method.
【００７１】[0071]
【発明の効果】以上説明したように、請求項１ないし請
求項６の発明によれば、基準画像の周辺領域に疎散して
検出エリアを３以上設定し、検出エリアごとに検出され
る特徴領域と対比画像の対応領域との位置情報に基づ
き、基準画像と比較画像とに関して位置合わせの処理を
行う。その結果、複数の画像に対して正確かつ迅速に位
置合わせを行える。As described above, according to the inventions of claims 1 to 6, the detection areas are scattered in the peripheral area of the reference image and three or more detection areas are set, and each detection area is detected. Positioning processing is performed on the reference image and the comparison image based on the position information of the area and the corresponding area of the comparison image. As a result, it is possible to perform accurate and quick alignment with respect to a plurality of images.
【００７２】特に、請求項２の発明においては、所定の
条件が画素分散値、高周波成分またはコントラストに係
る条件であるため、簡易かつ適切に特徴領域を検出でき
る。In particular, according to the second aspect of the invention, since the predetermined condition is a condition relating to the pixel dispersion value, the high frequency component or the contrast, the characteristic region can be detected easily and appropriately.
【００７３】また、請求項３の発明においては、検出エ
リアが、繰返し模様またはモノクロ模様で構成される特
定エリアに相当する場合には当該検出エリアで特徴領域
の検出を禁止する。その結果、検出エリアとして不適切
なものを除外できるため、位置合わせをより正確に行う
ことができる。Further, in the third aspect of the invention, when the detection area corresponds to a specific area composed of a repeating pattern or a monochrome pattern, the detection of the characteristic region is prohibited in the detection area. As a result, the inappropriate detection area can be excluded, and thus the alignment can be performed more accurately.
【００７４】また、請求項４の発明においては、検出エ
リアが特定エリアに相当する場合で、かつ特徴領域と対
応領域との位置情報が２以下となる場合には、検出エリ
ア以外の領域に補助検出エリアを設定し、補助検出エリ
アから特徴領域を検出する。その結果、画像変換式を確
実に決定できることとなる。Further, in the invention of claim 4, when the detection area corresponds to the specific area and the position information of the characteristic area and the corresponding area is 2 or less, the area other than the detection area is assisted. A detection area is set and a characteristic area is detected from the auxiliary detection area. As a result, the image conversion formula can be reliably determined.
【図１】本発明の実施形態に係る画像処理装置１の要部
構成を示す概略図である。FIG. 1 is a schematic diagram showing a main configuration of an image processing apparatus 1 according to an embodiment of the present invention.
【図２】画像処理装置１の機能ブロックを示す図であ
る。FIG. 2 is a diagram showing functional blocks of the image processing apparatus 1.
【図３】画像処理装置１の基本的な動作を説明するフロ
ーチャートである。FIG. 3 is a flowchart illustrating a basic operation of the image processing apparatus 1.
【図４】２枚の画像を取得する様子を説明するための図
である。FIG. 4 is a diagram for explaining how to obtain two images.
【図５】２枚の画像の位置ずれを説明するための図であ
る。FIG. 5 is a diagram for explaining a positional shift between two images.
【図６】位置ずれが補正された遠景補正画像ＧＲを示す
図である。FIG. 6 is a diagram showing a distant view corrected image GR in which positional deviation has been corrected.
【図７】画像の領域分割を説明するための図である。FIG. 7 is a diagram for explaining area division of an image.
【図８】背景ぼけ強調画像を説明するための図である。FIG. 8 is a diagram for explaining a background-blur-enhanced image.
【図９】位置合わせ処理を説明するフローチャートであ
る。FIG. 9 is a flowchart illustrating a positioning process.
【図１０】計算領域検出エリアＥ１〜Ｅ４の設定を説明
する図である。FIG. 10 is a diagram illustrating setting of calculation area detection areas E1 to E4.
【図１１】計算領域検出エリアとして不適切なものを説
明する図である。FIG. 11 is a diagram illustrating an inappropriate calculation area detection area.
【図１２】計算領域検出補助エリアＥＳ１〜ＥＳ４の設
定を説明する図である。FIG. 12 is a diagram illustrating setting of calculation area detection auxiliary areas ES1 to ES4.
【図１３】画像ピラミッドを利用した移動量の算出を説
明するための図である。FIG. 13 is a diagram for explaining calculation of a movement amount using an image pyramid.
【図１４】露光時間の異なる画像の一例を示す図であ
る。FIG. 14 is a diagram showing an example of images with different exposure times.
【図１５】本発明の変形例に係る計算領域検出エリアの
設定を説明する図である。FIG. 15 is a diagram illustrating setting of a calculation area detection area according to a modified example of the present invention.
１ 画像処理装置 １４ 制御部 ＧＡ 近景合焦画像 ＧＢ 遠景合焦画像 ＧＢ 遠景補正画像 Ｅ１〜Ｅ４、Ｅｖ、Ｅｗ 計算領域検出エリア ＥＳ１〜ＥＳ４ 計算領域検出補助エリア ＥＣ 移動量計算領域 ＰＡ、ＰＢ 画像ピラミッド 1 Image processing device 14 Control unit GA Close-up view image GB distant view focused image GB distant view corrected image E1-E4, Ev, Ew Calculation area detection area ES1 to ES4 Calculation area detection auxiliary area EC movement calculation area PA, PB image pyramid
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 BA02 BA24 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC01 CE08 CE11 CE16 CH08 CH11 CH12 DA07 DA08 DB02 DB06 DB09 DC32 5C022 AA13 AB68 5L096 CA02 FA69 HA07 JA11 ─────────────────────────────────────────────────── ─── Continued front page F term (reference) 5B057 BA02 BA24 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC01 CE08 CE11 CE16 CH08 CH11 CH12 DA07 DA08 DB02 DB06 DB09 DC32 5C022 AA13 AB68 5L096 CA02 FA69 HA07 JA11
Claims (6)
置ずれが生じている複数の画像に関して位置合わせを行
う画像処理装置であって、 (a)前記複数の画像から、基準画像と、前記基準画像に
対比する対比画像とを指定する指定手段と、 (b)前記基準画像の周辺領域に疎散して検出エリアを３
以上設定する設定手段と、 (c)前記検出エリアごとに、前記検出エリアの一部領域
で所定の条件を満足する特徴領域を検出する検出手段
と、 (d)前記対比画像から、前記特徴領域に対応する対応領
域を抽出する抽出手段と、 (e)前記特徴領域と前記対応領域との位置情報に基づ
き、前記基準画像と前記比較画像とに関して前記位置合
わせの処理を行う処理手段と、を備えることを特徴とす
る画像処理装置。1. An image processing apparatus for performing registration with respect to a plurality of images that are substantially misaligned with respect to substantially the same scene, comprising: (a) a reference image and the reference from the plurality of images. Designation means for designating a contrast image to be compared with the image, and (b) three detection areas scattered around the reference image.
Setting means set as described above, (c) detection means for detecting a characteristic region that satisfies a predetermined condition in a partial area of the detection area for each of the detection areas, (d) the characteristic area from the contrast image Extracting means for extracting a corresponding area corresponding to, and (e) a processing means for performing the alignment processing with respect to the reference image and the comparison image based on the positional information of the characteristic area and the corresponding area, An image processing apparatus comprising:
て、 前記所定の条件は、画素分散値、高周波成分またはコン
トラストに係る条件であることを特徴とする画像処理装
置。2. The image processing apparatus according to claim 1, wherein the predetermined condition is a condition related to a pixel dispersion value, a high frequency component, or a contrast.
理装置において、 前記検出手段は、 (c-1)前記検出エリアが、繰返し模様またはモノクロ模
様で構成される特定エリアに相当するか否かを判定する
判定手段と、 (c-2)前記検出エリアが前記特定エリアに相当する場合
には、当該検出エリアで前記特徴領域の検出を禁止する
禁止手段と、を有することを特徴とする画像処理装置。3. The image processing apparatus according to claim 1 or 2, wherein the detection means (c-1) corresponds to a specific area in which the detection area is composed of a repeating pattern or a monochrome pattern. A determination means for determining whether or not, (c-2) a prohibition means for prohibiting the detection of the characteristic region in the detection area when the detection area corresponds to the specific area, Image processing device.
て、 前記検出手段は、 (c-3)前記検出エリアが前記特定エリアに相当する場合
で、かつ前記特徴領域と前記対応領域との位置情報が２
以下となる場合には、前記基準画像のうち前記設定手段
で設定された前記検出エリア以外の領域に、補助検出エ
リアを設定する手段と、 (c-4)前記補助検出エリアから前記特徴領域を検出する
手段と、をさらに有することを特徴とする画像処理装
置。4. The image processing apparatus according to claim 3, wherein the detection means is (c-3) the case where the detection area corresponds to the specific area and the positions of the characteristic region and the corresponding region. Information is 2
In the following cases, in the area other than the detection area set by the setting means in the reference image, means for setting an auxiliary detection area, and (c-4) the characteristic area from the auxiliary detection area. An image processing apparatus further comprising: a detecting unit.
置ずれが生じている複数の画像に関して位置合わせが可
能なデジタルカメラであって、 (a)前記複数の画像から、基準画像と、前記基準画像に
対比する対比画像とを指定する指定手段と、 (b)前記基準画像の周辺領域に疎散して検出エリアを３
以上設定する設定手段と、 (c)前記検出エリアごとに、前記検出エリアの一部領域
で所定の条件を満足する特徴領域を検出する検出手段
と、 (d)前記対比画像から、前記特徴領域に対応する対応領
域を抽出する抽出手段と、 (e)前記特徴領域と前記対応領域との位置情報に基づ
き、前記基準画像と前記比較画像とに関して前記位置合
わせの処理を行う処理手段と、を備えることを特徴とす
るデジタルカメラ。5. A digital camera capable of aligning a plurality of images that are substantially misaligned with respect to the same scene, comprising: (a) a reference image and the reference image from the plurality of images. Designation means for designating a contrast image to be compared with the image, and (b) three detection areas scattered around the reference image.
Setting means set as described above, (c) detection means for detecting a characteristic region that satisfies a predetermined condition in a partial area of the detection area for each of the detection areas, (d) the characteristic area from the contrast image Extracting means for extracting a corresponding area corresponding to, and (e) a processing means for performing the alignment processing with respect to the reference image and the comparison image based on the positional information of the characteristic area and the corresponding area, A digital camera characterized by being provided.
において実行されることにより、当該画像処理装置を請
求項１ないし請求項４のいずれかに記載の画像処理装置
として機能させることを特徴とするプログラム。6. A program for causing an image processing device to function as the image processing device according to claim 1, when being executed by a computer built in the image processing device. .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001379884A JP2003179797A (en) | 2001-12-13 | 2001-12-13 | Image processor, digital camera and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001379884A JP2003179797A (en) | 2001-12-13 | 2001-12-13 | Image processor, digital camera and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003179797A true JP2003179797A (en) | 2003-06-27 |
Family
ID=19187015
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001379884A Pending JP2003179797A (en) | 2001-12-13 | 2001-12-13 | Image processor, digital camera and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2003179797A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006014291A (en) * | 2004-05-25 | 2006-01-12 | Fuji Photo Film Co Ltd | Photographing system and photographing method |
| JP2006208632A (en) * | 2005-01-27 | 2006-08-10 | Nikon Corp | Optical measuring instrument |
| JP2007096753A (en) * | 2005-09-29 | 2007-04-12 | Fujifilm Corp | Digital camera |
| JP2014519739A (en) * | 2011-05-17 | 2014-08-14 | アップル インコーポレイテッド | Position sensor assisted image registration for panoramic photography |
| WO2015072363A1 (en) * | 2013-11-18 | 2015-05-21 | シャープ株式会社 | Image processing device |
-
2001
- 2001-12-13 JP JP2001379884A patent/JP2003179797A/en active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006014291A (en) * | 2004-05-25 | 2006-01-12 | Fuji Photo Film Co Ltd | Photographing system and photographing method |
| JP2006208632A (en) * | 2005-01-27 | 2006-08-10 | Nikon Corp | Optical measuring instrument |
| JP2007096753A (en) * | 2005-09-29 | 2007-04-12 | Fujifilm Corp | Digital camera |
| JP4528235B2 (en) * | 2005-09-29 | 2010-08-18 | 富士フイルム株式会社 | Digital camera |
| JP2014519739A (en) * | 2011-05-17 | 2014-08-14 | アップル インコーポレイテッド | Position sensor assisted image registration for panoramic photography |
| WO2015072363A1 (en) * | 2013-11-18 | 2015-05-21 | シャープ株式会社 | Image processing device |
| JP2015099975A (en) * | 2013-11-18 | 2015-05-28 | シャープ株式会社 | Image processing device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6347675B2 (en) | Image processing apparatus, imaging apparatus, image processing method, imaging method, and program | |
| CN104680501B (en) | The method and device of image mosaic | |
| JP4327856B2 (en) | Panorama maker engine for small systems | |
| JP2005100407A (en) | System and method for creating panorama image from two or more source images | |
| JP4825748B2 (en) | Image data processing method and imaging apparatus | |
| JP2002247614A (en) | Projector | |
| US8472747B2 (en) | Image composition device, image composition method, and storage medium storing program | |
| JP2009230537A (en) | Image processor, image processing program, image processing method, and electronic equipment | |
| WO2013121897A1 (en) | Information processing device and method, image processing device and method, and program | |
| JPH10178564A (en) | Panorama image generator and recording medium | |
| JP4798236B2 (en) | Imaging apparatus, image processing method, and program | |
| JP2011145765A (en) | Image processor, image display system, and image processing method | |
| KR100934211B1 (en) | How to create a panoramic image on a mobile device | |
| CN114390262A (en) | Method and electronic device for splicing three-dimensional spherical panoramic image | |
| JP2005332381A (en) | Image processing method, device and program | |
| WO2014069248A1 (en) | Image processing device, image processing method, and program | |
| JP2003179797A (en) | Image processor, digital camera and program | |
| JP2009301181A (en) | Image processing apparatus, image processing program, image processing method and electronic device | |
| JP4952363B2 (en) | Image processing apparatus, image conversion method, and program | |
| JP2011103031A (en) | Perspective conversion parameter generation device, image correction device, perspective conversion parameter generation method, image correction method and program | |
| JP2005122328A (en) | Photographing apparatus, image processing method and program thereof | |
| CN113935900A (en) | Image splicing method, device and system and storage medium | |
| CN109214983B (en) | Image acquisition device and image splicing method thereof | |
| JP6762779B2 (en) | Image processing equipment, imaging equipment, image processing methods, and programs | |
| JP2011182084A (en) | Image processor and image processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20031224 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040217 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040831 |