JPH11234501A - Method for synthesizing still image - Google Patents
Method for synthesizing still imageInfo
- Publication number
- JPH11234501A JPH11234501A JP10028613A JP2861398A JPH11234501A JP H11234501 A JPH11234501 A JP H11234501A JP 10028613 A JP10028613 A JP 10028613A JP 2861398 A JP2861398 A JP 2861398A JP H11234501 A JPH11234501 A JP H11234501A
- Authority
- JP
- Japan
- Prior art keywords
- image
- dimensional
- synthesis
- images
- synthesized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Studio Circuits (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、関連する複数の静
止画像を合成して、広視野にわたる１枚の合成画像を生
成するための方法、及び該方法を実施するためのプログ
ラムを記録したコンピュータ読取り可能な記録媒体に関
するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method for synthesizing a plurality of related still images to generate one synthesized image over a wide field of view, and a computer storing a program for executing the method. It relates to a readable recording medium.
【０００２】[0002]
【従来の技術】一部の重なり領域を持った二つの画像を
横方向に合成して、広視野（パノラマ）にわたる１次元
合成画像を新たに作成する場合、図６（１）に示すよう
に、まず片方の画像の中から特徴のある箇所を数箇所検
出し、一方これと同じ特徴を持つ箇所を他のもう片方の
画像から探し、それら特徴点を持つ個所を参照して、互
いの画像の拡大、回転を施すことにより合成を行い新た
な合成画像（図６（２））を生成している。また、２次
元方向（画像の縦方向）での広視野合成と、１次元方向
（画像の横方向）を組み合わせて合成する２次元合成方
法としては、図７の方法が知られている。2. Description of the Related Art When a two-dimensional image having a part of overlapping area is synthesized in a horizontal direction to newly create a one-dimensional synthesized image over a wide field of view (panorama), as shown in FIG. First, several places with features are detected from one of the images, a place with the same feature is searched for from the other image, and the other images are referred to by referring to the places having those feature points. The image is synthesized by enlarging and rotating the image to generate a new synthesized image (FIG. 6 (2)). FIG. 7 shows a known two-dimensional combining method for combining a wide field of view in a two-dimensional direction (vertical direction of an image) and a one-dimensional direction (horizontal direction of an image).
【０００３】図７において、最初に横方向の二つの１次
元合成画像を作成する。一つは画像Ｅ、（つまり第１の
画像Ａと第２の画像Ｂの合成画像）と、もう一つは画像
Ｆ（つまり第３の画像Ｃと第４の画像Ｄの合成画像）で
ある。次に、縦方向の二つの１次元合成画像を作成す
る。一つは画像Ｇ、（つまり第１の画像Ａと第３の画像
Ｃの合成画像）と、もう一つは画像Ｈ（つまり第２の画
像Ｂと第４の画像Ｄの合成画像）である。この時、最初
の１次元合成画像作成時（つまり、画像Ｅと画像Ｆ）に
画像の歪曲等が発生した場合、次の１次元合成画像（つ
まり、画像Ｇと画像Ｈ）とで行なう２次元合成による合
成画像Ｉの生成に失敗する可能性が高くなる。失敗した
場合は、上記の合成順序を入れ替えて、最初に２次元方
向の第１の画像Ａと第３の画像Ｃ、第２の画像Ｂと第４
の画像Ｄを１次合成して画像Ｇおよび画像Ｈを生成す
る。続いて１次元方向の、第１の画像Ａと第２の画像
Ｂ、第３の画像Ｃと第４の画像Ｄの画像を１次元合成し
て画像Ｅ及び画像Ｆを生成し、上述の画像Ｇ及び画像Ｈ
に２次元合成すると、所望の合成画像Ｉが生成される場
合がある。このような失敗は、合成画像Ｅと合成画像Ｆ
に歪曲等が発生し、合成画像Ｇと合成画像Ｈの合成時に
重なり領域が一致しないために生じるものである。In FIG. 7, first, two one-dimensional composite images in the horizontal direction are created. One is an image E (that is, a composite image of the first image A and the second image B), and the other is an image F (that is, a composite image of the third image C and the fourth image D). . Next, two one-dimensional composite images in the vertical direction are created. One is an image G (that is, a composite image of the first image A and the third image C), and the other is an image H (that is, a composite image of the second image B and the fourth image D). . At this time, if the image is distorted or the like at the time of creating the first one-dimensional composite image (that is, the images E and F), the two-dimensional operation performed with the next one-dimensional composite image (that is, the image G and the image H) is performed. There is a high possibility that the generation of the synthesized image I by the synthesis will fail. In the case of failure, the above-mentioned composition order is exchanged so that the first image A and the third image C, and the second image B and the fourth image
The image G and the image H are generated by first-order combining the image D. Subsequently, an image E and an image F are generated by one-dimensionally combining the images of the first image A and the second image B, and the third image C and the fourth image D in the one-dimensional direction. G and image H
When two-dimensional synthesis is performed, a desired synthesized image I may be generated. Such a failure is caused by the composite image E and the composite image F
Is generated because the overlapping areas do not match when the combined image G and the combined image H are combined.
【０００４】[0004]
【発明が解決しょうとする課題】従来方法での２次元合
成は、１次元合成において歪曲等があると、画像合成処
理に時間を費やしたり、合成画像の精度の劣化が起るこ
とがあった。そこで本発明ではそれらの課題を改善した
静止画像の合成方法、及び、該画像の合成方法を実施す
るためのプログラムを記録したコンピュータ読み取り可
能な記録媒体を提供するものである。In the two-dimensional synthesis according to the conventional method, if there is distortion or the like in the one-dimensional synthesis, it may take time for the image synthesis processing or the accuracy of the synthesized image may be deteriorated. . In view of the above, the present invention provides a still image synthesizing method which solves these problems, and a computer-readable recording medium storing a program for implementing the image synthesizing method.
【０００５】[0005]
【課題を解決するための手段】請求項１の発明は、複数
の静止画像を１次元合成し、該１次元合成によって得ら
れた複数の１次元合成画像同士を更に２次元合成して新
規な広視野画像を生成する静止画像合成法において、静
止画像の合成に関連する画像を用意し、前記１次元合成
画像の２次元合成時に、前記１次元画像のつなぎ目補正
のための参照画像として前記静止画像の合成に関連する
画像を利用する静止画像の合成方法である。According to a first aspect of the present invention, a plurality of still images are one-dimensionally synthesized, and a plurality of one-dimensional synthesized images obtained by the one-dimensional synthesis are further two-dimensionally synthesized. In a still image synthesis method for generating a wide-field image, an image related to synthesis of a still image is prepared, and the two-dimensional synthesis of the one-dimensional synthesized image is performed as a reference image for joint correction of the one-dimensional image. This is a method for synthesizing a still image using an image related to image synthesis.
【０００６】請求項２の発明は、請求項１に記載された
静止画像の合成方法において、前記静止画像の合成に関
連する画像は、合成元画像から合成画像のつなぎ目部分
のみを抽出して前記静止画像の最初の１次元合成方向と
垂直な方向の抽出合成画像、又は前記静止画像とは別の
画像のうち、指定された一方である静止画像の合成方法
である。According to a second aspect of the present invention, in the still image synthesizing method according to the first aspect, the image related to the synthesis of the still image is obtained by extracting only a joint portion of the synthesized image from the synthesis source image. This is a method of synthesizing a still image that is one of designated extracted images out of an extracted synthesized image in a direction perpendicular to the first one-dimensional synthesis direction of the still image or an image different from the still image.
【０００７】請求項３の発明は、請求項２に記載された
静止画像の合成方法において、前記抽出合成画像のサイ
ズが変更可能である静止画像の合成方法である。A third aspect of the present invention is a still image synthesizing method according to the second aspect, wherein the size of the extracted synthesized image is changeable.
【０００８】請求項４の発明は 請求項２又は３に記載
された静止画像の合成方法において、前記抽出合成画像
を作成するために、抽出する合成元画像の抽出領域は変
更可能である静止画像の合成方法である。According to a fourth aspect of the present invention, in the still image synthesizing method according to the second or third aspect, in order to create the extracted composite image, the extraction area of the original image to be extracted can be changed. Is a synthesis method.
【０００９】請求項５の発明は、複数の静止画像の最初
の第１次元合成を行うステップ、参照画像を得るため、
合成元画像から合成画像のつなぎ目部分のみを抽出して
前記静止画像の最初の１次元合成方向と垂直な方向の抽
出画像を生成するステップ又はつなぎ目の参照画像を指
定するステップ、前記参照画像を参考に、一次元合成画
像のつなぎ目を補正するステップ、及び、前記１次元合
成画像の２次元合成を行うステップから成る、複数の静
止画像を合成して新規な広視野画像を生成する静止画像
の合成方法を実施するためのプログラムを記録したコン
ピュータ読取り可能な記録媒体である。According to a fifth aspect of the present invention, there is provided a step of performing the first one-dimensional synthesis of a plurality of still images,
Extracting only a joint portion of the composite image from the composite original image to generate an extracted image in a direction perpendicular to the first one-dimensional composite direction of the still image, or specifying a reference image of the joint, and referencing the reference image. Correcting a seam of a one-dimensional composite image, and performing a two-dimensional synthesis of the one-dimensional composite image, and synthesizing a plurality of still images to generate a new wide-field image. It is a computer-readable recording medium on which a program for performing the method is recorded.
【００１０】[0010]
【発明の実施の形態】本発明の１実施例について、図
１，図７を参考にして説明すれば以下の通りである。な
お、本実施例においては、映像プロセッシング手段であ
る例えば、電子スチルカメラにて撮影した静止画像を、
パーソナルコンピュータ（以下、パソコンと称す）上で
合成処理を行う場合を例に採って説明する。図１は、本
発明の方法を実施するための装置を概略的に示したもの
であって、１は電子スチルカメラ、２はパソコン、３は
接続ケーブル、４はハードディスク、５はメモリ、６は
オペレーティングシステム、７はアプリケーションを示
している。電子スチルカメラ１で撮影した画像はパソコ
ン２に転送されるが、これはアプリケーション７がオペ
レーティングシステム６を通して電子スチルカメラ１に
アクセスすることで可能となる。転送された画像はハー
ドディスク４にファイルとして取り込まれる。逆に画像
を電子スチルカメラに書き込む場合は、アプリケーショ
ン７がオペレーティングシステム６を通して電子スチル
カメラ１に画像を転送する。電子スチルカメラ１からハ
ードディスク４に取り込んだ画像の合成処理は、アプリ
ケーション７が行う。DESCRIPTION OF THE PREFERRED EMBODIMENTS One embodiment of the present invention will be described below with reference to FIGS. In this embodiment, for example, a still image captured by an electronic still camera, which is a video processing unit,
A case in which the combining process is performed on a personal computer (hereinafter, referred to as a personal computer) will be described as an example. FIG. 1 schematically shows an apparatus for carrying out the method of the present invention, wherein 1 is an electronic still camera, 2 is a personal computer, 3 is a connection cable, 4 is a hard disk, 5 is a memory, and 6 is a memory. The operating system 7 indicates an application. The image captured by the electronic still camera 1 is transferred to the personal computer 2, which can be achieved by the application 7 accessing the electronic still camera 1 through the operating system 6. The transferred image is taken into the hard disk 4 as a file. Conversely, when writing an image to the electronic still camera, the application 7 transfers the image to the electronic still camera 1 through the operating system 6. The application 7 performs a process of synthesizing an image captured from the electronic still camera 1 to the hard disk 4.
【００１１】前記構成において、２次元合成で所望の画
像を生成するために、まず合成元画像からつなぎ目部分
の画像を抽出し、１枚の抽出合成画像を作成する。そし
て最初の１次元合成で生成された中問画像同士（図７の
合成画像Ｅ、合成画像Ｆ）を合成して最終的な２次元合
成画像Ｉを出力する際の２回目の１次元合成時におい
て、つなぎ目部分の歪みを補正するために参照する。該
抽出合成画像は１次元合成を行った画像であり、その方
向は最初の１次元合成の方向に垂直な方向である。ま
た、合成画像の精度を上げるためこの抽出合成画像のサ
イズは変更可能であり、かつ、抽出合成画像生成のため
に使用する抽出領域も変更可能である。一方、２次元合
成時の歪み補正に使用する抽出合成画像の代わりに、あ
らかじめ用意した画像を参照画像として指定することも
できる。さらに、あらかじめ用意した画像が合成元画像
と関連性が無い場合は、合成元画像からつなぎ目部分を
抽出して、抽出合成画像を参照画像として生成すること
を可能としている。これにより所望の２次元合成画像を
精度良く作成することができる。In the above-described configuration, in order to generate a desired image by two-dimensional synthesis, first, an image of a joint portion is extracted from an original image to be synthesized, and one extracted synthesized image is created. Then, at the time of the second one-dimensional synthesis when the intermediate images generated in the first one-dimensional synthesis (the synthesized image E and the synthesized image F in FIG. 7) are synthesized to output the final two-dimensional synthesized image I Is referred to in order to correct the distortion at the joint. The extracted synthesized image is an image obtained by performing one-dimensional synthesis, and its direction is a direction perpendicular to the direction of the first one-dimensional synthesis. In addition, the size of the extracted combined image can be changed to increase the accuracy of the combined image, and the extraction region used for generating the extracted combined image can also be changed. On the other hand, an image prepared in advance can be designated as a reference image instead of an extracted composite image used for distortion correction at the time of two-dimensional composition. Further, when the image prepared in advance has no relevance to the synthesis source image, a joint portion is extracted from the synthesis source image, and the extracted synthesized image can be generated as a reference image. As a result, a desired two-dimensional composite image can be created with high accuracy.
【００１２】次に本発明の合成画像の合成処理について
説明する。ユーザは後記のように各モードに応じて合成
に必要なパラメータを用意し、２次元合成であれば、最
初の画像合成方向、参照画像の生成方法、抽出合成画像
のサイズ、抽出合成元画像のサイズ、抽出合成画像とは
別の参照画像を指定するのであれば該参照画像指定を設
定する。合成処理が開始されると、最初の１次元合成の
ため、それぞれの合成元画像から特徴画像を生成する。
これは各々の画像位置を決定するために行うものであっ
て、互いの画像を微少角度回転させたり、拡大／縮小し
て詳細位置合わせを行う。Next, the synthesizing process of the synthesized image according to the present invention will be described. The user prepares parameters necessary for the composition according to each mode as described below, and in the case of two-dimensional composition, the first image composition direction, the method of generating the reference image, the size of the extracted composite image, the size of the extracted composite image, If a reference image different from the size and the extracted composite image is specified, the reference image specification is set. When the synthesizing process is started, a feature image is generated from each synthesis original image for the first one-dimensional synthesis.
This is performed to determine the position of each image, and the images are rotated by a small angle or enlarged / reduced to perform detailed alignment.
【００１３】これらの処理は以下の１）〜１２）のステ
ップを有する画像合成方法によって実施される。 １）合成のモードを設定するステップ、 ２）２次元合成か否かを指示するステップ、 ３）２次元合成が指示された場合に、最初の合成方向を
設定するステップ、 ４）最初の合成方向を設定された後に、参照画像を指定
するか否かを指示するステップ、 ５）参照画像を指定しない、つまり、抽出合成画像を指
定した場合には、抽出合成画像のサイズ、抽出合成元画
像サイズを設定するステップ、 ６）次いで、２次元パラメータを設定するステップ、 ７）合成元画像或いは参照画像となる画像を映像プロセ
シング手段より取り込み、その取得画像を記録媒体に保
存するステップ、 ８）合成をするために所望の画像をハードディスクから
読み出すステップ、 ９）１次元合成画像作成のため合成元画像から特徴画像
を生成するステップ、 １０）２次元合成を行なう場合でかつ参照画像を指定し
ない場合は、最初の１次元合成元画像から、つなぎ目部
分のみを抽出するステップ、 １１）次いで、映像合成の概略位置合わせを行うステッ
プと、回転、拡大、縮小の微調整を行いつなぎ目を補正
するステップ、 １２）指定枚数の映像合成の終了を検知するステップ、
及び、 １３）２次元合成画像の出力と保存を行なうステップ。 また、前記各ステップはプログラムによって実施するこ
とができる。These processes are performed by an image synthesizing method having the following steps 1) to 12). 1) a step of setting the mode of synthesis; 2) a step of instructing whether or not to perform two-dimensional synthesis; 3) a step of setting the first synthesis direction when two-dimensional synthesis is instructed; 4) the first synthesis direction Is set, and then a step of instructing whether or not to designate a reference image is required. 5) When no reference image is designated, that is, when an extracted combined image is designated, the size of the extracted combined image and the size of the extracted combined original image 6) Then, a step of setting two-dimensional parameters; 7) A step of taking in an image to be a synthesis source image or a reference image from the video processing means and storing the obtained image in a recording medium; 9) reading a desired image from the hard disk to generate a one-dimensional composite image, and generating a feature image from the composite original image. When performing dimension synthesis and not specifying a reference image, a step of extracting only a joint portion from the first one-dimensional synthesis original image. 11) Next, a step of performing approximate alignment of video synthesis, and rotation and enlargement. 12) a step of finely adjusting the reduction to correct a seam; 12) a step of detecting the end of the specified number of video composites;
And 13) outputting and storing the two-dimensional composite image. Each of the above steps can be performed by a program.
【００１４】図４，図５は、以上で説明した画像合成方
法による処理フローを具体的に示したものである。ユー
ザは合成モード（レンズ（広角、望遠）、画像タイプ
（文宇画像、風景画像）、合成枚数、概略の画像位置）
を設定する（Ｓ１０１）。配置された画像から、その合
成が一次元合成か２次元合成かを指示し（Ｓ１０２）、
２次元合成でなければ、１次元パラメータを設定する
（Ｓ１０３）。また、２次元合成であれば、最初の画像
合成方向を設定し（Ｓ１０４）、参照画像を指定するか
否かを指示し（Ｓ１０５）、参照画像を指定するのであ
ればその指定を行い（Ｓ１０６）、指定しなければ抽出
合成画像サイズを設定し（Ｓ１０７）、抽出合成画像元
サイズを設定（Ｓ１０８）して、２次元パラメータを設
定する（Ｓ１０９）。次に、この状態で抽出合成元画像
を電子スチルカメラから取得し（Ｓ１１０）、取得画像
をハードディスクに保存する（Ｓ１１１）。画像合成
は、合成を希望する画像をハードディスクから読み出し
（Ｓ１１２）、読み出した画像から特徴画像を設定し
（Ｓ１１３）、続いて、指定枚数の合成が完了するま
で、特徴画像の概略位置合わせを行い（Ｓ１１５）、回
転、拡大、縮小等の微調整（Ｓ１１６）を行い合成画像
を出力する（Ｓ１１７）処理を繰り返す。このようにし
て指定枚数の合成が終了すると（Ｓ１１４）、一次元合
成か否かを指示し（Ｓ１１８）、一次元合成であれば、
そのままハードディスクに保存する（Ｓ１２５）。一次
元合成でなければ抽出合成画像を生成し（Ｓ１１９）、
つなぎ目部分の補正を行い（Ｓ１２０）、指定枚数の合
成が終了するまで概略位置合わせを行い（Ｓ１２２）、
回転、拡大、縮小等の微調整を行って（Ｓ１２３）、２
次元合成画像を出力し（Ｓ１２４）、得られた２次元合
成画像をハードディスクに保存する（Ｓ１２５）。FIGS. 4 and 5 specifically show a processing flow according to the image synthesizing method described above. The user can set the composition mode (lens (wide-angle, telephoto), image type (Bunyu image, landscape image), number of composite images, approximate image position)
Is set (S101). From the arranged images, it is indicated whether the composition is one-dimensional composition or two-dimensional composition (S102).
If it is not two-dimensional synthesis, one-dimensional parameters are set (S103). In the case of two-dimensional synthesis, the first image synthesis direction is set (S104), and whether or not a reference image is specified is instructed (S105). If the reference image is specified, the specification is performed (S106). If not specified, the size of the extracted combined image is set (S107), the original size of the extracted combined image is set (S108), and two-dimensional parameters are set (S109). Next, in this state, the extracted and synthesized original image is obtained from the electronic still camera (S110), and the obtained image is stored in the hard disk (S111). In image synthesis, an image desired to be synthesized is read from the hard disk (S112), a characteristic image is set from the read image (S113), and then the approximate alignment of the characteristic images is performed until the specified number of images have been synthesized. (S115), the process of performing fine adjustment (S116) such as rotation, enlargement, and reduction and outputting a composite image (S117) is repeated. When the combining of the designated number of sheets is completed in this way (S114), it is instructed whether or not to perform one-dimensional combining (S118).
The data is directly stored in the hard disk (S125). If it is not one-dimensional composition, an extracted composite image is generated (S119),
The joint portion is corrected (S120), and the approximate alignment is performed until the specified number of images have been combined (S122).
Fine adjustments such as rotation, enlargement, and reduction are made (S123), and 2
The two-dimensional composite image is output (S124), and the obtained two-dimensional composite image is stored on the hard disk (S125).
【００１５】以上において、１次元合成処理の場合は、
これらの処理を１枚ずつ繰り返して最終的な合成画像を
生成する。この処理自体は従来と同じである。また、２
次元合成処理を行う場合には、まず、ユーザーにより設
定された方向で１次元合成を行う。例えば図７に示すよ
うな画像配置がなされた場合は、画像Ａと画像Ｂ、画像
Ｃと画像Ｄで上述の１次元合成を行って中間画像を生成
する。そして画像Ｇと画像Ｈを合成する前に、ユーザー
が設定したモードに応じて参照画像を生成する。抽出合
成画像のサイズが指定された場合は、それを満たすサイ
ズで抽出する。抽出合成元画像サイズが指定された場合
は、指定サイズ分を合成元画像から抽出する。抽出する
画像の方向は、最初の１次元合成の方向とは垂直な方向
である。つまり、画像Ａと画像Ｂ、画像Ｃと画像Ｄで最
初の合成を行う場合は、画像Ａと画像Ｃ、画像Ｂと画像
Ｄの方向で画像を抽出し抽出合成画像を生成したものを
参照画像とする。上記とは別に参照画像が指定された場
合は、これを参照画像としてそのまま使用する。In the above, in the case of one-dimensional synthesis processing,
These processes are repeated one by one to generate a final composite image. This processing itself is the same as the conventional one. Also, 2
When performing the dimension combining process, first, one-dimensional combining is performed in the direction set by the user. For example, when the images are arranged as shown in FIG. 7, the above-described one-dimensional synthesis is performed on the images A and B and the images C and D to generate an intermediate image. Then, before combining the image G and the image H, a reference image is generated according to the mode set by the user. If the size of the extracted composite image is specified, the image is extracted with a size that satisfies the specified size. If the size of the extracted combined original image is specified, the specified size is extracted from the combined original image. The direction of the image to be extracted is a direction perpendicular to the direction of the first one-dimensional synthesis. That is, when the first combination is performed between the images A and B, and the images C and D, the image is extracted in the directions of the images A and C, and the images B and D, and the extracted combined image is generated as the reference image. And If a reference image is specified separately from the above, this is used as it is as a reference image.
【００１６】次に、参照画像の利用方法について説明す
る。最初の１次元で合成した画像は、幾らか歪曲してい
る。合成時に補正を行った場合でも、例えば１０枚のよ
うに多くの画像を合成すると、全体で見ると曲がったり
歪んだりした画像となることが多い。このような画像同
士を中間画像として使用し合成を行うと誤合成や歪曲し
たままの画像を生成してしまうため、参照画像からつな
ぎ目領域の情報を取り出し、つなぎ目部分を補正する。
例えば図２のように縦横ともに各々２画像の合成を行う
場合、抽出合成画像は２枚生成される（Ｔ１，Ｔ２）。
２次元合成時には最初の１次元合成出力画像Ｐ１とＰ２
のつなぎ目のうち、Ｔ１，Ｔ２に相当する部分をそれぞ
れＴ１，Ｔ２と比較する。特徴点を検索してＴ１、及び
Ｔ２の位置が決定されれば、Ｔ１及びＴ２に近づけるよ
うにＰ１を拡大／縮小、及び回転処理して補正画像を生
成する（Ｐ１ａ，Ｐ２ａ）。その後Ｐ１ａとＰ２ａを中
間画像として合成することにより、２次元合成画像Ｓを
生成する。Next, a method of using the reference image will be described. The first one-dimensional synthesized image is somewhat distorted. Even when correction is performed at the time of synthesis, if a large number of images, such as ten, are synthesized, the image as a whole often becomes a bent or distorted image. If such images are used as intermediate images and synthesized, an erroneously synthesized or distorted image is generated. Therefore, information on a seam region is extracted from the reference image, and the seam portion is corrected.
For example, when two images are combined both vertically and horizontally as shown in FIG. 2, two extracted combined images are generated (T1, T2).
At the time of two-dimensional synthesis, the first one-dimensional synthesized output images P1 and P2
Are compared with T1 and T2, respectively. If the positions of T1 and T2 are determined by searching the feature points, P1 is enlarged / reduced and rotated so as to approach T1 and T2 to generate corrected images (P1a, P2a). After that, a two-dimensional composite image S is generated by combining P1a and P2a as an intermediate image.
【００１７】一方、参照画像を指定する場合には、次の
ような利用例がある。合成元の画像を電子スチルカメラ
で撮影し、さらにつなぎ目となる部分も撮影を行う（図
３）。これを２次元合成時に参照画像として使用するこ
とにより、抽出合成画像を使用するよりも正確な補正が
可能となる。もし指定した画像が合成元画像と関連性が
無い場合は、参照画像と中間画像（図２のＰ１ａ，Ｐ２
ａ）の位置決定ができないため、参照画像指定を取り消
し、上述した抽出画像を合成したものを参照画像として
２次元合成処理を行う。On the other hand, when a reference image is designated, there are the following usage examples. The image of the combining source is photographed by an electronic still camera, and a joint portion is photographed (FIG. 3). By using this as a reference image at the time of two-dimensional synthesis, it is possible to perform more accurate correction than using an extracted synthesized image. If the specified image is not related to the synthesis source image, the reference image and the intermediate image (P1a, P2 in FIG. 2)
Since the position determination of a) cannot be performed, the designation of the reference image is canceled, and a two-dimensional synthesis process is performed using the synthesized image of the above-described extracted images as a reference image.
【００１８】[0018]
【発明の効果】請求項１に対応する効果：２次元合成時
に参照画像を使用することにより、より精度の高い２次
元画像合成ができる。 請求項２に対応する効果：２次元合成時に使用する参照
画像を指定できることにより、より最適な参照画像を使
用することができ、従って、より精度の高い２次元画像
合成ができる。また、不適当な参照画像が指定された場
合でも、処理を切り替えることでスムーズに合成処理を
行うことができる。 請求項３に対応する効果：参照画像のサイズを変更可能
にすることにより、システム資源に適応した処理を行う
ことができる。 請求項４に対応する効果：つなぎ目部分の抽出領域を変
更可能にすることにより、システム資源に適応した処理
を行うことができる。 請求項５に対応する効果：合成画像生成方法を実施する
プログラムを記録媒体に記録したので、任意のパソコン
等において静止画の画像合成を容易に実施することがで
きる。According to the first aspect of the invention, a two-dimensional image can be synthesized with higher accuracy by using a reference image at the time of two-dimensional synthesis. Advantageous Effect Corresponding to Claim 2: Since a reference image to be used at the time of two-dimensional synthesis can be designated, a more optimal reference image can be used, and therefore, more accurate two-dimensional image synthesis can be performed. In addition, even when an inappropriate reference image is specified, the processing can be switched to smoothly perform the synthesis processing. Advantageous Effect Corresponding to Claim 3: By making the size of the reference image changeable, processing suitable for system resources can be performed. Advantageous Effect Corresponding to Claim 4: By making it possible to change the extraction area of the joint portion, it is possible to perform processing suitable for system resources. According to the fifth aspect of the present invention, since the program for executing the composite image generation method is recorded on the recording medium, it is possible to easily perform image synthesis of a still image on an arbitrary personal computer or the like.
【図１】本発明の画像合成処理方法を実施するための装
置の１実施例を示す図。FIG. 1 is a diagram showing one embodiment of an apparatus for implementing an image synthesis processing method of the present invention.
【図２】本発明における抽出合成画像及び該抽出合成画
像を用いた静止画像合成を説明するための図。FIG. 2 is a view for explaining an extracted composite image and still image synthesis using the extracted composite image according to the present invention.
【図３】参照画像を指定した場合の該参照画像を説明す
るための図。FIG. 3 is a view for explaining a reference image when the reference image is designated;
【図４】本実施例における静止画像合成処理フロー。FIG. 4 is a still image synthesizing processing flow in the embodiment.
【図５】本実施例における静止画像合成処理フロー（続
き）。FIG. 5 is a still image synthesis processing flow (continued) in the embodiment.
【図６】従来の静止画像合成を説明するための図。FIG. 6 is a view for explaining conventional still image synthesis.
【図７】従来の２次元の静止画像合成処理の手順の一例
を示す図。FIG. 7 is a diagram showing an example of the procedure of a conventional two-dimensional still image synthesizing process.
１…電子スチルカメラ、２…パソコン、３…接続ケーブ
ル、４…ハードディスク、５…メモリ、６…オペレーテ
ィングシステム、７…アプリケーション。1. Electronic still camera, 2. Personal computer, 3. Connection cable, 4. Hard disk, 5. Memory, 6. Operating system, 7. Application.
Claims (5)
元合成によって得られた複数の１次元合成画像同士を更
に２次元合成して新規な広視野画像を生成する静止画像
合成法において、静止画像の合成に関連する画像を用意
し、前記１次元合成画像の２次元合成時に、前記１次元
画像のつなぎ目補正のための参照画像として前記静止画
像の合成に関連する画像を利用することを特徴とした静
止画像の合成方法。1. A still image synthesizing method for one-dimensionally synthesizing a plurality of still images and two-dimensionally synthesizing the plurality of one-dimensional synthesized images obtained by the one-dimensional synthesis to generate a new wide-field image. Preparing an image related to the synthesis of the still image, and using the image related to the synthesis of the still image as a reference image for joint correction of the one-dimensional image at the time of two-dimensional synthesis of the one-dimensional synthesized image. A method for synthesizing a still image, characterized by
法において、前記静止画像の合成に関連する画像は、合
成元画像から合成画像のつなぎ目部分のみを抽出して前
記静止画像の最初の１次元合成方向と垂直な方向の抽出
合成画像、又は前記静止画像とは別の画像のうち、指定
された一方であることを特徴とする静止画像の合成方
法。2. The still image synthesizing method according to claim 1, wherein the image related to the synthesis of the still image is obtained by extracting only a joint portion of the synthesized image from an original image to be synthesized, and A method for synthesizing a still image, wherein one of an extracted synthesized image in a direction perpendicular to the one-dimensional synthesis direction or another image different from the still image is designated.
法において、前記抽出合成画像のサイズが変更可能であ
ることを特徴とした静止画像の合成方法。3. The still image synthesizing method according to claim 2, wherein the size of the extracted synthesized image is changeable.
合成方法において、前記抽出合成画像を作成するため
に、抽出する合成元画像の抽出領域は変更可能であるこ
とを特徴とした静止画像の合成方法。4. The still image synthesizing method according to claim 2, wherein an extraction area of a composition source image to be extracted is changeable in order to create the extracted composite image. Image composition method.
うステップ、参照画像を得るため、合成元画像から合成
画像のつなぎ目部分のみを抽出して前記静止画像の最初
の１次元合成方向と垂直な方向の抽出画像を生成するス
テップ又はつなぎ目の参照画像を指定するステップ、前
記参照画像を参考に、一次元合成画像のつなぎ目を補正
するステップ、及び、前記１次元合成画像の２次元合成
を行うステップから成る、複数の静止画像を合成して新
規な広視野画像を生成する静止画像の合成方法を実施す
るためのプログラムを記録したコンピュータ読取り可能
な記録媒体。5. A step of performing a first one-dimensional synthesis of a plurality of still images, extracting only a joint portion of the synthesized image from a synthesis source image to obtain a reference image, and A step of generating an extracted image in a vertical direction or a step of designating a reference image of a joint; a step of correcting a joint of a one-dimensional composite image with reference to the reference image; and a step of two-dimensional composite of the one-dimensional composite image. A computer-readable recording medium storing a program for performing a still image synthesizing method of synthesizing a plurality of still images to generate a new wide-field image by performing a step of performing.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10028613A JPH11234501A (en) | 1998-02-10 | 1998-02-10 | Method for synthesizing still image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10028613A JPH11234501A (en) | 1998-02-10 | 1998-02-10 | Method for synthesizing still image |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH11234501A true JPH11234501A (en) | 1999-08-27 |
Family
ID=12253422
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10028613A Pending JPH11234501A (en) | 1998-02-10 | 1998-02-10 | Method for synthesizing still image |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH11234501A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7003147B2 (en) | 2001-01-12 | 2006-02-21 | Canon Kabushiki Kaisha | Image processing apparatus |
| US7388982B2 (en) | 2002-11-29 | 2008-06-17 | Canon Kabushiki Kaisha | Image processing method and apparatus for generating panoramic image |
-
1998
- 1998-02-10 JP JP10028613A patent/JPH11234501A/en active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7003147B2 (en) | 2001-01-12 | 2006-02-21 | Canon Kabushiki Kaisha | Image processing apparatus |
| US7545968B2 (en) | 2001-01-12 | 2009-06-09 | Canon Kabushiki Kaisha | Image processing apparatus |
| US7388982B2 (en) | 2002-11-29 | 2008-06-17 | Canon Kabushiki Kaisha | Image processing method and apparatus for generating panoramic image |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5796428A (en) | Electronic photography system | |
| US6434280B1 (en) | System and method for generating super-resolution-enhanced mosaic images | |
| US8217956B1 (en) | Method and apparatus for rendering spherical panoramas | |
| JP2007282245A (en) | Image synthesizing apparatus and method | |
| JP2000125190A (en) | Camera system and recording medium | |
| JP2004215041A (en) | Image processor, image processing program, recording medium, and image processing method | |
| JP2001344591A (en) | Method for controlling and display image and device for the same and recording medium | |
| JP2006340091A (en) | Camera server, viewer, image display system and image distribution method | |
| JPH11112790A (en) | Image compositing device and its method | |
| JPWO2020194470A1 (en) | Image generator, image generator, and image generator | |
| JPH10126665A (en) | Image composing device | |
| JP2005159755A (en) | Image processing apparatus and image processing program | |
| JPH11234501A (en) | Method for synthesizing still image | |
| JP2006171939A (en) | Image processor and method | |
| JPH0991410A (en) | Panorama image synthesis system | |
| JP3241243B2 (en) | Panorama image composition system and panorama image composition method | |
| JP2001119625A (en) | Image-processing method and image processor | |
| JP2006287365A (en) | Digital camera | |
| JP2000358194A (en) | Image compositing device and method and storage medium storing program | |
| JP3212357B2 (en) | Image processing device | |
| JPH11275393A (en) | Image input device, image input method and recording medium | |
| JP4926877B2 (en) | Image processing apparatus and method, and program | |
| JP2007257331A (en) | Video synthesizing device | |
| JP2020161107A (en) | Image generation device, image generation method, and image generation program | |
| EP0901280A2 (en) | Apparatus and method for digital photography |