JP3542898B2

JP3542898B2 - Image synthesis device

Info

Publication number: JP3542898B2
Application number: JP03123798A
Authority: JP
Inventors: 文明鈴木; 信次郎景井; 誠小野▲崎▼; 大志八津川; 春仁渡辺
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1998-02-13
Filing date: 1998-02-13
Publication date: 2004-07-14
Anticipated expiration: 2018-02-13
Also published as: JPH11232477A

Description

【０００１】
【発明の属する技術分野】
本発明は、それぞれの一部が重複した複数の撮影静止画像を合成して、１枚の画像データを作成する画像合成装置に関するものである。
【０００２】
【従来の技術】
従来から、デジタルカメラなどによって撮影された静止画を複数枚用いて、パノラマ画像などを作成する場合、それぞれの撮影静止画像（以下、サムネイル画像と称す）間で、位置合わせや画像補正を行った上で、画像合成処理を行う。
【０００３】
従来の一般的なパノラマ画像を作成する画像合成装置について、図１４乃至図１７とともに説明する。ここで、図１４は従来の画像合成装置を示す機能ブロック図、図１５は従来の画像合成装置における複数のサムネイル画像をモニタ画面上に取り込んだ状態を示す説明図、図１６は従来の画像合成装置における自動位置合わせが終了した状態のモニタ画面を示す説明図、図１７は従来の画像合成装置における自動位置合わせ後に各画像間での微調整を行った状態のモニタ画面を示す説明図である。
【０００４】
図１４において、２１，２２，２３，２４はデジタルカメラ等で撮影されたパノラマ合成として必要な複数のサムネイル画像を取り込む画像メモリ、２５，２６，２７，２８は画像メモリ２１〜２４から読み出された各々のサムネイル画像に対して、指示入力により拡大、縮小、回転、ドラック移動等の微調整加工処理を施す単一加工部、４１は全てのサムネイル画像に対して、特徴部分抽出比較などの方法により、隣り合った画像の特徴部分を抽出して、似通った部分を検出する対応点検出部である。
【０００５】
４２は対応点検出部４１での検出結果に基づき一枚の画像になるように概略配置された各サムネイル画像に対し、単一加工部２５〜２８にて微調整された出力に基づいて微調整を行う微調整部、４３は合成のために必要な各サムネイル画像の位置データや各画像間における重複部分の画像レベル（合成パラメータ）を抽出する合成パラメータ抽出部、４４は合成パラメータ抽出部４３からの出力に基づき画像合成を行い、パノラマ合成画像を出力する画像合成部である。
【０００６】
また、画像メモリ２１〜２４に格納されたサムネイル画像、単一加工部２５〜２８で加工処理が施されたサムネイル画像、及び画像合成部４４で得られたパノラマ合成画像をそれぞれ表示することにより、一連の合成加工を逐次確認することを可能とするモニター部である。
【０００７】
次に、上記のように構成してなる画像合成装置の動作について説明する。図１５は画像メモリ２１〜２４に取り込まれた４枚のサムネイル画像７〜１０をモニタ部４５にて表示した状態を示しており、同図において、１はモニタ画面であり、４枚のサムネイル画像７〜１０の他、回転ボタン２、拡大ボタン３、縮小ボタン４、位置合わせボタン５、合成ボタン６からなる画像加工ボタンが表示されている。
【０００８】
これらの画像加工ボタン２〜６は、マウス等によりカーソルを当てクリック操作を行うことにより、機能選択が決定される。尚、位置合わせボタン５、合成ボタン６は選択と同時に自動機能を開始するが、回転ボタン２、拡大ボタン３、縮小ボタン４は、機能選択後に個々のサムネイル画像７〜１０上のコーナーや各辺部にカーソルを置いてドラッグすることでサムネイル画像７〜１０を加工することが可能となっている。また、サムネイル画像７〜１０の移動は、画像加工ボタン２〜６を選択せずに、サムネイル画像７〜１０上にカーソルを置いてドラッグすることで実行できる。
【０００９】
そして、位置合わせボタン５をクリックすることで、対応点検出部４１により、各サムネイル画像７〜１０に対して、似通った対応部分を検出し、相対的な位置関係を算出した上で、その位置関係において自動的に重ね合わせ、図１６に示すように、４枚のサムネイル画像７〜１０が一枚の画像になるようにモニタ画面１上に概略配置する。
【００１０】
ここで、実際にはサムネイル画像７〜１０の画像内容や対応点検出部４１における自動位置合わせ精度等により、自動位置合わせ後のサムネイル画像７〜１０に微調整を加えることが必要となる。従って、使用者は回転ボタン２、拡大ボタン３、縮小ボタン４、ドラック移動の機能により指示入力を行い、各サムネイル画像７〜１０に対し単一加工部２５〜２８にて微調整を行う。
【００１１】
この単一加工部２５〜２８の出力に基づいて、微調整部４２では、対応点検出部４１により自動的に概略配置された各サムネイル画像７〜１０の微調整を行う。尚、このような微調整の際、例えば、水平度の一番高いサムネイル画像８を固定し、サムネイル画像７を微調整してサムネイル画像７とサムネイル画像８との間の位置合わせを行った後、同様にサムネイル画像９を微調整してサムネイル画像８とサムネイル画像９との間の位置合わせを行い、最後にサムネイル画像１０を微調整して、サムネイル画像９とサムネイル画像１０との間の位置合わせを行う。
【００１２】
以上のように、自動位置合わせ後に微調整が必要なサムネイル画像７〜１０に対して、それぞれ回転／拡大／縮小／移動等の操作をすることで、各サムネイル画像７〜１０の位置合わせを任意に行い、図１７に示すように、その位置合わせされたサムネイル画像７〜１０の状態がモニタ画面１上に表示される。
【００１３】
微調整による位置合わせが完了し、合成ボタン６をクリックすると、合成パラメータ抽出部４３では合成のために必要な各サムネイル画像７〜１０の位置データや各画像間での重複部分の画像レベルが抽出され、合成パラメータ抽出部４３からのパラメータ出力に基づき、画像合成部４４で４枚のサムネイル画像７〜１０を合成し、パノラマ合成画像を出力する。
【００１４】
【発明が解決しようとする課題】
しかしながら、上述した従来の画像合成装置においては、例えば４枚のサムネイル画像７〜１０に対する自動位置合わせ終了後に、サムネイル画像８とサムネイル画像９との間でのみズレが確認された場合であっても、サムネイル画像９の微調整の後、サムネイル画像１０の微調整の操作を行わなければならない等、１ヵ所のズレを調整するために、複数のサムネイル画像に対して複数回の微調整が必要となるという問題があった。尚、上記従来例においては、４枚のサムネイル画像７〜１０をパノラマ合成する場合についての説明であるが、サムネイル画像の数が多い場合は、更に厄介な調整作業となる。
【００１５】
本発明は、上述したような点に鑑みてなされたものであり、画像合成処理を行う過程において、微調整を必要とするサムネイル画像群に対して、移動・回転・拡大・縮小・変形などの加工処理を一括して行うことが可能な画像合成装置を提供することを目的とする。
【００１６】
【課題を解決するための手段】
本願請求項１に記載の発明に係る画像合成装置は、それぞれの一部が重複した複数の撮影静止画像を記憶するメモリ手段と、上記複数の静止画像の共通部分を検出する対応点検出手段と、上記複数の静止画像の対応位置関係及び対応領域の画像信号レベルを、合成パラメータとして抽出する合成パラメータ抽出手段と、を備えた画像合成装置において、上記複数の静止画像のうち、２画像以上を選択する選択手段と、上記選択手段により選択された静止画像のそれぞれに対し、同一微調整加工を施す一括画像加工手段と、上記選択手段により選択された静止画像を、選択された状態における位置関係で一時的に連結する連結手段と、上記連結手段により連結された状態の画像に対して、微調整加工を施す連結画像加工手段と、を有し、上記合成パラメータ抽出手段で抽出された合成パラメータに基づき、上記複数の静止画像を１枚のパノラマ画像に合成することを特徴とするものである。
【００１７】
これによって、選択手段により選択された静止画像を一時的に連結し、一つの画像として認識させた上で、移動・回転・拡大・縮小・変形などの機能を実行することによって、一つの画像として認識させた連結画像単位で、各々の機能を実行することができるので、複数の静止画像に対する微調整を容易且つ迅速、正確に行うことが可能となる。
また、選択手段により選択された静止画像のそれぞれに対して、同一の微調整加工（移動・回転・拡大・縮小・変形等）を一括して施すことができるので、複数の静止画像に対する微調整加工操作を容易且つ迅速、正確に行うことが可能となる。
【００１８】
尚、選択手段により選択可能な静止画像としては、対応点検出手段によって一時的に自動位置合わせがなされた後のものであっても、対応点検出手段による自動位置合わせがなされる前のものであっても良い。
【００２１】
【発明の実施の形態】
以下、本発明の画像合成装置の第１実施形態について、図１乃至図５とともに説明するが、上記従来例と同一部分には同一符号を付し、その説明は省略する。また、サムネイル画像の取り込みから自動位置合わせを行った後、微調整を行い、その後合成処理をするという基本処理工程は上記従来例と同一であるため、これも説明は省略する。
【００２２】
ここで、図１は本実施形態の画像合成装置を示す機能ブロック図、図２は本実施形態の画像合成装置における複数のサムネイル画像をモニタ画面上に取り込んだ状態を示す説明図、図３は本実施形態の画像合成装置における自動位置合わせが終了した状態のモニタ画面を示す説明図、図４は本実施形態の画像合成装置における自動位置合わせ後に各画像間での微調整を行う際のモニタ画面を示す説明図、図５は本実施形態の画像合成装置における各画像間の微調整を行った後のモニタ画面を示す説明図である。
【００２３】
本実施形態の画像合成装置は、図１に示すように、図１４とともに上述した従来の画像合成装置に加えて、選択指示されたサムネイル画像を連結画像として認識する連結認識部２９，３０，３１，３２と、該連結認識部２９〜３２で認識したサムネイル画像を１枚の画像として取り込む連結メモリー３７と、該連結メモリー３７に取り込まれた連結画像に対して移動／回転／拡大／縮小／変形等の加工を施す連結加工部３８とを設けている。
【００２４】
尚、連結加工部３８で微調整加工されたサムネイル画像（連結画像）は、微調整部４２に入力されて、対応点検出部４１で自動位置合わせされたサムネイル画像の微調整に用いられる。
【００２５】
次に、上記のように構成してなる画像合成装置の動作について説明する。図２は画像メモリ２１〜２４に取り込まれた４枚のサムネイル画像７〜１０をモニタ部４５にて表示した状態を示しており、モニタ画面１上には、４枚のサムネイル画像７〜１０、回転ボタン２、拡大ボタン３、縮小ボタン４、位置合わせボタン５、合成ボタン６、連結ボタン１９からなる画像加工ボタンが表示されている。
【００２６】
そして、位置合わせボタン５をクリックすることで、対応点検出部４１により、各サムネイル画像７〜１０に対して、似通った対応部分を検出し、相対的な位置関係を算出した上で、その位置関係において自動的に重ね合わせ、図３に示すように、４枚のサムネイル画像７〜１０が一枚の画像になるようにモニタ画面１上に概略配置する。
【００２７】
ここでは、サムネイル画像７〜１０が、例えば競泳の写真や陸上競技の写真であって、コースラインのような平行線が数本映っている場合等の画像内容であるため、サムネイル画像８とサムネイル画像９との位置において上下方向にズレが発生しているものとする。
【００２８】
すなわち、図３において、サムネイル画像７とサムネイル画像８との間、サムネイル画像９とサムネイル画像１０との間では位置合わせが正常に行われており、サムネイル画像８とサムネイル画像９との間でのみズレが発生している。このため、位置合わせが正常な画像群の一方を固定し、他方を移動させることでズレの修正を行う必要があり、ここではサムネイル画像９とサムネイル画像１０とからなる画像群の側を移動させる。
【００２９】
まず、指示入力により２枚のサムネイル画像９，１０をドラッグした後に、連結ボタン１９をクリックすることにより、サムネイル画像９とサムネイル画像１０とはそれぞれ連結認識部３１、３２で連結画像として認識され、連結メモリー３７に取り込まれる。このとき、モニター部４５のモニター画面１上では、図４に示すように、サムネイル画像９，１０の輪郭が破線表示となり、連結状態にあることが容易に分かるように表示される。
【００３０】
この状態で、サムネイル画像９かサムネイル画像１０の一部をクリックした上で、サムネイル画像８とサムネイル画像９との重複部分に合わせ込むようにドラックで上下方向に移動させて位置合わせを行い、図５に示すような修正画像を得ることができる。
【００３１】
このように、サムネイル画像９とサムネイル画像１０とを連結した状態で、同時に移動させて、自動位置合わせで生じた位置ズレの調整を行うことができるため、調整回数を減らすことが可能となる。尚、各サムネイル画像間のズレの状態によって、上記と同様に、連結加工部３８では、連結指定された複数のサムネイル画像を同時に回転／拡大／縮小／変形することができる。
【００３２】
連結加工部３８の出力に基づいて、微調整部４２では、上述した従来例と同様、対応点検出部４１により自動的に概略配置されたサムネイル画像９、サムネイル画像１０の微調整を行い、この結果に応じて、合成パラメータ抽出部４３で合成パラメータを抽出した後、画像合成部４４で４枚のサムネイル画像７〜１０を合成し、パノラマ合成画像を出力する。
【００３３】
次に、本発明の画像合成装置の第２実施形態について、図６乃至図１３とともに説明するが、上記第１実施形態と同一部分には同一符号を付し、その説明は省略する。
【００３４】
ここで、図６は本実施形態の画像合成装置を示す機能ブロック図、図７は本実施形態の画像合成装置における複数のサムネイル画像をモニタ画面上に取り込んだ状態を示す説明図、図８は本実施形態の画像合成装置における連動指示を行った状態のモニタ画面を示す説明図、図９は本実施形態の画像合成装置における各画像間の微調整加工を行った後のモニタ画面を示す説明図である。
【００３５】
また、図１０は本実施形態の画像合成装置における複数のサムネイル画像をモニタ画面上に取り込んだ状態を示す説明図、図１１は本実施形態の画像合成装置における連動／連結指示を行った状態のモニタ画面を示す説明図、図１２は本実施形態の画像合成装置における各画像間の微調整加工を行った後のモニタ画面を示す説明図、図１３は本実施形態の画像合成装置における各画像間の微調整加工を行った後のモニタ画面を示す説明図である。
【００３６】
本実施形態の画像合成装置は、図６に示すように、図１とともに上述した本発明の第１実施形態の画像合成装置に加えて、選択指示されたサムネイル画像を連動画像として認識する連動認識部３３，３４，３５，３６と、該連動認識部３３〜３６で認識したサムネイル画像に対して移動／回転／拡大／縮小／変形等の加工を一括して施す一括加工部３９とを設けている。
【００３７】
尚、一括加工部３９で微調整加工されたサムネイル画像（連動画像）は、対応点検出部４１に入力されて、各サムネイル画像間の共通部分が検出され、１枚の画像になるように、自動的に位置合わせが行われる。
【００３８】
次に、上記のように構成してなる画像合成装置の動作について説明する。図７は画像メモリ２１〜２４に取り込まれた４枚のサムネイル画像１１〜１４をモニタ部４５にて表示した状態を示しており、モニタ画面１上には、４枚のサムネイル画像１１〜１４、回転ボタン２、拡大ボタン３、縮小ボタン４、位置合わせボタン５、合成ボタン６、連結ボタン１９、連動ボタン２０からなる画像加工ボタンが表示されている。
【００３９】
ここで、サムネイル画像１１とサムネイル画像１２、サムネイル画像１３とサムネイル画像１４とはそれぞれ撮影倍率が同一であるが、サムネイル画像１１，１２は、サムネイル画像１３，１４より大きな倍率で撮影された画像となっている。
【００４０】
このように、各サムネイル画像の撮影倍率がで異なっている場合、このままではパノラマ画像の作成ができないため、画像倍率を合わせるために、自動位置合わせ処理を行う前に、拡大或いは縮小加工処理を施す必要がある。ここでは、サムネイル画像１３、１４を拡大し、サムネイル画像１１、１２に対する倍率等価加工を行う。
【００４１】
まず、指示入力により２枚のサムネイル画像１３，１４をドラッグした後に、連動ボタン２０をクリックすることにより、サムネイル画像１３とサムネイル画像１４とはそれぞれ連動認識部３１、３２で連動画像として認識される。このとき、モニター部４５のモニター画面１上では、図８に示すように、サムネイル画像１３，１４の輪郭が破線表示となり、連動状態にあることが容易に分かるように表示される。
【００４２】
この状態において、拡大ボタン３をクリックすることで、一括加工部３９によってサムネイル画像１３、１４がそれぞれの位置で同時に拡大される。このとき、サムネイル画像１２と見比べながら、拡大ボタン３をクリックし続けるか、クリックを何回か繰り返すことで、図９に示すように、サムネイル画像１２と等しい倍率に設定することができる。
【００４３】
このように、指定したサムネイル画像を連動認識させることにより、一括して微調整加工することができる。尚、サムネイル画像１１、１２を連動認識させて同時に縮小調整することも当然可能である。
【００４４】
そして、位置合わせボタン５をクリックすることで、対応点検出部４１により、微調整加工が施された各サムネイル画像１１〜１４に対して、似通った対応部分を検出し、相対的な位置関係を算出した上で、その位置関係において自動的に重ね合わせ、サムネイル画像１１〜１４を合成したパノラマ合成画像を出力する。
【００４５】
尚、各サムネイル画像間の状態によって、上記と同様に、一括加工部３９では、連動指定された複数のサムネイル画像に対し、同時に回転／変形等の微調整加工を施すことができる。
【００４６】
例えば、図１０に示すように、各サムネイル画像１５〜１８が撮影した向きの情報を持っていないため、全ての画像が左方向に９０度回転した状態で配置されているような場合、このままではパノラマ画像の作成ができないため、自動位置合わせ処理を行う前に、各サムネイル画像１５〜１８の配置合わせを行う必要がある。
【００４７】
従って、まず指示入力により４枚のサムネイル画像１５〜１８をドラッグした後に、連動ボタン２０をクリックすることにより、サムネイル画像１５〜１８の各々は連動認識部３１〜３４で連動画像として認識される。このとき、モニター部４５のモニター画面１上では、図１１に示すように、４枚のサムネイル画像１５〜１８の輪郭が破線表示となり、連動状態にあることが容易に分かるように表示される。
【００４８】
この状態において、回転ボタン２をクリックすることで、一括加工部３９にて４枚のサムネイル画像１５〜１８が同時に９０度右回転され、図１２に示すように、配置変換されて表示される。このように、４枚のサムネイル画像１５〜１８を連動認識させて、同時に回転加工することによって、一括して調整することが可能となる。
【００４９】
さらに、高層ビルやタワー等を撮影したサムネイル画像の合成を行う場合、図１０に示すように、各サムネイル画像１５〜１８が撮影した向きの情報を持っていないため、左方向に倒れたように全てのサムネイル画像１５〜１８が横方向に配置されて表示される。
【００５０】
従って、まず指示入力により４枚のサムネイル画像１５〜１８をドラッグした後に、連結ボタン１９をクリックすることにより、サムネイル画像１５〜１８の各々は連結認識部２９〜３２で連結画像として認識される。このとき、モニター部４５のモニター画面１上では、図１１に示すように、４枚のサムネイル画像１５〜１８の輪郭が破線表示となり、連結状態にあることが容易に分かるように表示される。
【００５１】
この状態において、回転ボタン２をクリックすることで、一括加工部３９にて連結画像が９０度右回転され、図１３に示すように、９０度右回転されて上下方向に整列配置される。このように、連結認識させることで一度の調整で、４枚のサムネイル画像１５〜１８を所望の配置に整列調整することが可能となる。
【００５２】
尚、上述した本発明の実施形態において、画像メモリ２１〜２４、連結メモリ３７、モニター部４５、図示しないＣＰＵやプログラムメモリ、指示入力のためのポインティング・デバイス等を備えた情報処理装置本体に対して、単一加工部２５〜２８、連結認識部２９〜３２、連動認識部３３〜３６、連結加工部３８、一括加工部３９、対応点検出部４１、微調整部４２、合成パラメータ抽出部４３、画像合成部４４における各々の処理プログラムを記録した記録媒体（ＣＤ−ＲＯＭなど）を着脱自在に設けて構成することにより、ソフトウエアアプリケーション内部で上記のような作用を実現することが可能である。
【００５３】
【発明の効果】
本願請求項１に記載の発明に係る画像合成装置は、上記のような構成としているため、選択手段により選択された静止画像を一時的に連結し、一つの画像として認識させた上で、移動・回転・拡大・縮小・変形などの機能を実行することによって、一つの画像として認識させた連結画像単位で、各々の機能を実行することができるので、複数の静止画像に対する微調整を容易且つ迅速、正確に行うことが可能となる。
【００５４】
また、選択手段により選択された静止画像のそれぞれに対して、同一の微調整加工（移動・回転・拡大・縮小・変形等）を一括して施すことができるので、複数の静止画像に対する微調整加工操作を容易且つ迅速、正確に行うことが可能となる。
【図面の簡単な説明】
【図１】本発明の画像合成装置の第１実施形態を示す機能ブロック図である。
【図２】本発明の画像合成装置の第１実施形態における複数のサムネイル画像をモニタ画面上に取り込んだ状態を示す説明図である。
【図３】本発明の画像合成装置の第１実施形態における自動位置合わせが終了した状態のモニタ画面を示す説明図である。
【図４】本発明の画像合成装置の第１実施形態における自動位置合わせ後に各画像間での微調整を行う際のモニタ画面を示す説明図である。
【図５】本発明の画像合成装置の第１実施形態における各画像間の微調整を行った後のモニタ画面を示す説明図である。
【図６】本発明の画像合成装置の第２実施形態を示す機能ブロック図である。
【図７】本発明の画像合成装置の第２実施形態における複数のサムネイル画像をモニタ画面上に取り込んだ状態を示す説明図である。
【図８】本発明の画像合成装置の第２実施形態における連動指示を行った状態のモニタ画面を示す説明図である。
【図９】本発明の画像合成装置の第２実施形態における各画像間の微調整加工を行った後のモニタ画面を示す説明図である。
【図１０】本発明の画像合成装置の第２実施形態における複数のサムネイル画像をモニタ画面上に取り込んだ状態を示す説明図である。
【図１１】本発明の画像合成装置の第２実施形態における連動／連結指示を行った状態のモニタ画面を示す説明図である。
【図１２】本発明の画像合成装置の第２実施形態における各画像間の微調整加工を行った後のモニタ画面を示す説明図である。
【図１３】本発明の画像合成装置の第２実施形態における各画像間の微調整加工を行った後のモニタ画面を示す説明図である。
【図１４】従来の画像合成装置を示す機能ブロック図である。
【図１５】従来の画像合成装置における複数のサムネイル画像をモニタ画面上に取り込んだ状態を示す説明図である。
【図１６】従来の画像合成装置における自動位置合わせが終了した状態のモニタ画面を示す説明図である。
【図１７】従来の画像合成装置における自動位置合わせ後に各画像間での微調整を行った状態のモニタ画面を示す説明図である。
【符号の説明】
１モニター画面
２回転ボタン
３拡大ボタン
４縮小ボタン
５位置合わせボタン
６合成ボタン
７，８，９，１０サムネイル画像
１１，１２，１３，１４サムネイル画像
１５，１６，１７，１８サムネイル画像
１９連結ボタン
２０連動ボタン
２１，２２，２３，２４画像メモリ
２５，２６，２７，２８単一加工部
２９，３０，３１，３２連結認識部
３３，３４，３５，３６連動認識部
３７連結メモリ
３８連結加工部
３９一括加工部
４１対応点検出部
４２微調整部
４３合成パラメータ抽出部
４４画像合成部
４５モニター部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image synthesizing apparatus that synthesizes a plurality of photographed still images, each of which partially overlaps, to create one image data.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, when a panoramic image or the like is created using a plurality of still images shot by a digital camera or the like, position adjustment and image correction have been performed between each shot still image (hereinafter, referred to as a thumbnail image). Above, image synthesis processing is performed.
[0003]
A conventional image synthesizing apparatus for creating a general panoramic image will be described with reference to FIGS. Here, FIG. 14 is a functional block diagram showing a conventional image synthesizing device, FIG. 15 is an explanatory diagram showing a state in which a plurality of thumbnail images in the conventional image synthesizing device are captured on a monitor screen, and FIG. FIG. 17 is an explanatory diagram showing a monitor screen in a state where automatic alignment has been completed in the apparatus, and FIG. 17 is an explanatory view showing a monitor screen in a state in which fine adjustment between images has been performed after automatic alignment in a conventional image synthesizing apparatus. .
[0004]
In FIG. 14, reference numerals 21, 22, 23, and 24 denote image memories for taking in a plurality of thumbnail images necessary for panorama synthesis photographed by a digital camera or the like, and reference numerals 25, 26, 27, and 28 read from the image memories 21 to 24. A single processing unit 41 performs fine adjustment processing such as enlargement, reduction, rotation, and drag movement on each thumbnail image by inputting an instruction. 41 is a method such as feature portion extraction comparison for all thumbnail images. Is a corresponding point detection unit that extracts characteristic portions of adjacent images and detects similar portions.
[0005]
Reference numeral 42 denotes a fine adjustment based on the output finely adjusted by the single processing units 25 to 28 for each of the thumbnail images roughly arranged to be one image based on the detection result of the corresponding point detection unit 41. A synthesizing parameter extracting unit 43 for extracting position data of each thumbnail image necessary for synthesizing and an image level (synthetic parameter) of an overlapping portion between the images; Is an image synthesizing unit that performs image synthesis based on the output of the above and outputs a panoramic synthesized image.
[0006]
Also, by displaying the thumbnail images stored in the image memories 21 to 24, the thumbnail images processed by the single processing units 25 to 28, and the panoramic composite image obtained by the image compositing unit 44, respectively, This is a monitor unit that enables the user to sequentially confirm a series of synthesis processing.
[0007]
Next, the operation of the image synthesizing apparatus configured as described above will be described. FIG. 15 shows a state in which four thumbnail images 7 to 10 captured in the image memories 21 to 24 are displayed on the monitor unit 45. In FIG. 15, reference numeral 1 denotes a monitor screen, and four thumbnail images are displayed. In addition to 7 to 10, image processing buttons including a rotation button 2, an enlargement button 3, a reduction button 4, an alignment button 5, and a synthesis button 6 are displayed.
[0008]
Function selection of these image processing buttons 2 to 6 is determined by placing a cursor with a mouse or the like and performing a click operation. It should be noted that the positioning button 5 and the synthesizing button 6 start the automatic function at the same time as the selection, but the rotation button 2, the enlargement button 3 and the reduction button 4 operate the corners and the sides The thumbnail images 7 to 10 can be processed by placing the cursor on the section and dragging. The movement of the thumbnail images 7 to 10 can be executed by placing the cursor on the thumbnail images 7 to 10 and dragging without selecting the image processing buttons 2 to 6.
[0009]
Then, by clicking the alignment button 5, the corresponding point detection unit 41 detects a similar corresponding portion for each of the thumbnail images 7 to 10, calculates a relative positional relationship, and calculates the relative position. As shown in FIG. 16, the thumbnail images 7 to 10 are roughly arranged on the monitor screen 1 such that the four thumbnail images 7 to 10 become one image.
[0010]
Here, actually, it is necessary to make fine adjustments to the thumbnail images 7 to 10 after the automatic alignment, depending on the image contents of the thumbnail images 7 to 10 and the automatic alignment accuracy in the corresponding point detection unit 41. Therefore, the user inputs an instruction by using the rotation button 2, the enlargement button 3, the reduction button 4, and the drag movement function, and makes fine adjustments to the thumbnail images 7 to 10 in the single processing units 25 to 28.
[0011]
Based on the outputs of the single processing units 25 to 28, the fine adjustment unit 42 performs fine adjustment of each of the thumbnail images 7 to 10 automatically and roughly arranged by the corresponding point detection unit 41. At the time of such fine adjustment, for example, after fixing the thumbnail image 8 having the highest level of horizontality and finely adjusting the thumbnail image 7 to perform the alignment between the thumbnail images 7 and 8, Similarly, the thumbnail image 9 is finely adjusted to adjust the position between the thumbnail image 8 and the thumbnail image 9, and finally, the thumbnail image 10 is finely adjusted to adjust the position between the thumbnail image 9 and the thumbnail image 10. Perform alignment.
[0012]
As described above, by performing operations such as rotation / enlargement / reduction / movement on the thumbnail images 7 to 10 which need to be finely adjusted after the automatic alignment, the alignment of the thumbnail images 7 to 10 can be arbitrarily determined. The state of the aligned thumbnail images 7 to 10 is displayed on the monitor screen 1 as shown in FIG.
[0013]
When the position adjustment by the fine adjustment is completed and the synthesizing button 6 is clicked, the synthesizing parameter extracting unit 43 extracts the position data of each of the thumbnail images 7 to 10 necessary for the synthesizing and the image level of the overlapping portion between the images. Then, based on the parameter output from the combining parameter extracting unit 43, the image combining unit 44 combines the four thumbnail images 7 to 10 to output a panoramic combined image.
[0014]
[Problems to be solved by the invention]
However, in the above-described conventional image synthesizing apparatus, even if, for example, a shift is confirmed only between the thumbnail image 8 and the thumbnail image 9 after the automatic alignment of the four thumbnail images 7 to 10 is completed. It is necessary to perform a plurality of fine adjustments on a plurality of thumbnail images in order to adjust a single shift, such as performing a fine adjustment operation on the thumbnail image 10 after the fine adjustment on the thumbnail image 9. There was a problem of becoming. In the above-described conventional example, the case where the four thumbnail images 7 to 10 are subjected to panoramic synthesis is described. However, when the number of thumbnail images is large, the adjustment work becomes more troublesome.
[0015]
The present invention has been made in view of the above points, and in the process of performing image synthesis processing, a thumbnail image group requiring fine adjustment is moved, rotated, enlarged, reduced, deformed, and so on. It is an object of the present invention to provide an image synthesizing device capable of performing a processing process at a time.
[0016]
[Means for Solving the Problems]
The image synthesizing apparatus according to the first aspect of the present invention includes a memory unit that stores a plurality of photographed still images each partially overlapping each other, and a corresponding point detection unit that detects a common portion of the plurality of still images. , an image signal level of the corresponding positional relationship and the corresponding region of the plurality of still images, the image synthesis apparatus and a synthesis parameter extraction means for extracting as a synthesis parameter, among the plurality of still images, the two or more images A selecting means for selecting, a collective image processing means for performing the same fine adjustment processing on each of the still images selected by the selecting means, and a positional relationship in a state where the still image selected by the selecting means is selected. in comprises a connection means for temporarily connecting, with respect to the state of the image which are connected by said connecting means, and connecting the image processing means for performing a fine adjustment process, the said case The plurality of still images are combined into one panoramic image based on the combination parameters extracted by the composition parameter extraction unit .
[0017]
Thereby, the still images selected by the selection means are temporarily connected, and after being recognized as one image, functions such as movement, rotation, enlargement, reduction, deformation, etc. are executed, thereby forming one image. Since each function can be executed in the unit of the recognized connected image, fine adjustment for a plurality of still images can be performed easily, quickly, and accurately.
In addition, since the same fine adjustment processing (movement, rotation, enlargement, reduction, deformation, etc.) can be collectively performed on each of the still images selected by the selection unit, fine adjustment on a plurality of still images can be performed. Processing operations can be performed easily, quickly, and accurately.
[0018]
Note that the still image that can be selected by the selection unit may be one after the automatic alignment is temporarily performed by the corresponding point detection unit or one before the automatic alignment is performed by the corresponding point detection unit. There may be.
[0021]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, a first embodiment of an image synthesizing apparatus according to the present invention will be described with reference to FIGS. 1 to 5. In addition, since the basic processing steps of performing fine adjustment after performing the automatic registration from the capture of the thumbnail image and then performing the synthesizing process are the same as those in the above-described conventional example, the description is also omitted.
[0022]
Here, FIG. 1 is a functional block diagram showing the image synthesizing device of the present embodiment, FIG. 2 is an explanatory diagram showing a state in which a plurality of thumbnail images in the image synthesizing device of this embodiment are captured on a monitor screen, and FIG. FIG. 4 is an explanatory diagram showing a monitor screen in a state where automatic alignment has been completed in the image synthesizing apparatus according to the embodiment; FIG. 4 is a monitor when fine adjustment between images is performed after automatic alignment in the image synthesizing apparatus according to the embodiment; FIG. 5 is an explanatory diagram showing a screen, and FIG. 5 is an explanatory diagram showing a monitor screen after fine adjustment between images in the image synthesizing apparatus of the present embodiment.
[0023]
As shown in FIG. 1, in addition to the conventional image synthesizing apparatus described above with reference to FIG. 14, the image synthesizing apparatus according to the present embodiment includes link recognition units 29, 30, and 31 for recognizing selected thumbnail images as linked images. , 32, a connection memory 37 for taking in the thumbnail images recognized by the connection recognition units 29 to 32 as one image, and moving / rotating / enlarging / reducing / transforming the connected images taken in the connection memory 37. And a connection processing section 38 for performing processing such as the above.
[0024]
The thumbnail image (connected image) fine-adjusted by the connection processing unit 38 is input to the fine adjustment unit 42 and used for fine adjustment of the thumbnail image automatically aligned by the corresponding point detection unit 41.
[0025]
Next, the operation of the image synthesizing apparatus configured as described above will be described. FIG. 2 shows a state in which four thumbnail images 7 to 10 captured in the image memories 21 to 24 are displayed on the monitor unit 45. On the monitor screen 1, four thumbnail images 7 to 10, An image processing button including a rotation button 2, an enlargement button 3, a reduction button 4, an alignment button 5, a synthesis button 6, and a connection button 19 is displayed.
[0026]
Then, by clicking the alignment button 5, the corresponding point detection unit 41 detects a similar corresponding portion for each of the thumbnail images 7 to 10, calculates a relative positional relationship, and calculates the relative position. The thumbnails are automatically superimposed in relation to each other, and are roughly arranged on the monitor screen 1 such that the four thumbnail images 7 to 10 become one image as shown in FIG.
[0027]
Here, since the thumbnail images 7 to 10 are, for example, photos of a swimming race or a track and field event, and image contents when several parallel lines such as course lines are reflected, the thumbnail image 8 and the thumbnail image are displayed. It is assumed that a shift occurs in the vertical direction at the position with respect to the image 9.
[0028]
That is, in FIG. 3, the alignment between the thumbnail image 7 and the thumbnail image 8 and the alignment between the thumbnail image 9 and the thumbnail image 10 are normally performed, and only the alignment between the thumbnail image 8 and the thumbnail image 9 is performed. A gap has occurred. For this reason, it is necessary to correct the misalignment by fixing one of the group of images whose alignment is normal and moving the other, and here, the side of the image group including the thumbnail images 9 and 10 is moved. .
[0029]
First, after dragging the two thumbnail images 9 and 10 according to the instruction input, by clicking the link button 19, the thumbnail images 9 and 10 are recognized as linked images by the link recognition units 31 and 32, respectively. The data is taken into the connection memory 37. At this time, on the monitor screen 1 of the monitor unit 45, as shown in FIG. 4, the outlines of the thumbnail images 9 and 10 are displayed in broken lines, and are displayed so that the user can easily recognize that they are in a connected state.
[0030]
In this state, the thumbnail image 9 or a part of the thumbnail image 10 is clicked, and then moved vertically by dragging so as to match the overlapping portion between the thumbnail image 8 and the thumbnail image 9 to perform positioning. 5 can be obtained.
[0031]
As described above, the thumbnail image 9 and the thumbnail image 10 can be simultaneously moved in a connected state to adjust the positional deviation caused by the automatic alignment, so that the number of adjustments can be reduced. As described above, the connection processing unit 38 can simultaneously rotate / enlarge / reduce / deform a plurality of thumbnail images designated to be connected depending on the state of displacement between the thumbnail images.
[0032]
Based on the output of the connection processing unit 38, the fine adjustment unit 42 performs fine adjustment of the thumbnail images 9 and 10 automatically arranged by the corresponding point detection unit 41 automatically, as in the above-described conventional example. According to the result, after the synthesis parameter is extracted by the synthesis parameter extraction unit 43, the four thumbnail images 7 to 10 are synthesized by the image synthesis unit 44, and a panorama synthesized image is output.
[0033]
Next, a second embodiment of the image synthesizing apparatus of the present invention will be described with reference to FIGS. 6 to 13. The same parts as those in the first embodiment are denoted by the same reference numerals, and description thereof will be omitted.
[0034]
Here, FIG. 6 is a functional block diagram showing the image synthesizing apparatus of this embodiment, FIG. 7 is an explanatory diagram showing a state in which a plurality of thumbnail images in the image synthesizing apparatus of this embodiment are captured on a monitor screen, and FIG. FIG. 9 is an explanatory diagram illustrating a monitor screen in a state where an interlocking instruction is performed in the image compositing apparatus of the present embodiment. FIG. 9 is an explanatory diagram illustrating a monitor screen after performing fine adjustment processing between images in the image compositing apparatus of the present embodiment. FIG.
[0035]
FIG. 10 is an explanatory diagram showing a state in which a plurality of thumbnail images are captured on a monitor screen in the image synthesizing apparatus of this embodiment. FIG. 11 is a state in which an interlocking / linking instruction is performed in the image synthesizing apparatus of this embodiment. FIG. 12 is an explanatory diagram showing a monitor screen, FIG. 12 is an explanatory diagram showing a monitor screen after fine-tuning between images in the image synthesizing apparatus of the present embodiment, and FIG. 13 is an image showing each image in the image synthesizing apparatus of the present embodiment. It is an explanatory view showing a monitor screen after performing fine adjustment processing between.
[0036]
As shown in FIG. 6, the image synthesizing apparatus according to the present embodiment includes, in addition to the image synthesizing apparatus according to the first embodiment of the present invention described above with reference to FIG. Units 33, 34, 35, and 36, and a batch processing unit 39 that collectively performs processing such as movement / rotation / enlargement / reduction / deformation on the thumbnail images recognized by the link recognition units 33 to 36. I have.
[0037]
The thumbnail image (interlocked image) fine-tuned by the collective processing unit 39 is input to the corresponding point detection unit 41, and a common part between the thumbnail images is detected so that one image is obtained. Positioning is performed automatically.
[0038]
Next, the operation of the image synthesizing apparatus configured as described above will be described. FIG. 7 shows a state in which the four thumbnail images 11 to 14 loaded into the image memories 21 to 24 are displayed on the monitor unit 45, and the four thumbnail images 11 to 14, An image processing button including a rotation button 2, an enlargement button 3, a reduction button 4, a positioning button 5, a combination button 6, a connection button 19, and an interlock button 20 is displayed.
[0039]
Here, the thumbnail image 11 and the thumbnail image 12 and the thumbnail image 13 and the thumbnail image 14 have the same photographing magnification, respectively, but the thumbnail images 11 and 12 are the same as the images photographed at a larger magnification than the thumbnail images 13 and 14. Has become.
[0040]
As described above, when the photographing magnification of each thumbnail image is different, a panoramic image cannot be created as it is. Therefore, in order to adjust the image magnification, enlargement or reduction processing is performed before performing automatic positioning processing. There is a need. Here, the thumbnail images 13 and 14 are enlarged, and magnification equalization processing is performed on the thumbnail images 11 and 12.
[0041]
First, after dragging the two thumbnail images 13 and 14 according to the instruction input, by clicking the link button 20, the thumbnail images 13 and 14 are recognized as linked images by the link recognition units 31 and 32, respectively. . At this time, on the monitor screen 1 of the monitor section 45, as shown in FIG. 8, the outlines of the thumbnail images 13 and 14 are displayed in broken lines, and are displayed so that the user can easily recognize that they are in an interlocked state.
[0042]
In this state, by clicking the enlargement button 3, the thumbnail images 13 and 14 are simultaneously enlarged at the respective positions by the collective processing section 39. At this time, by continuing to click the enlargement button 3 or repeating the click several times while comparing the thumbnail image 12 with the thumbnail image 12, the magnification can be set equal to that of the thumbnail image 12, as shown in FIG.
[0043]
In this way, by performing the linked recognition of the specified thumbnail images, it is possible to perform fine adjustment processing collectively. It should be noted that the thumbnail images 11 and 12 can be linkedly recognized and reduced at the same time.
[0044]
Then, by clicking the alignment button 5, the corresponding point detection unit 41 detects a similar corresponding part for each of the finely adjusted thumbnail images 11 to 14, and determines the relative positional relationship. After the calculation, the images are automatically superimposed on the positional relationship, and a panoramic composite image in which the thumbnail images 11 to 14 are composited is output.
[0045]
As described above, the batch processing unit 39 can simultaneously perform fine adjustment processing such as rotation / deformation on a plurality of thumbnail images specified in conjunction with each other depending on the state between the thumbnail images.
[0046]
For example, as shown in FIG. 10, since each of the thumbnail images 15 to 18 does not have information on the shooting direction, all the images are arranged in a state rotated 90 degrees to the left. Since a panoramic image cannot be created, it is necessary to align the thumbnail images 15 to 18 before performing the automatic alignment process.
[0047]
Therefore, first, by dragging the four thumbnail images 15 to 18 by inputting an instruction, and clicking the link button 20, each of the thumbnail images 15 to 18 is recognized as a linked image by the link recognition units 31 to 34. At this time, on the monitor screen 1 of the monitor unit 45, as shown in FIG. 11, the outlines of the four thumbnail images 15 to 18 are displayed in broken lines, and are displayed so that the user can easily recognize that they are linked.
[0048]
In this state, when the rotation button 2 is clicked, the four thumbnail images 15 to 18 are simultaneously rotated to the right by 90 degrees in the batch processing unit 39, and are rearranged and displayed as shown in FIG. As described above, the four thumbnail images 15 to 18 are interlockingly recognized and simultaneously subjected to the rotation processing, thereby making it possible to perform the collective adjustment.
[0049]
Further, when synthesizing a thumbnail image of a high-rise building or a tower, as shown in FIG. 10, since each of the thumbnail images 15 to 18 does not have information on the shooting direction, the thumbnail images 15 to 18 may be tilted to the left. All the thumbnail images 15 to 18 are arranged and displayed in the horizontal direction.
[0050]
Therefore, first, after dragging the four thumbnail images 15 to 18 by inputting an instruction, by clicking the link button 19, each of the thumbnail images 15 to 18 is recognized as a linked image by the link recognition units 29 to 32. At this time, on the monitor screen 1 of the monitor unit 45, as shown in FIG. 11, the outlines of the four thumbnail images 15 to 18 are indicated by broken lines, and are displayed so that the user can easily recognize that they are in a connected state.
[0051]
In this state, when the rotation button 2 is clicked, the connected image is rotated right by 90 degrees by the collective processing section 39, and is rotated right by 90 degrees to be aligned in the vertical direction as shown in FIG. In this way, by performing the connection recognition, it is possible to adjust the alignment of the four thumbnail images 15 to 18 to a desired arrangement with a single adjustment.
[0052]
In the above-described embodiment of the present invention, the information processing apparatus main body including the image memories 21 to 24, the connection memory 37, the monitor unit 45, a CPU and a program memory (not shown), a pointing device for inputting an instruction, and the like. The single processing units 25 to 28, the connection recognition units 29 to 32, the link recognition units 33 to 36, the connection processing unit 38, the batch processing unit 39, the corresponding point detection unit 41, the fine adjustment unit 42, and the synthesis parameter extraction unit 43 The above-described operation can be realized inside a software application by providing a recording medium (such as a CD-ROM) in which the respective processing programs in the image synthesizing section 44 are detachably provided. .
[0053]
【The invention's effect】
Since the image synthesizing apparatus according to the first aspect of the present invention has the above-described configuration, the still images selected by the selection unit are temporarily connected, and after being recognized as one image, the moving image is moved. -By executing functions such as rotation, enlargement, reduction, deformation, etc., each function can be executed in units of a connected image recognized as one image, so that fine adjustment for multiple still images can be performed easily and easily. It can be done quickly and accurately.
[0054]
In addition , since the same fine adjustment processing (movement, rotation, enlargement, reduction, deformation, etc.) can be collectively performed on each of the still images selected by the selection unit, fine adjustment on a plurality of still images can be performed. Processing operations can be performed easily, quickly, and accurately.
[Brief description of the drawings]
FIG. 1 is a functional block diagram illustrating a first embodiment of an image composition device according to the present invention.
FIG. 2 is an explanatory diagram showing a state in which a plurality of thumbnail images are captured on a monitor screen in the first embodiment of the image synthesizing apparatus of the present invention.
FIG. 3 is an explanatory diagram showing a monitor screen in a state where automatic alignment has been completed in the first embodiment of the image synthesizing apparatus of the present invention.
FIG. 4 is an explanatory diagram showing a monitor screen when performing fine adjustment between images after automatic alignment in the first embodiment of the image synthesizing apparatus of the present invention.
FIG. 5 is an explanatory view showing a monitor screen after fine adjustment between images in the first embodiment of the image synthesizing apparatus of the present invention.
FIG. 6 is a functional block diagram showing a second embodiment of the image synthesizing device of the present invention.
FIG. 7 is an explanatory diagram showing a state in which a plurality of thumbnail images are captured on a monitor screen in the second embodiment of the image synthesizing apparatus of the present invention.
FIG. 8 is an explanatory diagram showing a monitor screen in a state where an interlocking instruction has been issued in the second embodiment of the image synthesizing apparatus of the present invention.
FIG. 9 is an explanatory diagram showing a monitor screen after performing fine adjustment processing between images in a second embodiment of the image synthesizing apparatus of the present invention.
FIG. 10 is an explanatory diagram showing a state in which a plurality of thumbnail images are captured on a monitor screen in the second embodiment of the image synthesizing apparatus of the present invention.
FIG. 11 is an explanatory diagram showing a monitor screen in a state where an interlocking / linking instruction is performed in the second embodiment of the image synthesizing apparatus of the present invention.
FIG. 12 is an explanatory diagram showing a monitor screen after performing fine adjustment processing between images in the second embodiment of the image synthesizing apparatus of the present invention.
FIG. 13 is an explanatory diagram showing a monitor screen after performing fine adjustment processing between images in the second embodiment of the image synthesizing apparatus of the present invention.
FIG. 14 is a functional block diagram showing a conventional image synthesizing apparatus.
FIG. 15 is an explanatory diagram showing a state in which a plurality of thumbnail images in a conventional image synthesizing apparatus are captured on a monitor screen.
FIG. 16 is an explanatory diagram showing a monitor screen in a state where automatic alignment has been completed in a conventional image synthesizing apparatus.
FIG. 17 is an explanatory diagram showing a monitor screen in a state where fine adjustment between images has been performed after automatic positioning in the conventional image synthesizing apparatus.
[Explanation of symbols]
1 Monitor screen 2 Rotate button 3 Enlarge button 4 Reduce button 5 Align button 6 Synthetic button 7, 8, 9, 10 Thumbnail images 11, 12, 13, 14 Thumbnail images 15, 16, 17, 18 Thumbnail image 19 Link button 20 Link buttons 21, 22, 23, 24 Image memories 25, 26, 27, 28 Single processing units 29, 30, 31, 32 Link recognition units 33, 34, 35, 36 Link recognition units 37 Connection memory 38 Connection processing unit 39 Batch processing unit 41 Corresponding point detection unit 42 Fine adjustment unit 43 Synthesis parameter extraction unit 44 Image synthesis unit 45 Monitor unit

Claims

それぞれの一部が重複した複数の撮影静止画像を記憶するメモリ手段と、
上記複数の静止画像の共通部分を検出する対応点検出手段と、
上記複数の静止画像の対応位置関係及び対応領域の画像信号レベルを、合成パラメータとして抽出する合成パラメータ抽出手段と、を備えた画像合成装置において、
上記複数の静止画像のうち、２画像以上を選択する選択手段と、
上記選択手段により選択された静止画像のそれぞれに対し、同一微調整加工を施す一括画像加工手段と、
上記選択手段により選択された静止画像を、選択された状態における位置関係で一時的に連結する連結手段と、
上記連結手段により連結された状態の画像に対して、微調整加工を施す連結画像加工手段と、
を有し、上記合成パラメータ抽出手段で抽出された合成パラメータに基づき、上記複数の静止画像を１枚のパノラマ画像に合成することを特徴とする画像合成装置。A memory means for storing a plurality of photographed still images each partially overlapping,
Corresponding point detection means for detecting a common portion of the plurality of still images,
An image synthesizing apparatus provided with an image signal level of the corresponding positional relationship and the corresponding region of the plurality of still images, a synthesis parameter extracting means for extracting a synthesis parameters, and
Selecting means for selecting two or more images from the plurality of still images;
Batch image processing means for performing the same fine adjustment processing on each of the still images selected by the selection means,
Connecting means for temporarily connecting the still image selected by the selecting means in a positional relationship in a selected state,
Connected image processing means for performing fine adjustment processing on the images connected by the connecting means ,
An image synthesizing apparatus , wherein the plurality of still images are synthesized into one panoramic image based on the synthesis parameters extracted by the synthesis parameter extracting means .