JP3947290B2 - 画像合成処理装置および画像合成処理プログラムを記録した記録媒体 - Google Patents
画像合成処理装置および画像合成処理プログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP3947290B2 JP3947290B2 JP00784098A JP784098A JP3947290B2 JP 3947290 B2 JP3947290 B2 JP 3947290B2 JP 00784098 A JP00784098 A JP 00784098A JP 784098 A JP784098 A JP 784098A JP 3947290 B2 JP3947290 B2 JP 3947290B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image information
- information
- order
- composition processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Circuits (AREA)
- Television Signal Processing For Recording (AREA)
Description
【発明の属する技術分野】
本発明は、画像合成処理装置および画像合成処理プログラムを記録した記録媒体、より詳しくは、一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報を継ぎ合わせる画像合成処理装置および画像合成処理プログラムを記録した記録媒体に関する。
【0002】
【従来の技術】
銀塩カメラにおいては、撮影時にカメラの方向をずらしながら同一の被写体を連続的に撮影し、これらフィルム上に露光された複数の撮影画像からプリントを作成する際に、各画像の重複位置をうまく合わせながら一枚のパノラマプリントを得る技術が知られている。
【0003】
このような技術をCCD等の撮像素子を用いた電子的撮像装置に応用したものが開発されていて、例えば本出願人が、特願平9−157083号において提案したものが挙げられる。
【0004】
この特願平9−157083号に記載のものは、パノラマ撮影により撮影された1組の画像に対応する画像情報を記録媒体に記録可能な電子的撮像装置であって、上記パノラマ撮影における上記電子的撮像装置の回転方向に対応する情報を設定する回転方向設定手段と、該回転方向設定手段によって設定された上記回転方向に対応する情報を上記記録媒体に記録する回転方向記録手段と、該記録媒体に記録された上記回転方向に対応する情報に基づいて上記1組のパノラマ画像の配列を制御する制御手段と、該制御手段により配列されたパノラマ画像に対して所定の画像編集を行うための編集情報を表示する表示手段と、該表示手段に表示された編集情報に基づいて所定の編集作業を行うための制御手段とを備えた電子的撮像装置である。
【0005】
上述したような電子的撮像装置により、一被写体像を構成するために互いに重複する部分を有するように撮影された複数の画像情報は、該電子的撮像装置自体で継ぎ合わせを行って一画像を合成しても良いが、現状では、処理速度や処理プログラムのサイズなどから、パーソナルコンピュータ等のコンピュータ上で行うことが現実的である。
【0006】
そこで、ユーザが複雑な操作を行う必要なく、こうした画像合成を手軽に行うことができる処理装置や処理プログラムの実現が望まれている。
【0007】
【発明が解決しようとする課題】
コンピュータ等で画像情報の処理を行う場合に、記録媒体に記録された画像情報をインデックス画像として複数並べてユーザに表示する技術が知られているが、これを単純に画像合成処理装置や画像合成処理プログラムに適用してインデックス画像を並べただけでは、どの画像が継ぎ合わせて合成を行う処理の対象となるのかを直ちに判別することができない。
【0008】
また、従来の画像合成処理装置や画像合成処理プログラムにおいては、継ぎ合わせて合成を行う処理の対象となる一連の画像情報を一括して簡便に指定する手段については、特に考慮されていなかった。
【0009】
さらに、電子的撮像装置を画像合成によるパノラマモードに設定してユーザが撮影した後に、パノラマモードの解除を忘れたまま単一コマの撮影を行ってしまう場合があり、従来の画像合成処理装置や画像合成処理プログラムにおいては、このような場合に対処する手段が講じられていなかった。
【0010】
本発明は上記事情に鑑みてなされたものであり、操作性の良い画像合成処理装置および操作性の向上を図ることが可能な画像合成処理プログラムを記録した記録媒体を提供することを目的としている。
【0011】
【課題を解決するための手段】
上記の目的を達成するために、第1の発明による画像合成処理装置は、一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報とこれらの画像情報の矩形でなる撮影画面の長辺に係る2方向および短辺に係る2方向の内の1方向を示す撮影方向および上記複数の画像情報の撮影順序に係る情報を含む付随情報とを記録可能な記録媒体と、この記録媒体に記録された画像情報の概要を示すインデックス画像を複数同時に表示する表示手段と、上記付随情報に基づいて一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報に係るインデックス画像にそれ以外の画像情報に係るインデックス画像と識別するための識別表示を行うべく上記表示手段を制御する表示制御手段と、上記付随情報の撮影方向に係る情報に基づいて上記複数の画像情報を上記撮影順序の昇順または降順に並び替える並替手段と、この並替手段により上記昇順または降順に並び替えられた画像情報を一画像となるように一方向から継ぎ合わせて合成する画像合成手段とを備えたものである。
【0012】
また、第2の発明による画像合成処理装置は、上記第1の発明による画像合成処理装置において、上記識別表示がマークである。
【0013】
さらに、第3の発明による画像合成処理装置は、上記第1の発明による画像合成処理装置において、上記インデックス画像は周縁にフレームを有して表示され、上記識別表示はこのフレームの色彩もしくは模様またはこれらの結合を、上記それ以外の画像情報に係るインデックス画像のフレームと異ならせるものである。
【0014】
第4の発明による画像合成処理装置は、一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報とこれらの画像情報の矩形でなる撮影画面の長辺に係る2方向および短辺に係る2方向の内の1方向を示す撮影方向および上記複数の画像情報の撮影順序に係る情報を含む付随情報とを記録可能な記録媒体と、上記付随情報の撮影方向に係る情報に基づいて上記複数の画像情報を上記撮影順序の昇順または降順に並び替える並替手段と、この並替手段により上記昇順または降順に並び替えられた画像情報を一画像となるように一方向から継ぎ合わせて合成する画像合成手段と、上記一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報の内の少なくとも1つの画像情報を指定するための指示入力手段と、この指示入力手段の操作に応じて上記並替手段および画像合成手段による処理が自動的に行われるよう制御する制御手段とを備えたものである。
【0015】
第5の発明による画像合成処理装置は、上記第4の発明による画像合成処理装置において、上記画像合成手段により継ぎ合わせて合成された画像を表示する表示手段を備えたものである。
【0016】
第6の発明による画像合成処理装置は、上記第5の発明による画像合成処理装置において、上記画像合成手段による処理は、一画像情報とこれに続く画像情報とを継ぎ合わせて一段階の合成画像とし、さらに処理対象となる画像情報が存在する場合にはこの合成画像に次の画像情報を継ぎ合わせて次の段階の合成画像とする順序で行われるものであり、上記表示手段は、各段階における合成画像を表示するものである。
【0017】
第7の発明による画像合成処理装置は、上記第4の発明による画像合成処理装置において、上記記録媒体に記録された画像情報の概要を示すインデックス画像を複数同時に表示する表示手段を備え、上記指示入力手段はこの表示手段による表示を参照しながら操作可能なものである。
【0018】
第8の発明による画像合成処理装置は、上記第4または第7の発明による画像合成処理装置において、上記制御手段が、上記指示入力手段による一画像情報の指定に応じて、当該一画像情報が属する一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報の全てについて、上記並替手段および画像合成手段による処理が自動的に行われるよう制御するものである。
【0019】
第9の発明による画像合成処理装置は、上記第8の発明による画像合成処理装置において、上記制御手段が、上記付随情報に基づき、上記指示入力手段によって指定された一画像情報が属する一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報を判断するものである。
【0020】
第10の発明による画像合成処理装置は、上記第4または第7の発明による画像合成処理装置において、上記制御手段が、上記指示入力手段による指定に応じて、上記一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報の内の一部のみを、上記並替手段および画像合成手段による処理が自動的に行われる対象とするように制御するものである。
【0021】
第11の発明による画像合成処理装置は、上記第10の発明による画像合成処理装置において、上記制御手段が、上記指示入力手段によって指定された第1の画像情報を、上記並替手段および画像合成手段による自動的な処理において処理対象となる先頭の画像情報とするものである。
【0022】
第12の発明による画像合成処理装置は、上記第11の発明による画像合成処理装置において、上記制御手段が、上記指示入力手段によって指定された第2の画像情報を、上記並替手段および画像合成手段による自動的な処理において処理対象となる後尾の画像情報とするものである。
【0023】
第13の発明による画像合成処理装置は、上記第10の発明による画像合成処理装置において、上記指示入力手段が、上記並替手段および画像合成手段による自動的な処理の対象となる画像情報の数をさらに指定可能なものである。
【0024】
第14の発明による画像合成処理装置は、上記第4または第7の発明による画像合成処理装置において、上記制御手段が、上記指示入力手段によって指定された画像情報を、上記並替手段および画像合成手段による自動的な処理の対象から外すように制御するものである。
【0025】
第15の発明による画像合成処理装置は、上記第14の発明による画像合成処理装置において、上記制御手段が、上記指示入力手段によって指定された画像情報が当該一画像情報が属する一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報中の先頭側の2つおよび後尾側の2つを除く中間部分の画像情報の何れかである場合には、該指定された画像情報よりも先頭側となる一連の画像情報と後尾側となる一連の画像情報とを、新たな2つ以上の処理対象として分割して処理するものである。
【0026】
第16の発明による画像合成処理装置は、上記第14の発明による画像合成処理装置において、上記制御手段が、上記指示入力手段によって指定された画像情報を、上記並替手段および画像合成手段による自動的な処理の対象から外すように制御するとともに、その旨を上記記録媒体に記録するべく制御するものである。
【0027】
第17の発明による画像合成処理装置は、上記第4または第7の発明による画像合成処理装置において、上記指示入力手段が上記並替手段および画像合成手段による処理を手動により行うための選択を入力可能であり、上記制御手段は、この指示入力手段による手動処理の選択操作に応じて、上記並替手段および画像合成手段による処理が手動により行われるよう制御するものである。
【0028】
第18の発明による画像合成処理装置は、上記第17の発明による画像合成処理装置において、上記指示入力手段が、上記並替手段および画像合成手段による手動処理の対象となる画像情報を指定可能なものである。
【0029】
第19の発明による画像合成処理プログラムを記録した記録媒体に記録された画像合成処理プログラムは、コンピュータに、一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報を継ぎ合わせる処理を行わせるものであって、画像情報の概要を示すインデックス画像を複数同時に表示させるべく表示手段を制御させ、上記画像情報の矩形でなる撮影画面の長辺に係る2方向および短辺に係る2方向の内の1方向を示す撮影方向および上記複数の画像情報の撮影順序に係る情報を含む付随情報に基づいて一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報に係るインデックス画像にそれ以外の画像情報に係るインデックス画像と識別するための識別表示を行うべく上記表示手段を制御させ、上記付随情報の撮影方向に係る情報に基づいて上記複数の画像情報を上記撮影順序の昇順または降順に並び替えさせ、上記昇順または降順に並び替えられた画像情報を一画像となるように一方向から継ぎ合わせて合成させるものである。
【0030】
第20の発明による画像合成処理プログラムを記録した記録媒体に記録された画像合成処理プログラムは、コンピュータに、一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報を継ぎ合わせる処理を行わせるものであって、上記画像情報の矩形でなる撮影画面の長辺に係る2方向および短辺に係る2方向の内の1方向を示す撮影方向および上記複数の画像情報の撮影順序に係る情報を含む付随情報の撮影方向に係る情報に基づいて上記複数の画像情報を上記撮影順序の昇順または降順に並び替えさせ、上記昇順または降順に並び替えられた画像情報を一画像となるように一方向から継ぎ合わせて合成させ、上記一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報の内の少なくとも1つの画像情報が指定されるのに応じて上記並べ替えの処理および画像合成の処理が自動的に行われるよう制御させるものである。
【0031】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図1から図26は本発明の一実施形態を示したものであり、図1は画像合成処理装置が適用されるシステムの構成を示す図である。
【0032】
電子的撮像装置であるデジタルカメラ1は、内蔵するCCD等の撮像素子により光電変換した画像のデータを、例えばフラッシュメモリ等でなる着脱自在の記録媒体2に記録するものである。
【0033】
この記録媒体2は、コンピュータとしてのパーソナルコンピュータ3に設けられたリーダ部に装着されて、記録された画像データが読み込まれるようになっている。このパーソナルコンピュータ3には、画像やその他の処理情報を表示するための表示手段たるディスプレイ4と、主として文字入力等を行うための指示入力手段たるキーボード5と、上記ディスプレイ4に表示された画面上の位置を指し示すための同指示入力手段たるマウス6とが接続されている。
【0034】
さらに、このパーソナルコンピュータ3には、大量の画像データを記録するためのデジタルレコーダ7や、画像の印刷を行うためのプリンタ8などが、必要に応じて接続されるようになっている。
【0035】
次に、図2を参照して上記パーソナルコンピュータ3の内部構成について説明する。
【0036】
このパーソナルコンピュータ3は、画像合成処理プログラムに従って画像の継ぎ合わせを行うとともにその他の各種プログラムに応じて各種の演算や制御などを行う並替手段、画像合成手段、制御手段、表示制御手段を兼ねたCPU11と、このCPU11の作業領域であって上記画像合成処理プログラムがロードされることにより該画像合成処理プログラムを記録した記録媒体となるメインメモリ12と、例えばハードディスクやフロッピーディスク等でなり上記画像合成処理プログラムを記録した記録媒体たる内部記録媒体13と、上記デジタルレコーダ7やプリンタ8などの各種の外部機器に接続するための外部ポート14と、上記ディスプレイ4を接続するインターフェース(以下、IFと略す)16と、上記キーボード5やマウス6を接続するIF17と、上記記録媒体2が電気的に接続されるコネクタ18およびIF15と、を有して構成されていて、上記CPU11、メインメモリ12、内部記録媒体13、外部ポート14、IF15,16,17は、バスを介して互いに接続されている。
【0037】
次に、図3は上記記録媒体2に記録されるデータの構成を示す図である。
【0038】
上記デジタルカメラ1により撮影された画像データは、例えば圧縮等の処理を施した後に、記録媒体2にファイル単位で記録されるようになっていて、該記録媒体2にはこれらの画像ファイルの位置を示すファイル位置テーブルが設けられている。
【0039】
なお、上記記録媒体2は、汎用のものであっても良いが、パノラマ撮影用に設けられた専用のものであっても良い。
【0040】
上記画像ファイルは、画像データ(画像情報)と、この画像データに係る各種の情報を含んでなる付随情報たるヘッダ情報とを有して構成されている。
【0041】
このヘッダ情報は、画像ファイルのファイル名と、各撮影毎に割り振られるコマ番号と、撮影日時と、デジタルカメラ1が有する各種の撮影モードの内のどのモードでそのコマが撮影されたかを示す撮影モード情報と、後述する識別情報と、上記画像データの概要を示すインデックス表示等に用いるためのインデックス画像データと、を含んで構成されている。
【0042】
上記識別情報は、互いに重複部分または隣接部分を有して撮影された複数コマの画像データを継ぎ合わせてパノラマ画像を構成する際に用いられる情報であり、例えば2バイトのデータで構成されている。すなわち、該識別情報の1バイト目は、上記デジタルカメラ1による撮影方向、つまり一パノラマ画像を構成する複数のコマがどの方向に撮影されたかを示す情報が格納されており、該デジタルカメラ1の矩形でなる撮影画面の長辺側の2方向(左右方向)および短辺側の2方向(上下方向)の合計4方向の情報が含まれている。具体的には、長辺側の右方向のとき「1」、長辺側の左方向のとき「2」、短辺側の上方向のとき「3」、短辺側の下方向のとき「4」のデータがそれぞれ記録される。
【0043】
次に、上記識別情報の2バイト目は、そのコマの画像データが、複数コマの画像データで構成されるパノラマ画像において何番目に撮影されたかを示す情報であり、撮影順序に応じて1から順に割り振られるようになっている。
【0044】
なお、各コマがパノラマ画像の一部であるか否かは、この識別情報の有無により判断することができるようになっている。
【0045】
図4はパーソナルコンピュータ3により実行される画像合成処理プログラムのメインルーチンを示すフローチャートである。
【0046】
なお、このメインルーチンや後述するサブルーチンを含む画像合成処理プログラムは、上述したように、内部記録媒体13に記録されており、実行時にはメインメモリ12にロードされて、上記CPU11により順次処理されるようになっている。そして、該画像合成処理プログラムは、上記内部記録媒体13に記録可能なサイズかつ上記メインメモリ12にロード可能なサイズとなるようにプログラミングされたものである。
【0047】
この処理は、ユーザがマウス6やキーボード5を操作して、インデックス画像表示の処理を起動する(ステップS1)ことにより開始される。すなわち、内部記録媒体13に記録されている該画像合成処理プログラムがメインメモリ12にロードされて、CPU11により順次実行される。
【0048】
まず、後述するような画像インデックスが表示されるとともに、継ぎ合わせて画像合成を行う対象のコマを、その他の単一撮影のコマ等に対して容易に判別することができるような表示を行う(ステップS2)。
【0049】
そして、ユーザが対象コマの何れかを選択すると(ステップS3)、上記識別情報に基づいてその対象コマを含むパノラマ画像を構成する全ての対象コマが自動的に検出されて(ステップS4)、上記デジタルカメラ1による撮影状態に対応した後述するような12個の各ケースに応じて自動的に画像データを継ぎ合わせて一のパノラマ画像を合成する処理を行い(ステップS5)、継ぎ合わせた結果の画像を表示する(ステップS6)。
【0050】
その後、自動的に継ぎ合わされた画像ではユーザが満足できない場合には、さらに手動で継ぎ合わせる処理を選択することができるようになっていて、この手動処理が選択されたか否かを判断し(ステップS7)、選択されていない場合にはそのまま、選択された場合には後述する手動処理を行ってから(ステップS8)、終了する。
【0051】
図5は、上記図4におけるステップS2の表示判別処理の詳細を示すフローチャートである。
【0052】
この表示判別処理が開始されると、画像ファイルを構成するデータの内のヘッダ情報をまず読み込む(ステップS11)。
【0053】
そして、ヘッダ情報内の識別情報の1バイト目が1以上4以下であるか否かを判断することにより、その画像データがパノラマ画像を構成するものであるかを判断する(ステップS12)。
【0054】
ここで識別情報の1バイト目が1以上4以下である場合には、図6または図7に例示するような表示を行う(ステップS13)。
【0055】
図6は画像の背景(フレーム)の表示色を変化させて識別表示とする例である。
【0056】
画像インデックスの画面21内には、各コマを表示する領域22が複数配列されていて、この領域22内に各コマの画像24が表示され、その周縁はフレーム23となっている。
【0057】
この図6の例では、上段の2コマ目および3コマ目が第1の継ぎ合わせ用画像の組であり、下段の4コマ目および5コマ目が第2の継ぎ合わせ用画像の組となっていて、その背景(フレーム)の表示色を変化させることにより、これらの画像がパノラマ画像を構成するものである旨を表示している。
【0058】
なお、ここでは色彩を変化させているが、フレームの模様を変化させても良いし、あるいは色彩および模様の双方を変化させて、その他の画像と識別可能となるようにしても良い。
【0059】
また、図7はフレームにマークを表示して識別表示とする例である。
【0060】
この例では、対象となるフレームの例えば右下にマーク25を表示させることにより、これらの画像がパノラマ画像を構成するものである旨を表示するようになっている。
【0061】
このステップS13が終了するか、あるいは上記ステップS12において識別情報の1バイト目が1未満または4より大きいときには、次のコマ(次のヘッダ情報)があるか否かを判定し(ステップS14)、ある場合には上記ステップS11に戻って次のコマに対して同様の処理を繰り返す。また、このステップS14において次のコマがない場合には、この処理を抜ける。
【0062】
図8は上記図4のステップS4における対象画像自動検出の処理を示すフローチャートである。
【0063】
この処理は、一パノラマ画像を構成する複数コマの画像の内の何れが選択されても、全ての処理対象のコマを適切に判別するものである。
【0064】
ユーザが上記キーボード5またはマウス6により、画像インデックス内から1コマの画像をポイントして選択することにより(ステップS21)、この処理が始まる。
【0065】
そして、メニューまたはアイコンなどにより、ユーザが継ぎ合わせ処理モードを起動する(ステップS22)。なお、このステップS22と上記ステップS21は順序を入れ替えて処理することも可能である。
【0066】
まず、ヘッダ情報内の識別情報の1バイト目が1以上4以下であるか否かを判断することにより、その画像データがパノラマ画像を構成するものであるかを確認し(ステップS23)、パノラマ画像を構成するものでない場合にはそのままこの処理を抜ける。
【0067】
一方、パノラマ画像を構成する画像であることが確認された場合には、識別情報の1バイト目を記憶領域Aに格納し、識別情報の2バイト目を記憶領域Bおよび記憶領域Cにそれぞれ格納し、コマ番号(画像順番)を記憶領域Pに格納する(ステップS24)。
【0068】
そして、現在のコマを継ぎ合わせ対象画像として記録してから(ステップS25)、次のコマのヘッダ情報を読み込み(ステップS26)、読み込みが成功したか否かを判断する(ステップS27)。このステップS27は、次のコマがあるか否かを判定するものであり、次のコマがあれば読み込みを行うことができ、現コマが最終コマで次にはコマがもう存在しない場合には、読み込みが不成功となる。
【0069】
読み込みが成功した場合には、識別情報の1バイト目が上記記憶領域Aに格納された値と等しくかつ識別情報の2バイト目が上記記憶領域Cに格納された値に1を加算した値と等しいか否かを判定する(ステップS28)。これにより、同一のパノラマ画像を構成するコマで、かつ連続する次のコマであるか否かを判断する。
【0070】
この条件が成立する場合には、上記記憶領域Cに格納される値をインクリメントし(ステップS29)、上記ステップS25に戻る。
【0071】
また、上記ステップS27において読み込みが不成功であるか、あるいは上記ステップS28の条件が成立しない場合には、記憶領域Bに格納された値を記憶領域Cにコピーし(ステップS30)、上記記憶領域Pに格納されているコマ番号よりも一つ小さい値のコマ番号のヘッダ情報、つまり1コマ前のコマのヘッダ情報を読み込む(ステップS31)。
【0072】
そして、読み込みが成功したか否かを判断し(ステップS32)、成功した場合には識別情報の1バイト目が上記記憶領域Aに格納された値と等しくかつ識別情報の2バイト目が上記記憶領域Cに格納された値から1を減算した値と等しいか否かを判定する(ステップS33)。これにより、同一のパノラマ画像を構成するコマで、かつ連続する前のコマであるか否かを判断する。
【0073】
この条件が成立する場合には、上記記憶領域Cに格納される値をデクリメントし(ステップS34)、継ぎ合わせ対象画像として記録して(ステップS35)、次のコマのヘッダ情報を読み込んで(ステップS36)、上記ステップS32に戻る。
【0074】
また、上記ステップS32において読み込みが不成功であるか、あるいは上記ステップS33の条件が成立しない場合には、記録されている継ぎ合わせ対象画像の枚数が2以上であるかを判断し(ステップS37)、2に達しない場合には画像合成を行うことができないために、その旨のメッセージをダイアログボックス等によってユーザに表示して(ステップS38)、この処理を抜ける。
【0075】
また、記録されている継ぎ合わせ対象画像の枚数が2以上である場合には、上記記憶領域Aに格納されている値に基づいて、後述するような自動継ぎ合わせを行うための各ケース毎の処理に分岐する(ステップS39)。
【0076】
次に、図9は上記各ケースにおいて行われる継ぎ合わせ処理の基本的なアルゴリズムを示したものであり、図10を参照しながら説明する。
【0077】
なお、後で各ケース毎に説明するように、継ぎ合わせ処理が行われる前の段階において、並替手段であるCPU11により、パノラマ画像を構成する複数コマの画像情報が、上記識別情報に基づいて、図10の最上段に示すように左から右に向かう所定の順序に並べ替えられるようになっている。
【0078】
この継ぎ合わせ処理が始まると、まず、左から1枚目の画像(図10の画像1)を読み込むとともに(ステップS41)、その次の右画像(図10の画像2)を読み込んで(ステップS42)、これら2枚の画像について継ぎ合わせ演算処理を行い(ステップS43)、図10に示すような結果画像1を得る。
【0079】
次に、次の右画像はまだあるか否かを判断し(ステップS44)、ある場合には上記処理した結果画像1を左画像として(ステップS45)、上記ステップS42に戻り続く右側画像の継ぎ合わせ処理を行う。
【0080】
また、上記ステップS44において、右画像がもうないと判断される場合には、この処理を抜ける。
【0081】
このように、この継ぎ合わせ処理においては、左側から画像を2枚ずつ順次継ぎ合わせて、最終的なパノラマ画像を得るようになっている。なお、図10に示すような各段階における結果画像、つまり結果画像1,結果画像2…は、その段階毎にディスプレイ4に表示させるようにして、処理状態をユーザが把握し易いようにしている。
【0082】
続いて、図11から図22を参照して、上記図4のステップS5における各ケース毎の自動処理について説明する。
【0083】
図11は、ケース1において、(A)撮影された画像の方向や順序を識別コードとともに示す図、(B)処理内容を示すフローチャートである。
【0084】
このケース1は、デジタルカメラ1を把持する右手が右となるような横位置に構えて、被写体を左側から右側に向かって順に複数枚に分けて撮影したときの場合である。このときには、撮影画面における長辺側の右方向に向けて撮影が行われるために識別コード(識別情報と同じ、以下同様)の1バイト目は1となり、識別コードの2バイト目は左から右に向かって昇順となる。
【0085】
従って、このケース1では、図11(B)に示すように、上記図9に示した継ぎ合わせ処理をそのまま行って(ステップS51)、リターンする。
【0086】
次に図12は、ケース2において、(A)撮影された画像の方向や順序を識別コードとともに示す図、(B)処理内容を示すフローチャートである。
【0087】
このケース2は、デジタルカメラ1を把持する右手が右となるような横位置に構えて、被写体を右側から左側に向かって順に複数枚に分けて撮影したときの場合である。このときには、撮影画面における長辺側の左方向に向けて撮影が行われるために識別コードの1バイト目は2となり、識別コードの2バイト目は右から左に向かって昇順となる。
【0088】
従って、このケース2では、図12(B)に示すように、まず識別情報の2バイト目が降順となるように画像データを並べ替えて(ステップS52)、その後、上記図9に示した継ぎ合わせ処理を行って(ステップS53)、リターンする。
【0089】
図13は、ケース3において、(A)撮影された画像の方向や順序を識別コードとともに示す図、(B)処理内容を示すフローチャートである。
【0090】
このケース3は、デジタルカメラ1を把持する右手が下となるような縦位置に構えて、被写体を左側から右側に向かって順に複数枚に分けて撮影したときの場合である。このときには、撮影画面における短辺側の上方向に向けて撮影が行われるために識別コードの1バイト目は3となり、識別コードの2バイト目は左から右に向かって昇順となる。
【0091】
従って、このケース3では、図13(B)に示すように、まず全ての処理対象画像を時計回りに90度回転して(ステップS54)、その後、上記図9に示した継ぎ合わせ処理を行って(ステップS55)、リターンする。
【0092】
図14は、ケース4において、(A)撮影された画像の方向や順序を識別コードとともに示す図、(B)処理内容を示すフローチャートである。
【0093】
このケース4は、デジタルカメラ1を把持する右手が下となるような縦位置に構えて、被写体を右側から左側に向かって順に複数枚に分けて撮影したときの場合である。このときには、撮影画面における短辺側の下方向に向けて撮影が行われるために識別コードの1バイト目は4となり、識別コードの2バイト目は右から左に向かって昇順となる。
【0094】
従って、このケース4では、図14(B)に示すように、まず全ての処理対象画像を時計回りに90度回転し(ステップS56)、識別情報の2バイト目が降順となるように画像データを並べ替えて(ステップS57)、その後、上記図9に示した継ぎ合わせ処理を行い(ステップS58)、リターンする。
【0095】
本実施形態では、上記図11から図14までに示したケース1からケース4を基本ケースとして、その他のケースを変形ケースとし、これらの基本ケースに帰着させるように処理している。
【0096】
図15は、ケース5において、(A)撮影された画像の方向や順序を識別コードとともに示す図、(B)処理内容を示すフローチャートである。
【0097】
このケース5は、デジタルカメラ1を把持する右手が上となるような縦位置に構えて、被写体を下側から上側に向かって順に複数枚に分けて撮影したときの場合である。このときには、撮影画面における長辺側の右方向に向けて撮影が行われるために識別コードの1バイト目は1となり、識別コードの2バイト目は下から上に向かって昇順となる。
【0098】
従って、このケース5では、図15(B)に示すように、まず上記図9に示した継ぎ合わせ処理を行い(ステップS59)、その後、結果画像を反時計回りに90度回転して(ステップS60)、リターンする。ここに、ステップS59の処理は、基本ケースの1つである上記ケース1処理の内容と同じであり、ステップS60の処理は結果画像を見たユーザが行うことになる。
【0099】
図16は、ケース6において、(A)撮影された画像の方向や順序を識別コードとともに示す図、(B)処理内容を示すフローチャートである。
【0100】
このケース6は、デジタルカメラ1を把持する右手が上となるような縦位置に構えて、被写体を上側から下側に向かって順に複数枚に分けて撮影したときの場合である。このときには、撮影画面における長辺側の左方向に向けて撮影が行われるために識別コードの1バイト目は2となり、識別コードの2バイト目は上から下に向かって昇順となる。
【0101】
従って、このケース6では、図16(B)に示すように、まず識別情報の2バイト目が降順となるように画像データを並べ替えて(ステップS61)、上記図9に示した継ぎ合わせ処理を行い(ステップS62)、その後、結果画像を反時計回りに90度回転して(ステップS63)、リターンする。ここに、ステップS61およびステップS62の処理は、基本ケースの1つである上記ケース2処理の内容と同じであり、ステップS63の処理は結果画像を見たユーザが行うことになる。
【0102】
図17は、ケース7において、(A)撮影された画像の方向や順序を識別コードとともに示す図、(B)処理内容を示すフローチャートである。
【0103】
このケース7は、デジタルカメラ1を把持する右手が下となるような縦位置に構えて、被写体を下側から上側に向かって順に複数枚に分けて撮影したときの場合である。このときには、撮影画面における長辺側の左方向に向けて撮影が行われるために識別コードの1バイト目は2となり、識別コードの2バイト目は下から上に向かって昇順となる。
【0104】
従って、このケース7では、図17(B)に示すように、まず識別情報の2バイト目が降順となるように画像データを並べ替えて(ステップS64)、上記図9に示した継ぎ合わせ処理を行い(ステップS65)、その後、結果画像を時計回りに90度回転して(ステップS66)、リターンする。ここに、ステップS64およびステップS65の処理は、基本ケースの1つである上記ケース2処理の内容と同じであり、ステップS66の処理は結果画像を見たユーザが行うことになる。
【0105】
図18は、ケース8において、(A)撮影された画像の方向や順序を識別コードとともに示す図、(B)処理内容を示すフローチャートである。
【0106】
このケース8は、デジタルカメラ1を把持する右手が下となるような縦位置に構えて、被写体を上側から下側に向かって順に複数枚に分けて撮影したときの場合である。このときには、撮影画面における長辺側の右方向に向けて撮影が行われるために識別コードの1バイト目は1となり、識別コードの2バイト目は上から下に向かって昇順となる。
【0107】
従って、このケース8では、図18(B)に示すように、まず上記図9に示した継ぎ合わせ処理を行い(ステップS67)、その後、結果画像を時計回りに90度回転して(ステップS68)、リターンする。ここに、ステップS67の処理は、基本ケースの1つである上記ケース1処理の内容と同じであり、ステップS68の処理は結果画像を見たユーザが行うことになる。
【0108】
図19は、ケース9において、(A)撮影された画像の方向や順序を識別コードとともに示す図、(B)処理内容を示すフローチャートである。
【0109】
このケース9は、デジタルカメラ1を把持する右手が右となるような横位置に構えて、被写体を下側から上側に向かって順に複数枚に分けて撮影したときの場合である。このときには、撮影画面における短辺側の上方向に向けて撮影が行われるために識別コードの1バイト目は3となり、識別コードの2バイト目は下から上に向かって昇順となる。
【0110】
従って、このケース9では、図19(B)に示すように、まず全ての処理対象画像を時計回りに90度回転し(ステップS69)、上記図9に示した継ぎ合わせ処理を行い(ステップS70)、その後、結果画像を反時計回りに90度回転して(ステップS71)、リターンする。ここに、ステップS69およびステップS70の処理は、基本ケースの1つである上記ケース3処理の内容と同じであり、ステップS71の処理は結果画像を見たユーザが行うことになる。
【0111】
図20は、ケース10において、(A)撮影された画像の方向や順序を識別コードとともに示す図、(B)処理内容を示すフローチャートである。
【0112】
このケース10は、デジタルカメラ1を把持する右手が右となるような横位置に構えて、被写体を上側から下側に向かって順に複数枚に分けて撮影したときの場合である。このときには、撮影画面における短辺側の下方向に向けて撮影が行われるために識別コードの1バイト目は4となり、識別コードの2バイト目は上から下に向かって昇順となる。
【0113】
従って、このケース10では、図20(B)に示すように、まず全ての処理対象画像を時計回りに90度回転し(ステップS72)、識別情報の2バイト目が降順となるように画像データを並べ替えて(ステップS73)、上記図9に示した継ぎ合わせ処理を行い(ステップS74)、その後、結果画像を反時計回りに90度回転して(ステップS75)リターンする。ここに、ステップS72からステップS74の処理は、基本ケースの1つである上記ケース4処理の内容と同じであり、ステップS75の処理は結果画像を見たユーザが行うことになる。
【0114】
図21は、ケース11において、(A)撮影された画像の方向や順序を識別コードとともに示す図、(B)処理内容を示すフローチャートである。
【0115】
このケース11は、デジタルカメラ1を把持する右手が上となるような縦位置に構えて、被写体を左側から右側に向かって順に複数枚に分けて撮影したときの場合である。このときには、撮影画面における短辺側の下方向に向けて撮影が行われるために識別コードの1バイト目は4となり、識別コードの2バイト目は左から右に向かって昇順となる。
【0116】
従って、このケース11では、図21(B)に示すように、まず全ての処理対象画像を時計回りに90度回転し(ステップS76)、識別情報の2バイト目が降順となるように画像データを並べ替えて(ステップS77)、上記図9に示した継ぎ合わせ処理を行い(ステップS78)、その後、結果画像を180度回転して(ステップS79)、リターンする。ここに、ステップS76からステップS78の処理は、基本ケースの1つである上記ケース4処理の内容と同じであり、ステップS79の処理は結果画像を見たユーザが行うことになる。
【0117】
図22は、ケース12において、(A)撮影された画像の方向や順序を識別コードとともに示す図、(B)処理内容を示すフローチャートである。
【0118】
このケース12は、デジタルカメラ1を把持する右手が上となるような縦位置に構えて、被写体を右側から左側に向かって順に複数枚に分けて撮影したときの場合である。このときには、撮影画面における短辺側の上方向に向けて撮影が行われるために識別コードの1バイト目は3となり、識別コードの2バイト目は右から左に向かって昇順となる。
【0119】
従って、このケース12では、図22(B)に示すように、まず全ての処理対象画像を時計回りに90度回転し(ステップS80)、上記図9に示した継ぎ合わせ処理を行って(ステップS81)、その後、結果画像を180度回転して(ステップS82)、リターンする。ここに、ステップS80およびステップS81の処理は、基本ケースの1つである上記ケース3処理の内容と同じであり、ステップS82の処理は結果画像を見たユーザが行うことになる。
【0120】
上述したように、撮影時の状態は12個に分別されるが、ユーザの操作による処理部分を除いては、全て4つの基本ケースに帰着されることがわかる。そして、どの基本ケースが適用されるかは、識別コードの1バイト目の値に応じて、つまり、1バイト目が1であればケース1の処理、2であればケース2の処理、3であればケース3の処理、4であればケース4の処理がそれぞれ自動的に行われることになる。
【0121】
さらに、これらの4つの基本ケースの何れにおいても同一のアルゴリズムによる図9の継ぎ合わせ処理を行っているために、極めてコンパクトで効率の良い処理プログラムとなっている。
【0122】
なお、上述では各ケース処理の内の一部をユーザの操作により行っているが、デジタルカメラ1に重力センサ等を設けてカメラの撮影姿勢を検出するか、あるいは該デジタルカメラ1に角速度センサ等を設けて回転角度および回転方向を検出し、検出した情報を画像ファイルのヘッダ情報として加えるようにすれば、ユーザの操作によることなく自動的に行うことも可能となる。
【0123】
次に、図23は、上記図4のステップS8における手動処理の内容を主として表示画面の様子により示すフローチャートである。
【0124】
上述したような自動処理により継ぎ合わせた結果画像32は、上記図4のステップS6において、画面31内に表示される。この画面31には、さらに、この結果画像32を見たユーザがその結果に満足した際に該結果画像32を確定するための継ぎ合わせOKボタン33と、ユーザが満足せず手動による再処理を行う際に操作する手動ボタン34と、この処理を抜けるための処理終了ボタン35とが、上記マウス6やキーボード5等により操作可能に表示されている。
【0125】
この状態で上記手動ボタン34を操作すると(ステップS91)、上記図10に示したような順序で画像の継ぎ合わせを手動により行うために、まず第1の画像(画像1)36と第2の画像(画像2)37が画面31内に表示される。さらに、このときの画面31には、これら第1の画像36と第2の画像37の一致させる部分を示すための位置合せ用指標36a,37aを指定するよう促すメッセージ38が表示される。また、この画面31では、上記処理終了ボタン35と、次の処理に進むための実行ボタン39とが表示されている。
【0126】
位置合せ用指標36a,37aを指定した後に実行ボタン39を操作すると(ステップS92)、これら位置合せ用指標36a,37aが合致するような手動継ぎ合わせ処理の演算が上記CPU11により行われる(ステップS93)。
【0127】
そして、この継ぎ合わせを行った結果画像40が画面31に表示されるとともに、さらに続いて継ぎ合わせを行う対象の画像データ(例えば図中の第3の画像41)がある場合には、それも表示する。このとき、画像が長くなって同時に表示することができない場合には、スライド操作することによって表示位置を変更することができるスライドバー42が表示されるようになっている。また、この画面31においては、上記継ぎ合わせOKボタン33と、処理終了ボタン35が表示されるとともに、ユーザがこの手動による第1の画像36と第2の画像37の継ぎ合わせ結果が気に入らず、もう一度継ぎ合わせを行いたい場合に操作する戻るボタン43が表示されている。
【0128】
この戻るボタン43が操作された場合には(ステップS94)、上記ステップS92に処理に戻って手動による継ぎ合わせ処理をやり直すことができる。
【0129】
上述したような継ぎ合わせ処理の対象となる画像は、上記デジタルカメラ1におけるパノラマ撮影時に指定されるが、これをパーソナルコンピュータ3側で解除することも可能である。
【0130】
図24は上述のような継ぎ合わせ処理の対象解除を行うときの画面の様子を示す図である。
【0131】
上述した図6と同様に、上段の2コマ目および3コマ目が第1の継ぎ合わせ用画像の組であり、下段の4コマ目および5コマ目が第2の継ぎ合わせ用画像の組となっている状態において、上段の2コマ目を解除しようとする場合には、まずこの2コマ目をマウス6やキーボード5等により指定する。このとき、指定した画像のフレーム23は、継ぎ合わせ対象の画像とはさらに異なる背景色となって、指定されていることが簡単に視認できるようになっている。
【0132】
そして、メニューの中の画像に関するプルダウンメニュー26からパノラマ解除の項目26aを選択することにより、該上段の2コマ目が継ぎ合わせ処理の対象から解除される。
【0133】
このときに、上段の3コマ目は継ぎ合わせの対象を自ずから失うために、これを判断して該上段の3コマ目についても自動的に対象解除を行うようにしても良いし、あるいは、その他の処理に用いる可能性がある場合には、上段の3コマ目については対象解除を行わず、そのままにしておいても良い。
【0134】
図25は、例えば上段の1コマ目から5コマ目までが一パノラマ画像を構成する画像データである場合に、その途中の3コマ目の対象解除を行うときの画面の様子を示す図である。
【0135】
この場合には、上段の1コマ目と2コマ目は連続した画像であるためにこれらから新しい継ぎ合わせ画像を構成することができ、上段の4コマ目と5コマ目も同様に連続した画像であるために新しい継ぎ合わせ画像を構成することができる。
【0136】
こうして、1つの長いパノラマ画像の一部を対象解除することにより、残りの部分から複数のパノラマ画像を構成することが可能となる。
【0137】
なお、この例のように1つの長いパノラマ画像を2つ以上に分割しようとする場合には、対象解除をするのは最初の2コマおよび最後の2コマを除く中間部分の画像データについてとなる。なぜならば、両端のコマを対象解除してもパノラマ画像の範囲が縮まるだけであり、両端の1つ内側のコマを対象解除しても、その外側である両端のコマは単一のコマとなってパノラマ画像を構成する対象とはならないからである。
【0138】
図26は、上記図25と同様に例えば上段の1コマ目から5コマ目までが一パノラマ画像を構成する画像データである場合に、一部を対象解除することで、継ぎ合わせの対象を限定するときの画面の様子を示す図である。
【0139】
すなわち、上段の1コマ目および2コマ目を継ぎ合わせの対象から解除することにより、残る上段の3コマ目から5コマ目のみが継ぎ合わせの対象となって、一パノラマ画像を構成するものである。
【0140】
なお、上述したような継ぎ合わせ処理の対象解除は、メインメモリ12上にロードされているインデックス画像データを含むヘッダ情報の部分についてのみ行って、記録媒体2や内部記録媒体13に記録されている情報は変更しないようにしても良い。この場合には、これら記録媒体2や内部記録媒体13の画像ファイルを再度読み込むと、再び対象解除が行われていない画像インデックスが表示されることになる。
【0141】
あるいは、対象解除を行った結果を記録媒体2や内部記録媒体13に書き込むように、CPU11により制御させても良い。この場合には、これら記録媒体2や内部記録媒体13の画像ファイルを再度読み込むと、対象解除を行った状態の画像インデックスが表示されることになる。
【0142】
さらには、対象解除をまずメインメモリ12上の情報についてのみ行い、その後、その結果を書き込むか否かをユーザが選択することができるようにすればなお良い。
【0143】
なお、上述ではパノラマ画像を構成する複数のコマの内の一部のみを継ぎ合わせ処理の対象とするために、所望のコマを対象から解除する手段を用いたが、これに限るものではなく、例えば、上記マウス6やキーボード5により処理対象の先頭コマや後尾コマを指定させる手段を用いても良いし、あるいは処理対象のコマ数を指定することができるようにしても良い。
【0144】
また、手動処理においても対象となるコマをユーザーが所望に指定することができるようにするとなお良い。
【0145】
そして、上述では指示入力手段としてマウスやキーボードを例に挙げたが、むろんこれらに限定されるものではなく、種々の手段を広く適用することが可能である。
【0146】
このような実施形態によれば、画像ファイルのヘッダ情報として識別情報を設けたために、どの画像が継ぎ合わせの対象となっているかを判別することができ、さらに、該識別情報内の撮影方向や撮影順序の情報に基づいて、ケース毎に用意されている複数の処理を選択し、自動的に継ぎ合わせ処理を行うことが可能となる。
【0147】
また、撮影方向や撮影順序に対応する複数のケースについて、基本的な幾つかの処理ケースと、その他の処理ケースとに分類して、基本的な処理ケースをその他の処理ケースの一部にそのまま適用可能としているために、画像合成処理プログラムの軽量化および高速化を図ることができ、メインメモリや内部記録媒体等を占有する容量を減少させることができる。
【0148】
さらに、継ぎ合わせ処理の基本的なアルゴリズムは全て同一のものを用いているために、より一層の画像合成処理プログラムの軽量化および高速化を図ることが可能となる。
【0149】
そして、画像合成処理プログラムをプログラミングする際にも、コーディングおよびデバッグを行う時間を短縮することができ、開発効率が向上する。
【0150】
また、画像インデックスを表示するときには、継ぎ合わせ処理の対象となる画像について、自動的にフレームの色や模様を変化させたりマークを表示させたりしているために、ユーザが一目で処理対象の画像を識別することができる。
【0151】
そして、処理対象の画像を1つ指定するだけで、一のパノラマ画像を構成するその他の処理対象の画像を自動的に検出するために、操作が簡便になって効率を向上させることができるとともに、ユーザが選択を誤るなどを防ぐことが可能となる。
【0152】
ユーザが自動的な継ぎ合わせ処理の結果に満足しない場合や、自動的な継ぎ合わせでは良好な処理が行えない場合には、手動による処理に移行することができるために、操作の自由度が高まる。
【0153】
加えて、継ぎ合わせ対象となっている画像を、その対象から外すことが可能であるために、ユーザがパノラマモードにより撮影をして、その後、パノラマモードの解除を忘れたまま撮影を行った場合にも、パーソナルコンピュータでの処理時に任意に対象解除を行えば、柔軟に対応することができる。
【0154】
また、継ぎ合わせ対象となる複数の画像の内の途中の画像を処理対象から外すことにより、その画像の前の複数の画像を継ぎ合わせ対象としたパノラマ画像を構成するとともに、該画像の後の複数の画像を継ぎ合わせ対象としたパノラマ画像を構成することができ、分割継ぎ合わせ処理が可能となる。
【0155】
なお、本発明は上述した各実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【0156】
【発明の効果】
以上説明したように請求項1による本発明の画像合成処理装置によれば、一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報に係るインデックス画像を、それ以外の画像情報に係るインデックス画像と容易に識別することができ、操作性が向上する。
【0157】
また、請求項2による本発明の画像合成処理装置によれば、請求項1の発明と同様の効果を奏するとともに、マークによって一目で識別可能となる。
【0158】
さらに、請求項3による本発明の画像合成処理装置によれば、請求項1の発明と同様の効果を奏するとともに、フレームの色彩もしくは模様またはこれらの結合により、一目で識別可能となる。
【0159】
請求項4による本発明の画像合成処理装置によれば、指示入力手段の操作に応じて、上記並替手段および画像合成手段による処理が自動的に行われるために、処理対象となる画像情報の全てを指定する必要がなくなり操作性が向上する。
【0160】
請求項5による本発明の画像合成処理装置によれば、請求項4の発明と同様の効果を奏するとともに、画像合成手段により継ぎ合わせて合成された画像が表示されるために、合成画像を確認することができる。
【0161】
請求項6による本発明の画像合成処理装置によれば、請求項5の発明と同様の効果を奏するとともに、各段階における合成画像が表示されるために、継ぎ合わせて合成される画像を順次確認することができる。
【0162】
請求項7による本発明の画像合成処理装置によれば、請求項4の発明と同様の効果を奏するとともに、インデックス画像を参照しながら指示入力手段を操作可能であるために、操作性がさらに向上する。
【0163】
請求項8による本発明の画像合成処理装置によれば、請求項4または請求項7の発明と同様の効果を奏するとともに、一画像情報を指定するだけで、処理対象となる全ての画像情報について自動的に処理が行われるために、操作性がさらに向上する。
【0164】
請求項9による本発明の画像合成処理装置によれば、請求項8の発明と同様の効果を奏するとともに、付随情報を有効に用いることにより、操作性の向上を図ることができる。
【0165】
請求項10による本発明の画像合成処理装置によれば、請求項4または請求項7の発明と同様の効果を奏するとともに、ユーザの意図に応じたより細かい処理が可能となる。
【0166】
請求項11による本発明の画像合成処理装置によれば、請求項10の発明と同様の効果を奏するとともに、処理対象となる先頭の画像情報をユーザの意図に応じて指定することが可能となる。
【0167】
請求項12による本発明の画像合成処理装置によれば、請求項11の発明と同様の効果を奏するとともに、処理対象となる後尾の画像情報をユーザの意図に応じて指定することが可能となる。
【0168】
請求項13による本発明の画像合成処理装置によれば、請求項10の発明と同様の効果を奏するとともに、処理対象となる画像情報の数をユーザの意図に応じて指定することが可能となる。
【0169】
請求項14による本発明の画像合成処理装置によれば、請求項4または請求項7の発明と同様の効果を奏するとともに、処理対象から外す画像情報を指定することにより、ユーザの意図に応じたより細かい処理が可能となる。
【0170】
請求項15による本発明の画像合成処理装置によれば、請求項14の発明と同様の効果を奏するとともに、一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報を、複数に分割することが可能となる。
【0171】
請求項16による本発明の画像合成処理装置によれば、請求項14の発明と同様の効果を奏するとともに、記録媒体から画像情報を再び読み込んだ場合に、処理対象から外したい画像情報を再び指定する必要がなく、操作性がさらに向上する。
【0172】
請求項17による本発明の画像合成処理装置によれば、請求項4または請求項7の発明と同様の効果を奏するとともに、手動による処理が可能となって、より一層ユーザの意図に応じた処理が可能となる。
【0173】
請求項18による本発明の画像合成処理装置によれば、請求項17の発明と同様の効果を奏するとともに、ユーザが所望の画像情報のみを手動処理の対象として指定することができる。
【0174】
請求項19による本発明の画像合成処理プログラムを記録した記録媒体によれば、コンピュータに、一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報に係るインデックス画像を、それ以外の画像情報に係るインデックス画像と容易に識別可能となるように表示手段を制御させることができるために、操作性の向上を図ることが可能となる。
【0175】
請求項20による本発明の画像合成処理プログラムを記録した記録媒体によれば、コンピュータに、少なくとも1つの画像情報が指定されるのに応じて、並べ替えの処理および画像合成の処理が自動的に行われるように制御させているために、処理対象となる画像情報の全てを指定する必要をなくして操作性の向上を図ることが可能となる。
【図面の簡単な説明】
【図1】本発明の一実施形態の画像合成処理装置が適用されるシステムの構成を示す図。
【図2】上記実施形態のパーソナルコンピュータの内部構成を示すブロック図。
【図3】上記実施形態の記録媒体に記録されるデータの構成を示す図。
【図4】上記実施形態のパーソナルコンピュータにより実行される画像合成処理プログラムのメインルーチンを示すフローチャート。
【図5】上記実施形態における表示判別処理の詳細を示すフローチャート。
【図6】上記実施形態において、処理対象の画像のフレームの表示色を変化させる例を示す図。
【図7】上記実施形態において、処理対象の画像のフレームにマークを表示させる例を示す図。
【図8】上記実施形態における対象画像自動検出の処理を示すフローチャート。
【図9】上記実施形態における継ぎ合わせ処理の基本的なアルゴリズムを示すフローチャート。
【図10】上記図9のアルゴリズムにより継ぎ合わされる画像の様子を示す図。
【図11】上記実施形態のケース1処理において、(A)撮影された画像の方向や順序を識別コードとともに示す図、(B)処理内容を示すフローチャート。
【図12】上記実施形態のケース2処理において、(A)撮影された画像の方向や順序を識別コードとともに示す図、(B)処理内容を示すフローチャート。
【図13】上記実施形態のケース3処理において、(A)撮影された画像の方向や順序を識別コードとともに示す図、(B)処理内容を示すフローチャート。
【図14】上記実施形態のケース4処理において、(A)撮影された画像の方向や順序を識別コードとともに示す図、(B)処理内容を示すフローチャート。
【図15】上記実施形態のケース5処理において、(A)撮影された画像の方向や順序を識別コードとともに示す図、(B)処理内容を示すフローチャート。
【図16】上記実施形態のケース6処理において、(A)撮影された画像の方向や順序を識別コードとともに示す図、(B)処理内容を示すフローチャート。
【図17】上記実施形態のケース7処理において、(A)撮影された画像の方向や順序を識別コードとともに示す図、(B)処理内容を示すフローチャート。
【図18】上記実施形態のケース8処理において、(A)撮影された画像の方向や順序を識別コードとともに示す図、(B)処理内容を示すフローチャート。
【図19】上記実施形態のケース9処理において、(A)撮影された画像の方向や順序を識別コードとともに示す図、(B)処理内容を示すフローチャート。
【図20】上記実施形態のケース10処理において、(A)撮影された画像の方向や順序を識別コードとともに示す図、(B)処理内容を示すフローチャート。
【図21】上記実施形態のケース11処理において、(A)撮影された画像の方向や順序を識別コードとともに示す図、(B)処理内容を示すフローチャート。
【図22】上記実施形態のケース12処理において、(A)撮影された画像の方向や順序を識別コードとともに示す図、(B)処理内容を示すフローチャート。
【図23】上記実施形態における手動処理の内容を主として表示画面の様子により示すフローチャート。
【図24】上記実施形態において、継ぎ合わせ処理の対象解除を行うときの画面の様子を示す図。
【図25】上記実施形態において、上段の1コマ目から5コマ目までが一パノラマ画像を構成する画像データである場合に、その途中の3コマ目の対象解除を行うときの画面の様子を示す図。
【図26】上記実施形態において、上段の1コマ目から5コマ目までが一パノラマ画像を構成する画像データである場合に、一部を対象解除することで、継ぎ合わせの対象を限定するときの画面の様子を示す図。
【符号の説明】
1…デジタルカメラ
2…記録媒体
3…パーソナルコンピュータ
4…ディスプレイ(表示手段)
5…キーボード(指示入力手段)
6…マウス(指示入力手段)
11…CPU(並替手段、画像合成手段、制御手段、表示制御手段)
12…メインメモリ(画像合成処理プログラムを記録した記録媒体)
13…内部記録媒体(画像合成処理プログラムを記録した記録媒体)
23…フレーム
25…マーク(識別表示)
Claims (20)
- 一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報と、これらの画像情報の矩形でなる撮影画面の長辺に係る2方向および短辺に係る2方向の内の1方向を示す撮影方向および上記複数の画像情報の撮影順序に係る情報を含む付随情報と、を記録可能な記録媒体と、
この記録媒体に記録された画像情報の概要を示すインデックス画像を複数同時に表示する表示手段と、
上記付随情報に基づいて、一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報に係るインデックス画像にそれ以外の画像情報に係るインデックス画像と識別するための識別表示を行うべく上記表示手段を制御する表示制御手段と、
上記付随情報の撮影方向に係る情報に基づいて、上記複数の画像情報を上記撮影順序の昇順または降順に並び替える並替手段と、
この並替手段により上記昇順または降順に並び替えられた画像情報を、一画像となるように一方向から継ぎ合わせて合成する画像合成手段と、
を具備したことを特徴とする画像合成処理装置。 - 上記識別表示はマークであることを特徴とする請求項1に記載の画像合成処理装置。
- 上記インデックス画像は周縁にフレームを有して表示され、上記識別表示はこのフレームの色彩もしくは模様またはこれらの結合を上記それ以外の画像情報に係るインデックス画像のフレームと異ならせるものであることを特徴とする請求項1に記載の画像合成処理装置。
- 一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報と、これらの画像情報の矩形でなる撮影画面の長辺に係る2方向および短辺に係る2方向の内の1方向を示す撮影方向および上記複数の画像情報の撮影順序に係る情報を含む付随情報と、を記録可能な記録媒体と、
上記付随情報の撮影方向に係る情報に基づいて、上記複数の画像情報を上記撮影順序の昇順または降順に並び替える並替手段と、
この並替手段により上記昇順または降順に並び替えられた画像情報を、一画像となるように一方向から継ぎ合わせて合成する画像合成手段と、
上記一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報の内の少なくとも1つの画像情報を指定するための指示入力手段と、
この指示入力手段の操作に応じて、上記並替手段および画像合成手段による処理が自動的に行われるよう制御する制御手段と、
を具備したことを特徴とする画像合成処理装置。 - 上記画像合成手段により継ぎ合わせて合成された画像を表示する表示手段を備えたことを特徴とする請求項4に記載の画像合成処理装置。
- 上記画像合成手段による処理は、一画像情報とこれに続く画像情報とを継ぎ合わせて一段階の合成画像とし、さらに処理対象となる画像情報が存在する場合には、この合成画像に次の画像情報を継ぎ合わせて次の段階の合成画像とする順序で行われるものであり、上記表示手段は、各段階における合成画像を表示するものであることを特徴とする請求項5に記載の画像合成処理装置。
- 上記記録媒体に記録された画像情報の概要を示すインデックス画像を複数同時に表示する表示手段を備え、上記指示入力手段はこの表示手段による表示を参照しながら操作可能であることを特徴とする請求項4に記載の画像合成処理装置。
- 上記制御手段は、上記指示入力手段による一画像情報の指定に応じて、当該一画像情報が属する一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報の全てについて、上記並替手段および画像合成手段による処理が自動的に行われるよう制御するものであることを特徴とする請求項4または請求項7に記載の画像合成処理装置。
- 上記制御手段は、上記付随情報に基づき、上記指示入力手段によって指定された一画像情報が属する一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報を判断するものであることを特徴とする請求項8に記載の画像合成処理装置。
- 上記制御手段は、上記指示入力手段による指定に応じて、上記一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報の内の一部のみを、上記並替手段および画像合成手段による処理が自動的に行われる対象とするように制御するものであることを特徴とする請求項4または請求項7に記載の画像合成処理装置。
- 上記制御手段は、上記指示入力手段によって指定された第1の画像情報を、上記並替手段および画像合成手段による自動的な処理において処理対象となる先頭の画像情報とするものであることを特徴とする請求項10に記載の画像合成処理装置。
- 上記制御手段は、上記指示入力手段によって指定された第2の画像情報を、上記並替手段および画像合成手段による自動的な処理において処理対象となる後尾の画像情報とするものであることを特徴とする請求項11に記載の画像合成処理装置。
- 上記指示入力手段は、上記並替手段および画像合成手段による自動的な処理の対象となる画像情報の数をさらに指定可能なことを特徴とする請求項10に記載の画像合成処理装置。
- 上記制御手段は、上記指示入力手段によって指定された画像情報を、上記並替手段および画像合成手段による自動的な処理の対象から外すように制御するものであることを特徴とする請求項4または請求項7に記載の画像合成処理装置。
- 上記制御手段は、上記指示入力手段によって指定された画像情報が、当該一画像情報が属する一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報中の、先頭側の2つおよび後尾側の2つを除く中間部分の画像情報の何れかである場合には、該指定された画像情報よりも先頭側となる一連の画像情報と後尾側となる一連の画像情報とを、新たな2つ以上の処理対象として分割して処理するものであることを特徴とする請求項14に記載の画像合成処理装置。
- 上記制御手段は、上記指示入力手段によって指定された画像情報を、上記並替手段および画像合成手段による自動的な処理の対象から外すように制御するとともに、その旨を上記記録媒体に記録するべく制御するものであることを特徴とする請求項14に記載の画像合成処理装置。
- 上記指示入力手段は、上記並替手段および画像合成手段による処理を手動により行うための選択を入力可能であり、
上記制御手段は、この指示入力手段による手動処理の選択操作に応じて、上記並替手段および画像合成手段による処理が手動により行われるよう制御するものであることを特徴とする請求項4または請求項7に記載の画像合成処理装置。 - 上記指示入力手段は、上記並替手段および画像合成手段による手動処理の対象となる画像情報を指定可能であることを特徴とする請求項17に記載の画像合成処理装置。
- コンピュータに、一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報を継ぎ合わせる処理を行わせる画像合成処理プログラムを記録した記録媒体であって、上記画像合成処理プログラムは、コンピュータに、
画像情報の概要を示すインデックス画像を複数同時に表示させるべく表示手段を制御させ、
上記画像情報の矩形でなる撮影画面の長辺に係る2方向および短辺に係る2方向の内の1方向を示す撮影方向および上記複数の画像情報の撮影順序に係る情報を含む付随情報に基づいて、一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報に係るインデックス画像にそれ以外の画像情報に係るインデックス画像と識別するための識別表示を行うべく上記表示手段を制御させ、
上記付随情報の撮影方向に係る情報に基づいて、上記複数の画像情報を上記撮影順序の昇順または降順に並び替えさせ、
上記昇順または降順に並び替えられた画像情報を、一画像となるように一方向から継ぎ合わせて合成させるものであることを特徴とする、
画像合成処理プログラムを記録した記録媒体。 - コンピュータに、一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報を継ぎ合わせる処理を行わせる画像合成処理プログラムを記録した記録媒体であって、上記画像合成処理プログラムは、コンピュータに、
上記画像情報の矩形でなる撮影画面の長辺に係る2方向および短辺に係る2方向の内の1方向を示す撮影方向および上記複数の画像情報の撮影順序に係る情報を含む付随情報の、撮影方向に係る情報に基づいて、上記複数の画像情報を上記撮影順序の昇順または降順に並び替えさせ、
上記昇順または降順に並び替えられた画像情報を、一画像となるように一方向から継ぎ合わせて合成させ、
上記一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報の内の少なくとも1つの画像情報が指定されるのに応じて、上記並べ替えの処理および画像合成の処理が自動的に行われるよう制御させるものであることを特徴とする、
画像合成処理プログラムを記録した記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP00784098A JP3947290B2 (ja) | 1998-01-19 | 1998-01-19 | 画像合成処理装置および画像合成処理プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP00784098A JP3947290B2 (ja) | 1998-01-19 | 1998-01-19 | 画像合成処理装置および画像合成処理プログラムを記録した記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11205675A JPH11205675A (ja) | 1999-07-30 |
JP3947290B2 true JP3947290B2 (ja) | 2007-07-18 |
Family
ID=11676816
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP00784098A Expired - Fee Related JP3947290B2 (ja) | 1998-01-19 | 1998-01-19 | 画像合成処理装置および画像合成処理プログラムを記録した記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3947290B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4360781B2 (ja) | 2002-07-31 | 2009-11-11 | 富士フイルム株式会社 | デジタルカメラ |
JP2005164832A (ja) * | 2003-12-01 | 2005-06-23 | Fuji Photo Film Co Ltd | 立体視画像生成装置および方法並びにプログラム |
KR100789905B1 (ko) | 2005-12-08 | 2008-01-02 | 한국전자통신연구원 | 다시점 파노라믹 영상 재생 장치 및 그 방법 |
JP5096302B2 (ja) | 2008-12-12 | 2012-12-12 | 株式会社キーエンス | 撮像装置 |
JP5096303B2 (ja) | 2008-12-12 | 2012-12-12 | 株式会社キーエンス | 撮像装置 |
JP5154392B2 (ja) | 2008-12-12 | 2013-02-27 | 株式会社キーエンス | 撮像装置 |
US9712746B2 (en) * | 2013-03-14 | 2017-07-18 | Microsoft Technology Licensing, Llc | Image capture and ordering |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3021556B2 (ja) * | 1990-06-20 | 2000-03-15 | ソニー株式会社 | 映像情報処理装置とその方法 |
JP3332942B2 (ja) * | 1991-05-24 | 2002-10-07 | オリンパス光学工業株式会社 | 電子スチルカメラ |
JPH0667293A (ja) * | 1992-08-14 | 1994-03-11 | Olympus Optical Co Ltd | カメラ |
JPH08336069A (ja) * | 1995-04-13 | 1996-12-17 | Eastman Kodak Co | 電子スチルカメラ |
JP3241243B2 (ja) * | 1995-09-26 | 2001-12-25 | キヤノン株式会社 | パノラマ画像合成システム及びパノラマ画像合成方法 |
JP3530653B2 (ja) * | 1995-09-26 | 2004-05-24 | キヤノン株式会社 | パノラマ画像合成装置 |
JPH0991410A (ja) * | 1995-09-26 | 1997-04-04 | Canon Inc | パノラマ画像合成システム |
JP3223473B2 (ja) * | 1995-09-26 | 2001-10-29 | キヤノン株式会社 | 画像管理装置及びその制御方法 |
JP3696952B2 (ja) * | 1995-09-29 | 2005-09-21 | キヤノン株式会社 | 画像合成装置および方法 |
JPH09322055A (ja) * | 1996-05-28 | 1997-12-12 | Canon Inc | 電子カメラシステム |
JP3817302B2 (ja) * | 1996-05-28 | 2006-09-06 | キヤノン株式会社 | 画像生成装置 |
JP3832894B2 (ja) * | 1996-05-28 | 2006-10-11 | キヤノン株式会社 | 画像合成装置 |
JPH1169288A (ja) * | 1997-08-11 | 1999-03-09 | Nikon Corp | 画像処理装置 |
-
1998
- 1998-01-19 JP JP00784098A patent/JP3947290B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH11205675A (ja) | 1999-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4146938B2 (ja) | パノラマ画像合成装置及びパノラマ画像合成プログラムを格納した記録媒体 | |
US8429563B2 (en) | Image processing apparatus, image processing method, storage medium, and program | |
JP4495639B2 (ja) | 画像記録装置 | |
JP5055684B2 (ja) | 画像フォルダ切替装置 | |
JP2006135590A (ja) | デジタルカメラおよびコンピュータプログラム | |
JP2005184795A (ja) | 画像編集装置および方法並びにプログラム | |
JP3947290B2 (ja) | 画像合成処理装置および画像合成処理プログラムを記録した記録媒体 | |
JP2006060653A (ja) | 画像編集装置,方法およびプログラム | |
JP2006345029A (ja) | 画像記録装置 | |
JP3947289B2 (ja) | 画像合成処理装置および画像合成処理プログラムを記録した記録媒体 | |
JP2001326846A (ja) | 画像撮像装置及びその制御方法 | |
JPH11168689A (ja) | 撮像装置 | |
US7903142B2 (en) | Digital still camera with print-order information | |
JP4783073B2 (ja) | カメラ及びこのカメラの表示制御装置とその表示制御方法 | |
JP2010200362A (ja) | カメラ及びこのカメラの表示制御装置とその表示制御方法 | |
JP3883182B2 (ja) | デジタルカメラ | |
JP4286402B2 (ja) | 記録装置、画像処理装置、表示装置、記録方法、表示方法及び記録媒体 | |
JPH0990530A (ja) | パノラマ画像合成装置とパノラマ画像の作成方法 | |
JP6399897B2 (ja) | 表示制御装置及びその制御方法 | |
JP4284581B2 (ja) | 情報処理装置 | |
WO2007114021A1 (ja) | 画像データ管理装置および画像データ管理方法 | |
JP2004050744A (ja) | 印字処理装置 | |
JP6487666B2 (ja) | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 | |
JP2006135607A (ja) | 画像表示方法、コンピュータプログラムおよびデジタルカメラ | |
JPH09294226A (ja) | 電子アルバム高速作成システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041201 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070123 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070320 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070410 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070413 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110420 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120420 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130420 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140420 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |