JP2014068273A - 画像編集装置、画像編集方法、およびプログラム - Google Patents

Abstract

【課題】複数の画像から構成される組み写真において、その一部の画像を取り換えても違和感なく自然に見える画像編集が可能な画像編集装置、画像編集方法、およびプログラムを提供する。
【解決手段】複数の画像を組み合わせて構成する組写真画像を編集する画像編集装置において、組写真を構成する複数の画像うちの１枚を指示し（Ｓ２４１）、この指示した画像と置換するための置換画像を指示し（Ｓ２５３）、組写真画像を代表する量子化テーブル値で画像を不可逆圧縮により生じる画質変化と同様の画質変化処理を置換画像に行い（Ｓ１２８）、指示された置換画像を、不可逆圧縮画像の量子化テーブル値で不可逆圧縮した後に組写真の指示された画像と置換する（Ｓ１３３）。
【選択図】 図１１

Description

本発明は、画像編集装置、画像編集方法、およびプログラムに関し、詳しくは、複数の写真からなる組み写真等の画像を編集する画像編集装置、画像編集方法、およびプログラムに関する。

従来より、液晶表示モニタ上に複数のライブビュー画像を表示するマルチ画面や、また複数の撮影済みの画像を一覧表示するインデックス再生等、画面上に複数の画像を表示することは知られている。また、画像の中で重要な部分と重要ではない部分に分け、重要な部分の画質劣化を重要でない部分に比較し、画質劣化を軽減する技術が提案されている（特許文献１参照）。また、ＪＰＥＧ等の圧縮技術によって圧縮されて記録されるのも一般的である。

特開平０５−０８３５６６号公報

前述したように、画面を分割し複数の画像を表示することが一般的に行われている。分割した画像毎にそれぞれ量子化ステップの異なる量子化テーブルを割り当てて量子化すると、それぞれの画像の画質劣化を少なくできるが、組み合わせた一枚の画像として扱う場合には、ファイルフォーマットやハードウエアの制限等から、領域ごとに適切な量子化テーブルを割り当てらない場合がある。

複数の画像から構成される組み写真では、統一感が重要となる。統一感の要素としては、トーン、コントラスト、色再現（ホワイトバランス（ＷＢ）、色相、再度）、解像感、画面の滑らかさ等がある。組み写真を、ＪＰＥＧ等で圧縮する場合、シーンの組合せにより、周波数特性が大きく異なってしまい、低周波シーンではブロックノイズが目立ったり、高周波シーンでは解像感が低下する場合がある。このため、組み写真の一つを置換する画像編集を行うと、解像感や滑らかさに差が生じ、組み写真として統一感がなくなり違和感が生じてしまう。

本発明は、このような事情を鑑みてなされたものであり、複数の画像から構成される組み写真において、その一部の画像を取り換えても違和感なく自然に見える画像編集が可能な画像編集装置、画像編集方法、およびプログラムを提供することを目的とする。

上記目的を達成するため第１の発明に係る画像編集装置は、不可逆圧縮した第１の画像の一部を、第２の画像で置換する画像編集装置において、上記不可逆圧縮による生じる画質変化と同様の画質変換処理を上記第２の画像に対して行う画質調整部と、上記画質調整部で調整された上記第２の画像を用いて上記編集処理を行う編集部と、を具備する。

第２の発明に係る画像編集装置は、上記第１の発明において、上記画質調整部は、上記不可逆圧縮により生じる量子化誤差による画質変化と同様の処理を行う。
第３の発明に係る画像編集装置は、上記第１または第２の発明において、上記画質調整部は、上記不可逆圧縮により生じる量子化誤差による画質変化と同様の処理を行う。

第４の発明に係る画像編集装置は、上記第１ないし第３の発明のいずれかにおいて、上記画質調整部は、上記不可逆圧縮と伸張を行う。
第５の発明に係る画像編集装置は、上記第１ないし第４の発明のいずれかにおいて、上記第１の発明において、上記画質調整部は、ローパスフィルタ処理を行う。

第６の発明に係る画像編集装置は、複数の画像を組み合わせて構成する組み写真画像を編集する画像編集装置において、上記組み写真を構成する複数の画像うちの１枚を指示する第１の画像指示部と、上記第１の画像指示部で指示した画像と置換するための置換画像を指示する第２の画像指示部と、上記組み写真画像を代表する量子化テーブル値で画像を不可逆圧縮する画像圧縮処理部と、上記不可逆圧縮により生じる画質変化と同様の画質変化処理を上記置換画像に行う画質調整部と、上記画像と上記量子化テーブル値を記憶する記憶部と、上記第２の画像指示部で指示された上記置換画像を、上記画質調整部で上記量子化テーブル値で不可逆圧縮と、伸張した後に上記第１の画像指示部により指示された画像と置換する制御部と、を具備する。

第７の発明に係る画像編集装置は、上記第６の発明において、さらに、被写界を繰り返し撮像する撮像部を備え、上記置換画像は、上記撮像部により繰り返し撮像された撮像画像である。

第８の発明に係るコンピュータを実行させるためのプログラムは、不可逆圧縮した第１の画像の一部を、第２の画像で置換する画像編集装置におけるコンピュータに実行させるためのプログラムにおいて、上記不可逆圧縮による生じる画質変化と同様の画質変換処理を上記第２の画像に対して行い、上記調整された上記第２の画像を用いて上記編集処理を行う。
第９の発明に係る画像編集方法は、不可逆圧縮した第１の画像の一部を、第２の画像で置換する画像編集方法において、上記不可逆圧縮による生じる画質変化と同様の画質変換処理を上記第２の画像に対して行い、上記調整された上記第２の画像を用いて上記編集処理を行う。

本発明によれば、複数の画像から構成される組み写真において、その一部の画像を取り換えても一つ一つの画像がまとまって画像全体に統一感があり、全体の画像として違和感なく自然に見える画像編集が可能な画像編集装置、画像編集方法、およびプログラムを提供することができる。

本発明の一実施形態に係るカメラの主として電気的構成を示すブロック図である。 本発明の一実施形態に係るカメラにおいて、画像編集の一例を示す図であって、ライブビューをタッチすることにより画像編集を行う様子を示す図である。 本発明の一実施形態に係るカメラにおいて、画像編集の一例を示す図であって、ライブビューをタッチすることにより画像編集を行う様子を示す図である。 本発明の一実施形態に係るカメラにおいて、画像編集の一例を示す図であって、編集コマを確定する様子を示す図である。 本発明の一実施形態におけるカメラにおいて、画面分割の例を示す図である。 本発明の一実施形態に係るカメラのメイン動作を示すフローチャートである。 本発明の一実施形態に係るカメラのメイン動作を示すフローチャートである。 本発明の一実施形態に係るカメラの画像処理の動作を示すフローチャートである。 本発明の一実施形態に係るカメラの基本画像処理の動作を示すフローチャートである。 本発明の一実施形態に係るカメラの特殊画像処理の動作を示すフローチャートである。 本発明の一実施形態に係るカメラの組み写真生成の動作を示すフローチャートである。 本発明の一実施形態におけるカメラにおいて、画像解析の変更例を示す図である。 本発明の一実施形態に係るカメラの静止画記録の動作を示すフローチャートである。 本発明の一実施形態に係るカメラの組み写真操作の動作を示すフローチャートである。 本発明の一実施形態に係るカメラの組み写真操作の動作を示すフローチャートである。 本発明の一実施形態に係るカメラにおいて、組み写真操作メモリの構造を図である。 本発明の一実施形態に係るカメラの再生・編集の動作を示すフローチャートである。 本発明の一実施形態に係るカメラの組み写真編集の動作を示すフローチャートである。 本発明の一実施形態に係るカメラの組み写真生成記録の動作を示すフローチャートである。 本発明の一実施形態に係るカメラの画質調整の動作を示すフローチャートである。 本発明の一実施形態に係るカメラの画質調整の動作を示すフローチャートである。 本発明の一実施形態に係るカメラの画質変更処理の動作を示すフローチャートである。 本発明の一実施形態に係るカメラにおいて、画質調整の効果を説明する図である。

以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明の好ましい一実施形態に係るカメラは、デジタルカメラであり、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面に配置した表示部にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタチャンスを決定する。レリーズ操作時には、画像データが記録媒体に記録される。記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。

また、表示部は画面を複数分割し、複数の画像からなる組み写真を再生表示可能である。この組み写真の内の一部の写真を、ライブビュー画像やまた記録媒体に記録されている撮影済み画像で置換することが可能である。この場合、置換画像と他の組み写真の画質が同等になるように、置換画像を組み写真の量子化テーブルを用いて画質調整する。これによって、組み写真の一部を他の画像で置換しても統一感があり、自然な印象を与える組み写真となる。このように、本実施形態に係るカメラは、不可逆圧縮した第１の画像（組み写真の画像）の一部を、第２の画像（置換画像）で置換する画像編集装置として機能する。

図１は、本発明の一実施形態に係わるカメラの主として電気的構成を示すブロック図である。このカメラは、カメラ本体１００と、これに脱着可能な交換式レンズ２００とから構成される。なお、本実施形態においては、撮影レンズは交換レンズ式としたが、これに限らず、カメラ本体に撮影レンズが固定されるタイプのデジタルカメラであっても勿論かまわない。

交換式レンズ２００は、撮影レンズ２０１、絞り２０３、ドライバ２０５、マイクロコンピュータ２０７、フラッシュメモリ２０９から構成され、後述するカメラ本体１００との間にインターフェース（以後、Ｉ／Ｆと称す）３００を有する。

撮影レンズ２０１は、被写体像を形成するための複数の光学レンズから構成され、単焦点レンズまたはズームレンズである。この撮影レンズ２０１の光軸の後方には、絞り２０３が配置されており、絞り２０３は口径が可変であり、撮影レンズ２０１を通過した被写体光束の光量を制限する。また、撮影レンズ２０１はドライバ２０５によって光軸方向に移動可能であり、マイクロコンピュータ２０７からの制御信号に基づいて、撮影レンズ２０１のピント位置が制御され、ズームレンズの場合には、焦点距離も制御される。また、ドライバ２０５は、絞り２０３の口径の制御も行う。

ドライバ２０５に接続されたマイクロコンピュータ２０７は、Ｉ／Ｆ３００およびフラッシュメモリ２０９に接続されている。マイクロコンピュータ２０７は、フラッシュメモリ２０９に記憶されているプログラムに従って動作し、後述するカメラ本体１００内のマイクロコンピュータ１２１と通信を行い、マイクロコンピュータ１２１からの制御信号に基づいて交換式レンズ２００の制御を行う。

フラッシュメモリ２０９には、前述したプログラムの他、交換式レンズ２００の光学的特性や調整値等の種々の情報が記憶されている。Ｉ／Ｆ３００は、交換式レンズ２００内のマイクロコンピュータ２０７とカメラ本体１００内のマイクロコンピュータ１２１の相互間の通信を行うためのインターフェースである。

カメラ本体１００内であって、撮影レンズ２０１の光軸上には、メカシャッタ１０１が配置されている。このメカシャッタ１０１は、被写体光束の通過時間を制御し、公知のフォーカルプレーンシャッタ等が採用される。このメカシャッタ１０１の後方であって、撮影レンズ２０１によって被写体像が形成される位置には、撮像素子１０３が配置されている。

撮像素子１０３は、各画素を構成するフォトダイオードが二次元的にマトリックス状に配置されており、各フォトダイオードは受光量に応じた光電変換電流を発生し、この光電変換電流は各フォトダイオードに接続するキャパシタによって電荷蓄積される。各画素の前面には、ベイヤ―配列のＲＧＢフィルタが配置されている。なお、撮像素子１０３はベイヤ配列に限定されず、例えばＦｏｖｅｏｎ（登録商標）のような積層形式でも勿論かまわない。

撮像素子１０３はアナログ処理部１０５に接続されており、このアナログ処理部１０５は、撮像素子１０３から読み出した光電変換信号（アナログ画像信号）に対し、リセットノイズ等を低減した上で波形整形を行い、さらに適切な輝度になるようにゲインアップを行う。

アナログ処理部１０５はＡ／Ｄ変換部１０７に接続されており、このＡ／Ｄ変換部１０７は、アナログ画像信号をアナログ―デジタル変換し、デジタル画像信号（以後、画像データという）をバス１１０に出力する。なお、本明細書においては、画像処理部１０９において画像処理される前の生の画像データをＲＡＷデータと称する。

バス１１０は、カメラ本体１００の内部で読み出され若しくは生成された各種データをカメラ本体１００の内部に転送するための転送路である。バス１１０には、前述のＡ／Ｄ変換部１０７の他、画像処理部１０９、ＡＥ（Auto Exposure）処理部１１１、ＡＦ（Auto Focus）処理部１１３、画像圧縮伸張部１１５、通信部１１７、マイクロコンピュータ１２１、ＳＤＲＡＭ（Synchronous DRAM）１２７、メモリインターフェース（以後、メモリＩ／Ｆという）１２９、表示ドライバ１３３が接続されている。

画像処理部１０９は、基本的な画像処理を行う基本画像処理部１０９ａと、アートフィルタが設定された場合に特殊効果を施すための特殊画像処理部１０９ｂと、複数の写真を組み合わせて１枚の画像を構成する組み写真の編集処理を行うための組み写真処理部１０９ｃと、画像を解析する被写体検出部１０９ｄを有している。

基本画像処理部１０９ａは、ＲＡＷデータに対して、オプティカルブラック（ＯＢ）減算処理、ホワイトバランス（ＷＢ）補正、ベイヤデータの場合に行う同時化処理、色再現処理、ガンマ補正処理、カラーマトリックス演算、ノイズリダクション（ＮＲ）処理、エッジ強調処理等を行う。１枚撮影で、かつアートフィルタが設定されていない場合には、この基本画像処理部１０９ａによる処理のみで画像処理が完了する。

また、特殊画像処理部１０９ｂは、設定された特殊効果（アートフィルタ）に応じて、周辺の輝度を低下させるピンホール効果、画像をぼかして元画像と合成するソフトフォーカス処理、ノイズ画像と合成するノイズ効果、輝点にクロスパターンを描画するクロスフィルタ効果、周辺部をぼかすミニチュア効果等、基本画像処理部によって処理された画像に対して、種々の特殊効果を施す。

組み写真処理部１０９ｃは、複数の画像を組み合わせて１枚の画像（組み写真）を生成する。画像の組合せにあたっては、フラッシュメモリ１２５からテンプレート（後述する図５参照）を読み込み、画像の明るさが同様になるように基本画像処理部１０９ａ内のガンマ補正を使用して輝度変更を行う。また、全体のホワイトバランス（ＷＢ）を統一させるために基本画像処理部１０９ａ内の色再現処理を使用してＷＢを変更する。また、合成後に特殊画像処理部１０９ｂを使用してピンホール効果等の特殊効果を適用し、組み画像や置換画像の修正等を行う。

組み写真処理部１０９ｃは、不可逆圧縮による生じる画質変化と同様の画質変換処理を第２の画像（置換画像）に対して行う画質調整部としての機能を果たす（図１１のＳ１２８参照）。また、組み写真処理部１０９ｃは、画質調整部で調整された第２の画像（置換画像）を用いて編集処理を行う編集部としての機能も果たす（図１１のＳ１３３参照）。

組み写真処理部１０９ｃは、不可逆圧縮により生じる量子化誤差による画質変化と同様の処理を行う画質調整部としての機能も果たす。また、組み写真処理部１０９ｃは、不可逆圧縮と伸張を行う画質調整部としての機能も果たす（図２２（ａ）参照）。また、組み写真処理部１０９ｃは、不可逆圧縮により生じる量子化誤差による画質変化と同様の処理を行う画質調整部としての機能も果たす（図２２（ｂ）参照）。また、組み写真処理部１０９ｃは、ローパスフィルタ処理を行う画質調整部としての機能も果たす（図２２（ｃ）参照）。

被写体検出部１０９ｄは、画像をパターンマッチング等によって解析し、人の顔やペット等の被写体を検出する。被写体を検出できた場合には、画像内における被写体の種類、大きさ、位置、信頼性等の情報を取得する。

ＡＥ処理部１１１は、バス１１０を介して入力した画像データに基づいて被写体輝度を測定し、この被写体輝度情報を、バス１１０を介してマイクロコンピュータ１２１に出力する。被写体輝度の測定のために専用の測光センサを設けても良いが、本実施形態においては、画像データに基づいて被写体輝度を算出する。

ＡＦ処理部１１３は、画像データから高周波成分の信号を抽出し、積算処理により合焦評価値を取得し、バス１１０を介してマイクロコンピュータ１２１に出力する。本実施形態においては、いわゆるコントラスト法によって撮影レンズ２０１のピント合わせを行う。この実施形態では、コントラスト法によるＡＦ制御を例にとって説明したが、光路上に位相差センサを設けたり、また撮像素子上に位相差センサを設け、位相差ＡＦによるＡＦ制御によりピント合わせを行ってもよい。

画像圧縮伸張部１１５は、画像データの記録媒体１３１への記録時に、ＳＤＲＡＭ１２７から読み出した画像データを、静止画の場合にはＪＰＥＧ圧縮方式等、また動画の場合にはＭＰＥＧ等の各種圧縮方式に従って圧縮する。マイクロコンピュータ１２１は、ＪＰＥＧ画像データやＭＰＥＧ画像データに対して、ＪＰＥＧファイルやＭＰＯファイル、ＭＰＥＧファイルを構成するために必要なヘッダを付加してＪＰＥＧファイルやＭＰＯファイル、ＭＰＥＧファイルを作成し、この作成したファイルをメモリＩ／Ｆ１２９を介して記録媒体１３１に記録する。

また、画像圧縮伸張部１１５は、画像再生表示用にＪＰＥＧ画像データやＭＰＥＧ画像データの伸張も行う。伸張にあたっては、記録媒体１３１に記録されているファイルを読み出し、画像圧縮伸張部１１５において伸張処理を施した上で、伸張した画像データをＳＤＲＡＭ１２７に一時記憶する。なお、本実施形態においては、画像圧縮方式としては、ＪＰＥＧ圧縮方式やＭＰＥＧ圧縮方式を採用するが、圧縮方式はこれに限らずＴＩＦＦ、Ｈ．２６４等、他の圧縮方式でも勿論かまわない。

通信部１１７は、ＵＳＢ、ＬＡＮ等による有線通信、無線通信（ワイヤレス通信）等によって外部と通信を行う。通信部１１７を介して、フラッシュメモリ１２５内に記憶された組む写真の分割用のテンプレートを更新したり、追加する。

マイクロコンピュータ１２１は、このカメラ全体の制御部としての機能を果たし、カメラの各種シーケンスを総括的に制御する。マイクロコンピュータ１２１には、前述のＩ／Ｆ３００以外に、操作部１２３およびフラッシュメモリ１２５が接続されている。

操作部１２３は、電源釦、レリーズ釦、動画釦、再生釦、メニュー釦、十字キー、ＯＫ釦、削除釦、拡大釦等、各種入力釦や各種入力キー等の操作部材を含み、これらの操作部材の操作状態を検知し、検知結果をマイクロコンピュータ１２１に出力する。マイクロコンピュータ１２１は、操作部１２３からの操作部材の検知結果に基づいて、ユーザの操作に応じた各種シーケンスを実行する。電源釦は、当該デジタルカメラの電源のオン／オフを指示するための操作部材である。電源釦が押されると当該デジタルカメラの電源はオンとなり、再度、電源釦が押されると当該デジタルカメラの電源はオフとなる。

レリーズ釦は、半押しでオンになるファーストレリーズスイッチと、半押しから更に押し込み全押しとなるとオンになるセカンドレリーズスイッチからなる。マイクロコンピュータ１２１は、ファーストレリーズスイッチがオンとなると、ＡＥ動作やＡＦ動作等の撮影準備シーケンスを実行する。また、セカンドレリーズスイッチがオンとなると、メカシャッタ１０１等を制御し、撮像素子１０３等から被写体画像に基づく画像データを取得し、この画像データを記録媒体１３１に記録する一連の撮影シーケンスを実行して撮影を行う。

動画釦は、動画撮影の開始と終了を指示するための操作釦であり、最初に動画釦を操作すると動画撮影を開始し、再度、操作すると動画撮影を終了する。再生釦は、再生モードの設定と解除するための操作釦であり、再生モードが設定されると、記録媒体１３１から撮影画像の画像データを読み出し、表示パネル１３５に撮影画像を再生表示する。削除釦は、例えば、再生画像が一覧表示されている場合や組み写真が表示されている場合等に、画像を指定して削除するための操作釦である。拡大釦は、再生表示の際に、表示画像を拡大するための操作釦である。

メニュー釦は、メニュー画面を表示パネル１３５に表示させるための操作釦である。メニュー画面上では、各種のカメラ設定を行うことができる。カメラ設定としては、例えば、通常撮影モードや組み写真等の撮影モードの設定、ナチュラル、ビビッド、フラット、ポートレート、アートフィルタ等の仕上がりの設定がある。アートフィルタとしては、ポップアート、トイフォト、ファンタジックフォーカス、ラフモノクローム、ジオラマ、クリスタル等がある。また、組み写真のスタイル、組み写真の置換画像の選択、組み写真編集時に編集前の画像を記録するか否か等、種々の設定も可能である。なお、組み写真の場合、スタイルと組み画像選択状況に応じてライブビュー（ＬＶ）の表示を変更する（図７のＳ４７参照）。

また、操作部１２３にはタッチ入力部１２３ａが設けてある。表示パネル１３５は、タッチ操作可能であり、タッチ入力部１２３ａは、ユーザがタッチした位置等を検出し、マイクロコンピュータ１２１に出力する。

フラッシュメモリ１２５は、マイクロコンピュータ１２１の各種シーケンスを実行するためのプログラムを記憶している。マイクロコンピュータ１２１はこのプログラムに基づいてカメラ全体の制御を行う。

ＳＤＲＡＭ１２７は、画像データ等の一時記憶用の電気的書き換え可能な揮発性メモリである。このＳＤＲＡＭ１２７は、Ａ／Ｄ変換部１０７から出力された画像データや、画像処理部１０９や画像圧縮伸張部１１５等において処理された画像データを一時記憶する。

メモリＩ／Ｆ１２９は、記録媒体１３１に接続されており、画像データや画像データに添付されたヘッダ等のデータを、記録媒体１３１に書き込みおよび読出しの制御を行う。記録媒体１３１は、例えば、カメラ本体１００に着脱自在なメモリカード等の記録媒体であるが、これに限らず、カメラ本体１００に内蔵されたハードディスク等であっても良い。

表示ドライバ１３３は、表示パネル１３５に接続されており、ＳＤＲＡＭ１２７や記録媒体１３１から読み出され、画像圧縮伸張部１１５によって伸張された画像データに基づいて画像を表示パネル１３５において表示させる。表示パネル１３５は、カメラ本体１００の背面等に配置され、画像表示を行う。画像表示としては、撮影直後、記録される画像データを短時間だけ表示するレックビュー表示、記録媒体１３１に記録された静止画や動画の画像ファイルの再生表示、およびライブビュー表示等の動画表示が含まれる。なお、表示部としては、液晶表示パネル（ＬＣＤ）、有機ＥＬ等、種々の表示パネルを採用できる。

次に、本実施形態に係るカメラの組み写真の編集動作を図２ないし図５を用いて説明する。図２は、組み写真モードが選択され、表示パネル１３５の画面が４分割された場合のライブビュー表示を示している。なお、分割画面内の斜線（肘付近の２重線や、足の後ろの２重線）は被写体が動いていることを示す。また、図２の左側は被写体の様子を示し、右側は表示パネル１３５の表示状態を示す。

まず、図２（ａ）に示すように、４分割画面の内、左上画面にライブビュー表示がなされる。ユーザは、組み写真の画像として取り込みたい場合には、表示パネル１３５の左上をタッチすると、図２（ｂ）に示すように、撮影が確定し、次の画面（右上画面）にライブビュー表示がなされる。続いて、図２（ｃ）は右上画面の撮影を確定した様子であり、図２（ｄ）は左下画面の撮影を確定した様子を示す。右下画面の撮影を確定すると（図２（ｅ）参照）、撮影が完了し、組み写真ができる。

図２に示した例では、表示パネル１３５をタッチすることにより撮影が確定し、左上→右上→左下→右下の順にライブビュー表示がなされた。しかし、この順番通りにライブビュー表示を行わなくてもよい。例えば、図３に示すように、左上画面にライブビュー表示がなれている際に（図３（ａ）参照）、ライブビュー表示がなされていない左下画面をタッチすると、この画面にライブビュー表示を行うようにしてもよい（図３（ｂ）参照）。なお、この撮影コマの具体的な変更操作については、図１４のステップＳ１６１、Ｓ１６３を用いて後述する。

また、図２においては、ライブビュー表示中に表示パネル１３５をタッチすると、撮影が確定したが、確定した画面であっても、再度タッチすると、ライブビュー画面に戻るようにしてもよい。図３（ｃ）は、３画面（左上、右上、左下画面）において、撮影が確定している様子を示しているが、この撮影が確定している左下画面をタッチすると、図３（ｄ）に示すように、左下画面はライブビュー表示画面となる。

また、本実施形態においては、全撮影が確定し、組み写真が完成した後であっても、その内の一部の画像を他の画像に置換が可能である。例えば、図４においては、４枚の画像が確定しているが、ユーザが右下画面の画像を他の画像で置換するために、指定した様子を示す。本実施形態においては、タッチすることにより、その画像の枠が表示され、組み換え対象画像であることを示している。

図２ないし図４に示した組み写真の例では、左上、右上、左下、右下の４分割であったが、画面の分割はこれに限らない。例えば、図５に示すように、種々の形状に分割してもよい。この分割の形状（テンプレート、スタイル）は、フラッシュメモリ１２５に記憶しておき、ユーザの好みに応じて設定できるようにしてもよい。

次に、図６および図７に示すフローチャートを用いて、本実施形態におけるカメラのメイン処理について説明する。なお、図６〜図１１、図１３〜図１５、図１７〜図２２に示すフローチャートはフラッシュメモリ１２５に記憶されているプログラムに従ってマイクロコンピュータ１２１が各部を制御し実行する。

操作部１２３の内の電源釦が操作され、電源オンとなると、図６に示すメインフローが動作を開始する。動作を開始すると、まず、初期化を実行する（Ｓ１）。初期化としては、機械的初期化や各種フラグ等の初期化等の電気的初期化を行う。各種フラグの１つとして、動画記録中か否かを示す記録中フラグをオフにリセットする（ステップＳ１３、Ｓ１５参照）。

初期化を行うと、次に、再生釦が押されたか否かを判定する（Ｓ３）。ここでは、操作部１２３内の再生釦の操作状態を検知し、判定する。この判定の結果、再生釦が押された場合には、再生・編集を実行する（Ｓ５）。ここでは、記録媒体１３１から画像データを読み出し、ＬＣＤ１３５に静止画と動画の一覧を表示する。ユーザは十字キーを操作することにより、一覧の中から画像を選択し、ＯＫ釦により画像を確定する。また、このステップにおいて、組み写真の編集も行う。この再生・編集の詳しい動作については、図１７を用いて後述する。

ステップＳ５における再生・編集を実行すると、またはステップＳ３における判定の結果、再生釦が押されていなかった場合には、カメラ設定を行うか否かを判定する（Ｓ７）。操作部１２３の内のメニュー釦が操作された際に、メニュー画面においてカメラ設定を行う。そこで、このステップでは、このカメラ設定が行われたか否かに基づいて判定する。

ステップＳ７における判定の結果、カメラ設定の場合には、カメラ設定を行う（Ｓ９）。前述したように、種々のカメラ設定をメニュー画面で行うことができる。カメラ設定としては、前述したように、例えば、通常撮影モードや組み写真等の撮影モードの設定、ナチュラル、ビビッド、フラット、ポートレート、アートフィルタ等の仕上がりの設定がある。アートフィルタとしては、ポップアート、トイフォト、ファンタジックフォーカス、ラフモノクローム、ジオラマ、クリスタル等がある。また、組み写真のスタイル、組み写真の置換画像の選択、組み写真編集時に編集前の画像を記録するか否か、既に記録されている画像を組み写真の所定のコマに嵌め込むための画像を選択する等、種々の設定も可能である。

ステップＳ９においてカメラ設定を行うと、またはステップＳ７における判定の結果、カメラ設定でなかった場合には、次に、動画釦が押されたか否かの判定を行う（Ｓ１１）。ここでは、マイクロコンピュータ１２１は操作部１２３から動画釦の操作状態を入力し、判定する。

ステップＳ１１における判定の結果、動画釦が押された場合には、記録中フラグを判定する（Ｓ１３）。記録中フラグは、動画撮影中にはオン（１）が設定され、動画を撮影していない場合にはオフ（０）にリセットされている。このステップにおいては、フラグを反転、すなわちオン（１）が設定されていた場合には、オフ（０）に反転させ、オフ（０）が設定されていた場合には、オン（１）に反転させる。

ステップＳ１３において記録中フラグの反転を行うと、次に、動画記録中か否を判定する（Ｓ１５）。ここでは、ステップＳ１３において反転された記録中フラグがオンに設定されているか、オフに設定されているかに基づいて判定する。

ステップＳ１５における判定の結果、動画記録中の場合には、動画ファイルを生成する（Ｓ１９）。後述するステップＳ６１において動画の記録を行うが、このステップでは、動画記録用の動画ファイルを生成し、動画の画像データを記録できるように準備する。

一方、判定の結果、動画記録中でない場合には、動画ファイルを閉じる（Ｓ１７）。動画釦が操作され、動画撮影が終了したことから、このステップで動画ファイルを閉じる。動画ファイルを閉じるにあたって、動画ファイルのヘッダにフレーム数を記録する等により、動画ファイルとして再生可能な状態にし、ファイル書き込みを終了する。

ステップＳ１７において動画ファイルを閉じると、またはステップＳ１９において動画ファイルを生成すると、またはステップＳ１１における判定の結果、動画釦が押されていない場合には、次に、組み写真モードで操作部が操作されたか否かを判定する（Ｓ２１）。前述したように、ステップＳ９におけるカメラ設定において、組み写真モードの設定が可能である。このステップでは、この組み写真モードが設定されている状態で、操作部１２３の操作部が操作されたか否かを判定する。

ステップＳ２１における判定の結果、組み写真モードで操作部が操作された場合には、組み写真操作を実行する（Ｓ２３）。この組み写真操作では、組み写真の編集を行うための各種操作、例えば、撮影コマ変更、キャンセル操作、復元操作、一時保存操作、一時保存読み込み操作等の操作がなされると実行される。この組み写真操作の詳しい動作については、図１４および図１５を用いて後述する。

ステップＳ２３において再生・編集を実行すると、またはステップＳ２１における判定の結果、組み写真モードで操作部が操作されていない場合には、レリーズ釦が半押しされたか否か、言い換えると、ファーストレリーズスイッチがオフからオンとなったか否かの判定を行う（Ｓ３１）。この判定は、レリーズ釦に連動するファーストレリーズスイッチの状態を操作部１２３によって検知し、この検知結果に基づいて行う。検知の結果、ファーストレリーズスイッチがオフからオンに遷移した場合には判定結果はＹｅｓとなり、一方、オン状態またはオフ状態が維持されている場合には、判定結果はＮｏとなる。

ステップＳ３１における判定の結果、レリーズ釦が半押しされ、オフからファーストレリーズに遷移した場合には、ＡＥ・ＡＦ動作を実行する（Ｓ３３）。ここでは、ＡＥ処理部１１１が、撮像素子１０３によって取得された画像データに基づいて被写体輝度を検出し、この被写体輝度に基づいて、適正露出となるシャッタ速度、絞り値等を算出する。

また、ステップＳ３３においては、ＡＦ動作を行う。ここでは、ＡＦ処理部１１３によって取得された合焦評価値がピーク値となるように、交換式レンズ２００内のマイクロコンピュータ２０７を介してドライバ２０５が撮影レンズ２０１のピント位置を移動させる。したがって、動画撮影を行っていない場合に、レリーズ釦が半押しされると、その時点で、撮影レンズ２０１のピント合わせを行う。その後、ステップＳ３５へ進む。

ステップＳ３１における判定の結果、レリーズ釦がオフからファーストレリーズに遷移しなかった場合には、次に、レリーズ釦が全押しされ、セカンドレリーズスイッチがオンになったか否かの判定を行う（Ｓ３７）。このステップでは、レリーズ釦に連動するセカンドレリーズスイッチの状態を操作部１２３によって検知し、この検知結果に基づいて判定を行う。

ステップＳ３７における判定の結果、レリーズ釦が全押しされ、セカンドレリーズスイッチがオンになった場合には、メカシャッタによる静止画撮影を行う（Ｓ３９）。ここでは、ステップＳ３３において演算された絞り値で絞り２０３が制御され、また演算されたシャッタ速度でメカシャッタ１０１のシャッタ速度が制御される。そして、シャッタ速度に応じた露光時間が経過すると、撮像素子１０３から画像信号が読み出され、アナログ処理部１０５およびＡ／Ｄ変換部１０７によって処理されたＲＡＷデータがバス１１０に出力される。

メカシャッタによる撮影を行うと、次に、画像処理を行う（Ｓ４１）。ここでは、メカシャッタによる撮影によって撮像素子１０３で取得されたＲＡＷデータを読出し、画像処理部１０９によって画像処理を行う。この画像処理の詳しい動作については、図８を用いて後述する。

画像処理を行うと、次に静止画記録を行う（Ｓ４３）。ここでは、画像処理が施された静止画の画像データを記録媒体１３１に記録する。なお、組み写真で撮影された場合に、組み写真の内の一部の画像をキャンセル（削除）したい場合には、キャンセル操作によって削除可能である。この静止画記録の詳しい動作については、図１３を用いて後述する。

静止画記録を行うと、次に、組み写真モードか否かの判定を行う（Ｓ４５）。前述したように、組み写真モードはメニュー画面等において設定されており、このステップではこの組み写真モードが設定されているか否かを判定する。

ステップＳ４５における判定の結果、組み写真モードが設定されていた場合には、ライブビュー（ＬＶ）表示の変更を行う（Ｓ４７）。組み写真モードが設定されている場合には、スタイル（テンプレート、図５参照）と画像の枚数に応じて、ライブビュー表示を変更する。常に全コマにライブビュー表示を行う場合には、撮影画像以外の部分にライブビュー表示を行うようにする。また１コマずつライブビュー表示する場合には（図２の表示方式）、撮影したら次のコマ（例えば、図２のように、左上→右上→左下→右下のような順）にライブビュー表示を切り換える。いずれの場合にも、撮影したコマは撮影画像を表示する。また、ＯＳＤ（オンスクリーンディスプレイ）を使用し、撮影済みの画像なのかライブビュー表示なのかを分かるように表示してもよく、撮影済みの画像は、撮影順が分かるように表示してもよい。その後、ステップＳ３５へ進む。

ステップＳ３７における判定の結果、レリーズ操作２ｎｄでなかった場合には、次に、ＡＥを行う（Ｓ５１）。前述のステップＳ２１からＳ２７を経た場合は、レリーズ釦に対して何ら操作を行っていない場合であり、この場合には後述するステップＳ５７においてライブビュー表示を行う。ステップＳ５１においては、ライブビュー表示を行うための露出制御を行う。すなわち、適正露出でライブビュー表示を行うための撮像素子１０３の電子シャッタのシャッタ速度およびＩＳＯ感度を算出する。

ＡＥを行うと、次に、電子シャッタによる撮影を行う（Ｓ５３）。ここでは、撮像素子１０３の電子シャッタを用いて画像データを取得する。続いて、取得した画像データに対して画像処理を行う（Ｓ５５）。ここでの画像処理は、ライブビュー表示用であり、また特殊効果が設定されている場合には、設定されている特殊効果に応じた画像処理も行う。この画像処理の詳しい動作については、図８を用いて後述する。

画像処理を行うと、表示パネル１３５にライブビュー表示を行う（Ｓ５７）。ステップＳ５３において画像データを取得し、ステップＳ５５において画像処理を行ったことから、このステップでは、ライブビュー表示の更新を行う。撮影者はこのライブビュー表示を観察することにより、構図やシャッタタイミングを決定することができる。

ステップＳ５７においてライブビュー表示を行うと、動画記録中か否かの判定を行う（Ｓ５９）。ここでは、記録中フラグがオンか否かを判定する。この判定の結果、動画記録中であった場合には、動画記録を行う（Ｓ６１）。ここでは、撮像素子１０３から読み出される撮像データを動画用の画像データに画像処理を行い、動画ファイルに記録する。その後、ステップＳ３５へ進む。

ステップＳ３５では、電源オフか否かの判定を行う。このステップでは、操作部１２３の電源釦が再度、押されたか否かを判定する。この判定の結果、電源オフではなかった場合には、ステップＳ３に戻る。一方、判定の結果、電源オフであった場合には、メインのフローの終了動作を行ったのち、メインフローを終了する。

このように本発明の一実施形態におけるメインフローにおいては、組み写真モードが設定されている場合には、再生・編集が可能であり（Ｓ２３）、またレリーズ釦の全押し（レリーズ操作２ｎｄ）がなされると撮影が行われ、またライブビュー表示の変更がなされる。

次に、ステップＳ４１、Ｓ５５における画像処理について、図８に示すフローチャートを用いて説明する。画像処理のフローに入ると、まず、基本画像処理を行う（Ｓ７１）。ここでは、基本画像処理部１０９ａが、撮像素子１０３から読み出され、Ａ／Ｄ変換部１０７でＡＤ変換された画像データに対して、オプティカルブラック（ＯＢ）減算、ホワイトバランス（ＷＢ）補正、同時化処理、色再現処理、輝度変更処理、エッジ強調処理、ノイズ除去（ＮＲ）処理等を施す。この基本画像処理の詳しい動作については、図９を用いて後述する。

基本画像処理を行うと、次に、アートフィルタが設定されているか否かを判定する（Ｓ７３）。前述したカメラ設定（Ｓ９）において、アートフィルタが設定されるので、このステップでは、アートフィルタが設定されたか否かを判定する。

ステップＳ７３における判定の結果、アートフィルタが設定されていた場合には、特殊画像処理を行う（Ｓ７５）。ここでは、設定されたアートフィルタの種類に応じて、特殊画像処理を施す。この特殊画像処理の詳しい動作については、図１０を用いて後述する。

特殊画像処理を行うと、またはステップＳ７３における判定の結果、アートフィルタが設定されていなかった場合には、次に、組み写真か否かの判定を行う（Ｓ７７）。この判定の結果、組み写真モードが設定されている場合には、組み写真生成を行う（Ｓ７９）。この組み写真生成では、リサイズや回転等の前処理を行い、色変更や輝度変更を行った後、スタイル（テンプレート）に応じて、画像の合成を行い、組み写真を生成する。この組み写真生成の詳しい動作については、図１１を用いて後述する。

組み写真生成を行うと、またはステップＳ７７における判定の結果、組み写真モードが設定されていない場合には、元のフローに戻る。

このように、本実施形態における画像処理では、基本画像処理を行い、また必要に応じて特殊画像処理を行った後に、組み写真モードが設定されている場合に、組み写真生成を行っている。

次に、ステップＳ７１（図８）の基本画像処理の詳しい動作について、図９に示すフローチャートを用いて説明する。基本画像処理のフローに入ると、まず、オプティカルブラック（ＯＢ）演算を行う（Ｓ８１）。このステップでは、基本画像処理部１０９ａ内のＯＢ演算部によって、画像データを構成する各画素の画素値から、撮像素子１０３の暗電流等に起因するオプティカルブラック値をそれぞれ減算する。

ＯＢ演算を行うと、次に、ホワイトバランス（ＷＢ）補正を行う（Ｓ８３）。このステップでは、予め設定されているホワイトバランスモードに応じて、基本画像処理部１０９ａ内のＷＢ補正部により画像データに対してＷＢ補正を行う。具体的には、ベイヤ配列の画像データに対して、ユーザが設定したホワイトバランスモードに応じたＲゲインとＢゲインをカメラ本体のフラッシュメモリ１２５から読み出し、その値を乗じることで補正を行う。またはオートホワイトバランスの場合には、ＲＡＷデータ等からＲゲインおよびＢゲインを算出し、これらを用いて補正する。

続いて、同時化処理を行う（Ｓ８５）。このステップでは、ホワイトバランス補正を行った画像データに対して、基本画像処理部１０９ａ内の同時化処理部によって、各画素がＲＧＢデータで構成されるデータに変換する。具体的には、その画素にないデータを周辺から補間によって求め、ＲＧＢデータに変換する。しかし、例えば、ＲＡＷデータが既にＲＧＢデータと同様の形式（Ｆｏｖｅｏｎセンサで得られたＲＡＷデータなど）の場合には、同時化処理を行う必要がない。

同時化処理を行うと、次に、色再現処理を行う（Ｓ８７）。このステップでは、基本画像処理部１０９ａ内の色再現処理部によって、画像データに対して設定されているホワイトバランスモードに応じたカラーマトリックス係数を乗じる線形変換を行って画像データの色を補正する。カラーマトリックス係数はフラッシュメモリ１２５に記憶されているので、読み出して使用する。

色再現処理を行うと、次に、輝度変更処理を行う（Ｓ８９）。このステップでは、基本画像処理部１０９ａ内のガンマ処理部によって、フラッシュメモリ１２５に記憶されているガンマテーブルを読み出し、画像データに対してガンマ補正処理を行う。すなわち、ＲＧＢでガンマ変換し、ＹＣｂＣｒに色変換後、Ｙでさらにガンマ変換を行う。

ガンマ変換を行うと、次に、エッジ強調を行う（Ｓ９１）。このステップでは、ガンマ変換の行われた画像データに対して、基本画像処理部１０９ａ内のエッジ強調処理部が、バンドパスフィルタによりエッジ成分を抽出し、エッジ強調度に応じて係数を乗じて画像データに加算することにより、画像データのエッジを強調する。

次にＮＲ（ノイズ除去）を行う（Ｓ９３）。このステップでは、画像を周波数分解し、周波数に応じてノイズを低減する処理を行う。ノイズ除去処理を行うと、元のフローに戻る。

次に、ステップＳ７５（図８）の特殊画像処理の詳しい動作について、図１０に示すフローチャートを用いて説明する。

特殊画像処理のフローに入ると、まず、アートフィルタモードとして、トイフォトが設定されているか否かを判定する（Ｓ１０１）。この判定の結果、トイフォトが設定されていた場合には、シェーディング効果を付加する（Ｓ１０３）。ここでは、特殊画像処理部１０９ｂが、中心からの距離に応じて、徐々に輝度が低下するようなゲインマップ（ゲインの値は１以下）を生成し、画素ごとに画素に応じたゲインを乗ずることにより、画像の周辺にシェーディング効果を付与する。

シェーディング付加を行うと、またはステップＳ１０１における判定の結果、トイフォトでなかった場合には、次に、アートフィルタモードとして、ファンタジックフォーカスが設定されているか否かを判定する（Ｓ１０５）。この判定の結果、ファンタジックフォーカスが設定されていた場合には、ソフトフォーカス処理を行う（Ｓ１０７）。ここでは、特殊画像処理部１０９ｂが、元の画像をぼかし、このぼかした画像と、ぼかす前の画像を、所定の割合（例えば、ぼかし：前＝２：３の割合）で合成する。

ソフトフォーカス処理を行うと、またはステップＳ１０５における判定の結果、ファンタジックフォーカスでなかった場合には、次に、アートフィルタモードとして、ラフモノクロームが設定されているか否かを判定する（Ｓ１０９）。この判定の結果、ラフモノクロームが設定されていた場合には、ノイズ重畳処理を行う（Ｓ１１１）。ここでは、特殊画像処理部１０９ｂが画像データに対してノイズ付加処理を施す。ノイズ付加処理は、予め作成したノイズパターン画像を被写体画像に加算する処理である。ノイズパターン画像は乱数等に基づいて生成してもよい。

ノイズ重畳処理を行うと、またはステップＳ１０９における判定の結果、ラフモノクロームでなかった場合には、次に、アートフィルタモードとしてジオラマが設定されているか否かを判定する（Ｓ１１３）。この判定の結果、ジオラマが設定されていた場合には、ぼかし処理を行う（Ｓ１１５）。ここでは、特殊画像処理部１０９ｂが、元の画像のＡＦターゲットを中心に上下、または左右、または距離に応じて徐々にぼかす処理を行う。

ぼかし処理を行うと、またはステップＳ１１３における判定の結果、ジオラマでなかった場合には、次に、アートフィルタモードとしてクリスタルが設定されているか否かを判定する（Ｓ１１７）。この判定の結果、クリスタルが設定されていた場合には、クロスフィルタ処理を行う（Ｓ１１９）。ここでは、特殊画像処理部１０９ｂが、画像の中から輝点を検出し、この輝点を中心として、十字状や、複数本の放射状の形状に輝きを演出する効果のあるクロスパターンを描画する。

クロスフィルタ処理を行うと、またはステップＳ１１７における判定の結果、クリスタルが設定されていなかった場合には、特殊画像処理のフローを終了し、元のフローに戻る。

次に、ステップＳ７９（図８）の組み写真生成の詳しい動作について、図１１に示すフローチャートを用いて説明する。前述したように、図８に示した画像処理のフローでは、まず基本画像処理を行い、次に特殊画像処理を行い、次いで、この組み写真生成を行う。この組み写真生成では、図５に示したようなスタイル（テンプレート）に、画像を合成する。この合成にあたって、概略、ステップＳ１２１〜Ｓ１２７において前処理が未実施のコマがあれば、前処理を実施する。前処理を施すと、色変更や輝度変更等を行い、スタイルに画像を嵌め込む画像処理を実行してから画像記録を行う。

組み写真生成のフローに入ると、まず、前処理未実施コマがあるか否かの判定を行う（Ｓ１２１）。ここでは、合成する全てのコマの画像に対して、ステップＳ１２８以降の処理で毎回実行する必要のない、リサイズ・回転・トリミング、画像解析などの前処理が終了しているか否かを判定する。

ステップＳ１２１における判定の結果、前処理が未実施のコマがあれば、次に、リサイズ・回転・トリミングを行う（Ｓ１２３）。ここでは、図５に示すようなスタイルに嵌め込むために、組み写真処理部１０９ｃが、コマに合わせてリサイズや回転やトリミング等の処理を行う。

リサイズ等を行うと、次に、画像解析を行う（Ｓ１２５）。合成する元の画像（置換画像）を解析し、画像特徴（例えば、輝度分布と色分布等）を取得する。基本画像処理等の画像処理が完了した画像を用いて解析してもよく、また、その元となるＲＡＷデータを解析してもよい。

画像解析を行うと、次に、コマ画像記憶を行う（Ｓ１２７）。ここでは、ステップＳ１２３、Ｓ１２５における前処理を行った画像をＳＤＲＡＭ１２７に記憶する。図１６（ａ）は、ＳＤＲＡＭ１２７の表示・記録用組み画像記憶領域を示しており、領域Ｒ１は組み写真に組み込むコマ数分の領域であり、領域Ｒ２は組み写真に組み込むコマ数分の退避領域である。このステップＳ１２７では、前処理を行った画像の画像データと画像解析結果を、コマ画像領域Ｒ１内の対応する領域（コマ画像領域１〜コマ画像領域ｎのいずれか）に記憶する。

コマ画像の記憶を行うと、またはステップＳ１２１における判定の結果、前処理未実施コマがない場合には、次に、画質調整を行う（Ｓ１２８）。ここでは、コマ画像領域に記憶されている画像の画質調整を行う。画質調整としては、組み写真の他のコマと同等の画質となるような調整を施す。画質調整後の画像は、コマ画像領域Ｒ１に上書きで記憶する。この画質調整の詳しい動作については、図２０および図２１を用いて後述する。

画質調整を行うと、次に、色変更を行う（Ｓ１２９）。ここでは、組み写真処理部１０９ｃが、合成する画像が略同様な色になるように、ＣｂＣｒを補正する。このとき、各コマ画像領域のデータを用いて処理を行うが、ＳＤＲＡＭ１２７のコマ画像領域Ｒ１内のデータは変更しないようにする。これは、後ほどＭＰＯ形式でデータを保存するためである。

色変更の補正方法としては、例えば、合成する全ての画像の色分布（ＣｂＣｒ平面での分布）のピークが、各ピークの平均値になるように画像のＣｂＣｒをオフセットさせる。この補正方法を図１２（ｂ）（ｃ）を用いて説明する。図１２（ｂ）の（ｂ−１）は画像１および画像２の色差（Ｃｂ）を示し、図１２（ｃ）の（ｃ−１）は、色差（Ｃｒ）を示す。画像１，２のそれぞれについて、色分布のピークが平均値となるように色差をオフセットさせると（図１２の（ｂ−２）、（ｃ−２）参照）、両画像の色差は略同様になる（図１２の（ｂ−３）（ｃ−３）参照）。

ステップＳ１２９において色変更を行うと、次に、輝度変更を行う（Ｓ１３１）。ここでは、組み写真処理部１０９ｃが合成する画像の輝度が同様になるように補正する。補正方法としては、例えば、合成する全ての画像の輝度分布の平均値に、各画像の平均値が略一致するように補正する。このとき、輝度ガンマ（輝度成分のみのガンマ）で変換すると、大きく輝度を変更した場合に、色が不自然に見える。そこで、例えば、ＲＧＢ変換してＲＧＢ色空間でガンマ補正するようにしてもよい。

輝度変更の例を、図１２（ａ）を用いて説明する。図１２（ａ）の（ａ−１）は、画像１と画像２の輝度を示す。両者をＲＧＢ色空間でテーブル変換する（（ａ−２）参照）。画像２は（ａ−１）から分かるように、全体に低輝度成分が多いことから、テーブル変換によって低輝度側を持ち上げている。変換後は、（ａ−３）に示すように、画像１と画像２は、略同様な輝度分布となる。

ステップＳ１３１において輝度変更を行うと、次に、合成を行う（Ｓ１３３）。ここでは、組み写真処理部１０９ｃが、背景画像上の各画像を合成する。すなわち、図５に示したようなスタイルの各位置に画像を嵌め込み合成することにより、組み写真を生成する。

合成を行うと、次に、特殊効果を付加する（Ｓ１３５）。ここでは、合成した画像に対して、シェーディングやぼかし等の特殊効果を付加する。なお、各画像に対しては、図８のステップ７５において特殊効果を付加しており、このステップでは、合成画像に対する特殊効果を付加している。

特殊効果を付加すると、次に、画像記憶を行う（Ｓ１３７）。ここでは、表示・記録用組み画像記録領域に合成結果を記憶する。画像記憶を行うと元のフローに戻る。

このように組み写真生成のフローにおいては、前処理を未実施の場合には、リサイズ等の処理や画像解析を施し（Ｓ１２３、Ｓ１２５）、この前処理した画像データをＳＤＲＡＭ１２７のコマ画像領域Ｒ１に記憶し（Ｓ１２７）、前処理済みの画像に対して色変更と輝度変更を行った後（Ｓ１２９、Ｓ１３１）、組み写真の画像を合成し（Ｓ１３３）、画像記録を行っている（Ｓ１３７）。前処理し色変更や輝度変更を行う前の画像データを、コマ画像領域Ｒ１に記憶していることから、組み写真作成後、置換画像と入れ替える際に前処理時の画像データを読出すことができ、適切な色変更や輝度変更を行うことができる。

また、組み写真生成のフローにおいては、組み写真の各画像と画質が揃うように画質調整を行っている（Ｓ１２８参照）。このため、組み写真の各画像の画質が揃っていて、自然な感じとなる。

次に、ステップＳ４３（図７）の静止画記録の詳しい動作について、図１３に示すフローチャートを用いて説明する。この静止画記録は、前述のメカシャッタによる撮影（Ｓ３９）、画像処理（Ｓ４３）に引き続いて実行され、画像処理された画像データを記録媒体１３１に記録するための処理を行う。

静止画記録のフローに入ると、まず、組み写真モードか否かの判定を行う（Ｓ１４１）。この判定の結果、組み写真モードでない場合には、通常モードであり、レックビュー表示を行う（Ｓ１５７）。ここでは、記録媒体１３１に記録する画像を、表示パネル１３５に一時的に所定時間の間、表示する。これにより、ユーザは撮影画像を確認することができる。

レックビュー表示を行うと、次に静止画記録を行う（Ｓ１５９）。組み写真以外では、画像処理した画像をＪＰＥＧ圧縮して記録媒体１３１に記録する。しかし、これに限らず、非圧縮形式（例えば、ＴＩＦＦ等）で記録するようにしてもよく、別の圧縮形式でもよい。また、ＲＡＷ画像を記録するようにしても良い。

ステップＳ１４１における判定の結果、組み写真モードであった場合には、撮影画像記録か否かを判定する（Ｓ１４３）。組み写真モードでは、図５に示すようなスタイルに各画像を嵌め込むが、組み写真モードが設定されている場合であっても、スタイル中に嵌め込まない画像を記録するようにしてもよい。このステップでは、図６のステップＳ９のカメラ設定において、ユーザが組み写真の各コマを記録するかどうかの設定をオンにしているか否かを判定する。

ステップＳ１４３における判定の結果、撮影画像記録の場合には、静止画記録を行う（Ｓ１４５）。ここでは、ステップＳ１５９と同様に、組み写真ではない、単独の撮影画像として撮影し、ＪＰＥＧ等によって圧縮等を行って記録媒体１３１に記録する。

ステップＳ１４５において静止画記録を行うと、またはステップＳ１４３における判定の結果、撮影画像記録でない場合には、次に、組み完了か否かの判定を行う（Ｓ１４７）。ここでは、予め設定されているスタイルを満たす数の画像が撮影され、合成されているか否かを判定する。例えば、図２、図３を用いて説明した組み写真では、４枚の写真が撮影され、合成されているかを判定する。また、例えば、４枚合成の場合であって、２枚を撮影し、２枚を記録画像から選択した場合も組み完了と判定される。

ステップＳ１４７における判定の結果、組み完了であった場合には、レックビュー表示を行う（Ｓ１４９）。ここでは、組み写真として全画像が揃ったことから、この組み写真を表示パネル１３５にレックビュー表示を行う。なお、レックビュー表示中には、後述する再生のフローと同様に、拡大表示ができるようにしてもよい。

レックビュー表示を行うと、次に、キャンセル操作がなされたか否かを判定する（Ｓ１５１）。ユーザがレックビュー表示を観察した際に、一部の写真を削除し、取り換えたいと思う場合がある。そこで、本実施形態においては、レックビュー表示を行い、所定時間（例えば、３秒）内にキャンセル操作を行った場合には、指定したコマをキャンセルして、再撮影を行うことができるようにしている。なお、キャンセル操作としては、タッチパネルで指定してもよく、また削除釦でキャンセルするようにしてもよい。

ステップＳ１５１における判定の結果、キャンセル操作を行った場合には、組み写真操作を行う（Ｓ１５５）。組み写真操作のサブルーチン中において、キャンセル操作が実行される（後述する図１４のＳ１６５〜Ｓ１７３参照）。

一方、ステップＳ１５１における判定の結果、キャンセル操作が行われない場合には、組み写真記録が行われる（Ｓ１５３）。ここでは、完成した組み写真の合成画像データを記録媒体１３１に記録する。

ステップＳ１５３において組み写真記録を行うと、またはステップＳ１５５において組み写真操作を行うと、またはステップＳ１４７における判定の結果、組み完了していない場合には、またはステップＳ１５９において静止画記録を行うと、元のフローに戻る。

このように、静止画記録フローにおいては、スタイルによって決まる画像の枚数が揃うまでは組み写真の記録を行わず（Ｓ１４７→Ｎｏ）、枚数が揃うと組み写真の記録を行っている（Ｓ１５３）。また、組み写真が完成した後でも、キャンセル操作を行うことにより（Ｓ１５１）、組み写真の指定した画像の削除を行うことができる。

次に、ステップＳ２３（図６）およびステップＳ１５５（図１３）の組み写真操作の詳しい動作について、図１４および図１５に示すフローチャートを用いて説明する。この組み写真操作は、前述したように、組み写真の編集を行うための各種操作がなされた際に実行される。

組み写真操作のフローに入ると、まず、撮影コマ変更操作がなされたか否かの判定を行い（Ｓ１６１）、この判定の結果、撮影コマ変更操作が行われた場合には、撮影コマの変更を行う（Ｓ１６３）。図３（ａ）（ｂ）を用いて説明したように、組み写真のスタイルの中でいずれかの枠に撮影画像を嵌め込むかは適宜変更可能である。十字キーとＯＫ釦の操作や、タッチパネル操作等により、撮影するコマを変更する操作がなされた場合に、撮影するコマを変更する。その際、どのコマを撮影するかを分かるようにするために、コマに枠を表示したり、アイコンを表示したり、撮影コマ以外のコマを暗く表示したり、撮影コマ以外のコマの彩度を低下するようにしてもよい。ライブビュー表示中のコマがタッチされた場合には、レリーズ操作（１ｓｔと２ｎｄ、または１ｓｔのみ）を実行する。複数のコマでライブビュー表示を行っている場合には、レリーズ釦を使用して撮影するコマを選ぶ。

ステップＳ１６３において撮影コマの変更を行うと、またはステップＳ１６１における判定の結果、撮影コマの変更操作がなかった場合には、次に、キャンセル操作がなされた否かを判定する（Ｓ１６５）。静止画記録のフローにおいて説明したように、完成した組み写真において、一部の画像を削除し、画像を置換したい場合がある。そこで、本実施形態においては、十字キーで撮影したコマを選択し、削除釦を押した場合や、タッチパネルで撮影したコマをゴミ箱アイコンドロップした場合等、撮影したコマをキャンセルする。このステップＳ１６５においては、これらの操作がなされたか否かを判定する。

ステップＳ１６５における判定の結果、キャンセル操作がなされた場合には、次に、タッチ操作でコマサイズが小か否かの判定を行う（Ｓ１６７）。キャンセル操作が、タッチ操作で行われた場合、キャンセルしようとしているコマのサイズ（縦横サイズまたは面積）が小さいか（例えば、面積が１平方センチメートル以下）否かを判定する。コマサイズが小さいと誤操作となってしまうからである。

ステップＳ１６７における判定の結果、タッチ操作でコマサイズが所定値より大きい場合には、次に、画像退避し（Ｓ１６９）、ライブビュー表示の変更を行う（Ｓ１７１）。キャンセル操作によって画像を削除した場合でも、復元したい場合がある。そこで、復元を可能とするために（すなわち、キャンセル操作の取り消し）、削除の指定がなされた撮影画像（組み写真のコマの画像）を一旦メモリ内の別領域に退避し、そのコマを未撮影状態とみなしてライブビュー表示を変更している。この画像退避については、図１６（ｂ）（ｃ）を用いて後述する。

ライブビュー表示を行うと、組み写真生成を行う（Ｓ１７３）。この組み写真生成のサブルーチンは、図１１を用いて説明した。キャンセル操作によって指定された画像が削除されたので、このステップでは、残りの画像を用いて組み写真を生成し直す。

ステップＳ１７３において組み写真生成を行うと、またはステップＳ１６７における判定の結果、タッチ操作でコマサイズが小さかった場合には、またはステップＳ１６５における判定の結果、キャンセル操作がなされていなかった場合には、次に、復元操作か否かの判定を行う（Ｓ１７５）。復元操作は、十字キーで復元したいコマを選択して削除釦を操作したり、またタッチ操作によりゴミ箱アイコンを復元したいコマへドロップ操作した場合等、操作部１２３やタッチパネル１２３ａの操作によって行う。

ステップＳ１７５における判定の結果、復元操作がなされた場合には、次に、画像を復元し（Ｓ１７７）、ライブビュー表示の変更を行う（Ｓ１７９）。ここでは、退避させた画像を元の位置に戻し、そのコマを撮影したとみなして、ライブビュー表示を変更する。

ライブビュー表示の変更を行うと、組み写真生成を行う（Ｓ１８１）。この組み写真生成のサブルーチンは、図１１を用いて説明した。復元操作によって指定された画像が復元されたので、このステップでは、復元された画像も含めて組み写真を生成し直す。

ステップＳ１８１において組み写真生成を行うと、またはステップＳ１７５における判定の結果、復元操作がなされなかった場合には、次に、一時保存操作か否かの判定を行う（図１５のＳ１８３）。短時間の間に複数の撮影を行い、組み写真の作成を行う場合には、連続的に撮影を行える。しかし、朝、昼、夜等と時間間隔をおいて撮影した画像を用いて組み写真を作成する場合には、作成途中の画像を一時保存できると便利である。そこで、本実施形態においては、組み写真を構成する画像の一時保存を可能としている。復元操作としては、メニュー画面またはタッチパネル操作等によって、一時保存メニューの選択操作やアイコンの選択操作等で行う。

ステップＳ１８３における判定の結果、一時保存操作がなされた場合には、組みデータの記録を行う（Ｓ１８５）。ここでは、現在の組み写真の状態、すなわち、どのスタイルでどの写真を撮影しているか等を、フラッシュメモリ１２５または記録媒体１３１に記録する。記録する組みデータとしては、少なくともスタイル（テンプレートに関する情報）、撮影した写真データ、写真データとテンプレート上の関連情報がある。

組みデータの記録を行うと、次に、組み写真のリセットを行う（Ｓ１８７）。記録後、撮影していた組み写真の情報をリセットし、１枚目撮影と同様の状態、すなわち、ライブビュー表示やＳＤＲＡＭ１２７のリセット等の状態にする。

ステップＳ１８７において組み写真のリセットを行うと、またはステップＳ１８３における判定の結果、一時保存操作がなされなかった場合には、次に、一時保存読み込み操作がなされたか否かを判定する（Ｓ１８９）。この操作は、ステップＳ１８３、Ｓ１８５において組み写真の組みデータを一時保存した場合に、この一時保存された組みデータの読み出しを行う。操作としては、例えば、メニュー画面またはタッチパネル等で、一時保存読み込みメニューやアイコンの選択操作を行う。

ステップＳ１８９における判定の結果、一時保存読み込み操作がなされた場合には、次に、撮影途中か否かの判定を行う（Ｓ１９１）。組み写真を撮影中に、一時保存読み込み操作がなされる場合がある。この場合には、現在、進行している組み写真撮影を一時中断しなければならないことから、ステップＳ１９１〜Ｓ１９５において対応する。このステップでは、組み写真撮影モードであって、かつテンプレートに対して１枚以上撮影されているか否かを判定する。

ステップＳ１９１における判定の結果、組み写真の撮影中であった場合には、次に、一時保存するか否かを確認する（Ｓ１９３）。この場合には、撮影途中の現状の状態を一時保存するか否かの確認画面を表示パネル１３５表示し、ユーザに問い合わせる。この判定の結果、一時保存する場合には、組みデータの記録を行う（Ｓ１９５）。ここでは、現状の状態を一時保存するために、ステップＳ１８５と同様の組みデータを記録する。

ステップＳ１９５において組みデータ記録を行うと、またはステップＳ１９３における判定の結果、一時保存しない場合、またはステップＳ１９１における判定の結果、撮影途中でなかった場合には、次に、組みデータを読み込み（Ｓ１９７）、ライブビュー表示し（Ｓ１９９）、組み写真生成を行う（Ｓ２０１）。ここでは、ステップＳ１８５において一時保存した組みデータを読出し、ステップＳ１７１やＳ１７９と同様にライブビュー表示の変更を行い、ステップＳ１７３やＳ１８１と同様に組み写真の生成を行う。

ステップＳ２０１において組み写真の生成を行うと、またはステップＳ１８９における判定の結果、一時保存読み込み操作が行われなかった場合には、組み写真操作の動作を終了し、元のフローに戻る。

このように、組み写真操作のフローにおいては、スタイルのコマの中で撮影するコマを変更することができ（Ｓ１６３）、またコマを削除し復元することもできる（Ｓ１６９、Ｓ１７７）。さらに、組み写真撮影中であっても、データを一時保存でき、この一時保存したデータを読出し、組み写真撮影を続行することもできる。

次に、組み写真操作のフローで説明した画像退避（Ｓ１６９）と画像復元（Ｓ１７７）について、図１６（ｂ）を用いて説明する。

図１６（ｂ）はＳＤＲＡＭ１２７の表示・記録用組み画像記憶領域を示す。図１６（ｂ）の左側のコラムは、４枚から構成される組み写真の内で３枚撮影した状態を示す。すなわち、コマ画像領域Ｒ１の内、コマ画像１〜コマ画像３のデータが記録されている。

図１６（ｂ）において３枚撮影された状態で、コマ画像２がキャンセル操作されたとすると（図１４のＳ１６５Ｙｅｓ）、コマ画像領域Ｒ１のコマ画像２のデータは、退避画像領域Ｒ２のコマ画像２にコピーされ、コマ画像領域Ｒ１のコマ画像２の位置のデータは消去される（図１６（ｂ）の真ん中のコラム参照）。

続いて、コマ画像２が復元操作されたとすると（図１４のＳ１７５Ｙｅｓ）、退避画像領域Ｒ２のコマ画像２のデータが、コマ画像領域Ｒ１のコマ画像２の位置にコピーされる。そして、退避画像領域Ｒ２のコマ画像２の位置のデータが消去される（図１６（ｂ）の右側のコラム参照）。

このように、本実施形態においては、コマ画像のデータを記録しておくコマ画像領域Ｒ１と、データの退避用の退避画像領域Ｒ２を設けている。そして、キャンセル操作がなされると、退避画像領域Ｒ２に記憶し、復元操作がなされると、コマ画像領域Ｒ１にコピーしている。このため、一旦消去した画像でも簡単に復元することができる。

なお、本実施形態においては、キャンセル操作や復元操作時に、データをコピーしていた。しかし、これに限らず、ポインタによって管理するようにしてもよい。図１６（ｃ）は、ポインタで管理する例を示す。

図１６（ｃ）に示す例では、ＳＤＲＡＭ１２７の表示・記録用組み画像記録領域に、参照ポインタを記憶する参照ポインタ領域Ｒ３とコマ画像領域Ｒ１を設けている。まず、４枚のうちの３枚を撮影した時点では、参照ポインタ領域Ｒ３には、有効な画像としてコマ画像１〜コマ画像３に対応するアドレスが記録されている（図１６（ｃ）の左側のコラム参照）。

コマ画像２がキャンセル操作されると、コマ画像領域Ｒ１にはコマ画像２は記録されたままであるが、参照ポインタ領域Ｒ３からはコマ画像２のアドレスが消去される（図１６（ｃ）の真ん中のコラム参照）。

続いて、コマ画像２が復元操作されると、コマ画像領域Ｒ１にはコマ画像２は記録されたままであり、また参照ポインタ領域Ｒ３にはコマ画像２のアドレスが復元される（図１６（ｃ）の右側のコラム参照）。

次に、ステップＳ５（図６）の再生・編集の詳しい動作について、図１７に示すフローチャートを用いて説明する。この再生・編集は、前述したように、記録媒体１３１から撮影済みの画像データを読出し、再生する場合に実行される。

再生・編集のフローに入ると、まず、一覧表示を行い（Ｓ２１１）、画像選択を行う（Ｓ２１３）。ここでは、記録媒体１３１に記録されている画像ファイルのサムネールを一覧表示する。ユーザは一覧表示の中から画像を選択する。

画像選択を行うと、次に、選択された画像が動画か否かの判定を行う（Ｓ２１５）。画像としては、静止画または動画が記録されていることから、画像の形式から判定する。

ステップＳ２１５における判定の結果、選択された画像が動画の場合には、フレーム数を読み込む（Ｓ２１７）。動画ファイルには、フレーム数が記録されているので、この情報を読み込む。続いて、カウンタｉを１に初期化する（Ｓ２１９）。このカウンタｉは、フレーム数を計数する。

次に、ｉフレーム目を再生・表示し（Ｓ２２１）、フレームｉに１を加算し（Ｓ２２３）、フレームｉがフレーム数より小さいか否かを判定する（Ｓ２２５）。ここでは、１フレーム目から順次、動画の画像データを読出し、表示パネル１３５に表示する。フレームｉが、ステップＳ２１７において読み出したフレーム数に達するまで、動画再生を行う。その後、ステップＳ２２７へ進む。

ステップＳ２１５における判定の結果、ステップＳ２１３において選択された画像が静止画の場合には、画像読み込み（Ｓ２２９）、表示する（Ｓ２３１）。ここでは、記録媒体１３１に記録された静止画の画像データを読み出し、伸張処理を行って、表示パネル１３５に表示する。

表示を行うと、次に、拡大操作がなされたか否かを判定し（Ｓ２３３）、この判定の結果、拡大操作がなされた場合には、拡大表示する（Ｓ２３５）。静止画表示中に、例えば、拡大釦等を操作することにより、拡大表示する。このとき、組み写真の場合には、各コマを拡大表示したり、特定の１コマを拡大表示したりする。

ステップＳ２３５において拡大表示すると、またはステップＳ２３３における判定の結果、拡大操作がなされていなかった場合には、次に、拡大中かつ表示位置変更操作がなされたか否かを判定し（Ｓ２３７）、この判定の結果、変更操作がなされていた場合には、拡大位置変更を行う（Ｓ２３９）。拡大表示中で、かつ表示位置の変更操作、例えば、十字キー操作がなされた場合には、画像中において拡大表示する部分を変更する。組み写真の場合には、拡大中のコマ内のみ表示位置を変更できるように制限する。制限がない場合には、通常の画像と同様の表示とする。

ステップＳ２３９において拡大位置変更を行うと、またはステップＳ２３７における判定の結果、拡大中かつ表示位置変更操作が行われていなかった場合には、次に、組み写真かつ表示コマ変更操作がなされたか否かを判定し（Ｓ２４１）、変更操作がなされていた場合には、表示コマの変更を行う（Ｓ２４３）。組み写真の場合、拡大表示中かつ表示コマ変更操作、例えば、ファンクション釦（Ｆｎ釦）操作等があった場合には、拡大表示を行うコマを切り換える。このとき、各コマで拡大位置を記憶しておき、現在表示されているコマを再度表示するように指示された場合には、同じ位置を拡大表示する。

ステップＳ２４３において表示コマ変更を行うと、またはステップＳ２４１における判定の結果、組み写真かつ表示コマ変更操作がなかった場合には、次に、組み写真かつ編集操作か否かの判定を行い（Ｓ２４５）、この判定の結果、編集操作がなされていた場合には、組み写真編集を行う（Ｓ２４７）。組み写真の場合、メニュー画面から組み写真編集を選択したり、タッチ操作で編集アイコンを選択したりする等によって、現在再生している組み写真におけるコマを編集することができる。この組み写真編集の詳しい動作については、図１８を用いて後述する。

ステップＳ２４７において組み写真編集を行うと、またはステップＳ２４５における判定の結果、組み写真かつ編集操作が行われていなかった場合には、次に、表示終了か否かを判定する（Ｓ２４９）。表示終了釦が操作された場合や表示終了アイコン等がタッチ操作されると、表示を終了する。このステップＳ２４９の判定の結果、表示終了でない場合には、ステップＳ２３３に戻り、表示を続行する。一方、表示終了であった場合には、ステップＳ２２７へ進む。

ステップＳ２４９における判定の結果、表示終了であった場合、またはステップＳ２２５における判定の結果、動画のフレームｉがフレーム数を超えた場合には、次に、再生終了か否かを判定する（Ｓ２２７）。再生釦が再度、操作されると、再生を終了する。このステップにおける判定の結果、再生終了でなかった場合には、ステップＳ２１１に戻り、再生モードを続行する。一方、判定の結果、再生終了の場合には、この再生・編集のフローを終了し、元のフローに戻る。

このように、再生・編集のフローにおいては、動画の再生や、静止画の拡大表示や、組み写真の編集操作等を実行する。なお、本実施形態においては、組み写真の編集のみを行っていたが、これ以外にも動画も編集するようにしてもよい。

次に、ステップＳ２４７（図１７）の組み写真編集の詳しい動作について、図１８に示すフローチャートを用いて説明する。この組み写真編集は、前述したように、記録媒体１３１から完成した組み写真画像のデータを読出し、組み写真の中の画像を、他の記録画像または新たに撮影で取得する画像で置換する場合に実行される。

組み写真編集のフローに入ると、まず、組み画像の読み込みを行う（Ｓ２５１）。組み画像を読み込み、主画像および副画像をＳＤＲＡＭ１２７の各記憶領域に記憶する。ここで、主画像は、合成された組み写真の画像データであり、副画像は前処理（図１１のＳ１２３、Ｓ１２５参照）がなされた画像データである。副画像は、図１６に示したコマ画像領域に各コマに対応するように記憶する。

組み画像の読み込みを行うと、次に、編集コマの指定を行う（Ｓ２５３）。ここでは、ユーザが組み写真を構成する複数のコマの内、いずれを他の画像で置換するかを指定する。

編集コマの指定がなされると、次に、記録画像と置換するか否かを判定する（Ｓ２５５）。前述したように、編集にあたっては、記録済みの画像か、新たに撮影する画像を選択できる。記録済みの画像を選択する場合には、記録済みの画像の一覧表を表示させ、この中から選択する。一方、新たに撮影する場合には、撮影待機状態に移行し、撮影時のライブビュー表示と撮影シーケンスを実行することにより取得する。メニュー画面またはアイコン表示によって、記録画像と置換するか撮影画像と置換するかを選択する。

ステップＳ２５５における判定の結果、記録画像と置換する場合には、次に、一覧表示を行い（Ｓ２５７）、画像選択する（Ｓ２５９）。ここでは、ステップＳ２１１、Ｓ２１３（図１７）と同様に、記録媒体１３１に記録されている画像ファイルのサムネールを一覧表示する。ユーザは、一覧表示の中から十字キーとＯＫ釦等を操作して置換する画像を選択する。

画像選択を行うと、次に、画像読み込みを行う（Ｓ２６１）。ここでは、ステップＳ２５９において選択された画像のデータを記録媒体１３１から読み出す。

ステップＳ２５５における判定の結果、置換する画像が記録画像でなかった場合、すなわち、置換する画像が新たに撮影する画像である場合には、次に、レリーズ操作がオフから１ｓｔに遷移かを判定する（Ｓ２７３）。ここでは、レリーズ釦が半押しされたか否かを判定する。レリーズ釦の半押しにより撮影準備状態に移行する。ステップＳ２７３における判定の結果、レリーズ操作がオフから１ｓｔ遷移であった場合には、次に、ＡＥ・ＡＦを行う（Ｓ２７５）。ステップＳ３３（図７）と同様に、ここでは、ＡＥ動作とＡＦ動作を実行する。ＡＥ・ＡＦを行うとステップＳ２７３に戻る。

ステップＳ２７３における判定の結果、レリーズ操作オフから１ｓｔ遷移でない場合には、次にレリーズ操作２ｎｄか否かを判定する（Ｓ２７７）。ここでは、レリーズ釦が全押しされたか否かを判定する。この判定の結果、レリーズ操作２ｎｄでなかった場合には、ＡＥを行い（Ｓ２８１）、電子シャッタによる撮影を行い（Ｓ２８３）、画像処理を行い（Ｓ２８５）、ライブビュー表示を行う（Ｓ２８７）。このステップＳ２８１〜Ｓ２８７の動作は、前述した図７のステップＳ５１〜Ｓ５７と同様であることから、詳しい説明を省略する。ライブビュー表示を行うと、ステップＳ２７３に戻る。

ステップＳ２７７における判定の結果、レリーズ操作２ｎｄであった場合には、次に、メカシャッタによる撮影を行う（Ｓ２７９）。すなわち、ユーザがライブビュー表示を観察し、レリーズ釦の全押しを行うことにより、組み写真のコマと置換する画像を取得することができる。メカシャッタによる撮影において露光が終わると、ＲＡＷデータを取得する。

ステップＳ２６１において画像データを読み出すと、またはステップＳ２７９においてメカシャッタによる撮影が終わると、次に、画像のデータ形式がＲＡＷデータであるか否かを判定する（Ｓ２６３）。ステップＳ２７９において取得する画像データはＲＡＷであるが、記録媒体１３１から読み出した画像データは、ＲＡＷやＪＰＥＧ等、種々の形式が含まれている。ＲＡＷデータの場合には、ステップＳ２６５〜Ｓ２６９において基本画像処理および特殊画像処理を行う。ＪＰＥＧデータの場合には、既に画像処理されていることから、これらの処理はスキップする。

ステップＳ２６３における判定の結果、ＲＡＷデータであった場合には、次に基本画像処理を行う（Ｓ２６３）。この基本画像処理は図９に示したフローであるので、詳しい説明を省略する。基本画像処理を行うと、アートフィルタが設定されているか否かを判定する（Ｓ２６７）、この判定の結果、アートフィルタが設定されている場合には、特殊画像処理を行う（Ｓ２６９）。この特殊画像処理は図１０に示したフローであるので、詳しい説明を省略する。

ステップＳ２６９において特集画像処理を行うと、またはステップＳ２６３における判定の結果、ＲＡＷデータでなかった場合、またはステップＳ２６７における判定の結果、アートフィルタが設定されていなかった場合には、次に、組み写真生成記録を行う（Ｓ２７１）。ステップＳ２６１において置換画像として指定された記録画像の画像データを読み込み、またステップＳ２７９において置換画像として新たに撮影した撮影画像の画像データを取得したことから、このステップにおいて、組み写真の１コマの画像を置換画像に置き換えて組み写真を生成する。この組み写真生成記録の詳しい動作については、図１９を用いて説明する。

このように、組み写真編集のフローでは、組み写真の中で置換する画像を、記録画像の中から選択し（Ｓ２５７〜Ｓ２６１）、または新たに撮影することにより取得している（Ｓ２７９）。そして組み写真と置換画像を用いて、新たに組み写真を生成する（Ｓ２７１）。

次に、ステップＳ２７１の組み写真生成記録の詳しい動作について、図１９に示すフローチャートを用いて説明する。この組み写真生成記録のフローに入ると、まず、組み写真生成を行う（Ｓ２９１）。ここでは、図１１において説明したフローを実行する。すなわち、組み写真を構成する各コマについて前処理を行った後、色変更および輝度変更等を行うことによって、各コマを調整し、違和感のないようにする。また、画質調整を行い、圧縮率の差などによる画質の差が目立たないようにする。各コマの色、輝度、画質の調整を行うと、合成を行って組み写真を生成する。

組み写真生成を行うと、次に静止画記録を行う（Ｓ２９３）。ここでは、ステップＳ２９１において生成された組み写真のデータを記録媒体１３１に記録する。

次に、ステップＳ１２８（図１１）の画質調整の動作について、図２０および図２１に示すフローチャートを用いて説明する。組み写真生成にあたって、組み写真を構成する各画像（コマ）を合成した際に、画像圧縮により画質低下や画質差が生ずる。そこで、画質調整において、置換画像を、置換画像以外の他の組み写真の画像と同様の画質に調整することにより、上述の問題を解消している。

この画質調整には、種々の方法があり、本実施形態においては、図２０（ａ）〜（ｃ）、図２１（ａ）（ｂ）の合計５種類の方法のうちのいずれかを使用する。

図２０（ａ）に示す画質調整のフローは、最もシンプルな方法である。図２０（ａ）の画質調整のフローに入ると、まず、組み画像量子化パラメータを取得する（Ｓ３０１）。ここでは、編集する組み画像（置換画像を除く組み写真を構成する画像）に記録されている量子化テーブルをヘッダから読み込む。

組み画像の量子化パラメータを取得すると、次に、画質変更処理を行う（Ｓ３０３）。ここでは、読み込んだ量子化テーブルを指定し、リサイズや回転等を行った組み換える画像（組み写真に合成するための置換画像）の画質変更処理を行う。すなわち、前のステップで組み写真の量子化パラメータを取得したことから、この量子化パラメータを使用して、置換画像の画質が、他の組み写真の画像と略同等の画質になるように調整する。この画質変更処理には種々の方法があり、図２２を用いて後述する。

図２０（ｂ）に示す画質調整のフローは、画像のファイルの大きさに応じて画質調整を行うか否かを判定している。図２０（ｂ）の画質調整のフローに入ると、まず、元サイズ（置換画像の画像サイズ）が組みサイズ（組み写真を構成する被置換画像サイズ）よりも大きいか否かを判定する（Ｓ３１１）。ここでは、置換画像のサイズが組みサイズ（組み写真を構成する被置換画像のサイズ）よりも大きいかを、画像ファイルのサイズから判定する。より詳しくは、画像ファイルには、純粋に画像だけでなく画像に関連した情報や、サムネイル画像（簡易縮小画像）などが含まれているので、画像ファイルのサイズと、画像のサイズは一致しない。画像ファイルの中のＥＸＩＦタグに画像のみの画像サイズが記録されているので、それを参照する。被置換画像よりも置換画像の画像サイズが大きい場合には、組み写真に合成する際に、縮小処理を行う。縮小処理を行うと高周波成分が多くなるため、他の組まれている画像との画質の差が大きくなる。一方、被置換画像よりも置換画像の画像サイズが小さい場合には、このような高周波成分の影響を考慮しなくてもよい。画質変更処理を行うと元のフローに戻る。

ステップＳ３１１における判定の結果、元サイズ（置換画像の画像サイズ）が組みサイズ（被置換画像の画像サイズ）よりも大きかった場合には、組み画像の量子化パラメータを取得し（Ｓ３１３）、画質変更処理を行う（Ｓ３１５）。この２つのステップは、前述のステップＳ３０１、Ｓ３０３と同様であることから、詳しい説明を省略する。一方、ステップＳ３１１における判定の結果、元サイズが組みサイズよりも小さかった場合には、ステップＳ３１３、Ｓ３１５の処理を行わない。

ステップＳ３１５において画質変更処理を行うと、またはステップＳ３１１における判定の結果、元サイズが組みサイズよりも小さかった場合には、画質調整のフローを終了し、元のフローに戻る。

図２０（ｃ）に示す画質調整のフローは、画像解析を行って画質調整を行うか否かを判定している。図２０（ｃ）の画質調整のフローに入ると、まず、画像解析を行う（Ｓ３２１）。ここでは、リサイズや回転等を行った組み換える画像（置換画像）について、高周波成分の度合いを解析する。具体的には、周波数空間に変換し、高周波成分の信号を得て行う。

画像解析を行うと、次に、組み画像の量子化パラメータを取得する（Ｓ３２３）。ここでは、ステップＳ３０１と同様、編集する組み画像（置換画像を除く組み写真を構成する画像）に記録されている量子化テーブルをヘッダから読み込む。

組み画像の量子化パラメータを取得すると、次に、高周波が多いか否かを判定する（Ｓ３２５）。ここでは、カメラで使用する全量子化テーブルに対して、一般的なシーンで再現できる高周波成分を予め算出し、フラッシュメモリ１２５に記憶しておき、組み画像から読み込んだ量子化テーブルを用いて高周波成分の値を取得し、その値と比較する。すなわち、編集する組み画像（置換画像を除く組み写真を構成する画像）が、一般的なシーンに比較し、高周波成分が多いか否かを判定する。

ステップＳ３２５における判定の結果、高周波が多い場合には、画質変更処理を行う（Ｓ３２７）。ここでは、前述したように、読み込んだ量子化テーブルを指定し、リサイズや回転等を行った組み換える画像（組み写真に合成するための置換画像）の画質変更処理を行う。この画質変更処理については、図２２を用いて後述する。

ステップＳ３２７において画質変更処理を行うと、またはステップＳ３２５における判定の結果、高周波が少ない場合には、画質調整のフローを終了し、元のフローに戻る。

図２１（ａ）に示す画質調整のフローは、画像解析結果に応じて画質調整を変えている。前述の図２０（ｃ）の画質調整のフローでは、画像解析の結果、高周波が多かった場合のみ画質変更処理を行っていたが、この図２１（ａ）の画質調整のフローでは、高周波が少ない場合であっても、画像解析結果に応じて画質調整を行うようにしている。

図２１（ａ）の画質調整のフローに入ると、ステップＳ３２１〜Ｓ３２７までは、図２０（ｃ）に示した画質調整のフローと同様であることから、詳しい説明を省略する。ステップＳ３２５における判定の結果、高周波が少ない場合には、画質変更処理を行う（Ｓ３２９）。この画質変更処理では、画像解析して得た高周波成分の信号に対応した量子化テーブルを用いて、既に組まれている画像の画質を変更する。置換画像が低周波シーンだった場合には、それに合わせて全体をのっぺりした印象の画像に画質を調整することができる。

図２１（ｂ）に示す画質調整のフローは、２つの画像の量子化テーブルを比較し、この比較結果に応じて画質変更処理を変えている。図２１（ｂ）の画質調整のフローに入ると、まず、ステップＳ３０１と同様に、組み画像の量子化パラメータを取得する（Ｓ３３１）。ここでは、編集する組み画像（置換画像を除く組み写真を構成する画像）に記録されている量子化テーブルをヘッダから読み込む。

組み画像の量子化パラメータを取得すると、次に、置換画像の量子化パラメータを取得する（Ｓ３３３）。ここでは、置換画像に記録されている量子化テーブルをヘッダから読み込む。

置換画像の量子化パラメータを取得すると、次に、リサイズに応じた量子化パラメータの補正を行う（Ｓ３３５）。ここでは、編集で置換する画像（置換画像）に記録されている量子化テーブルに対し、リサイズの際の縮小率に応じて量子化テーブルを補正する。具体的には、縮小するほど小さな値にし、一方、拡大する場合には大きくする。

量子化パラメータの補正を行うと、次に量子化テーブルの比較を行う（Ｓ３３７）。ここでは、編集する組み画像（置換画像を除く組み写真を構成する画像）の量子化テーブルが、ステップＳ３３５において補正した量子化テーブルよりも小さい場合には、編集で置換画像の画質が劣化しているため、このステップでは「Ｎｏ」と判定する。一方、大きい場合には、「Ｙｅｓ」と判定する。なお、量子化テーブルの比較は、量子化テーブル中の特定の要素の値を比較すればよい。

ステップＳ３３７における判定の結果、Ｙｅｓであった場合には、画質変更処理を行う（Ｓ３３９）。ここでは、編集する組み画像（置換画像を除く組み写真を構成する画像）に記録されている量子化テーブルを指定し、リサイズや回転等を行った組み換える画像（組み画像に合成する画像、置換画像）の画質変更処理を行う。

ステップＳ３３７における判定の結果、Ｎｏであった場合には、画質変更処理を行う（Ｓ３４１）。ここでは、ステップＳ３３５において補正した量子化テーブルを用いて、既に組まれている画像（置換画像を除く組み写真を構成する画像）の画質を変更する。これにより、組み換える画像（置換画像）に合わせて、他の画像の画質を変更できる。

ステップＳ３３９、Ｓ３４１において画質変更処理を行うと、画質調整のフローを終了し、元のフローに戻る。

このように、本実施形態における画質調整のフローにおいては、置換画像を除く組み写真を構成する画像と、置換画像と、両画像の画質が略同等となるように調整を行っている。このため、置換画像と組み写真を構成する複数の画像を組み合わせた際に、画質が略同等となり、違和感のない自然な感じの組み写真を合成することが可能となる。

次に、ステップＳ３０３、Ｓ３１５、Ｓ３２７、Ｓ３２９、Ｓ３３９、Ｓ３４１（図２０、図２１）における画質変更処理の動作について、図２２に示すフローチャートを用いて説明する。この画質変更処理には、種々の方法があり、本実施形態においては、図２２（ａ）〜（ｄ）の合計４種類の方法のうちのいずれかを使用する。

図２２（ａ）に示すパターン１の画質変更処理のフローに入ると、まず、ＪＰＥＧ圧縮を行う（Ｓ３５１）。ここでは、指定された量子化テーブルを用いてＪＰＥＧ圧縮を行う。ＪＰＥＧ圧縮を行うと、次に、ＪＰＥＧ展開を行う（Ｓ３５３）。ここでは、ＪＰＥＧ圧縮したデータを展開する。このように、このフローにおいては、ＪＰＥＧを利用して画質を合わせるようにしている。

次に、図２２（ｂ）に示すパターン２の画質変更処理のフローに入ると、まず、周波数領域に変換する（Ｓ３６１）。ここでは、組み直す画像（選択または撮影した画像、置換画像）に対して、記録時と同様に周波数変換（例えば、離散コサイン変換（ＤＣＴ））を行う。

周波数領域に変換すると、次に、量子化を施す（Ｓ３６３）。ここでは、ステップＳ３６１において周波数変換したデータに対して、記録時と同様に量子化を行う。このとき、指定された量子化テーブルを使用する。

量子化を施すと、次に逆量子化を行う（Ｓ３６５）。ここでは、ステップＳ３６３において量子化したデータを戻す。逆量子化すると、次に、画像空間へ変換する（Ｓ３６７）。ここでは、逆量子化したデータを指定された量子化テーブルを用いて画像空間へ変換する。画像空間へ変換すると、元のフローに戻る。

次に、図２２（ｃ）に示すパターン３の画質変更処理のフローに入ると、まず、ローパスフィルタ（ＬＰＦ）係数を算出する（Ｓ３７１）。ここでは、指定された量子化テーブルに応じて、ＬＦＰ係数を算出する。ＬＰＦ係数は、量子化するステップが細かいほど高周波まで通す係数にし、粗いほど高周波をより遮断する係数にする。

ＬＰＦ係数を算出すると、次に、ＬＰＦ処理を行う（Ｓ３７３）。ここでは、画像全体に対してローパス処理を施す。

このように、パターン３の画質変更処理では、ローパスフィルタによって画質の変更を行っている。画像の高周波成分ほど組み写真を合成する際に影響を受けやすい。そこで、パターン３の画質変更処理では、量子化を行わず、代わりにローパスフィルタで同様の効果を得られるようにしている。

次に、図２２（ｄ）に示すパターン４の画質変更処理に入ると、まず、縮小率の算出を行う（Ｓ３８１）。ここでは、指定された量子化テーブルに応じて、縮小率を算出する。量子化するステップが細かいほど縮小率を１倍（等倍）に近づけ、粗いほど縮小する。

縮小率の算出を行うと、次に、縮小を行う（Ｓ３８３）。ここでは、画像全体を縮小する。続いて、拡大する（Ｓ３８５）。ここでは、縮小した画像を拡大して元のサイズに戻す。

このように、パターン４の画質変更処理では、画像の縮小・拡大によって画質の変更を行っている。画像を縮小・拡大することにより、ローパスフィルタと同様の効果が得られる。そこで、パターン４の画質変更処理では、量子化を行わず、代わりに縮小・拡大で同様の効果を付加している。

次に、図２３を用いて、本実施形態における画質調整（図１１のＳ１２８、図２０〜図２２参照）の効果について説明する。図２３（ｂ）は、編集の対象となる組み写真の例である。この組み写真では、写真（ア）〜（エ）の４枚の画像から組み写真が構成されている。この４枚の画像の内の右上の画像（ア）を、組み写真編集（図６のＳ５、図１７のＳ２４７、図１８）によって、図２３（ａ）に示す置換画像に置き換える。

図２３（ａ）（ｂ）から明らかなように、置き換えの対象となる画像（ア）のサイズは、置換画像よりも小さい。そこで、図２３（ｃ）に示すようにリサイズを行う（リサイズは、図１１のＳ１２３）。リサイズにより縮小すると、解像感が上がる。このリサイズした置換画像をそのまま画像（ア）と置き換えると、図２３（ｄ）に示すように、他の画像（イ）〜（エ）に比較して、画像（ア）の解像感が高いために、画質の統一性がとれず、違和感のある組み写真となってしまう。

そこで、図２３（ｃ）に示すリサイズした画像を、編集する組み写真と同じ量子化テーブルで圧縮する。これにより、他の画像（イ）〜（エ）と同じ画質レベルになり、違和感なく調整することができる。なお、この画質調整は、図２０〜図２２に示すような種々の方法（例えば、ローパスフィルタ等の利用）を適宜組み合わせて行ってもよい。

図２３（ｅ）は、ＪＰＥＧ等を利用して、同じ画質レベルに調整した画像であり、この置換画像を、図２３（ｂ）の画像（ア）と置き換えると、図２３（ｆ）に示すように、４枚の画像の画質が略同じであることから、統一感があり、自然な感じの組み写真となる。

以上説明したように、本発明の一実施形態に係る画像編集装置は、不可逆圧縮した第１の画像（組み写真）の一部を、第２の画像（置換画像）に置換するものであり、不可逆圧縮による生じる画質変化と同様の画質変換処理を第２の画像（置換画像）に対して行う画質調整部（組み写真処理部１０９ｃ、図１１のＳ１２８）と、画質調整部で調整された第２の画像（置換画像）を用いて編集処理を行う編集部（組み写真処理部１０９ｃ、図１１のＳ１３３）と、を有している。このため、組み写真編集等において画像の一部を別の画像に置き換える場合、他の画像と同様の画質になるように調節した上で置き換えるため、置き換え後の画像に画質差がなくなり、特に解像感を一致させることができる。この結果、編集を行っても違和感が生じず、自然な印象の組み写真編集結果が得られる。

また、本発明の一実施形態に係る画像編集装置は、複数の画像を組み合わせて構成する組み写真画像を編集する画像編集装置であって、組み写真を構成する複数の画像うちの１枚を指示する第１の画像指示部（操作部１２３、図１７のＳ２４１参照）と、第１の画像指示部で指示した画像と置換するための置換画像を指示する第２の画像指示部（操作部１２３、図１８のＳ２５３）と、組み写真画像を代表する量子化テーブル値で画像を不可逆圧縮する画像圧縮処理部（画像圧縮伸張部１１５）、と、不可逆圧縮により生じる画質変化と同様の画質変化処理を置換画像に行う画質調整部（組み写真処理部１０９、図１１のＳ１２８）と、画像と量子化テーブル値を記憶する記憶部（フラッシュメモリ１２５）と、第２の画像指示部で指示された置換画像を、画質調整部で不可逆圧縮画像の量子化テーブル値で不可逆圧縮した後に第１の画像指示部により指示された画像と置換する制御部（組み写真処理部１０９ｃ、図１１のＳ１３３）と、を有している。

また、本発明の一実施形態に係る画像編集装置は、被写界を繰り返し撮像する撮像部（撮像素子１０３等）を備え、置換画像は、撮像部により繰り返し撮像された撮像画像である（図１８のＳ２５５Ｎｏ→Ｓ２７３→Ｓ２７７Ｙｅｓ→Ｓ２７９参照）。このため、既に撮影し記録された画像に限らず、撮影しながら、組み写真を生成することができる。

なお、本発明の一実施形態においては、カメラに本発明を適用した例を説明したが、これに限らず、撮影済み画像を用いて、組み写真を生成するための画像編集装置、パーソナルコンピュータ等、撮影機能を有さない画像編集装置にも本発明を適用することができる。

また、本発明の一実施形態においては、撮影のための機器として、カメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォーンや携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、組み写真を撮影可能な撮影のための機器であれば、本発明を適用することができる。

また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１００・・・カメラ本体、１０１・・・メカシャッタ、１０３・・・撮像素子、１０５・・・アナログ処理部、１０７・・・Ａ／Ｄ変換部、１０９・・・画像処理部、１０９ａ・・・基本画像処理部、１０９ｂ・・・特殊画像処理部、１０９ｃ・・・組み写真処理部、１０９ｄ・・・被写体検出部、１１０・・・バス、１１１・・・ＡＥ処理部、１１３・・・ＡＦ処理部、１１５・・・画像圧縮伸張部、１１７・・・通信部、１２１・・・マイクロコンピュータ、１２３・・・操作部、１２３ａ・・・タッチ入力部、１２５・・・フラッシュメモリ、１２７・・・ＳＤＲＡＭ、１２９・・・メモリＩ／Ｆ、１３１・・・記録媒体、１３３・・・表示ドライバ、１３５・・・表示パネル、２００・・・交換式レンズ、２０１・・・撮影レンズ、２０３・・・絞り、２０５・・・ドライバ、２０７・・・マイクロコンピュータ、２０９・・・フラッシュメモリ、３００・・・Ｉ／Ｆ

Claims (9)

1. 不可逆圧縮した第１の画像の一部を、第２の画像で置換する画像編集装置において、
   上記不可逆圧縮による生じる画質変化と同様の画質変換処理を上記第２の画像に対して行う画質調整部と、
   上記画質調整部で調整された上記第２の画像を用いて上記編集処理を行う編集部と、
   を具備することを特徴とする画像編集装置。
2. 上記画質調整部は、上記不可逆圧縮により生じる量子化誤差による画質変化と同様の処理を行うことを特徴とする請求項１に記載の画像編集装置。
3. 上記画質調整部は、上記不可逆圧縮により生じる量子化誤差による画質変化と同様の処理を行うことを特徴とする請求項２に記載の画像編集装置。
4. 上記画質調整部は、上記不可逆圧縮と伸張を行うことを特徴とする請求項１ないし３のうち何れか一項に記載の画像編集装置。
5. 上記画質調整部は、ローパスフィルタ処理を行うことを特徴とする請求項１ないし４のうち何れか一項に記載の画像編集装置。
6. 複数の画像を組み合わせて構成する組み写真画像を編集する画像編集装置において、
   上記組み写真を構成する複数の画像うちの１枚を指示する第１の画像指示部と、
   上記第１の画像指示部で指示した画像と置換するための置換画像を指示する第２の画像指示部と、
   上記組み写真画像を代表する量子化テーブル値で画像を不可逆圧縮する画像圧縮処理部と、
   上記不可逆圧縮により生じる画質変化と同様の画質変化処理を上記置換画像に行う画質調整部と、
   上記画像と上記量子化テーブル値を記憶する記憶部と、
   上記第２の画像指示部で指示された上記置換画像を、上記画質調整部で上記量子化テーブル値で不可逆圧縮と、伸張した後に上記第１の画像指示部により指示された画像と置換する制御部と、
   を具備することを特徴とする画像編集装置。
7. さらに、被写界を繰り返し撮像する撮像部を備え、
   上記置換画像は、上記撮像部により繰り返し撮像された撮像画像であることを特徴とする請求項６に記載の画像編集装置。
8. 不可逆圧縮した第１の画像の一部を、第２の画像で置換する画像編集装置におけるコンピュータに実行させるためのプログラムにおいて、
   上記不可逆圧縮による生じる画質変化と同様の画質変換処理を上記第２の画像に対して行い、
   上記調整された上記第２の画像を用いて上記編集処理を行う、
   ことを上記コンピュータに実行させるためのプログラム。
9. 不可逆圧縮した第１の画像の一部を、第２の画像で置換する画像編集方法において、
   上記不可逆圧縮による生じる画質変化と同様の画質変換処理を上記第２の画像に対して行い、
   上記調整された上記第２の画像を用いて上記編集処理を行う、
   ことを特徴とする画像編集方法。