図面を参照して、本発明によるカメラの実施の形態を説明する。図1に示す電子カメラ100は、レンズ102を備える交換レンズ50が着脱可能に装着されている。電子カメラ100は、入力スイッチ101、撮像素子103、システム制御部104、RAM105、レンズインタフェース106、LCD駆動回路107、LCD108、メモリカードスロット109、内蔵メモリ110および外部インタフェース111を有する。
入力スイッチ101は使用者によって操作される種々の操作部材に対応して設けられた種々のスイッチを含み、操作部材の操作に応じた操作信号をシステム制御部104へ出力する。操作部材は、たとえばレリーズボタンや、各種の設定等を選択操作する時に操作される十字キーや、十字キーにより選択された設定等を決定するための決定ボタン、画像ファイルを外部機器200へ送信する際に操作される送信ボタン、撮影モードと再生モードとの間で電子カメラ100の動作を切替えるモード切替ボタン等を含む。
レンズ102は、複数の光学レンズ群から構成される。なお、図1ではレンズ102を1枚のレンズで代表して表している。撮像素子103は、例えばCCDやCMOS等により構成される。撮像素子103は、後述するシステム制御部104の制御に応じて駆動してレンズ102を通して入力される被写体像を撮像し、撮像して得た画像信号を出力する。撮像素子103の撮像面には、それぞれR(赤)、G(緑)およびB(青)のカラーフィルタが画素位置に対応するように設けられている。撮像素子103がカラーフィルタを通して被写体像を撮像するため、各撮像素子から出力される画像信号は、それぞれRGB表色系の色情報を有する。さらに、撮像素子103の表面には、被写体光の内、空間周波数の高い光を除去する光学ローパスフィルタが密着して設けられている。
レンズインタフェース106は、交換レンズ50が電子カメラ100に装着された場合に、電子カメラ100のシステム制御部104と交換レンズ50との間で各種情報の送受信をするためのインタフェースである。レンズインタフェース106を介して、交換レンズ50のレンズID(機種)やレンズ固有のデータ等の交換レンズ50の特徴を示すレンズ情報が電子カメラ100に送信される。上述した各種の信号は、たとえばシリアル通信により行われる。
メモリカードスロット109は、メモリカード109aが着脱可能なインタフェースである。メモリカードスロット109は、システム制御部104の制御に基づいて、画像ファイルをメモリカード109aに書き込んだり、メモリカード109aに記録されている画像ファイルを読み出すインタフェース回路である。メモリカード109aはコンパクトフラッシュ(登録商標)やSDカードなどの半導体メモリカードである。
LCD駆動回路107は、システム制御部104の命令に基づいてLCD108を駆動する回路である。LCD108はアスペクト比が、たとえば縦3:横4の液晶表示パネルである。LCD108は、液晶ビューファインダとして用いられるとともに、メモリカード109aに記録されている画像データに基づいてシステム制御部104で作成された表示画像データに対応する画像の表示を行う。また、LCD108は、画像ファイルに関連する各種情報(シャッタ速度、絞り値、ISO感度、ファイル名など)の表示を行う。また、LCD108は、入力スイッチ101の操作に基づき、電子カメラ100の各種設定メニュー画面の表示を行う。メニュー画面で設定可能な内容としては、後述する参照画像ファイルを取得するための参照画像取得モードの設定や、後述する付加画像ファイルに含まれる参照画像ファイルの上書きの可否の設定、取得した参照画像ファイルを付加する撮像画像ファイルの選択方法の設定等がある。
RAM105は、画像処理、画像圧縮処理の途中や処理後のデータを一時的に格納するバッファメモリとして使用される揮発性記憶媒体である。内蔵メモリ110は、画像ファイルや、後述する参照画像ファイルを記録する不揮発性記録媒体である。内蔵メモリ110の内部には参照画像用フォルダが設けられ、参照画像ファイルはこの参照画像用フォルダ内に記録される。なお、参照画像用フォルダには、たとえば工場出荷時等に撮影された画像に対応する参照画像ファイルがデフォルトとして記録されていてもよい。また、内蔵メモリ110の参照画像ファイルは、使用者による消去指示や初期化指示が行われない限り保持される。消去指示や初期化指示は、LCD108のメニュー画面上において使用者が入力スイッチ101を操作することにより行うことができる。
外部インタフェース111は、システム制御部104の指令により、たとえばUSBインターフェイスケーブル(不図示)等の所定のケーブルや無線伝送路を介して接続される他の外部機器200(たとえば、パーソナルコンピュータ)との間で、双方向通信によるデータの送受を行なう。
システム制御部104は、CPUやメモリその他の周辺回路によって構成され、電子カメラ100を構成する各部に対して制御信号を出力して、電子カメラ100の動作を制御する。また、システム制御部104は、画像取得部104a、ファイル生成部104b、参照画像取得部104c、画像再生部104dおよび画像送信部104eを機能的に備えている。
画像取得部104aは、入力スイッチ101からの操作信号に基づいて、使用者によってレリーズボタンが全押しされたことを検出すると、撮像素子103を制御して被写体像を撮像した画像信号を出力させる。画像取得部104aは、取得した画像信号に対してA/D変換等を施してデジタル画像信号に変換した後、補間処理、色変換処理、エッジ強調処理などの公知の画像処理を施して原画像データを生成する。そして、画像取得部104aは、生成した原画像データに対して圧縮処理を行い、所定の画像形式、例えばJpeg形式に圧縮して本画像データを生成する。本画像データは、画像取得部104aによりRAM105に格納される。
画像取得部104aは、本画像データに種々の付加情報を付加して撮像画像ファイルを生成する。例えば、画像取得部104aは、RAM105に格納された本画像データを用いて、付加情報を付加情報部に格納したExif形式の撮像画像ファイルを生成する。ここで、付加情報部に付加される付加情報には、一般的には、画像撮影日時に関する情報や画像の撮影条件に関する情報、交換レンズ50のレンズID(機種)等のレンズ情報が含まれる。なお、画像取得部104aが生成する撮像画像ファイルのファイル名を、たとえば「DSC.0001.jpg」のように表すものとする。画像取得部104aは、上述のようにして生成した撮像画像ファイルを、メモリカードスロット109に挿入されているメモリカード109a内に記録する。
ファイル生成部104bは、撮像画像ファイルと参照画像ファイルとを関連付ける、すなわち撮像画像ファイルに参照画像ファイルを付加して付加画像ファイルを生成する。ファイル生成部104aは、メモリカード109aに記録された撮像画像ファイルを読み出してRAM105に格納する。その後、ファイル生成部104bは、RAM105に格納された撮像画像ファイルに、参照画像ファイルを付加する。なお、付加画像ファイルの生成処理の詳細については、後に説明する。ファイル生成部104bは、生成した付加画像ファイルをメモリカードスロット109に挿入されているメモリカード109a内に記録する。
参照画像取得部104cは、参照画像取得モードが設定されると、画像取得部104aにより生成された原画像データに基づいて、たとえばJpeg形式に圧縮して参照画像データを生成する。そして、参照画像取得部104cは、撮影日付(以後、取得日付と呼ぶ)や交換レンズ50の機種等のレンズ情報を記録した付加情報部を付加して、参照画像ファイルを生成する。なお、参照画像取得部104cが生成する参照画像ファイルのファイル名を、たとえば「DSC.0001s.jpg」、「DSC.0002s.jpg」、・・・のように表すものとする。
参照画像取得モードにおいて、白色やグレー等の無彩色のチャートや一様な壁面、青空等の均一面を撮影することにより参照画像データが取得される。取得された参照画像データは、通常撮影により取得された本画像データに対応する画像に発生する画像劣化を補正するために用いられる。画像劣化の原因として、ローパスフィルタに付着したゴミの影響や、レンズ102のキズの影響、撮像素子103の経年変化による画素欠陥、レンズ102による周辺減光等がある。なお、本実施の形態においては、画像劣化補正は、パーソナルコンピュータ等の外部機器200により公知の技術を用いて行われるものとする。
画像再生部104dは、LCD駆動回路107に対して表示用画像データ等の各種画像データを出力して、LCD108に画像を再生表示させる。使用者によるモード切替ボタンの操作により再生モードが設定されると、画像再生部104dは、メモリカード109aに記録された画像データを読み出す。画像再生部104dは、読み出した画像データを原画像データに伸張し、必要に応じてLCD108の表示解像度にリサイズしてLCD駆動回路107に出力する。画像送信部104eは、使用者による送信ボタンの操作に応じて入力スイッチ101から送信を指示する信号(送信指示信号)を入力すると、電子カメラ100内の撮像画像ファイルや後述する付加画像ファイルを、外部インタフェース111を介して外部機器200へ送信する。
以下、電子カメラ100による付加画像ファイルの生成処理について説明する。付加画像ファイルの生成処理について、撮影画像ファイル取得時に付加画像ファイルを生成する場合と、参照画像ファイル取得時に付加画像ファイルを生成する場合と、パーソナルコンピュータ等の外部機器200に送信する際に付加画像ファイルを生成する場合とに分けて説明する。
(1)撮影画像ファイル取得時に付加画像ファイルを生成する場合
本処理は、予め内蔵メモリ110に記録されている参照画像ファイルを新たに取得した撮像画像ファイルに付加させる際に、ファイル生成部104bにより行われる処理である。画像取得部104aにより、たとえばファイル名「DSC.0001.jpg」の撮像画像ファイルが生成され、RAM105へ格納されると、ファイル生成部104bは、内蔵メモリ110に参照画像ファイルが記録されているかを検出する。参照画像ファイルが内蔵メモリ110に記録されている場合は、ファイル生成部104bは、参照画像ファイルを内蔵メモリ110から読み出してRAM105に格納する。なお、以下の説明においては、内蔵メモリ110に記録されている参照画像ファイルのファイル名を「DSC.0001s.jpg」、「DSC.0002s.jpg」、「DSC.0003s.jpg」とする。このとき、ファイル生成部104bは、各参照画像ファイルの付加情報部に記録された取得日付を比較して、取得日付が最新の参照画像ファイルを読み出す。なお、上記の各参照画像ファイルのファイル名と取得日付とは、図2に示す関係を有するものとして説明する。
ファイル生成部104bは、RAM105に格納されている撮像画像ファイルに、読み出した参照画像ファイルを付加して、たとえばファイル名「DSC.0001.mig」の付加画像ファイルを生成する。すなわち、ファイル生成部104bは、撮像画像ファイルを主画像、参照画像ファイルを副画像として付加画像ファイルを生成する。このとき、ファイル生成部104bは、付加画像ファイルの付加情報部に、本画像データおよび参照画像データのパス、アドレス等の情報、参照画像ファイルの上書きの可否を示すフラグi等を記録する。なお、参照画像ファイルの上書きの可否については、LCD108のメニュー画面上において使用者が入力スイッチ101を操作することにより設定できる。そして、ファイル生成部104bは、生成した付加画像ファイルをメモリカード109aに記録する。図3に付加画像ファイルの構造を模式的に示す。
図3に示す付加画像ファイルは、本画像データD1および付加情報部Ft1を含む撮像画像ファイルF1、参照画像データD2および付加情報部Ft2を含む参照画像ファイルF2、および付加情報部Tにより構成される。付加情報部Tには、上述したように、本画像データD1および参照画像データD2のパス、アドレス等の情報、およびフラグiが記録される。本画像データD1上には、画像劣化fo1、fo2が生じている。さらに、付加画像ファイルの参照画像データD2には、画像劣化fo1、fo2にそれぞれ対応する画像劣化fo11、fo21が生じている。後述する外部機器200は、参照画像データD2の画像劣化fo11、fo21に基づいて、本画像データD1の画像劣化fo1、fo2に対して補正処理を施す。
以上で説明した電子カメラ100における撮像画像ファイル取得時における付加画像ファイル生成処理について、図4に示すフローチャートを用いて説明する。図4の処理を行うプログラムはシステム制御部104内の図示しないメモリに格納されており、レリーズボタンが操作され入力スイッチ101から操作信号がシステム制御部104に入力されると起動される。
ステップS101においては、システム制御部104は撮影処理を行う。すなわち、画像取得部104aは、撮像素子103を制御して被写体像を撮像した画像信号に基づいて本画像データを生成してステップS102へ進む。ステップS102では、画像取得部104aは、本画像データに付加情報部を付加した撮像画像ファイルを生成してステップS103へ進む。ステップS103では、ファイル生成部104bは、内蔵メモリ110に参照画像ファイルが記録されているか否かを判定する。参照画像ファイルが記録されている場合は、ファイル生成部104bによりステップS103が肯定判定されてステップS104へ進む。
ステップS104においては、ファイル生成部104bは、参照画像ファイルの付加情報部に記録された取得日付に基づいて、取得日付が最新の参照画像ファイルを読み出してRAM105に格納し、ステップS105へ進む。ステップS105においては、ファイル生成部104bは、ステップS102で生成した撮像画像ファイルに、ステップS104で読み出した参照画像ファイルを付加する。そして、ファイル生成部104bは、本画像データと参照画像データのパス、アドレス等の情報やフラグiを含む付加情報部を付加した付加画像ファイルを生成して、メモリカード109aに記録して処理を終了する。
一方、参照画像ファイルが記録されていない場合は、ファイル生成部104bによりステップS103が否定判定されてステップS106へ進む。ステップS106においては、画像取得部104aは、ステップS102で生成された撮像画像ファイルをメモリカード109aに記録して処理を終了する。
(2)参照画像ファイル取得時に付加画像ファイルを生成する場合
本処理は、予め記録されている撮像画像ファイルに対して、新たに取得した参照画像ファイルを付加する際にファイル生成部104bにより行われる。なお、以下の説明においては、メモリカード109aに予め記録されている撮像画像ファイルのファイル名を、「DSC.0001.jpg」〜「DSC.0010.jpg」とする。また、各撮像画像ファイルの取得日付を図5に示すものとする。さらに、図5に示すように、ファイル名「DSC.0001.jpg」〜「DSC.0005.jpg」までの撮像画像ファイルは機種「A」の交換レンズ50を用いて取得され、ファイル名「DSC.0006.jpg」〜「DSC.0010.jpg」までの撮像画像ファイルは機種Bの交換レンズ50を用いて取得されたものとして説明する。この交換レンズ50の機種に関する情報は、上述したように撮像画像ファイルの付加情報部に記録されている。
本実施の形態においては、取得した参照画像データを付加する撮像画像ファイルを以下の3通りの方法で判定し選択する。なお、この選択は、使用者が十字キー等を操作してLCD108に表示されたメニュー画面上から行うことができる。
1.レンズ交換日情報
2.使用者が設定した指定日付以降に取得された撮像画像ファイル
3.撮像画像データの取得日付に最も近い取得日付を有する参照画像ファイル
(2−1)レンズ交換日情報
参照画像取得モードが設定された状態で、使用者によるレリーズボタンの全押し操作に応じて入力スイッチ101から操作信号を入力すると、画像取得部104aは、上述したようにして原画像データを生成する。そして、参照画像取得部104cは、画像取得部104aにより生成された原画像データに基づく参照画像データに取得日付や交換レンズ50の機種等のレンズ情報を記録した付加情報部を付加して、参照画像ファイルを生成する。なお、以後の説明では、取得された参照画像ファイルのファイル名を「DSC.0003s.jpg」とする。さらに、この参照画像ファイルは機種「B」の交換レンズ50を用いて取得されたものとして説明する。
次に、ファイル生成部104cは、メモリカード109aに記録されている撮像画像ファイルのうち、取得日付が最新の撮像画像ファイル、すなわちファイル名「DSC.0010.jpg」の撮像画像ファイルを読み出し、RAM105に格納する。ファイル生成部104bは、読み出した撮像画像ファイルの付加情報部に記録されたレンズ情報を参照して、撮像画像ファイルを取得する際に用いられた交換レンズ50の機種を判定する。そして、ファイル生成部104bは、撮像画像ファイルの取得に用いた交換レンズ50の機種と、参照画像ファイルの取得に用いた交換レンズ50の機種とが同一の場合に、撮像画像ファイルに参照画像ファイルを付加して付加画像ファイルを生成する。
今、ファイル名「DSC.0010.jpg」の撮像画像ファイルが読み出されているので、ファイル生成部104bは、この撮像画像ファイルを取得する際に用いられた交換レンズ50の機種を「B」であると判定する。したがって、ファイル生成部104bは、ファイル名「DSC.0010.jpg」の撮像画像ファイルにファイル名「DSC.0003s.jpg」に対応する参照画像ファイルを付加して付加画像ファイルを生成してメモリカード109aに記録する。
ファイル生成部104bは、上記の処理をメモリカード109aに記録されている全ての撮像画像ファイルに対して行う。すなわち、ファイル生成部104bは、ファイル名「DSC.0006.jpg」〜「DSC.0010.jpg」までの撮像画像ファイルに参照画像ファイルを付加して付加画像ファイルを生成する。そして、ファイル生成部104bは、機種「A」の交換レンズ50を用いて取得された撮像画像ファイル、すなわちファイル名「DSC.0001.jpg」〜「DSC.0005.jpg」の撮像画像ファイルに対しては参照画像ファイルを付加しない。その結果、ファイル生成部104bは、参照画像ファイルを取得した機種と同一機種「B」の交換レンズ50に交換された日以降に取得された撮像画像ファイルのそれぞれに対して、同一の参照画像ファイルを関連付けて付加画像ファイルを生成できる。
上述の説明においては、ファイル生成部104bが、参照画像ファイルの付加されていない撮像画像ファイルをメモリカード109aから読み出す場合の処理について説明した。ファイル生成部104bは、既に参照画像ファイルが付加された付加画像ファイルについても、新たに取得した参照画像ファイルを反映させることができる。ファイル生成部104bは、付加画像ファイルをメモリカード109aから読み出すと、付加画像ファイルの付加情報部に含まれるフラグiに基づいて、参照画像ファイルの上書きが可能か否かを判定する。参照画像ファイルの上書きが可能な場合には、ファイル生成部104bは、付加画像ファイルに含まれる参照画像ファイルに新たに取得した参照画像ファイルを上書きする。すなわち、ファイル生成部104bは、読み出した付加画像ファイルの付加情報部に記録されたレンズ情報を参照して、交換レンズ50の機種が「B」の場合は、既に付加画像ファイルに付加された参照画像ファイルを新たに取得された参照画像ファイルにて上書きする。交換レンズ50の機種が「A」の場合は、ファイル生成部104bは、参照画像ファイルの上書きを行わない。
(2−2)使用者が設定した指定日付以降に取得された撮像画像ファイル
ファイル生成部104bは、撮像画像ファイルの付加情報部に記録された取得日付を参照して、使用者が設定した指定日付以降に取得された撮像画像ファイルに参照画像ファイルを付加して付加画像ファイルを生成する。なお、この指定日付の設定は、使用者が十字キー等を操作してLCD108に表示されたメニュー画面上から行うことができる。なお、以下の説明では、使用者により設定された指定日付を「2008年11月23日」として説明する。
この場合も、ファイル生成部104bは、メモリカード109aに記録されている撮像画像ファイルのうち、取得日付が最新のファイル、すなわちファイル名「DSC.0010.jpg」の撮像画像ファイルを読み出し、RAM105に格納する。ファイル生成部104bは、読み出した撮像画像ファイルの付加情報部に記録された取得日付を参照して、撮像画像ファイルが取得された日付が、使用者により設定された指定日付以降か否かを判定する。
ファイル名「DSC.0010.jpg」の撮像画像ファイルの取得日付は、図5に示すように、「2008年11月24日」なので、ファイル生成部104bは、この撮像画像ファイルは、使用者により設定された指定日付以降に取得された撮像画像ファイルであると判定する。したがって、ファイル生成部104bは、ファイル名「DSC.0010.jpg」の撮像画像ファイルにファイル名「DSC.0003s.jpg」の参照画像ファイルを付加して付加画像ファイルを生成してメモリカード109aに記録する。
ファイル生成部104bは、上記の処理をメモリカード109aに記録されている全ての撮像画像ファイルに対して行う。すなわち、ファイル生成部104bは、ファイル名「DSC.0006.jpg」〜「DSC.0010.jpg」までの撮像画像ファイルに参照画像ファイルを付加して付加画像ファイルを生成する。そして、ファイル生成部104bは、取得日付が指定日付以前の撮像画像ファイル、すなわちファイル名「DSC.0001.jpg」〜「DSC.0005.jpg」までの撮像画像ファイルに対しては付加画像ファイルを生成しない。その結果、ファイル生成部104bは、指定日付以降に取得されたことが特定された撮像画像ファイルのそれぞれに対して、同一の参照画像ファイルを関連付けて付加画像ファイルを生成できる。
この場合においても、ファイル生成部104bは、既に参照画像ファイルが付加された付加画像ファイルについても、新たに取得した参照画像ファイルの参照画像ファイルを反映させることができる。ファイル生成部104bは、上述したように、付加画像ファイルの付加情報部に含まれるフラグiに基づいて、参照画像ファイルの上書きが可能か否かを判定する。参照画像ファイルの上書きが可能な場合には、ファイル生成部104bは、付加画像ファイルに含まれる参照画像ファイルに新たに取得した参照画像ファイルを上書きする。すなわち、ファイル生成部104bは、読み出した付加画像ファイルの付加情報部に記録された取得日付を参照して、使用者が設定した指定日付以降の場合は、既に付加画像ファイルに付加された参照画像ファイルを新たに取得された参照画像ファイルにて上書きする。取得日付が使用者により設定された指定日付より前の場合は、ファイル生成部104bは、参照画像ファイルの上書きを行わない。
(2−3)撮像画像データの取得日付に最も近い取得日付を有する参照画像ファイル
ファイル生成部104bは、今回取得されたファイル名「DSC.0003s.jpg」の参照画像ファイルの取得日付と、前回取得されたファイル名「DSC.0002s.jpg」の参照画像ファイルの取得日付とに基づいて、処理適用開始日付を算出する。ファイル生成部104bは、処理適用開始日付として、たとえば前回の参照画像ファイルの取得日付と、今回の参照画像ファイルの取得日付との中間の日付を算出する。本実施の形態においては、図2に示すように、ファイル名「DSC.0003s.jpg」の参照画像ファイルの取得日付は「2008年11月24日」、ファイル名「DSC.0002s.jpg」の参照画像ファイルの取得日付は「2008年11月20日」である。したがって、ファイル生成部104bは、処理適用開始日付を「2008年11月22日」と算出する。そして、ファイル生成部104bは、この処理適用開始日付以降に取得された撮像画像ファイルに対して、ファイル名「DSC.0003s.jpg」の参照画像ファイルを付加して付加画像ファイルを生成する。
処理適用開始日付が算出されると、ファイル生成部104bは、取得日付が最新であるファイル名「DSC.0010.jpg」の撮像画像ファイルを読み出し、RAM105に格納する。ファイル生成部104bは、読み出した撮像画像ファイルの付加情報部に記録された取得日付を参照して、撮像画像ファイルが取得された日付が、処理適用開始日付以降か否かを判定する。
ファイル名「DSC.0010.jpg」の撮像画像ファイルの取得日付は、図5に示すように、「2008年11月24日」なので、ファイル生成部104bは、この撮像画像ファイルは処理適用開始日付以降に取得された撮像画像ファイルであると判定する。したがって、ファイル生成部104bは、ファイル名「DSC.0010.jpg」の撮像画像ファイルにファイル名「DSC.0003s.jpg」に対応する参照画像データを付加して付加画像ファイルを生成してメモリカード109aに記録する。
ファイル生成部104bは、上記の処理をメモリカード109aに記録されている全ての撮像画像ファイルに対して行う。すなわち、ファイル生成部104bは、ファイル名「DSC.0005.jpg」〜「DSC.0010.jpg」までの撮像画像ファイルに参照画像ファイルを付加して付加画像ファイルを生成する。そして、ファイル生成部104bは、取得日付が処理適用開始日付以前の撮像画像ファイル、すなわちファイル名「DSC.0001.jpg」〜「DSC.0004.jpg」までの撮像画像ファイルに対しては参照画像ファイルを付加しない。その結果、ファイル生成部104bは、撮像画像ファイルが取得された日付に最も近い日付に取得された参照画像ファイルを関連付けて付加画像ファイルを生成できる。なお、ファイル名「DSC.0003s.jpg」の参照画像ファイルが取得される以前に取得された参照画像ファイルが存在しない場合、ファイル生成部104bは、今回取得されたファイル名「DSC.0003s.jpg」の参照画像ファイルを全ての撮像画像ファイルに付加して付加画像ファイルを生成する。
この場合においても、ファイル生成部104bは、既に参照画像ファイルが付加された付加画像ファイルについても、新たに取得した参照画像ファイルを反映させることができる。ファイル生成部104bは、読み出した付加画像ファイルの付加情報部に含まれるフラグiに基づいて、参照画像データの上書きが可能と判定した場合には、付加画像ファイルに含まれる参照画像ファイルに新たに取得した参照画像ファイルを上書きする。すなわち、ファイル生成部104bは、読み出した付加画像ファイルの付加情報部に記録された取得日付を参照して、取得日付が処理適用開始日付以降の場合は、既に付加画像ファイルに付加された参照画像ファイルを新たに取得された参照画像ファイルにて上書きする。取得日付が処理適用開始日付より前の場合は、ファイル生成部104bは、参照画像ファイルの上書きを行わない。
以上で説明した電子カメラ100における参照画像ファイル取得時における付加画像ファイル生成処理について、図6〜図8に示すフローチャートを用いて説明する。図6〜図8の処理を行うプログラムはシステム制御部104内の図示しないメモリに格納されており、レリーズボタンが操作され入力スイッチ101から操作信号がシステム制御部104に入力されると起動される。
図6のステップS201においては、システム制御部104は参照画像ファイルの取得処理を行う。すなわち、参照画像取得部104cは、撮像素子103を制御して被写体像を撮像した画像信号に基づいて参照画像データを生成する。そして、参照画像取得部104cは、生成された参照画像データに付加情報部を付加した参照画像ファイルを生成してステップS202へ進む。ステップS202においては、ファイル生成部104bは、撮像画像ファイルの選択方法としてレンズ交換日情報が設定されているか否かを判定する。レンズ交換日情報が設定されている場合は、ファイル生成部104bによりステップS202が肯定判定されてステップS203へ進む。レンズ交換日情報が設定されていない場合は、ファイル生成部104bによりステップS202が否定判定されて、図7のステップS212へ進む。なお、ステップS212の処理については、説明を後述する。
ステップS203においては、ファイル生成部104bは、参照画像ファイルの付加情報部に記録されたレンズ情報を参照して、参照画像ファイルを取得した際に用いられた交換レンズ50の機種を判定してステップS204へ進む。ステップS204においては、ファイル生成部104bは、メモリカード109aに記録された画像ファイルのうち、取得日付が最新の画像ファイルをRAM105に読み出す。そして、ファイル生成部104bは、読み出した画像ファイルの付加情報部に記録されたレンズ情報を参照して、画像ファイル取得時に用いられた交換レンズ50の機種を判定してステップS205へ進む。
ステップS205においては、ファイル生成部104bは、読み出した画像ファイルの取得時に用いた交換レンズ50の機種と、参照画像ファイルの取得時に用いた交換レンズ50の機種とが同一か否かを判定する。交換レンズ50の機種が同一の場合は、ファイル生成部104bによりステップS205が肯定判定されてステップS206へ進む。交換レンズ50の機種が同一ではない場合は、ファイル生成部104bによりステップS205が否定判定されてステップS210へ進む。
ステップS206において、ファイル生成部104bは、読み出した画像ファイルに参照画像データが付加されているか、すなわち付加画像ファイルであるか否かを判定する。ファイル名の拡張子等に基づいて、ファイル生成部104bにより、読み出された画像ファイルが付加画像ファイルであると判定されると、ステップS206が肯定判定されステップS207へ進む。ステップS207においては、ファイル生成部104bは、フラグiに基づいて、使用者により参照画像ファイルの上書き可の設定がされているか否かを判定する。参照画像ファイルの上書き可の設定がされている場合は、ファイル生成部104bによりステップS207が肯定判定されてステップS208へ進む。参照画像ファイルの上書き不可の設定がされている場合は、ファイル生成部104bによりステップS207が否定判定され、ステップS208をスキップしてステップS210へ進む。
ステップS208においては、ファイル生成部104bは、付加画像ファイルに含まれる参照画像ファイルを、新たに取得した参照画像ファイルで上書きする。そして、ファイル生成部104bは、新たな参照画像ファイルが上書きされた付加画像ファイルをメモリカード109aに記録してステップS210へ進む。
一方、ステップS206において、読み出した画像ファイルに参照画像ファイルが付加されていない場合、すなわち撮像画像ファイルの場合、ファイル生成部104bにより否定判定されてステップS209へ進む。ステップS209においては、ファイル生成部104bは、参照画像ファイルを撮像画像ファイルに付加して付加画像ファイルを生成し、メモリカード109aに記録してステップS210へ進む。ステップS210においては、ファイル生成部104bは、メモリカード109a内に未処理の画像ファイルが存在するか否かを判定する。未処理の画像ファイルが存在する場合、ファイル生成部104bによりステップS210が肯定判定されてステップS211へ進む。全ての画像ファイルについて処理が終了している場合は、ファイル生成部104bによりステップS210が否定判定されて処理を終了する。
ステップS211においては、ファイル生成部104bは、メモリカード109aに記録された未処理の画像ファイルのうち、取得日付が次に新しい画像ファイルをRAM105に読み出す。そして、ファイル生成部104bは、付加情報部に記録されたレンズ情報に基づいて、読み出した画像ファイルの取得時に使用された交換レンズ50の機種を判定してステップS205へ戻る。
次に、図7のフローチャートを用いて、ステップS212以降の処理について説明する。ステップS212においては、ファイル生成部104bは、撮像画像ファイルの選択方法として使用者が設定した指定日付以降の設定がされているか否かを判定する。指定日付の設定がされている場合は、ファイル生成部104bによりステップS212が肯定判定されてステップS213へ進む。指定日付の設定がされていない場合は、ファイル生成部104bによりステップS212が否定判定されて、図8のステップS221へ進む。なお、ステップS221以降の処理については説明を後述する。
ステップS213においては、ファイル生成部104bは、メモリカード109aに記録された画像ファイルのうち、取得日付が最新の画像ファイルをRAM105に読み出してステップS214へ進む。ステップS214においては、ファイル生成部104bは、読み出した画像ファイルの付加情報部に記録された取得日付を参照して、画像ファイルが取得された日付が、使用者により設定された指定日付以降か否かを判定する。画像ファイルが取得された日付が、使用者により設定された指定日付以降の場合、ファイル生成部104bによりステップS214が肯定判定されてステップS215へ進む。画像ファイルが取得された日付が、使用者により設定された指定日付より前の場合は、ファイル生成部104bによりステップS214が否定判定されて処理を終了する。
ステップS215(参照画像ファイルの有無判定)からステップS219(未処理画像ファイルの有無判定)までの各処理は、図6のステップS206(参照画像ファイルの有無判定)からステップS210(未処理画像ファイルの有無判定)までの各処理と同様である。ステップS220においては、ファイル生成部104bは、メモリカード109aに記録された未処理の画像ファイルのうち、取得日付が次に新しい画像ファイルをRAM105に読み出してステップS214へ戻る。
次に、図8のフローチャートを用いて、ステップS221以降の処理について説明する。ステップS221においては、ファイル生成部104bは、前回取得された参照画像ファイルが存在するか、すなわち内蔵メモリ110に既に参照画像ファイルが記録されているか否かを判定する。内蔵メモリ110に参照画像ファイルが既に記録されている場合は、ファイル生成部104bによりステップS221が肯定判定されてステップS222へ進む。内蔵メモリ110に参照画像ファイルが記録されていない場合は、ファイル生成部104bによりステップS221が否定判定されて後述するステップS231へ進む。
ステップS222においては、ファイル生成部104bは、今回取得した参照画像ファイルの取得日付と、前回取得した参照画像ファイルの取得日付とに基づいて、処理適用開始日付を算出してステップS223へ進む。ステップS223においては、ファイル生成部104bは、メモリカード109aに記録された画像ファイルのうち、取得日付が最新の画像ファイルをRAM105に読み出してステップS224へ進む。
ステップS224においては、ファイル生成部104bは、読み出した画像ファイルの取得日付が、ステップS222で算出した処理適用開始日付以降か否かを判定する。画像ファイルの取得日付が処理適用開始日付以降の場合は、ファイル生成部104bによりステップS224が肯定判定されてステップS225へ進む。画像ファイルの取得日付が処理適用開始日付より前の場合は、ファイル生成部104bによりステップS224が否定判定されて処理を終了する。ステップS225(参照画像ファイルの有無判定)からステップS230(次画像ファイル読み出し)までの各処理は、図7のステップS215(参照画像ファイルの有無判定)からステップS220(次画像ファイル読み出し)までの各処理と同様である。
ステップS221が否定判定されるとステップS231へ進み、ファイル生成部104bは、ステップS223と同様に、メモリカード109aに記録された画像ファイルのうち、取得日付が最新の画像ファイルをRAM105に読み出してステップS232へ進む。ステップS232(付加画像ファイル生成、記録)からステップS234(次画像ファイル読み出し)までの各処理は、ステップS228(付加画像ファイル生成、記録)からステップS230(次画像ファイル読み出し)までの各処理と同様である。なお、ステップS234の処理が終了すると、ステップS232へ戻る。
(3)外部機器に送信する際に付加画像ファイルを生成する場合
ファイル生成部104bは、使用者により撮像画像ファイルを外部機器200へ送信する指示を入力したときに、撮像画像ファイルに参照画像ファイルを付加して付加画像ファイルを生成する。使用者による送信ボタンの操作に応じて入力スイッチ101から送信指示信号を入力すると、ファイル生成部104bは、内蔵メモリ110内の全ての参照画像ファイルの付加情報部に記録された取得日付を参照し、それぞれの参照画像ファイルの取得日付を特定する。
参照画像ファイルの取得日付が特定されると、ファイル生成部104bは、取得日付が最新の参照画像ファイル、すなわち本実施の形態においてはファイル名「DSC.0003s.jpg」の参照画像ファイルを読み出して、RAM105に格納する。ファイル生成部104bは、参照画像ファイルの最新の取得日付と2番目に新しい取得日付とに基づいて、上述したようにして処理適用開始日付、すなわち両者の中間の日付を算出する。
ファイル生成部104bは、上述したようにして、撮像画像ファイルの取得日付が、処理適用開始日付以降の撮像画像ファイルに、読み出した参照画像ファイルを付加して付加画像ファイルを生成する。すなわち、ファイル生成部104bは、ファイル名「DSC.0005.jpg」〜「DSC.0010.jpg」までの撮像画像ファイルに参照画像ファイルを付加して付加画像ファイルを生成する。そして、画像送信部104eは、生成した付加画像ファイルを外部インタフェース111を介して外部機器200へ送信する。
以上で説明した電子カメラ100における撮像画像ファイルの外部機器200への送信時における付加画像ファイル生成処理について、図9に示すフローチャートを用いて説明する。図9の処理を行うプログラムはシステム制御部104内の図示しないメモリに格納されており、送信ボタンが操作され入力スイッチ101から送信指示信号がシステム制御部104に入力されると起動される。
ステップS301において、ファイル生成部104bは、内蔵メモリ110に記録されている全ての参照画像ファイルの付加情報部に記録された取得日付を参照し、それぞれの参照画像ファイルの取得日付を特定してステップS302へ進む。ステップS302においては、ファイル生成部104bは、取得日付が最新の参照画像ファイルを読み出してステップS303へ進む。ステップS303においては、ファイル生成部104bは、ステップS301で特定した取得日付のうち、最新の取得日付と2番目に新しい取得日付とを用いて処理適用開始日付を算出してステップS304へ進む。
ステップS304においては、ファイル生成部104bは、算出した処理適用開始日付以降に取得された撮像画像ファイルをRAM105に読み出す。そして、ファイル生成部104bは、読み出した撮像画像ファイルに、ステップS302で読み出した取得日付が最新の参照画像ファイルを付加して付加画像ファイルを生成してステップS305へ進む。ステップS305においては、画像送信部104eは、生成した付加画像ファイルを、外部インタフェース111を介して外部機器200へ送信して処理を終了する。
上述のようにして電子カメラ100で生成された付加画像ファイルは、画像送信部104bにより外部機器200に送信される。そして、外部機器200は、付加画像ファイルに含まれる本画像データに対して、同一の付加画像ファイルに含まれる参照画像データを用いて本画像データに対応する画像に発生する画像劣化を補正する処理を施す。
図10は外部機器200(たとえばパーソナルコンピュータ)の一例を示す概略制御ブロック図である。外部機器200は、制御部201、HDD202、メモリカードインタフェース203、マウスやキーボード等により構成される操作部204、モニタ205、外部インタフェース206、メモリ207、およびモニタ用インタフェース208を有する。制御部201は、各ブロックから出力される信号を入力して所定の演算を行い、演算結果に基づく制御信号を各ブロックへ出力する。HDD202は電子カメラ100から送信された画像ファイルを格納する。外部インタフェース206は、所定のケーブルや無線伝送路を介して電子カメラ100等との間でデータ通信を行う。
外部機器200により画像劣化を補正する場合、使用者により画像処理ソフトを起動して実行する。この画像処理ソフトは、外部機器200の制御部201内の不図示メモリに記録されている。使用者が操作部204を操作して画像処理ソフトの起動が指示されると、制御部201は画像処理ソフトを起動する。画像処理ソフトが起動されると、制御部201は、HDD202に記録された付加画像ファイル、またはメモリカード109aが装着された場合は、メモリカードインタフェース203を介してメモリカード109aに記録された付加画像ファイルの本画像データに対応するサムネイル画像データを読み出す。
制御部201は、読み出したサムネイル画像データをモニタ用インタフェース208に出力し、モニタ205にサムネイル画像を表示させる。使用者は、モニタ205に表示されたサムネイル画像の中から、画像劣化補正を施す画像として所望する画像に対応するサムネイル画像を、操作部204を操作、たとえばマウスを操作してカーソルをサムネイル画像に重ねてクリックすることにより選択する。そして、使用者が、たとえばモニタ205に表示される決定ボタンをクリックしたり、キーボードの「Enter」ボタンを押下操作すると、操作部204は決定信号を出力する。制御部201は、決定信号を入力すると、使用者により選択されたサムネイル画像に対応する本画像データを含む付加画像ファイルをメモリ207に読み出す。
制御部201は、読み出した付加画像ファイルの付加情報部に記録されたアドレス情報に基づいて、付加画像ファイルに含まれる本画像データと参照画像データとを読み出す。そして、制御部201は、読み出した参照画像データに基づいて、公知の技術を用いて、ゴミの写り込みや画素欠陥等に起因する画像劣化が生じている欠陥画像位置を表す位置情報と欠陥の度合いを表す透過率情報とを表す透過率マップを算出する。そして、制御部201は、透過率マップを用いて、同一の付加画像ファイルに含まれる本画像データに対してゲイン補正を施し、補正後画像データを生成する。すなわち、制御部201は、本画像データのうち位置情報に対応する位置におけるデータに対して、透過率情報に基づいてゲイン補正処理を施すことにより画像劣化を補正する。
制御部201は、生成した補正後画像データに対応する補正後画像ファイルを、本画像データと参照画像データとが含まれる付加画像ファイルに追加する。さらに、制御部201は、補正後画像データのアドレス情報等を付加画像ファイルの付加情報部に記録して、新たに生成した付加画像ファイルをHDD202に記録する。図11に、補正後画像データD3と付加情報部Ft3とを含む補正後画像ファイルF3が追加された場合の付加画像ファイルの構造を模式的に示す。
図11に示す補正後画像データD3は、図3に示す付加画像ファイルの本画像データD1に生じた画像劣化fo1、fo2を、参照画像データD2上の画像劣化fo1、fo2に基づいて画像劣化補正が施されたものである。制御部201は、、図12(a)に示すように、補正後画像データに対応する補正後画像ファイルを画像劣化補正処理が繰り返し施されるごとに副画像として順次追加して、新たな付加画像ファイルを生成するものであってもよい。なお、副画像として記録される画像ファイルの画像データは、主画像して記録された画像ファイルの画像データとの差分情報のみとし、付加画像ファイルの容量を低減させるものであってもよい。また、図12(b)に示すように、制御部201は、常に最新の補正後画像ファイルを付加画像ファイルの主画像とし、撮像画像ファイルと参照画像ファイルとを副画像として新たな付加画像ファイルを生成してもよい。
以上で説明した外部機器200における画像劣化補正処理について、図13に示すフローチャートを用いて説明する。図13の処理を行うプログラムは制御部201内の図示しないメモリに格納されており、使用者により画像処理ソフトが起動されると制御部201により起動される。
ステップS401においては、使用者による操作に応じて、HDD202に記録された付加画像ファイルもしくはメモリカード109aに記録された付加画像ファイルを選択してステップS402へ進む。ステップS402においては、ステップS401で選択した付加画像ファイルをメモリ207に読み出してステップS403へ進む。なお、複数の付加画像ファイルが選択されている場合は、たとえば付加画像ファイルのファイル名やファイル作成日時等に基づいて順次読み出されるものとする。
ステップS403においては、読み出した付加画像ファイルの本画像データに対して、参照画像データを用いて画像劣化補正を施してステップS404へ進む。ステップS404においては、画像劣化補正が施された本画像データを用いて補正後画像ファイルを生成してステップS405へ進む。ステップS405においては、生成した補正後画像ファイルを、ステップS402で読み出した付加画像ファイルに付加してステップS406へ進む。
ステップS406においては、ステップS405で生成した付加画像ファイルをHDD202に記録してステップS407へ進む。ステップS407においては、未処理の付加画像ファイルが存在するか否かを判定する。未処理の付加画像ファイルが存在する場合、ステップS407が肯定判定されてステップS408へ進む。ステップS408においては、付加画像ファイルのファイル名やファイル作成日時等の情報に基づいて、次の付加画像ファイルをメモリ207に読み出してステップS403へ戻る。全ての付加画像ファイルについて処理が終了している場合は、ステップS407が否定判定されて処理を終了する。
以上で説明した実施の形態によれば、以下の作用効果が得られる。
(1)ファイル生成部104bは、予め記録されている複数の撮像画像ファイルのうち、いずれの撮像画像ファイルに対して参照画像ファイルを関連付けるかを判定し、判定された撮像画像ファイルに対して、参照画像ファイルをそれぞれ関連付けるようにした。したがって、メモリカード109aに記録されている複数の撮像画像ファイルの中から、付加画像ファイルを生成するための撮像画像ファイルを自動で選択するので、操作性を向上させることができる。
(2)ファイル生成部104bは、撮像画像ファイルの付加情報部に記録された交換レンズ50の機種を参照し、同一機種の交換レンズ50を用いて取得された撮像画像ファイルを特定する。そして、ファイル生成部104bは、特定された撮像画像ファイルのそれぞれに対して、同一の参照画像ファイルを関連付けるようにした。すなわち、交換レンズ50が交換されてから取得された撮像画像ファイルに対して、同一の交換レンズ50を用いて取得された参照画像ファイルを関連付けるようにした。交換レンズ50の着脱時にはローパスフィルタ等にゴミが付着したり、付着したゴミの場所が移動したりしやすい。すなわち、同一の交換レンズ50を用いて取得された撮像画像ファイルの画像には、ゴミの付着による影響が類似しやすい。さらには、交換レンズ50のレンズ周辺の光量の低下は、光学系ごと、すなわち交換レンズ50の機種ごとに異なる。したがって、撮像画像ファイルに対して、同一機種の交換レンズ50を用いて取得された参照画像ファイルを用いて、交換レンズ50の機種ごとに異なる画像劣化を補正できるので、補正精度を向上して、高画質の画像を得ることができる。
(3)ファイル生成部104bは、撮像画像ファイルの付加情報部に記録された取得日付に基づいて、使用者により指定された指定日付以降に取得された撮像画像ファイルを特定し、特定された撮像画像ファイルのそれぞれに対して同一の参照画像ファイルを関連付けるようにした。その結果、使用者は、関連付けする撮像画像ファイルを取得日付に基づいて選択できるので、画像劣化の発生状況に適した参照画像ファイルを用いて補正処理を施して画質を向上させることができる。
(4)ファイル生成部104bは、最新の参照画像ファイルの取得日付と、前回取得された参照画像ファイルの取得日付とに基づいて、処理適用開始日付を算出する。そして、ファイル生成部104bは、処理適用開始日付以降に取得された撮像画像ファイルのそれぞれに対して同一の参照画像ファイル、すなわち最新の参照画像ファイルを関連付けるようにした。換言すると、ファイル生成部104bは、撮像画像ファイルの取得日付に最も近い日付に取得された参照画像ファイルを関連付けるようにした。したがって、経時変化を起こしやすい画像劣化補正に対して、撮像画像ファイルを取得した日付に最も近い参照画像ファイルを用いて補正を施すことができるので、補正後画像の画質を向上させることができる。
(5)ファイル生成部104bは、付加画像ファイルを生成することにより、関連付けされた撮像画像ファイルと参照画像ファイルとを同一の画像ファイルに記録するようにした。その結果、撮像画像ファイルと参照画像ファイルとを別ファイルとして保存する場合に比べ、誤操作により参照画像ファイルや関連付け情報を削除してしまうという事態を防止することができ、ファイル管理の利便性を向上させることができる。また、間違った参照画像ファイルを用いて撮像画像ファイルに対して画像劣化補正処理を施すという事態を防ぎ、補正結果を保証することができる。
(6)外部機器200の制御部201は、生成された補正後画像ファイルを付加画像ファイルに付加するようにした。したがって、補正処理が行われた後も付加画像ファイルには撮像画像ファイルが残っているため、補正処理のやり直しや取り消しに対する自由度が向上する。さらに、使用者が補正後画像ファイルも含めて、各種画像ファイルの管理を意識せずにすむので、利便性が向上する。
以上で説明した実施の形態を、以下のように変形できる。
(1)電子カメラ100で付加画像ファイルを生成するものに代えて、図10に示す外部機器200で付加画像ファイルを生成してもよい。この場合、外部機器200は、外部インタフェース206を介して電子カメラ100から撮像画像ファイルおよび参照画像ファイルを受信する。そして、外部機器200の制御部201は、図9のフローチャートに示すステップS301(参照画像ファイルの取得日付の特定)からステップS305(付加画像ファイルの生成)の処理を実行して、付加画像ファイルを生成する。そして、制御部201は、生成した付加画像ファイルをHDD202に記録すればよい。
(2)ファイル生成部104bは、付加画像ファイルを生成するものに代えて、関連付けされた撮像画像ファイルおよび参照画像ファイルの少なくとも一方に、関連付けがされていることを示す情報(関連付け情報)を付加するようにしてもよい。この場合、ファイル生成部104bは、撮像画像ファイルの付加情報部に、関連付けされている参照画像ファイルのパス、ファイル名等を関連付け情報として書き込めばよい。なお、ファイル生成部104bは、参照画像ファイルの付加情報部に、関連付けされている撮像画像ファイルのパス、ファイル名等を関連付け情報として書き込んでもよいし、撮像画像ファイルと参照画像ファイルの両者の付加情報部に関連付け情報を書き込んでもよい。
(3)ファイル生成部104bは、付加画像ファイルを生成するものに代えて、撮像画像ファイルと参照画像ファイルのそれぞれに対して、関連付けがされていることを示すファイル名を付与してもよい。この場合、ファイル生成部104bは、たとえばファイル名「DSC.0004.jpg」の撮像画像ファイルと「DSC.0002s.jpg」の参照画像ファイルとを関連付ける際に、それぞれのファイル名に共通する名称として、たとえば「・・・_r1」等を付与すればよい。すなわち、ファイル生成部104bは、撮像画像ファイルのファイル名を「DSC.0004_r1.jpg」とし、参照画像ファイルのファイル名を「DSC.0002s_r1.jpg」とすればよい。
(4)ファイル生成部104bは、付加画像ファイルを生成するものに代えて、撮像画像ファイルと参照画像ファイルが関連付けされていることを示す関連付け情報を作成し、この関連付け情報をメモリカード109aに記録してもよい。この場合、ファイル生成部104bは、関連付け情報として、たとえば図14に示すように、関連付けされた撮像画像ファイルと参照画像ファイルとを対応付けたデータベース等を作成すればよい。
(5)付加画像ファイルは1つの撮像画像ファイルに対して複数種類の参照画像ファイルが付加されたものであってもよい。この場合、複数種類の参照画像ファイルとして、たとえば第1の参照画像ファイルはゴミ除去補正、第2の参照画像ファイルは画素欠陥補正、第3の参照画像ファイルは周辺減光補正に用いられるようにすればよい。
(6)付加画像ファイルに付加される参照画像ファイルは、画像劣化補正処理に用いられるものに代えて、像ブレ補正処理に用いられるものであってもよい。この場合、公知の技術を用いて、撮像画像ファイルを取得する直前もしくは直後に、参照画像取得部104cはシャッタースピードを高速に設定して取得した画像信号に基づいて参照画像ファイルを生成する。そして、ファイル生成部104bは、付加画像ファイルを生成すればよい。なお、上述した変形例(5)のように、画像劣化補正用の参照画像ファイルと像ブレ補正用の参照画像ファイルとが1つの付加画像ファイルに付加されてもよい。
(7)外部機器200に代えて、電子カメラ100で画像劣化補正を行うようにしてもよい。この場合、システム制御部104に、画像劣化補正を行う補正部を設ける。そして、この補正部が、上述した外部機器200の制御部201と同様にして参照画像データに基づいて、公知の技術を用いて本画像データに対して画像劣化補正処理を施して、補正後画像データを生成すればよい。
また、本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。説明に用いた実施の形態および変形例は、それぞれを適宜組合わせて構成しても構わない。