JP2015213281A - 撮像装置、画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】移動する被写体の１点を撮影する際に、被写体の１点の光跡が偽色になることによる撮影画像の不自然さを低減させる。【解決手段】レンズ２０１と、カラーフィルタの所定の色が撮像素子の画素毎に配置されてなるセンサ２０１と、撮影動作を制御するシステム制御部１０４と、撮像センサ２０１とレンズ２０１との光路内に配置された光学特性フィルタ２０４とを備える撮像装置１００であって、システム制御部１０４は、第１の画像の撮影とは異なるタイミングで第２の画像を撮影し、その際に、点光源からの光がカラーフィルタの全ての色の画素に結像するように、光学特性フィルタ２０４の光学特性を制御する。【選択図】図３

Description

本発明は、撮像装置、画像処理装置、画像処理方法及びプログラムに関し、特に、星空を撮影する技術に関する。

所定の周期で被写体像を繰り返し撮影し、得られた複数の画像間の輝度情報を用いて比較明合成処理を行うことにより、例えば、地球の日周運動に起因して夜空を移動する星の光跡を残した写真を作成する映像表現手法が知られている（特許文献１参照）。

また、偽色による画質劣化を抑制することができる技術が提案されている（例えば、特許文献２参照）。特許文献２に記載された技術では、撮像センサ（ＲＧＢの三原色のカラーフィルタを備える撮像素子）とレンズ光学系との間にウォブリング素子を配置し、ウォブリング素子により光束を変位させて撮像センサの撮像面に結像させる。こうして得られる第１の結像位置での撮影データと第２の結像位置での撮影データとを合成し、デモザイキングして、該当画素の色値を作成している。

特開２０１３−１７２３７２号公報 特開２０１１−２５９３１０号公報

しかしながら、被写体が星空の星のように微光量で移動するような点光源である場合には、点光源がカラーフィルタの全ての色の画素上に乗らないことで偽色が発生し、偽色のままで光跡となってしまうことがある。その場合に、特許文献１に記載されているように複数の画像間の輝度情報から比較明合成処理を行うことで夜空を移動する星の光跡を残した写真を作成すると、特に不自然な画像になってしまう。また、特許文献２に記載された技術では、被写体が星空の星のように複数の移動する点光源である場合に、デモザイキング処理による色値作成の過補正や解像感の劣化によって、画質が低下してしまうおそれがある。

本発明は、星空の星のように移動する被写体の１点を撮影する際に、その被写体の１点の光跡が偽色になることによる撮影画像の不自然さを低減させることができる技術を提供することを目的とする。

本発明に係る第１の撮像装置は、異なる複数の色のカラーフィルタがそれぞれ割り当てられた複数の画素を有する撮像素子を備える撮像装置であって、前記撮像素子と撮影レンズとの光路内に配置される、光学特性の制御が可能な光学特性フィルタと、前記撮像素子の動作を制御する制御手段と、を有し、前記制御手段は、前記撮像素子を制御してそれぞれ異なる撮影条件で第１の画像と第２の画像を撮影し、前記第２の画像を撮像する際には、被写体の１点からの光が、少なくとも前記第１の画像の撮影時に結像されるカラーフィルタの色とは異なる色の画素を含む領域に結像されるように、前記光学特性フィルタの光学特性を制御することを特徴とする。

本発明に係る第２の撮像装置は、撮影レンズと、異なる複数の色のカラーフィルタがそれぞれ割り当てられた複数の画素を有する撮像素子と、を備える撮像装置であって、前記撮影レンズを駆動する駆動手段と、被写体の第１の画像を撮影し、前記第１の画像の撮影とは異なるタイミングで第２の画像を撮影するように前記撮像装置の動作を制御する制御手段と、を有し、前記制御手段は、前記第２の画像を撮影する際に、前記被写体の１点からの光が前記カラーフィルタのより多くの色の画素に結像するように、前記駆動手段を介して前記撮影レンズの位置を制御することを特徴とする。

本発明に係る画像処理装置は、撮影された複数の第１の画像に含まれる被写体の同一の１点からの光の移動ベクトル情報を算出する算出手段と、前記移動ベクトル情報と、前記複数の第１の画像の撮影とは異なるタイミングで撮影された第２の画像とから、前記被写体の同一の１点の色マスク画像を生成する生成手段と、前記複数の第１の画像の輝度信号と前記色マスク画像とから、前記色マスク画像の色信号からなる画像を合成する合成手段と、を備え、前記第２の画像は、前記被写体の同一の１点からの光が、前記第１の画像と前記第２の画像とを撮影する撮像素子が有する複数の画素毎に異なる色が割り当てられたカラーフィルタの全ての色の画素に結像するように撮影されていることを特徴とする。

本発明に係る画像処理方法は、異なる複数の色のカラーフィルタがそれぞれ割り当てられた複数の画素を有する撮像素子により、移動する被写体の１点を含む複数の第１の画像を一定の時間間隔で撮影するステップと、前記第１の画像の撮影とは異なるタイミングで、前記被写体の１点からの光が前記カラーフィルタの全ての色の画素に結像するように第２の画像を撮影するステップと、前記複数の第１の画像に含まれる前記被写体の１点の移動ベクトル情報を算出するステップと、前記移動ベクトル情報と、前記第２の画像とから、前記被写体の１点の色マスク画像を生成するステップと、前記複数の第１の画像の輝度信号と前記色マスク画像とから、前記色マスク画像の色信号からなる画像を生成するステップと、を有することを特徴とする。

本発明によれば、星空の星のような被写体の１点を撮影する際に、第１の画像の撮影タイミングとは異なるタイミングで被写体の１点の色情報を取得するための第２の画像を撮影する。これにより、撮影画像（第１の画像）に対する解像感の劣化を回避すると共に、点光源の光跡が偽色になることによる不自然さを低減させた高画質な撮影画像を得ることができる。

本発明の実施形態に係る撮像装置の概略構造を示すブロック図である。 図１の撮像装置が備える撮像部の概略構成を示すブロック図である。 図１の撮像装置による撮影方法の第１の例のフローチャートである。 図３のフローチャートのステップＳ３０４における星の色情報を取得するための撮影方法を模式的に示す図である。 図３のフローチャートのステップＳ３０４で得られる撮影画像と星の色情報との関係を説明する図である。 図１の撮像装置による撮影方法の第２の例のフローチャートである。 図６のフローチャートのステップＳ６０２における星の色情報を取得するための撮影方法を模式的に示す図である。 図３及び図６のフローチャートに従って取得した星の色情報を用いた本画像の星の光跡に対する偽色低減処理のフローチャートである。 図８のフローチャートのステップＳ８０３で取得する星の移動ベクトル情報を模式的に説明する図である。 図８のフローチャートのステップＳ８０４で生成する星の色マスク画像を模式的に説明する図である。 図８のフローチャートのステップＳ８０５で行う星の光跡領域に対する偽色補正処理を模式的に説明する図である。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

＜撮像装置の概略構成＞
図１は、本発明の実施形態に係る撮像装置１００の概略構造を示すブロック図である。撮像装置１００は、撮像部１０１、画像処理部１０２、メモリ制御部１０３、システム制御部１０４、メモリ１０５、不揮発性メモリ１０６、システムメモリ１０７及びシステムタイマ１０８を備える。また、撮像装置１００は、操作部１０９、表示部１１０、Ｄ／Ａ変換器１１１及び記憶媒体Ｉ／Ｆ１１２を備え、記憶媒体Ｉ／Ｆ１１２には記憶媒体１１３が接続可能となっている。

撮像部１０１は、被写体からの光を光学像として結像させるレンズと、光学像を電気信号に変換するＣＣＤやＣＭＯＳ等の撮像素子とを含む。なお、撮像部１０１の詳細な構成については、図２を参照して後述する。画像処理部１０２は、撮像部１０１とメモリ制御部１０３から供給される各種のデータに対して、所定の画素補間や縮小等のリサイズ処理、色変換処理等を行う。また、画像処理部１０２は、撮像部１０１から取得した画像データを用いて所定の演算処理を行い、演算結果をシステム制御部１０４へ供給する。

システム制御部１０４は、画像処理部１０２から取得した演算結果を用いて、撮像部１０１に対して露光制御や測距制御、光学制御等を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（ストロボプリ発光）処理が実現される。撮像部１０１からの出力データは、画像処理部１０２及びメモリ制御部１０３を介して、或いは、メモリ制御部１０３を介して、メモリ１０５に書き込まれる。

システム制御部１０４は、撮像装置１００の全体的な動作を制御する。また、システム制御部１０４は、不揮発性メモリ１０６に格納された所定のプログラムを実行することにより、後述する各種の処理を実行する。なお、ここでの「プログラム」とは、後述するフローチャート（図３，６，８）の処理を実行するためのプログラムを指す。不揮発性メモリ１０６は、電気的に消去／記憶が可能なメモリであり、例えば、ＥＥＰＲＯＭ等である。不揮発性メモリ１０６には、システム制御部１０４の動作用定数、プログラム等が格納される。

メモリ１０５は、撮像部１０１から得られた画像データを格納する。メモリ１０５は、所定枚数の静止画像や所定時間の動画像及び音声を格納するのに十分な記憶容量を有している。また、メモリ１０５は、画像表示用のメモリ（ビデオメモリ）を兼ねる。表示部１１０は、例えば、液晶ディスプレイや有機ＥＬディスプレイ等の表示装置を含む。Ｄ／Ａ変換器１１１は、メモリ１０５に格納されている画像表示用のデータをアナログ信号に変換して表示部１１０に供給する。これにより、表示部１１０に画像が表示される。

システムメモリ１０７には、ＲＡＭが用いられる。システムメモリ１０７には、システム制御部１０４の動作用の定数、変数、不揮発性メモリ１０６から読み出したプログラム等が展開される。システムタイマ１０８は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。操作部１０９は、撮像装置１００の本体に設けられた各種のボタンを含み、所定のボタンが押下されると、押下されたボタンに割り当てられた機能をシステム制御部１０４が実行する。また、操作部１０９は、表示部１１０に設けられたタッチパネルを含み、タッチパネルに表示された所定のアイコンが選択されると、選択されたアイコンに割り当てられた機能がシステム制御部１０４により実行される。

記憶媒体Ｉ／Ｆ１１２は、記憶媒体１１３とシステム制御部１０４との間の通信を可能とするためのインタフェースである。記憶媒体１１３は、撮影された画像を記憶し、保存する媒体であり、例えば、半導体メモリや磁気ディスク（ハードディスク）等である。記憶媒体１１３は、撮像装置１００の本体内に内蔵されていてもよいし、撮像装置１００の本体に対して着脱自在であってもよい。

図２は、撮像部１０１の概略構成を示すブロック図である。ここでは、撮像部１０１の構成として、光学特性フィルタを備えないもの（以下「撮像部１０１Ａ」という）と、光学特性フィルタを備えるもの（以下「撮像部１０１Ｂ」という）の２種類の構造を例示する。

図２（ａ）は、撮像部１０１Ａの概略構成を示すブロック図である。撮像部１０１Ａは、撮影レンズ２０１（以下「レンズ２０１」と記す）、撮像センサ２０２（以下「センサ２０２」と記す）及びレンズ制御部２０３を有する。レンズ２０１は、被写体からの光束を集光し、集光した光束をセンサ２０２の撮像面上に光学像として結像させる単一レンズ又はレンズ群である。レンズ２０１は、レンズ制御部２０３からのレンズ制御情報に応じて光軸上を移動可能に構成されており、これにより、光軸後方への光量調整やセンサ２０２に対する光学像の結像位置の調整等を行うことができるようになっている。

センサ２０２は、レンズ２０１により結像された光学像を電気信号に変換するＣＣＤセンサやＣＭＯＳセンサ等の撮像センサである。センサ２０２には、被写体の色情報を取得することができるように、センサ２０２を構成する撮像素子の画素単位で、Ｒ（赤）、Ｇ（緑）、Ｂ（青）三原色のカラーフィルタが、例えば、ベイヤ配列で配置されている。レンズ制御部２０３は、システム制御部１０４による制御下で、レンズ２０１の光学特性を変化させる機械的な制御、例えば、フォーカス制御や撮影時の手ブレ等を低減させるための光学的な防振制御等を行う。

図２（ｂ）は、撮像部１０１Ｂの概略構成を示すブロック図である。撮像部１０１Ｂは、レンズ２０１、センサ２０２、レンズ制御部２０３、光学特性フィルタ２０４及び光学特性フィルタ制御部２０５を有する。レンズ２０１、センサ２０２及びレンズ制御部２０３は、それぞれ、図２（ａ）に示したものと同じであるので、ここでの説明を省略する。

光学特性フィルタ２０４は、レンズ２０１とセンサ２０２の間の光路内の光軸上に配置され、レンズ２０１がセンサ２０２に結像する光学像に対して、光学特性を変化させるデバイスである。光学特性フィルタ２０４は、具体的には、光学像に対してローパスフィルタやバンドパスフィルタとしてのフィルタリングが実現できるものであればよい。光学特性フィルタ制御部２０５は、システム制御部１０４の制御下で、光学特性フィルタ２０４に対してフィルタ特性の切り替えを行う。

上述した撮像装置１００の構成は、一例であって、以下に説明する動作と処理（撮影動作、画像処理）を実行することができるものであれば、上述した構成に限定されるものではない。

＜第１実施形態＞
第１実施形態では、撮像装置１００を用いて、星空（夜空）の星（被写体の１点）の光跡を残す写真を撮影するシーンを取り上げることとし、星の光跡を残す写真を撮影するための撮影シーケンスを星空撮影モードと定義する。星空撮影モードでは、システム制御部１０４の制御下で、撮像装置１００は、同一撮影条件で、且つ、一定の時間間隔で、複数回（Ｎ回）の撮影を繰り返し、撮影された複数枚（Ｎ枚）の画像に対して比較明合成処理を施して、１枚の合成画像を作成する。なお、「比較明合成処理」とは、第１の画像と第２の画像の同一座標の画素の輝度値を比較し、明るい方（輝度値が高い画像）の輝度値を選択して、第２の画像における同一座標の画素の輝度値を置換する処理である。この場合、第２の画像を黒画像として初期化しておくことで、第２の画像は、ｍ回目（１＜ｍ＜Ｎ）の比較明合成時には、ｍ−１回目までの合成結果の画像となる。

図３は、撮像装置１００による撮影方法の第１の例のフローチャートであり、システム制御部１０４による処理内容を示している。ここで、撮像装置１００は、撮像部１０１として、図２（ｂ）に示した撮像部１０１Ｂを備えるものとする。また、システム制御部１０４は、不揮発性メモリ１０６に格納されたプログラムをシステムメモリ１０７に展開することにより、図３のフローチャートの各種処理を実行する。

ステップＳ３０１においてシステム制御部１０４は、ユーザが設定した本画像（第１の画像）の撮影時の撮影条件を取得する。第１実施形態では、撮影条件には、少なくとも、露光時間やレンズ２０１の絞り値、センサ２０２のＩＳＯ感度等の露光量に関わる情報が含まれているものとする。続くステップＳ３０２においてシステム制御部１０４は、ステップＳ３０１で取得した撮影条件を用いて、星の色情報取得時の撮影条件を算出する。第１実施形態では、星の色情報取得時の撮影条件が、本画像撮影時の露光量と同等となり（好ましくは等しくなり）、且つ、露光時間が最も短くなるように、露光時間とレンズ２０１の絞り値、センサ２０２のＩＳＯ感度が決定される。

ステップＳ３０３においてシステム制御部１０４は、ステップＳ３０２で算出した星の色情報取得時の撮影条件の露光時間が所定の露光時間以内であるか否かを判定する。ここでの判定に用いる所定の露光時間は、任意の露光時間でよい。例えば、星空撮影モードは、Ｎ枚の撮影画像に対して比較明合成処理を行うことで星の光跡同士をつなぐため、星の光跡をつなぐことができる露光時間を、ステップＳ３０３の判定に用いる所定の露光時間として設定することができる。その場合、単位時間あたりの星の移動量は撮影方位や撮影画角によって異なるため、星の光跡をつなぐことができる露光時間は撮影方位や撮影画角の情報を用いて決定してもよい。

システム制御部１０４は、星の色情報取得時の撮影条件の露光時間が所定の露光時間以内である場合（Ｓ３０３でＹＥＳ）処理をステップＳ３０４へ進める。また、システム制御部１０４は、星の色情報取得時の撮影条件の露光時間が所定の露光時間以内ではない場合（Ｓ３０３でＮＯ）、処理をステップＳ３０５へ進める。

ステップＳ３０４においてシステム制御部１０４は、ステップＳ３０３で算出された星の色情報取得時の撮影条件で撮像部１０１による撮影を行い、星の色情報を含む画像（第２の画像）を取得する。このとき、システム制御部１０４は、光学特性フィルタ制御部２０５を介して、星からの光が少なくとも本画像撮影時に結像されるカラーフィルタの色とは異なる色の画素を含む領域に結像されるように、光学特性フィルタ２０４の光学特性を制御する。ここで、ステップＳ３０４における光学特性フィルタ２０４の光学特性制御について、図４を参照して説明する。

図４は、ステップＳ３０４における星の色情報を取得するＲための撮影方法を模式的に示す図である。センサ２０２には、Ｒ，Ｇ（Ｇ１，Ｇ２），Ｂの三原色のカラーフィルタがベイヤ配列で撮像素子の画素毎に配置されているものとする。図４に示す直線４０１は、ユーザが設定した露出時間における、被写体の１点である星空の星Ｓ（以下の説明では、適宜、星Ｓを「点光源」と称呼する）が移動する方向及び移動量を示している。また、図４には、通常撮影時のセンサ２０２での結像領域が、結像領域４０２として示されている。これに対してステップＳ３０４では、星Ｓの色情報を含む画像取得を行うために、星Ｓからの光の結像を、領域４０４のようにカラーフィルタの全ての色の画素（Ｒ，Ｇ（Ｇ１，Ｇ２），Ｂ）を含む結像領域４０３となるように、光学特性フィルタ２０４を制御する。

図５は、ステップＳ３０４での撮影によって得られる撮影画像と星の色情報との関係を説明する図である。図５（ｃ）は、図４を参照して説明した光学特性フィルタ２０４の光学特性制御を行うことによって撮影された画像を模式的に示す図である。図５（ｃ）では、星の色の違いをハッチングの違いで表現しており、本画像撮影時と同じ構図で、それぞれの星の光についてそれぞれの星に対応した色を取得することができる。

なお、ステップＳ３０４では、画像処理部１０２において、星の色情報を含む画像に対して前述した比較明合成処理を行ってもよい。例えば、ｎ枚目（２＜ｎ≦Ｎ）で撮影された星の色情報を含む画像（図５（ｃ））を第１の画像とし、ｎ−１枚目までの星の色情報を含む画像を第２の画像（図５（ａ））とした場合、比較明合成後の第２の画像は図５（ｅ）となる。

図３の説明に戻る。ステップＳ３０５においてシステム制御部１０４は、ユーザが設定した本画像撮影時の撮影条件で撮像部１０１による撮影を行い、本画像を取得する。このとき、システム制御部１０４は、光学特性フィルタ制御部２０５を介して光学特性フィルタ２０４が通常の撮影時の光学特性となるように制御を行って、撮影を行う。図５（ｄ）は、ステップＳ３０５で撮影された本画像を示している。

なお、ステップＳ３０５では、画像処理部１０２において、本画像に対して前述した比較明合成処理を行ってもよい。例えば、ｎ枚目で撮影された本画像（図５（ｄ））を第１の画像，ｎ−１枚目までの比較明合成された本画像を第２の画像（図５（ｂ））とした場合、比較明合成後の第２の画像は図５（ｆ）となる。なお、第１実施形態において、ｎは任意の枚数であるが、図５は、ｎ＝２の場合を例示している。

ステップＳ３０６においてシステム制御部１０４は、Ｎ枚の撮影が完了したか否かを判定する。システム制御部１０４は、Ｎ枚目である場合（Ｓ３０６でＹＥＳ）、処理をステップＳ３０７へ進め、Ｎ枚目ではない場合（Ｓ３０６でＮＯ）、処理をステップＳ３０２へ戻す。ステップＳ３０７においてシステム制御部１０４は、取得した本画像（図５（ｆ））と星の色情報（図５（ｅ））とを関連付けて記憶媒体１１３に保存する。ここでの関連付けは、本画像と星の色情報とが１対１の関係で関連付けられていればよい。したがって、記憶媒体１１３に記憶されるファイル構成は、本画像と星の色情報とがそれぞれ別ファイルとして保存されてもよいし、本画像のファイルに星の色情報が埋め込こまれた単一のファイルとして保存されてもよい。

以上の説明の通り、第１実施形態では、星空撮影モードでの撮影時に、本画像の撮影タイミングとは異なるタイミングで、センサ２０２の少なくとも本画像撮影時に結像されるカラーフィルタの色とは異なる色の画素を含む領域に星Ｓからの光が結像するように光学特性フィルタ２０４を制御する。このようにして星の色情報を取得するための撮影を行うことで、本画像（図５（ｆ））に対する解像感の劣化を招くことなく、星の色情報（図５（ｅ））を取得することができる。そして、ユーザは、取得した星の色情報を用いることにより、本画像の星の光跡に対して星の色を再現するための画像処理を容易に行うことができるようになる。

＜第２実施形態＞
第１実施形態では、撮像部１０１Ｂを備える撮像装置１００を用いて星空撮影モードでの撮影を行い、その際に、光学特性フィルタ２０４の制御を行うことによって星の色情報を取得した。これに対して、第２実施形態では、撮像部１０１Ａを備える撮像装置１００を用いて星空撮影モードでの撮影を行う。

図６は、撮像装置１００による撮影方法の第２の例のフローチャートであり、システム制御部１０４による処理内容を示している。システム制御部１０４は、不揮発性メモリ１０６に格納されたプログラムをシステムメモリ１０７に展開することにより、図６のフローチャートの各種処理を実行する。なお、図６のフローチャートにある処理であって、図３のフローチャートにもある処理については、同じステップ番号を付して、ここでの説明を省略することとする。

ステップＳ３０１〜Ｓ３０３の処理は、第１実施形態（図３のステップＳ３０１〜Ｓ３０３）の処理と同じである。システム制御部１０４は、星の色情報取得時の撮影条件の露光時間が所定の露光時間以内である場合（Ｓ３０３でＹＥＳ）処理をステップＳ６０１へ進める。また、システム制御部１０４は、星の色情報取得時の撮影条件の露光時間が所定の露光時間以内ではない場合（Ｓ３０３でＮＯ）、処理をステップＳ３０５へ進める。

ステップＳ６０１においてシステム制御部１０４は、ユーザが設定した本画像撮影時の撮像部１０１のレンズ制御情報をメモリ１０５へ保存する。第２実施形態では、一例として、レンズ制御情報として、レンズ２０１のフォーカス位置情報が保存されるものとする。続くステップＳ６０２においてシステム制御部１０４は、ステップＳ３０２で算出された星の色情報取得時の撮影条件で撮像部１０１により撮影を行い、星の色情報を含む画像を取得する。このとき、システム制御部１０４は、レンズ制御部２０３を介して、星からの光が少なくとも本画像撮影時に結像されるカラーフィルタの色とは異なる色の画素を含む領域に結像されるように、レンズ２０１の動作制御を行う。ステップＳ６０２におけるレンズ２０１の駆動制御について、図７を参照して説明する。

図７は、ステップＳ６０２における星の色情報を取得するための撮影方法を模式的に示す図である。センサ２０２には、図４に示したカラーフィルタと同様に、Ｒ，Ｇ（Ｇ１，Ｇ２），Ｂの三原色のカラーフィルタがベイヤ配列で配置されているものとする。

図７（ａ）は、レンズ２０１のフォーカス位置を制御して、星の色情報を取得する方法を模式的に示す図である。図７（ａ）に示す直線７０１は、ユーザが設定した露出時間での被写体である星Ｓ（点光源）が移動する方向及び移動量を示している。そして、通常撮影時、即ち、すなわちステップＳ６０１で保存したフォーカス位置でのセンサ２０２での結像領域が、結像領域７０２として示されている。これに対して、ステップＳ６０２では、星の色情報を含む画像を取得するために、レンズ制御部２０３は、レンズ２０１のフォーカス位置を制御した撮影を行う。即ち、点光源である星Ｓからの光が、領域７０４のようにカラーフィルタの全ての色の画素を含む結像領域となるように、デフォーカス制御を行う。

ここで、図７（ａ）の例では、星Ｓの中心が、Ｒ，Ｇ１，Ｇ２，Ｂの各画素の頂点が交わる位置にあるため、領域７０４のような狭い領域でも、カラーフィルタの全ての色の画素を略均等な領域で含むことができる。しかし、不図示であるが、例えば、星Ｓの中心がＢの画素の中心にあった場合には、領域７０４の大きさでは、カラーフィルタの全ての色の画素を略均等に含むことはできず、星Ｓの正確な色を取得することができなくなる。そこで、Ｒ，Ｇ１，Ｇ２，Ｂの各画素を１つずつ必ず包含する大きさの結像領域７０３となるようなデフォーカス制御を行う。これにより、カラーフィルタ上での星Ｓの中心位置に関係なく、確実にカラーフィルタの全ての色の画素を含ませることができる。

なお、第２実施形態では、被写体である星のフォーカス位置は、一般的に無限遠となるため、前述のデフォーカス制御に際して、予め固定のフォーカス値を定めているものとする。但し、これに限られず、前述のデフォーカス制御を実現することができれば、別の方法でステップＳ６０２のフォーカス値を算出してもよい。

このようなレンズ２０１のフォーカス位置を制御する方法に代えて、被写体からの光束のセンサ２０２に対する結像位置にレンズ２０１の位置を制御することで、星の色情報を取得してもよい。図７（ｂ）は、レンズ２０１による光束の結像位置を制御することによって星の色情報を取得する方法を模式的に示す図である。被写体である星Ｓからの光が、少なくとも本画像撮影時に結像されるカラーフィルタの色とは異なる色の画素を含む領域（画素群）に結像されるようにする。具体的には、通常撮影時の星Ｓの結像領域７０２と、通常撮影時の星Ｓの位置から垂直方向に距離ｄＨ、水平方向に距離ｄＷだけそれぞれずれた２カ所での星Ｓ´の結像領域７０５とを含むように、レンズ制御部２０３によるレンズ２０１の駆動制御を行って撮影を行う。

なお、図７（ｂ）では、垂直方向の距離ｄＨと水平方向の距離ｄＷをそれぞれ、センサ２０２の画素ピッチと同等としているが、少なくとも本画像撮影時に結像されるカラーフィルタの色とは異なる色の画素を含む領域に結像されれば、このような距離に限定されるものではなく、他の距離を設定してもよい。また、レンズ制御部２０３による結像位置の制御は、被写体である星が点光源であって、しかも移動体であるため、センサ２０２の露光中に動的に行われることが好ましい。更に、システム制御部１０４は、各色の画素上での被写体の露光時間が均等となるように結像位置を遷移させる制御を行うことが好ましい。その際、各色の画素上での露出時間がステップＳ３０２で算出された星の色情報取得時の撮影条件における露出時間となるように、レンズ２０１の結像位置制御に応じて、ステップＳ６０２での撮影時間を再計算してもよい。

第２実施形態においても、ステップＳ６０２において撮影された画像は、第１実施形態と同様に、図５（ｃ）となり、本画像撮影時と同じ構図で、それぞれの星の光についてそれぞれの星に対応した色を取得することができる。

図６の説明に戻る。ステップＳ６０３においてシステム制御部１０４は、ステップＳ６０１でメモリに保存したレンズ２０１のフォーカス位置情報（レンズ制御情報）を読み出し、レンズ制御部２０３によりレンズ２０１のフォーカス位置をユーザが設定した本画像撮影時の状態に戻す。ステップＳ６０３の後のステップＳ３０５〜Ｓ３０７の処理は、図３に示したステップＳ３０５〜Ｓ３０７と同じであるため、ここでの説明を省略する。

以上の説明の通り、第２実施形態でも、星空撮影モードでの撮影時に、本画像の撮影タイミングとは異なるタイミングで、センサ２０２の少なくとも本画像撮影時に結像されるカラーフィルタの色とは異なる色の画素を含む領域に星（点光源）からの光が結像するように、レンズ制御部２０３によりレンズ２０１を駆動制御する。このようにして星の色情報を取得するための撮影を行うことで、本画像（図５（ｆ））に対する解像感の劣化を招くことなく、星の色情報（図５（ｅ））を取得することができる。そして、ユーザは、取得した星の色情報を用いることにより、本画像の星の光跡に対して星の色を再現するための画像処理を容易に行うことができるようになる。

＜第３実施形態＞
第３実施形態では、第１実施形態及び第２実施形態で取得した星の色情報を用いた本画像の星の光跡に対する画像処理方法である星の偽色低減処理について説明する。

図８は、第１実施形態及び第２実施形態で取得した星の色情報を用いた本画像の星の光跡に対する偽色低減処理のフローチャートであり、システム制御部１０４による処理内容を示している。ステップＳ８０１においてシステム制御部１０４は、記憶媒体１１３から本画像（図５（ｆ）の画像データ）を取得する。続くステップＳ８０２においてシステム制御部１０４は、ステップＳ８０１で取得した本画像に関連付けて記憶媒体１１３に保存されている星の色情報（図５（ｅ））を記憶媒体１１３から取得する。

その後のステップＳ８０３においてシステム制御部１０４は、本画像に対応した星の移動ベクトル情報を取得する。ここでの星の移動ベクトル情報とは、広義には、撮影露光中に本画像（撮影画面）内に写り込んだ星の移動方向と移動量とを求めることができる情報である。なお、撮影露光中に星が移動するのは、地球の自転運動に起因したものであるとみなして、地球の公知の振る舞いとして説明は省略する。

星の移動ベクトル情報を取得するために、例えば、撮像装置１００が水準器やＧＰＳを搭載している場合には、撮像装置１００の撮影方位や撮影高度の情報を、予め撮影画像に関連付けて記憶しておくようにする。これにより、地軸の位置と撮像装置１００の撮影構図位置との位置関係に基づき、構図内に写り込んだ星の移動ベクトル情報を算出することができる。

一方、撮像装置１００の撮影方位や撮影高度についての情報を撮影時に取得することができない場合がある。その場合には、撮影時に主に手振れ補正機能で用いられるブロックマッチング法を用いることで、星の移動ベクトル情報を算出することができる。即ち、画像を複数のエリアに分割し、分割されたエリア毎にブロックマッチング法を用いた撮影画像間の動きベクトル検出処理を施すことで、星の移動ベクトル情報を算出することができる。算出した星の移動ベクトル情報は、星の色情報と関連付けて記憶媒体１１３に保存するようにしてもよい。

図９は、星の移動ベクトル情報を模式的に説明する図である。図９（ａ）は、第１実施形態のステップＳ３０４（星の色情報を取得するための撮影）において、ｎ−１枚目に撮影された星の色情報を含む第１の画像である。また、図９（ｂ）は、第１実施形態のステップＳ３０４（星の色情報を取得するための撮影）において、ｎ枚目に撮影された星の色情報を含む第２の画像である。これらの第１の画像と第２の画像に対してブロックマッチング法を用いて、画面内のエリア毎の動きベクトルを算出すると、図９（ｃ）に示す算出結果が得られる。そして、図９（ｄ）に示すように、画面内のエリア毎の動きベクトル方向と直交する直線上の交点を地軸の位置する座標として算出し、算出された地軸位置と撮像装置１００の構図位置と関係から、構図内における星の移動ベクトル情報を算出する。

なお、地球の自転運動の周期に対して、例えば、撮影時の露光時間が数十秒である場合等には、星の移動量は極めて微小である。この場合、星の移動方向を線形として扱うことができるため、本画像の露光時間によっては、ブロックマッチング法により算出した動きベクトルの情報をそのまま、星の移動ベクトル情報として取り扱ってもよい。第３実施形態では、画面内のエリア毎の動きベクトルの情報（図９（ｃ））を星の移動ベクトル情報として扱うこととする。

図８の説明に戻る。ステップＳ８０４においてシステム制御部１０４は、ステップＳ８０２で取得した星の色情報（図５（ｅ））とステップＳ８０３で取得した星の移動ベクトル情報（図９（ｃ））とを用いて、星の色マスク画像の生成を行う。星の色マスク画像は、広義には、本画像内の偽色となっている星の光跡領域に対して、色信号のマスク処理を行うことができる画像であればよい。

図１０は、星の色マスク画像を模式的に説明する図である。図１０（ａ）に示すように、星の色情報（図５（ｅ））にある任意の星１００３に注目し、この星１００３の領域１００１に対して、星１００３の移動ベクトル情報１００４から、星１００３の任意の移動先の領域１００２を算出する。ここで、領域１００２内には、他の星（被写体）が存在することがある。そこで、領域１００２内にある星であって、その星の輝度値と星１００３の輝度値との差が所定の閾値以内にある星を、領域１００２内の星１００３であると判定する。そして、同一の星である判定された星に対して、移動元の星の領域と移動先の星の領域とを結合させた領域を、その星の光跡領域とする。図１０（ａ）には、画像内の複数の星の中から注目した星１００３について、星１００３が位置する画素を用いて、星１００３の光跡領域１００５を生成する画像処理が示されている。

ここで、生成した光跡領域を注目した星の色の画素値で塗り潰すような処理を行ってもよい。このとき、注目した星の光跡領域内に他の星の光跡領域が含まれる場合には、重複する領域について、注目した星の光跡領域の画素値と他の星の光跡領域の画素値とを加算平均した画素値を適用するようにしてもよい。また、空気の澄み具合等によって撮影時の環境変化が原因となって撮影される星の色が変化することを考慮することが好ましい場合がある。この場合には、画像領域内での塗り潰し位置に応じて、移動元と移動先の星の位置関係に基づき、移動元の星の画素値と移動先の星の画素値を用いた重み付け処理を行って、塗り潰しに用いる画素値を決定してもよい。また、移動元の星の画素値から移動先の星の画素値へと連続的に変化するようなグラデーションを適用した塗り潰しを行ってもよい。更に、星以外の被写体が写っている領域に対しては、画素値０（つまり、黒色）に塗り潰す処理を行ってもよい。このような光跡領域に対する塗り潰し処理を図５（ｅ）の星の色情報に対して行うことにより、図１０（ｂ）に示す星の色マスク画像を生成することができる。

図８の説明に戻る。ステップＳ８０５においてシステム制御部１０４は、ステップＳ８０４で生成した星の色マスク画像を用いて、本画像の星の光跡領域に対する偽色補正処理を行う。第３実施形態では、星の色マスク画像上で画素値が０以外であり、且つ、星の色マスク画像の輝度信号と本画像の輝度信号とを比較したときの輝度値の差が所定値以内に収まる場合に、星の色マスク画像の色信号で本画像の色信号を置換する処理を行う。

偽色補正処理には、本画像の星の光跡領域に対して、光跡が偽色となっているか否かの判定処理（偽色判定）を加えてもよい。具体的には、先ず、星の色マスク画像（図１０（ｂ））の輝度信号と本画像（図５（ｆ））の輝度信号を比較し、輝度値の差が所定の閾値以内に収まる領域の面積を算出する。そして、算出した面積が所定の閾値より小さい場合には、星からの光がカラーフィルタの全ての色の画素に含まれなかったと判定して、星の色マスク画像による色信号の補間処理を行う。偽色判定に用いる所定の閾値には、星からの光がセンサ２０２のカラーフィルタの所定数の色の画素に最低限含まれた場合の星の光跡領域の面積を用いればよく、この面積は、星の移動ベクトル情報に基づく星の移動量と本画像撮影時の露光時間から求めることができる。その他にも、星の色マスク画像と本画像とは同じ構図の画像であるため、レンズ２０１の光学性能情報に基づいて処理範囲の切り替えを行ってもよい。また、ユーザが指定した本画像内の部分的な領域に対してのみ、偽色判定を行ってもよい。

図１１は、本画像の星の光跡領域に対する偽色補正処理を模式的に説明する図である。ステップＳ８０５では、結果的には、本画像の色信号を置換する処理によって、図１１に示すように、星の光跡領域が偽色となっている部分に対してのみ、星の光跡領域の偽色を低減した画像を生成する。ステップＳ８０５での星の光跡に対する偽色低減処理は、上述した処理に限られず、広義には、星の色マスク画像と星の移動ベクトル情報とを用いて、星の光跡領域に対して偽色を低減するような画像処理であればよい。

ステップＳ８０５の後のステップＳ８０６においてシステム制御部１０４は、ステップＳ８０５で星の偽色補正処理がなされた画像を記憶媒体１１３へ保存し、これにより本処理は終了となる。

なお、第３実施形態の画像処理が実行されるタイミングは、第１実施形態及び第２実施形態での撮影時に自動的に行われてもよいし、ユーザが記憶媒体１１３から画像データを読み出して再生するときに、ユーザによる指示によって実行されてもよい。更に、第３実施形態の画像処理は、記憶媒体１１３に保存されたデータを外部装置（例えば、パーソナルコンピュータ）に転送し、その外部装置で実行することもできる。

以上の説明の通り、第３実施形態では、星の色情報と星の移動ベクトル情報とを用いて、星の光跡に対する偽色を補正する画像処理を施す。これにより、星の光跡が偽色となることによる撮影画像の不自然さを低減することができる。

＜その他の実施形態＞
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

本発明は以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

１００ 撮像装置
１０１，１０１Ａ，１０１Ｂ 撮像部
１０２ 画像処理部
１０４ システム制御部
２０１ レンズ
２０２ センサ
２０３ レンズ制御部
２０４ 光学特性フィルタ
２０５ 光学特性フィルタ制御部

Claims (15)

1. 異なる複数の色のカラーフィルタがそれぞれ割り当てられた複数の画素を有する撮像素子を備える撮像装置であって、
   前記撮像素子と撮影レンズとの光路内に配置される、光学特性の制御が可能な光学特性フィルタと、
   前記撮像素子の動作を制御する制御手段と、を有し、
   前記制御手段は、前記撮像素子を制御してそれぞれ異なる撮影条件で第１の画像と第２の画像を撮影し、前記第２の画像を撮像する際には、被写体の１点からの光が、少なくとも前記第１の画像の撮影時に結像されるカラーフィルタの色とは異なる色の画素を含む領域に結像されるように、前記光学特性フィルタの光学特性を制御することを特徴とする撮像装置。
2. 前記制御手段は、前記第２の画像を撮影するときに、前記撮像素子の露光時間が所定の露光時間より短くなるように、前記第１の画像の撮影条件に対して、少なくとも、前記撮影レンズの絞り値と前記撮像素子のＩＳＯ感度を決定することを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記第２の画像を撮影するときの露光量が前記第１の画像を撮影するときの露光量に等しくなり、且つ、露光時間が最も短くなるように、露光時間、前記絞り値および前記ＩＳＯ感度を決定することを特徴とする請求項２に記載の撮像装置。
4. 撮影レンズと、異なる複数の色のカラーフィルタがそれぞれ割り当てられた複数の画素を有する撮像素子と、を備える撮像装置であって、
   前記撮影レンズを駆動する駆動手段と、
   被写体の第１の画像を撮影し、前記第１の画像の撮影とは異なるタイミングで第２の画像を撮影するように前記撮像装置の動作を制御する制御手段と、を有し、
   前記制御手段は、前記第２の画像を撮影する際に、前記被写体の１点からの光が前記カラーフィルタのより多くの色の画素に結像するように、前記駆動手段を介して前記撮影レンズの位置を制御することを特徴とする撮像装置。
5. 前記制御手段は、前記第２の画像を撮影する際に、前記被写体の１点からの光が前記カラーフィルタのより多くの色の画素に結像するように、前記撮影レンズのデフォーカス制御を行うことを特徴とする請求項４に記載の撮像装置。
6. 前記制御手段は、前記第２の画像を撮影する際に、前記被写体の１点からの光が前記カラーフィルタの全ての色の画素に結像するように、前記撮像素子の撮像面上の所定の位置と、前記所定の位置から水平方向と垂直方向にそれぞれ所定の距離にある位置とで、前記被写体の１点からの光が結像するように前記撮影レンズの駆動制御を行うことを特徴とする請求項４に記載の撮像装置。
7. 前記制御手段が一定の時間間隔で複数回の画像の撮影を行うことによって得られる複数枚の画像から比較明合成された合成画像を生成する画像処理手段を備え、
   前記制御手段は、複数枚の前記第１の画像に対して前記画像処理手段による前記比較明合成を行うことで、比較明合成された画像を生成することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記画像処理手段は、複数枚の画像のうちの第１の画像と第２の画像の同一座標の画素の輝度値を比較し、前記輝度値が高い方の画像の輝度値を選択して、前記第２の画像における同一座標の画素の輝度値を置換することで前記比較明合成を行い、
   前記比較明合成では、前記第１の画像として前記比較明合成がなされていない画像が用いられ、前記第２の画像として前記比較明合成がなされた前記合成画像であって、黒画像として初期化された画像が用いられることを特徴とする請求項７に記載の撮像装置。
9. 前記制御手段は、複数の前記第２の画像に対して前記画像処理手段による前記比較明合成を行うことで、比較明合成された前記被写体の１点の色情報を生成することを特徴とする請求項７又は８に記載の撮像装置。
10. 前記制御手段は、前記第１の画像の画像データと、前記第２の画像の画像データとを関連付けて記憶手段に記憶することを備えることを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 撮影された複数の第１の画像に含まれる被写体の同一の１点からの光の移動ベクトル情報を算出する算出手段と、
    前記移動ベクトル情報と、前記複数の第１の画像の撮影とは異なるタイミングで撮影された第２の画像とから、前記被写体の同一の１点の色マスク画像を生成する生成手段と、
    前記複数の第１の画像の輝度信号と前記色マスク画像とから、前記色マスク画像の色信号からなる画像を合成する合成手段と、を備え、
    前記第２の画像は、前記被写体の同一の１点からの光が、前記第１の画像と前記第２の画像とを撮影する撮像素子が有する複数の画素毎に異なる色が割り当てられたカラーフィルタの全ての色の画素に結像するように撮影されていることを特徴とする画像処理装置。
12. 撮影レンズと、
    異なる複数の色の前記カラーフィルタがそれぞれ割り当てられた複数の画素を有する前記撮像素子と、
    前記撮像素子による画像の撮影を制御する制御手段と、
    前記複数の第１の画像と前記第２の画像とを関連付けて記憶する記憶手段と、を備えることを特徴とする請求項１１に記載の画像処理装置。
13. 前記制御手段は、前記撮影レンズの光学性能あるいは外部からの指示に応じて前記合成手段を制御して、前記第１の画像の所定の領域についてのみ、前記色マスク画像の色信号からなる画像を生成することを特徴とする請求項１２に記載の画像処理装置。
14. 異なる複数の色のカラーフィルタがそれぞれ割り当てられた複数の画素を有する撮像素子により、移動する被写体の１点を含む複数の第１の画像を一定の時間間隔で撮影するステップと、
    前記第１の画像の撮影とは異なるタイミングで、前記被写体の１点からの光が前記カラーフィルタの全ての色の画素に結像するように第２の画像を撮影するステップと、
    前記複数の第１の画像に含まれる前記被写体の１点の移動ベクトル情報を算出するステップと、
    前記移動ベクトル情報と、前記第２の画像とから、前記被写体の１点の色マスク画像を生成するステップと、
    前記複数の第１の画像の輝度信号と前記色マスク画像とから、前記色マスク画像の色信号からなる画像を生成するステップと、を有することを特徴とする画像処理方法。
15. 請求項１４に記載の画像処理方法を、撮像装置が備えるコンピュータに実行させることを特徴とするプログラム。