JP6659162B2 - 撮像装置、撮像装置の制御方法及びプログラム - Google Patents

Description

本発明は、星の軌跡等をシミュレーションした画像を生成する機能を有する撮像装置、撮像装置の制御方法及びプログラムに関する。

星空を手軽に撮影することができるように、満点の星空を撮影するモードや星空と人物を綺麗に撮影するモード、星の日周運動を軌跡として撮影するモード等の撮影モードを搭載したコンパクトデジタルカメラ等の装置が市販されている。ここで、星の日周運動を軌跡として撮影する場合、一般的に、長秒時の露光で繰り返し撮影を行い、撮影したフレーム画像の比較明合成が行われる。しかし、星の日周運動は非常に遅く、軌跡として撮影するためには長時間の撮影が必要となり、しかも、ユーザ（撮影者）は撮影が完了するまでどのような軌跡が撮影されるかが分からないことが多いため、撮影前の構図決めは容易ではない。そこで、ＧＰＳと仰角センサの情報を用いて撮影装置の方向と天体の位置関係を算出することによって任意の時間経過後の天***置を予測し、ライブビュー映像に重畳表示する撮像装置が提案されている（特許文献１参照）。

一方、デジタルカメラでは、長時間露光によって撮像素子の温度上昇することでキズやダークシェーディング等の固定パターンノイズが発生し、これにより画質が低下することがある。星の日周運動の軌跡撮影では、長秒時露光での撮影を長時間続ける必要があるため、このような固定パターンノイズが発生しやすい条件が揃っている。そこで、長秒時露光を繰り返し撮影しても、固定パターンノイズの少ない高画質な画像を生成することを可能とする技術が提案されている（特許文献２参照）。特許文献２に記載された撮像装置では、本撮影の前と後にそれぞれ黒画像（遮光画像）を撮影し、撮影した黒画像を用いてノイズ低減処理を行っている。

特開２０１２−４７６３号公報 特開２０１５−３５７１７号公報

しかしながら、特許文献１に記載された撮像装置では、ＧＰＳセンサや仰角センサ等が必要であるため、撮像装置が大型化してしまい、製品コストも高くなってしまう。また、特許文献１に記載された撮像装置では、任意の時間経過後の天***置を表示することができるだけであり、天体の軌跡がどのように撮影されるかを知ることはできない。この問題に対して、複数枚の画像データに基づいて天体（星等）を検出し、検出した天体の軌跡をシミュレーションした画像（以下「軌跡シミュレーション画像」という）を生成する対応策が考えられる。この方法によれば、特別な外部装置を用いることなく、撮像装置のみで、撮影完了後の星の予測される軌跡を知ることができる。

しかし、固定パターンノイズによる画質低下を抑制するために特許文献２に記載されているようなノイズ低減処理を更に行う場合には、星の動きを予測するための演算に用いる画像の撮影の他に、黒画像の撮影を行わなければならない。この場合、軌跡シミュレーション画像の生成に長時間を要することになり、使い勝手の低下を招いてしまう。

本発明は、使い勝手を低下させることなく、ノイズの少ない高画質な軌跡シミュレーション画像の生成が可能な撮像装置を提供することを目的とする。

本発明に係る撮像装置は、１枚目の画像、黒画像、２枚目の画像をこの順序で撮影する撮像手段と、前記黒画像を用いて前記１枚目の画像と前記２枚目の画像の少なくとも一方の画像内のノイズを低減させる処理を行うノイズ低減手段と、前記１枚目の画像と前記２枚目の画像間における被写体の動きに基づいて前記被写体の予測される軌跡を生成する軌跡生成手段と、前記ノイズ低減手段により画像内のノイズが低減された１枚目の画像または２枚目の画像に前記軌跡生成手段によって生成された軌跡を合成して、前記被写体の軌跡シミュレーション画像を生成する合成手段と、前記合成手段によって合成された前記軌跡シミュレーション画像を表示する表示手段と、を備えることを特徴とする。

本発明によれば、使い勝手を低下させることなく、ノイズの少ない高画質な軌跡シミュレーション画像を生成することが可能になる。

本発明の実施形態に係る撮像装置の概略構成を示すブロック図と背面側から見て示す斜視図である。 図１の撮像装置の星空軌跡モードでの動作を説明するフローチャートである。 ステップＳ１０６の軌跡シミュレーション処理のフローチャートである。 ステップＳ１０６での軌跡生成処理を説明する図である。 ステップＳ１０６での軌跡シミュレーション画像の生成処理を説明する図である。 ステップＳ１０８の本撮影処理のフローチャートである。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。ここでは、本発明に係る撮像装置として、一般的にコンパクトデジタルカメラと称呼されているものを取り上げるが、本発明に係る撮像装置は、これに限定されず、例えば、デジタル一眼レフカメラや静止画撮影が可能なデジタルビデオカメラであってもよい。

図１（ａ）は、本発明の実施形態に係る撮像装置１０の概略構成を示すブロック図である。図１（ｂ）は、撮像装置１０の概略構成を背面側から見て示す斜視図である。撮像装置１０は、ＣＰＵ１１、ＲＯＭ１２、表示部１３、操作部１４、ＤＲＡＭ１５、記憶媒体Ｉ／Ｆ１６、撮像部１７、画像処理回路１８及び画像圧縮伸張回路１９を備え、これらは内部バス３０を介して通信可能に接続されている。

ＣＰＵ１１は、操作部１４が受け付けた指示に応じて、撮像装置１０を構成する各部の動作を制御することにより撮像装置１０の全体的な制御を行う中央演算装置である。ＲＯＭ１２には、ＣＰＵ１１が撮像装置１０を制御するために実行する各種のプログラム（ファームウェア、ソフトウェア）や、各種のプログラムの実行に必要なパラメータ等の情報（データ）を格納する。

表示部１３は、例えば、カラー液晶ディスプレイであり、撮影時の被写体や撮影された画像を表示する他、撮像装置１０の各種情報の表示や撮像装置１０の機能設定を行うためのＧＵＩとして用いられる。また、表示部１３は、外部装置に映像信号等を出力する不図示の端子を備えており、不図示の端子にコネクタケーブル２２が接続されることにより、ＣＰＵ１１と外部装置との間のデータ通信が可能となる。操作部１４は、電源ボタン２３、レリーズボタン２４、モードダイヤル２５、十字キー２６、コントローラホイール２７等を含み、ユーザ（撮影者）による操作を受け付ける。後述する星空軌跡モードは、モードダイヤル２５の操作によって選択、設定が可能となっている。

ＤＲＡＭ１５は、ＣＰＵ１１のワークエリアとして使用され、また、画像データや表示用データ、画像圧縮後のデータ等の各種データを一時的に記憶する。不図示であるが、ＤＲＡＭ１５へのデータの書き込みやＤＲＡＭ１５からのデータの読み出しはメモリコントローラ（不図示）を介して行われる。また、撮像装置１０では、ＤＲＡＭ１５と他の各部との間には、ＣＰＵ１１による読み出し／書き込みを介さないＤＭＡ転送を行うためのＤＭＡコントローラが設けられている。

撮像装置１０は、不図示の記憶媒体スロットを有する。この記憶媒体スロットは蓋２１により開閉自在となっており、記憶媒体スロットに対するメモリカード（フラッシュメモリ等の半導体メモリ）等の記憶媒体２０の着脱が可能となっている。記憶媒体Ｉ／Ｆ１６は、記憶媒体スロットに装着された記憶媒体２０とＣＰＵ１１等との間の通信を可能とするインタフェースである。撮像部１７は、レンズ、絞り、シャッタ、ＣＣＤセンサ又はＣＭＯＳセンサ等の撮像素子及びＡ／Ｄ変換器等を有する。撮像素子に結像した光学像は撮像素子によって光電変換され、生成されたアナログ信号はＡ／Ｄ変換器によりデジタル信号からなる画像データに変換されてＤＲＡＭ１５へ出力され、更にＤＲＡＭ１５から画像処理回路１８等へ出力される。

画像処理回路１８は、撮像部１７から読み出された画像データに対してホワイトバランス調整（以下「ＷＢ調整」と記す）や画素補間等の各種処理を行う。また、画像処理回路１８は、ＹＵＶデータへの変換や任意のサイズへのリサイズ処理、表示部１３に表示する表示用画像データの生成や画像圧縮伸張回路１９で圧縮する圧縮用画像データの生成を行う。更に、画像処理回路１８は、星等の輝点の軌跡が撮影された画像（以下「星空画像」という）を生成するための比較明合成処理や、星空画像の生成に際してキズやダークシェーディング等の固定パターンノイズのノイズ低減処理を行う。また、画像処理回路１８は、軌跡シミュレーション画像（星等の輝点の軌跡をシミュレーションした画像）を生成する。画像圧縮伸張回路１９は、ＹＵＶデータをＪＰＥＧ形式或いはＨ．２６４形式の画像データに圧縮し、逆に圧縮された画像データを元の大きさのデータに伸張する。

撮像装置１０は、モードダイヤル２５を操作することにより、連続撮影された複数枚の静止画像を比較明合成することにより、輝点の移動軌跡が撮影された画像を生成し、記憶する撮影モードで動作することができるように構成されている。輝点の移動軌跡の典型例として、星の日周運動の軌跡が挙げられる。そこで、本実施形態では、以下の説明において、輝点の移動軌跡が撮影された画像を生成して記憶する撮影モードを「星空軌跡モード」と称呼する。星空軌跡モードでの撮影時には、所定のタイミングで黒引き処理が実行され、また、ユーザの操作部１４に対する操作に応じて軌跡シミュレーション処理の実行が可能となる。ここで、軌跡シミュレーション処理とは、本撮影（星空画像の実際の撮影）の前に複数枚の画像から星等の輝点を検出し、検出した輝点の軌跡の予測画像を生成して表示部１３に表示する処理である。また、黒引き処理は、本実施形態では、長秒時露光により発生しやすい固定パターンノイズを黒画像を用いて低減させて、高画質な画像を生成するノイズ低減処理を指す。

図２は、撮像装置１０の星空軌跡モードでの動作を説明するフローチャートである。ここでは、肉眼で星を確認可能な撮影シーンにおいて、星の日周運動の軌跡を撮影するものとする。図２のフローチャートに示される各処理は、ＣＰＵ１１が、ＲＯＭに格納された所定のプログラムをＤＲＡＭ１５のワークエリアに展開することにより、撮像装置１０の各部を協調して動作させることによって実現される。

ステップＳ１０１においてＣＰＵ１１は、ライブビュー表示用に撮像部１７により撮像される画像を動画フレームとしてキャプチャする。ステップＳ１０２においてＣＰＵ１１は、キャプチャされた動画フレームの画像データに対して画像処理回路１８によりＷＢ調整や画素補間等の処理を施してＹＵＶデータに変換し、ＤＲＡＭ１５に書き込む。ステップＳ１０３においてＣＰＵ１１は、ＹＵＶデータに対して画像処理回路１８により表示用画像データサイズへのリサイズ処理等を行い、表示部１３にライブビュー表示するための表示用画像データを生成し、ＤＲＡＭ１５に書き込む。ステップＳ１０４においてＣＰＵ１１は、表示部１３に表示用画像データを表示させ、これにより、表示部１３のライブビュー表示画像が更新される。

ステップＳ１０５においてＣＰＵ１１は、操作部１４を介して軌跡シミュレーション処理を開始する指示を受け付けたか否かを判定する。なお、軌跡シミュレーション処理の開始は、ユーザによる操作部１４に含まれる所定のボタンを操作或いは表示部１３のカラー液晶ディスプレイに対するタッチ操作によって行われる。ＣＰＵ１１は、軌跡シミュレーション処理の開始が指示された場合（Ｓ１０５でＹＥＳ）、処理をステップＳ１０６へ進め、軌跡シミュレーション処理の開始が指示されていない場合（Ｓ１０５でＮＯ）、処理をステップＳ１０７へ進める。ステップＳ１０６においてＣＰＵ１１は、軌跡シミュレーション処理を実行する。ステップＳ１０６の軌跡シミュレーション処理の詳細については後述する。

ステップＳ１０７においてＣＰＵ１１は、本撮影（星空画像の撮影）の開始が指示されたか否かを判定する。なお、本撮影開始指示は、ユーザによるレリーズボタン２４の押下或いは表示部１３のカラー液晶ディスプレイに対するタッチ操作によって行われる。ＣＰＵ１１は、本撮影の開始指示を受け付けた場合（Ｓ１０７でＹＥＳ）、処理をステップＳ１０８へ進め、本撮影の開始指示を受け付けていない場合（Ｓ１０７でＮＯ）、処理をステップＳ１０１へ戻す。ステップＳ１０８においてＣＰＵ１１は、本撮影処理を実行する。なお、ステップＳ１０８の本撮影処理の詳細については後述する。ステップＳ１０８の本撮影処理の終了により、本フローは終了となる。

次に、ステップＳ１０６の軌跡シミュレーション処理について詳細に説明する。図３は、ステップＳ１０６の軌跡シミュレーション処理のフローチャートである。図４は、軌跡シミュレーション処理での軌跡生成処理を説明する図である。

最初にステップＳ２０１においてＣＰＵ１１は、ユーザによる操作部１４に対する操作によって指示された撮影時間を設定する。軌跡シミュレーション処理では、ステップＳ２０１で設定された撮影時間だけ星空を撮影した場合の星の軌跡をシミュレーションして表した軌跡シミュレーション画像が生成される。ユーザは、星の軌跡を長く写したいときには長い撮影時間を設定し、短い軌跡を撮影したい場合ときには短い撮影時間を設定すればよい。ステップＳ２０２においてＣＰＵ１１は、本撮影での露出条件を算出し、算出した露出条件と同じ露出条件となるように撮像部１７の絞りや露光時間、ＩＳＯ感度等を設定する。

ステップＳ２０３においてＣＰＵ１１は、ステップＳ２０２で設定された露出条件で、撮像部１７により１枚目のシミュレーション用画像を撮影し、その画像データをＤＲＡＭ１５に書き込む。ステップＳ２０４においてＣＰＵ１１は、撮像部１７のシャッタを閉じて遮光状態とし、ステップＳ２０２で設定された露光時間及びＩＳＯ感度に基づいて撮像部１７によりノイズ低減用黒画像（以下「ＮＲ用黒画像」と記す）を撮影する。そして、ＣＰＵ１１は、撮影したＮＲ用黒画像の画像データをＤＲＡＭ１５に書き込む。なお、後段のステップＳ２０９において２枚目のシミュレーション用画像が撮影される。したがって、ＮＲ用黒画像の撮影は、２枚のシミュレーション用画像の撮影の間に行われる。これにより、２枚のシミュレーション用画像の撮影の前又は後にＮＲ用黒画像の撮影を行う場合と比較して、ＮＲ用黒画像の撮影に要する時間の分だけ軌跡シミュレーション画像の生成に要する時間が延びてしまうのを回避することができる。

ステップＳ２０５においてＣＰＵ１１は、画像処理回路１８を用いて、ステップＳ２０３で撮影した１枚目のシミュレーション用画像に対してステップＳ２０４で撮影したＮＲ用黒画像を用いて黒引き処理を行う。なお、ここでの黒引き処理は、１枚目のシミュレーション用画像からＮＲ用黒画像を減算することにより、撮像素子に起因する固定パターンノイズを低減させる処理である。ステップＳ２０６においてＣＰＵ１１は、画像処理回路１８を用いて、ステップＳ２０５で黒引き処理を施した１枚目のシミュレーション用画像に対して現像処理（ＷＢ調整や画素補間等）を行い、ＹＵＶデータに変換してＤＲＡＭ１５に書き込む。

ステップＳ２０７においてＣＰＵ１１は、ステップＳ２０３の１枚目のシミュレーション用画像の撮影から所定時間が経過したか否か判定する。ステップＳ２０７での判定基準である所定時間は、後段のステップＳ２１４での星の移動予測点の算出に適した動きベクトルが後段のステップＳ２１２で得られるように設定される。ＣＰＵ１１は、所定時間が経過するまでステップＳ２０７の判定を繰り返し（Ｓ２０７でＮＯ）、所定時間が経過すると（Ｓ２０７でＹＥＳ）、処理をステップＳ２０８へ進める。

ステップＳ２０８においてＣＰＵ１１は、ステップＳ２０２で設定された露出条件で、撮像部１７により２枚目のシミュレーション用画像を撮影し、その画像データをＤＲＡＭ１５に書き込む。ステップＳ２０９においてＣＰＵ１１は、画像処理回路１８を用いて、ステップＳ２０８で撮影した２枚目のシミュレーション用画像に対してステップＳ２０４で撮影したＮＲ用黒画像を用いて黒引き処理を行う。ステップＳ２１０においてＣＰＵ１１は、画像処理回路１８を用いて、ステップＳ２０９で黒引き処理を施した２枚目のシミュレーション用画像に対して現像処理（ＷＢ調整や画素補間等）を行い、ＹＵＶデータに変換してＤＲＡＭ１５に書き込む。

ステップＳ２１１においてＣＰＵ１１は、画像処理回路１８を用いて、ステップＳ２０６で現像した（黒引き処理された）１枚目のシミュレーション用画像から星領域を検出する。図４（ａ）は１枚目のシミュレーション用画像を示す図であり、図４（ｂ）は、１枚目のシミュレーション用画像から星領域を検出した結果を示す図である。星領域の検出方法は、特に制限されるものではない。例えば、所定の閾値以上の高輝度領域（輝点）を抽出し、ＲＯＭに予め保持された固有のテンプレートとマッチングを行うことにより、画像内の孤立点（星領域）を検出する。続いて、検出された全ての星領域について、その中心座標、中心座標の色情報、星領域の面積及び平均輝度を算出する。

ステップＳ２１２においてＣＰＵ１１は、画像処理回路１８を用いて、ステップＳ２０６，Ｓ２１０で現像した２枚のシミュレーション用画像から動きベクトルを算出する。図４（ｂ）には、動きベクトルの算出結果の例が併記されている。ステップＳ２１２では、ＣＰＵ１１は、先ず、画像を複数のブロック（領域）に分割し、ブロック毎にテンプレートマッチングを行うことにより、各ブロックの動きベクトルを検出する。このとき、所定数以上の孤立点がステップＳ２１１にて検出されているブロックを星領域とし、ブロックを限定して動きベクトルの検出を行うようにしてもよい。続いて、ＣＰＵ１１は、検出されたブロック毎の動きベクトルに基づき、２枚の画像間の画像全体の動きベクトルを算出する。

本実施形態では、画像全体の動きをアフィン係数によって表すこととする。この場合、１枚目を基準画像、２枚目を対象画像とすると、基準画像内の注目画素の座標（ｘ，ｙ）と、注目画素の対象画像における座標（ｘ´，ｙ´）は、アフィン変換においてアフィン係数（ａ，ｂ，ｃ，ｄ）を用いて下記式１の通りに表すことができる。そこで、検出された各ブロックの動きベクトルのうち３つ以上の動きベクトルを用いてアフィン係数を算出し、動きベクトルの誤差Ｅを下記式２により求める。そして、動きベクトルの選び方のパターンを所定回数変更して処理を行い、誤差Ｅ以下になる動きベクトルの個数が最も多いアフィン係数を求める。

ステップＳ２１３においてＣＰＵ１１は、動きベクトル算出が可能であったか否かを判定する。具体的には、誤差Ｅ以下になる動きベクトルの個数の最大数が予め定められた所定数よりも少ない場合には、アフィン係数の算出は不可能であるため、動きベクトル算出は不可能であると判定される。ＣＰＵ１１は、動きベクトルを算出することができなかった場合（Ｓ２１３でＮＯ）、軌跡シミュレーション処理を終了させ、動きベクトルを算出することができた場合（Ｓ２１３でＹＥＳ）、処理をステップＳ２１４へ進める。

ステップＳ２１４においてＣＰＵ１１は、ステップＳ２１２で算出した動きベクトル（アフィン係数）に基づき、ステップＳ２０１で設定された撮影時間までの星の移動予測点を算出する。図４（ｃ）は、移動予測点の算出結果の一例を示す図である。星の移動予測点の算出は、例えば、次の通りに行うことができる。まず、ステップＳ２１２で算出したアフィン係数と１枚目及び２枚目のシミュレーション用画像を撮影したときのそれぞれの露光開始時間の差分に基づき、単位時間あたりのアフィン係数（例えば、１分あたりアフィン係数）を算出する。続いて、予測点を算出する時間間隔（以下「予測点算出間隔」という）毎のアフィン係数を先に求めた単位時間あたりのアフィン係数を補正することによって算出する。ここでは、予測点算出間隔は１５分であるとして、以下に説明を続ける。ステップＳ２１１で検出された星の中心座標それぞれについて、補正したアフィン係数に基づいてアフィン変換を行うことにより、１５分経過後の移動予測点を算出することができる。そして、算出した１５分経過後の移動予測点について、補正したアフィン係数に基づいてアフィン変換を行うことにより、３０分経過後の移動予測点を算出することができる。このような処理を繰り返すことによって、予測点算出間隔毎の１つ又は複数の移動予測点を算出することができる。移動予測点の算出は、ステップＳ２０１で設定された撮影時間に達した時点で終了となる。

ステップＳ２１５においてＣＰＵ１１は、ステップＳ２１４で求めた移動予測点に基づき軌跡画像を生成する。図４（ｄ）は、軌跡画像の生成結果の一例を示す図である。軌跡画像の生成処理では、最初に、背景部分を黒で塗り潰しておく。続いて、ステップＳ２１１で検出された星の中心座標と、ステップＳ２０１で設定された撮影時間に対してステップＳ２１４で算出された予測点算出間隔毎の移動予測点とを結ぶように線を引くことで、星の軌跡を生成する。よって、軌跡画像は、予測された星の動きのみが線として表現された画像となる。

このとき、星の軌跡として描画する線の性質を、ステップＳ２１１で検出した星領域（孤立点）の特徴を示すパラメータに応じて調整する。第１のパラメータは星領域の面積であり、星領域の面積に応じて線の太さが変更される。星領域が広ければ、太い線で軌跡が描画され、星領域が小さければ、細い線で軌跡が描画される。第２のパラメータは星領域の輝度であり、星領域の平均輝度にしたがって軌跡として描画される線の輝度が調整される。第３のパラメータは星領域の色であり、星領域の中心座標の色成分にしたがって軌跡として描画される線の色が変更される。星の軌跡を線として描画する際に、これら全てのパラメータを考慮する必要はなく、少なくとも１つのパラメータを考慮すればよい。

ステップＳ２１６においてＣＰＵ１１は、画像処理回路１８を用いて、ステップＳ２１５で生成した軌跡画像とステップＳ２０６で現像した１枚目の画像との比較明合成を行うことにより、軌跡シミュレーション画像を生成する。図５は、ステップＳ２１６での軌跡シミュレーション画像の生成処理を説明する図である。図５に示す軌跡画像は、図４（ｄ）に示す画像と同じであり、１枚目のシミュレーション用画像は、図４（ａ）に示す画像と同じである。これらの画像を比較明合成することにより、軌跡シミュレーション画像が生成される。その際、前景領域（本実施形態では、画像下側の山の領域）の検出を行い、検出された前景領域では画像合成を行わないようにする。

前景領域の検出は、例えば、最初に画像を縮小し、隣接した画素で輝度値や色の情報が近いものをグルーピングして領域分割を行い、領域毎の平均輝度値を算出する。続いて、グルーピングした領域のうちステップＳ２１１で検出した星領域を多く含む領域（比較元）の平均輝度に対する他の領域（比較先）の平均輝度を比較し、平均輝度値の差が所定の閾値以上であった場合に、比較先の領域は前景領域であると判断する。これにより、前景領域に星が流れ込むような不自然な軌跡シミュレーション画像が生成されてしまうのを防止することができる。

ステップＳ２１７においてＣＰＵ１１は、ステップＳ２１６で生成した軌跡シミュレーション画像を表示部１３に表示させる。ステップＳ２１８においてＣＰＵ１１は、軌跡シミュレーション処理を終了させる指示を操作部１４が受け付けたか否かを判定する。ＣＰＵ１１は、軌跡シミュレーション処理の終了指示がなされるまで待機し（Ｓ２１８でＮＯ）、軌跡シミュレーション処理の終了指示がなされると（Ｓ２１８でＹＥＳ）、軌跡シミュレーション処理を終了させる。

なお、図２を参照して説明した一連の処理の一部については、変更が可能である。例えば、ステップＳ２１１の処理には、黒引き処理された１枚目のシミュレーション用画像を用いることが望ましいが、これに代えて、ステップＳ２０３で撮影されて黒引き処理されていない１枚目のシミュレーション用画像を用いてもよい。また、ステップＳ２１２では、黒引き処理された１枚目と２枚目のシミュレーション用画像を用いることが望ましいが、これに代えて、ステップＳ２０３，Ｓ２０８で撮影されて黒引き処理されていない１枚目と２枚目のシミュレーション用画像を用いてもよい。更に、ステップＳ２１６において、ステップＳ２１５で生成した軌跡画像とステップＳ２１０で現像した黒引き処理された２枚目のシミュレーション用画像との比較明合成を行うことにより、軌跡シミュレーション画像を生成するようにしてもよい。黒引き処理された１枚目のシミュレーション用画像の生成処理（Ｓ２０５，Ｓ２０６）と黒引き処理された２枚目のシミュレーション用画像の生成処理（Ｓ２０９，Ｓ２１０）はそれぞれ、後段の処理で使用されない場合には省略することができる。また、ステップＳ２１２では、２枚のシミュレーション用画像から動きベクトルを算出することによって星の移動を予測したが、星の動きを予測する方法はこれに限定されるものではなく、周知の種々の方法を用いてもよい。

次に、ステップＳ１０８の本撮影処理について詳細に説明する。図６は、ステップＳ１０８の本撮影処理のフローチャートである。ステップＳ３０１においてＣＰＵ１１は、ユーザによって指示された撮影時間を設定する。ここで、ステップＳ１０６を経由している場合には、ステップＳ２０１で設定した撮影時間が自動的に設定される構成となっていてもよい。ステップＳ３０２においてＣＰＵ１１は、露出条件を算出し、撮像部１７の絞りや露光時間、ＩＳＯ感度を設定する。ここで、ステップＳ１０６を経由している場合には、ステップＳ２０２において設定された露出条件が自動的に設定される構成となっていてもよい。

ステップＳ３０３においてＣＰＵ１１は、撮像部１７のシャッタを閉じて遮光状態とし、ステップＳ３０２で設定された露光時間及びＩＳＯ感度に基づいて撮像部１７によりＮＲ用黒画像を撮影し、その画像データをＤＲＡＭ１５に書き込む。本撮影では複数の画像を連続して撮影するが、ＮＲ用黒画像の撮影を被写体撮影の前に行うことにより、撮影間隔が空いて星の軌跡が途切れてしまわないようにすることができる。

ステップＳ３０４〜Ｓ３０７では、長秒時の露光で繰り返し星空が撮影され、撮影されたフレーム画像が比較明合成される。即ち、ステップＳ３０４においてＣＰＵ１１は、ステップＳ３０２で設定された露出条件に基づき、被写体である星空の撮影を行い、その画像データをＤＲＡＭ１５に書き込む。ステップＳ３０５においてＣＰＵ１１は、画像処理回路１８を用いて、ステップＳ３０４で撮影した画像に対してステップＳ３０３で撮影したＮＲ用黒画像を用いて黒引き処理を行う。ステップＳ３０６においてＣＰＵ１１は、画像処理回路１８を用いて、現在をｎ回目の処理としたときに、ステップＳ３０５で黒引き処理を施したｎ回目の画像をｎ−１回までの合成画像に対して比較明合成を行うことにより、ｎ回までの合成画像を生成する。ステップＳ３０７においてＣＰＵ１１は、ステップＳ３０１で設定された撮影時間が経過したか否かを判定する。ＣＰＵ１１は、撮影時間が経過していない場合（Ｓ３０７でＮＯ）、処理をステップＳ３０４へ戻し、これにより、ｎ＋１枚目の処理が行われることになる。一方、ＣＰＵ１１は、撮影時間が経過した場合（Ｓ３０７でＹＥＳ）、処理をステップＳ３０８へ進める。

ステップＳ３０８においてＣＰＵ１１は、画像処理回路１８を用いて、時間的に直近のステップＳ３０６で生成された合成画像に対して現像処理（ＷＢ調整や画素補間等）を行い、ＹＵＶデータに変換することにより、星空画像の画像データが生成される。ＣＰＵ１１は、生成した星空画像の画像データをＤＲＡＭ１５に書き込む。ステップＳ３０９においてＣＰＵ１１は、画像圧縮伸張回路１９を用いて、ステップＳ３０８でＤＲＡＭ１５に書き込んだ星空画像の画像データを、例えば、ＪＰＥＧ形式の静止画像データに圧縮符号化し、再度、ＤＲＡＭ１５に書き込む。ステップＳ３１０においてＣＰＵ１１は、ステップＳ３０９でＤＲＡＭ１５に書き込んだ静止画像データを、記憶媒体Ｉ／Ｆ１６を介して記憶媒体２０に記憶する。これにより、本撮影処理は終了となる。

以上の説明の通り、本実施形態では、軌跡シミュレーション画像を生成する際に、１枚目のシミュレーション用画像、ＮＲ用黒画像、２枚目のシミュレーション用画像をこの順序で撮影する。これにより、２枚のシミュレーション用画像の撮影の前又は後にＮＲ用黒画像の撮影を行う場合と比較して、ＮＲ用黒画像の撮影に要する時間分だけ軌跡シミュレーション画像の生成時間を延ばさずに、高画質な軌跡シミュレーション画像を生成することができる。よって、ユーザは、生成された軌跡シミュレーション画像に基づいて、容易に所望する構図の星空画像を撮影することが可能となる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。例えば、本発明は、デジタルカメラ等の撮像装置に限られず、撮像素子による撮影機能を有するスマートフォン等の携帯型の通信端末、タブレットＰＣなどの携帯型コンピュータ、携帯型ゲーム機等の各種の電子機器にも適用が可能である。また、撮像装置１０のように撮像部１７とＣＰＵ１１及び画像処理回路１８とが１つの筐体内に配置されていることは必須ではない。つまり、本発明に係る撮像装置は、撮像部１７と画像処理装置（撮像装置１０から撮像部１７を除いた構成を有するもの（主に画像処理等と撮像部１７の動作制御を行うもの））とが有線又は無線により通信可能に構成されることで構成されていてもよい。本発明は、上述した実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０ 撮像装置
１１ ＣＰＵ（中央演算装置）
１３ 表示部
１４ 操作部
１７ 撮像部
１８ 画像処理回路
２５ モードダイヤル

Claims (8)

1. １枚目の画像、黒画像、２枚目の画像をこの順序で撮影する撮像手段と、
   前記黒画像を用いて前記１枚目の画像と前記２枚目の画像の少なくとも一方の画像内のノイズを低減させる処理を行うノイズ低減手段と、
   前記１枚目の画像と前記２枚目の画像間における被写体の動きに基づいて前記被写体の予測される軌跡を生成する軌跡生成手段と、
   前記ノイズ低減手段により画像内のノイズが低減された１枚目の画像または２枚目の画像に前記軌跡生成手段によって生成された軌跡を合成して、前記被写体の軌跡シミュレーション画像を生成する合成手段と、
   前記合成手段によって合成された前記軌跡シミュレーション画像を表示する表示手段と、を備えることを特徴とする撮像装置。
2. 前記軌跡生成手段は、前記被写体の面積、前記被写体の平均輝度および前記被写体の色を検出し、
   前記合成手段は、前記軌跡シミュレーション画像において前記被写体の軌跡を線で描画するとともに、前記線の性質を前記被写体の面積、前記被写体の平均輝度および前記被写体の色の少なくとも１つに応じて調整することを特徴とする請求項１に記載の撮像装置。
3. 前記被写体の軌跡を求める撮影時間を設定する設定手段を備え、
   前記軌跡生成手段は、前記撮影時間までの前記被写体の移動予測点を算出することにより前記被写体の予測される軌跡を求めることを特徴とする請求項１又は２に記載の撮像装置。
4. 前記被写体は星であることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記軌跡生成手段は、前記１枚目の画像または前記２枚目の画像から前景領域を検出し、
   前記合成手段は、前記前景領域に対して前記軌跡生成手段により生成された軌跡を合成しないことを特徴とする請求項４に記載の撮像装置。
6. 前記ノイズ低減手段は、前記黒画像を用いて前記１枚目の画像と前記２枚目の画像のそれぞれの画像内のノイズを低減させる処理を行い、
   前記軌跡生成手段は、前記ノイズ低減手段により画像内のノイズが低減された１枚目の画像と２枚目の画像から前記被写体を検出することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 撮像手段により１枚目の画像、黒画像、２枚目の画像をこの順序で撮影するステップと、
   前記黒画像を用いて前記１枚目の画像と前記２枚目の画像の少なくとも一方の画像内のノイズを低減させる処理を行うステップと、
   前記１枚目の画像と前記２枚目の画像間における被写体の動きに基づいて前記被写体の予測される軌跡を生成するステップと、
   前記ノイズを低減させる処理が行われた１枚目の画像または２枚目の画像と前記被写体の予測される軌跡とから前記被写体の軌跡シミュレーション画像を合成するステップと、
   前記軌跡シミュレーション画像を表示手段に表示するステップと、を有することを特徴とする撮像装置の制御方法。
8. 被写体の軌跡シミュレーション画像を合成する画像処理を撮像装置のコンピュータに実行させるプログラムであって、
   前記画像処理は、
   撮像手段により１枚目の画像、黒画像、２枚目の画像をこの順序で撮影するステップと、
   前記黒画像を用いて前記１枚目の画像と前記２枚目の画像の少なくとも一方の画像内のノイズを低減させる処理を行うステップと、
   前記１枚目の画像と前記２枚目の画像間における被写体の動きに基づいて前記被写体の予測される軌跡を生成するステップと、
   前記ノイズを低減させる処理が行われた１枚目の画像または２枚目の画像と前記被写体の予測される軌跡とから前記被写体の軌跡シミュレーション画像を合成するステップと、
   前記軌跡シミュレーション画像を表示手段に表示するステップと、を有することを特徴とするプログラム。