JP6141129B2 - 撮像装置、撮像装置の制御方法、及びコンピュータプログラム - Google Patents

Description

本発明は、撮像装置、撮像装置の制御方法、及びコンピュータプログラムに関し、特に、連続して撮像された複数の画像信号を合成して出力するために用いて好適なものである。

ＣＭＯＳイメージセンサ（線順次走査方式を採る撮像素子）を備えた撮像装置では、外部ストロボ（例えば、他の撮像装置に備えられている発光手段）が焚かれている状況で撮像が行われることがある。この場合、撮像装置側で決定された露出条件による撮像ができなくなることにより、画像信号中に外部ストロボによる輝度変調が生じてしまい、著しい画像劣化が発生する。特に連続して撮像された複数の画像信号を合成し１つの画像信号として出力する撮像装置では、合成後の画像信号に外部ストロボによる輝度変調の様子が表れるため、ユーザーに不快感を与えてしまう。

そこで、特許文献１には、連続して撮像された複数の画像信号のうち、外部ストロボの影響を受けているフレームの画像信号を、その前後のフレームの画像信号を合成した画像信号に置き換える撮像装置が開示されている。
また、特許文献２には、所定のフォーマットの整数倍のフレームレートで撮像し、外部ストロボの影響を受けていない画像信号のみを選択して画像信号を合成する撮像装置が開示されている。

特開２００７−３０６２２５号公報 特開２０１１−０１５３８１号公報

しかしながら、特許文献１に記載の撮像装置では、外部ストロボの影響を受けているフレームの画像信号を、その前後のフレームの画像信号を合成した画像信号に置き換える。したがって、連続的な撮像を行っているにも関わらず、撮像している被写体の時間連続性が保たれなくなってしまう問題がある。
また、特許文献２に記載の撮像装置では、部分的に影響を受けている画像信号も、合成する複数の画像信号の対象とはならない。このため、正常に撮像されているラインがあるにも関わらず画像信号全体が使用されない問題がある。また、特許文献２に記載の撮像装置では、外部ストロボの影響を受けていない画像信号のみを選択して合成する際に、合成後の画像信号のレベルを合わせるために欠落フレーム分のレベル補償をしなければならない。したがって、実質的にはゲインアップによるレベル合わせを行う必要があり、Ｓ／Ｎ比の低い画像となってしまう問題がある。
本発明は、このような問題点に鑑みてなされたものであり、画像信号に輝度変調が発生した場合でも、連続して撮像された複数の画像信号を合成して良好な画像信号を生成できるようにすることを目的とする。

本発明の撮像装置は、行列状に配置された複数の画素を有する撮像素子で連続して撮像された複数の画像信号を合成して画像信号を生成する撮像装置であって、前記画像信号を得るための前記撮像素子における電荷の読み出しを行ってから、その次の前記画像信号を得るための前記撮像素子における電荷の蓄積を開始するまでの時間であるずれ時間を設定する設定手段と、前記設定手段により設定されたずれ時間に基づいて、前記撮像素子の動作を制御する撮像素子制御手段と、前記撮像素子制御手段により動作が制御された前記撮像素子で撮像された前記複数の画像信号の輝度値に基づいて、輝度が変調している領域である輝度変調領域を、前記複数の画像信号のそれぞれについて判定する領域判定手段と、前記領域判定手段により判定された輝度変調領域に基づいて、前記複数の画像信号の合成比率を算出する合成比率算出手段と、前記合成比率算出手段により算出された合成比率で、前記撮像素子制御手段により動作が制御された前記撮像素子で撮像された前記複数の画像信号を合成する合成手段と、を有することを特徴とする。

本発明によれば、画像信号に輝度変調が発生した場合でも、連続して撮像された複数の画像信号を合成して良好な画像信号を生成することができる。

撮像装置の構成の第１の例を示す図である。 第１の例の撮像装置の動作の概要を説明する図である。 画像信号が外部ストロボの影響を受ける条件を説明する図である。 第１の例の撮像装置の動作を説明する図である。 第１の例の撮像装置の全体制御のタイミングを説明する図である。 輝度変調領域の判定方法を説明する図である。 合成比率制御信号を生成する方法を説明する図である。 第１の例の撮像装置の構成の変形例を示す図である。 変形例の撮像装置の動作の概略を説明するフローチャートである。 第１の例の撮像装置の構成の他の変形例を示す図である。 撮像装置の構成の第２の例を示す図である。 低露出・高露出画像信号の輝度値と画素値との関係を示す図である。 低露出・高露出画像信号の画素値のヒストグラムを示す図である。 第２の例の撮像素子の動作を説明する図である。 第２の例の撮像装置の全体制御のタイミングを説明する図である。 合成比率を決定する方法を説明する図である。 撮像装置の構成の第３の例を示す図である。 第３の例の撮像装置の動作の概要を説明するフローチャートである。 輝度変調領域を判定する方法を説明する図である。 撮像装置の構成の第４の例を示す図である。 第４の例の撮像装置の全体制御のタイミングを説明する図である。 撮像素子における電荷の蓄積の様子を説明する図である。 リセット開始のタイミングをずらさない場合の画像信号を示す図である。

本発明の実施形態を説明する前に、本発明の実施形態の前提となる技術を説明する。
図２２は、撮像素子における電荷の蓄積の様子を説明する図である。具体的に図２２は、外部ストロボが発光されている状況下で、ＣＭＯＳイメージセンサを利用した撮像装置で被写体を動画として連続して撮影した場合の、撮像素子における電荷蓄積の様子を説明する図である。
チャート２２０１は、外部ストロボが発光するタイミングを示す。チャート２２０１の立ち上がっている部分２２０２において、外部ストロボは発光時間ｔだけ発光する。
チャート２２０３は、垂直同期信号を示す。撮像装置の撮影方式で決定される垂直同期信号がアサート（assert）されるタイミング（チャート２２０３の下向きに突出している部分を参照）で、ＣＭＯＳイメージセンサから画像信号が読み出される。

チャート２２０４、２２０５、２２０６は、撮像装置に備わるＣＭＯＳイメージセンサからの画像信号の読み出し期間を示す。チャート２２０４、２２０５、２２０６では、画素ごとの露光タイミングがライン方向で順次行われる様子を示す。チャート２２０５に従って読み出される画像信号の基となる各画素の電荷は、チャート２２０４、２２０５に挟まれる期間で蓄積される。そして、この期間内に外部ストロボが発光する（図２２の外部ストロボの発光時間ｔを参照）。このため、領域２２０７については外部ストロボの影響を受けてしまうことにより、撮像装置で決定された適正な露出条件ではなく、露出オーバーで撮影される。同様に、チャート２２０６に従って読み出される画像信号の基となる各画素の電荷は、チャート２２０５、２２０６に挟まれる期間で蓄積される。そして、この期間内に外部ストロボが発光する（図２２の外部ストロボの発光時間ｔを参照）。このため、領域２２０８についても外部ストロボの影響を受けてしまうことにより、撮像装置で決められた適正な露出条件ではなく、露出オーバーで撮影されてしまう。

図２３は、以上の条件で撮像した場合の画像信号を説明する図である。
画像信号２３０１は、図２２のチャート２２０５に従って読み出された画像信号（画像Ｘ）を示す。また、画像信号２３０２は、図２２のチャート２２０６に従って読み出された画像信号（画像Ｙ）を模式的に示す。
図２２を参照して説明したように、図２３において、領域２２０７に相当するライン群が輝度変調の影響を受ける。同様に、領域２２０８に相当するライン群が輝度変調の影響を受ける。画像Ｘと画像Ｙとを合成した場合、結果的には画像Ｘ中の輝度変調が発生しているラインと、画像Ｙ中の輝度変調が発生しているラインとの論理和を取ることになる。したがって、全ラインにわたって外部ストロボによる輝度変調を受けた画像が生成される。合成後の信号レベル２３０４は、画像Ｘと画像Ｙとを合成した画像信号２３０３の信号レベルを示す。合成後の信号レベル２３０４は、撮像装置が画像信号を合成した後に得られる本来の信号レベル２３０５よりも、高いレベルの画像信号になる虞がある。また、領域２３０６は、画像Ｘ、Ｙともに、外部ストロボによる変調領域が発生している領域である。したがって、領域２３０６に属するラインについては周囲のラインよりもさらに高い信号レベルとなってしまい、この信号レベルが、合成後の画像信号２３０３上に帯状になって表れてしまう虞がある。
以下の本発明の実施形態は、以上の技術を考慮してなされたものである。

以下、図面を参照しながら、本発明の実施形態を説明する。
（第１の実施形態）
まず、本発明の第１の実施形態を説明する。
図１は、本実施形態の撮像装置の構成の一例を示すブロック図である。
撮像素子１０１は、光電変換素子を有する画素が行列状（２次元マトリックス状）に配置されて構成される。各画素に備わる光電変換素子は、被写体像を光電変換により電気信号（アナログ信号）に変換する。本実施形態では、撮像素子１０１は、ＣＭＯＳセンサを用いて構成されるものとする。撮像素子１０１は、撮像素子制御部１０２が生成する制御信号をもとにした駆動パルスで駆動する。光電変換されたアナログ信号は、撮像素子１０１に備わるＡＤ変換部でデジタル信号に変換され、撮像素子１０１から出力される。このとき、撮像素子１０１が電子シャッタ機能を有する場合には、撮像素子制御部１０２からの制御信号により、必要な露光時間となるように露光時間を確保してもよい。

輝度変調領域判定部１０３は、撮像素子１０１から得られる画像信号から外部ストロボによる輝度変調を受けた領域である輝度変調領域を判定し、領域判定の結果を示す情報である輝度変調領域情報を合成比率算出部１０４に対して出力する。
合成比率算出部１０４は、メモリ１０５と合成比率演算部１０６とを有する。合成比率演算部１０６は、撮像素子１０１から出力される画像信号と、フレームメモリ１０７から出力される１フレーム前の画像信号との合成比率を演算して画像合成部１０８に合成比率制御信号として出力する。この合成比率の演算は、輝度変調領域判定部１０３から出力される輝度変調領域情報と、メモリ１０５から出力される１フレーム前の輝度変調領域情報とに基づいて行われる。

フレームメモリ１０７は、撮像素子１０１から出力される画像信号を１フレーム分保持する。
画像合成部１０８は、フレームメモリ１０７から出力される画像信号と、撮像素子１０１から出力される画像信号とを合成し１枚の画像信号を生成する。画像合成部１０８は、以下の要素で構成される。合成比率調整部１０９は、撮像素子１０１から出力される画像信号に対して、合成比率算出部１０４から出力される合成比率制御信号に応じて、ゲイン処理を行う。合成比率調整部１１０は、フレームメモリ１０７から出力される画像信号に対して、合成比率調整部１０９と同様に、合成比率算出部１０４から出力される合成比率制御信号に応じて、ゲイン処理を行う。合成部１１１は、合成比率調整部１０９及び１１０から出力される２つの合成比率調整後の画像信号を加算して合成画像１１２として出力する。
制御部１１３は、撮像装置全体を制御する。制御部１１３は、撮像における露出条件等に応じて、撮像素子１０１の電荷の蓄積時間を決定し、撮像素子制御部１０２に対して制御信号を渡す役割もある。

次に、外部発光手段の一例である外部ストロボの発光によって、画像信号に現れる影響について図２及び図３を用いて説明する。図２は、撮像素子１０１における動作の概要の一例を説明する図である。具体的に図２は、撮像素子１０１での撮像において、電荷のリセットのタイミングをずれ時間（ずれ量）Δｔだけ遅らせた場合の撮像素子１０１の動作の一例を説明する図である。このずれ量Δｔは、或る画像信号を得るための撮像素子１０１における電荷の読み出しを行ってから、次の画像信号を得るための撮像素子１０１における電荷の蓄積を開始するまでの時間に対応する。
チャート２０１は、外部ストロボが発光するタイミングを示す。外部ストロボは、チャート２０１の立ち上がっている部分２０２において、発光時間ｔだけ発光する。図２に示す例では、撮像装置の撮影方式で決定される垂直同期信号２０３は、４回アサート（assert）される。

チャート２０５、２０６、２０７、２０８は、各画像信号の読み出し期間を示す。各画像信号は、垂直同期信号２０３がアサートされるタイミングで撮像素子１０１から読み出される。時間ｔｌは、１ラインの読み出し時間を示す。
チャート２０９、２１０は、リセット信号が出力されることを示す。具体的に、チャート２０９は、チャート２０６で示される画像信号の電荷蓄積時間を決定するリセット信号が出力されることを示す。チャート２１０は、チャート２０７に従って読み出される画像信号の電荷蓄積時間を決定するリセット信号が出力されることを示す。

図２に示すタイミングで外部ストロボが発光した場合、チャート２０６に従って読み出される画像信号については、ライン数がＮの画像信号２０４の領域２１１が、外部ストロボの影響を受けることになる。また、チャート２０７に従って読み出される画像信号については、画像信号２０４の領域２１２が、外部ストロボの影響を受けることになる。

図３は、画像信号が外部ストロボの影響を受ける条件を説明する図である。同一符号を付した箇所については説明を省略する。
外部ストロボの発光開始タイミング３０１と、発光終了タイミング３０２とで挟まれた期間が、前述した外部ストロボの発光時間ｔに相当する。また、リセット開始（リセット信号の出力の開始）のタイミングのずれ量Δｔによって、撮像素子１０１での電荷蓄積時間が決定される。リセット開始のタイミングのずれ量Δｔが無いとき（Δｔ＝０）の、連続する２つの画像信号間（チャート２０６、２０７に従って読み出される画像信号間）で発生する、外部ストロボによる輝度変調を受けるライン（図２３の領域２３０６に相当）をＸとする。外部ストロボによる輝度変調を受けるラインＸは、以下の（式１）で算出される。
Ｘ＝ｔ／ｔｌ ・・・（式１）
ここで、ｔｌは、前述したように、撮像素子１０１における１ラインの読み出し時間である（図２を参照）。また、ｔは、前述したように、外部ストロボの発光時間である（図２を参照）。

次に、リセット開始のタイミングのずれ量Δｔを考慮した場合の画像信号の読み出しについて説明する。
連続する２つの画像信号間で発生する外部ストロボによる輝度変調を受けるラインのうち、リセット開始のタイミングのずれ量Δｔによって、外部ストロボの影響の重なりが解消されるライン数をΔＸとおく。そうすると、連続する２つの画像信号間で発生する外部ストロボによる輝度変調を受けるラインＸ'は、以下の（式２）のように表現できる。
Ｘ'＝Ｘ−ΔＸ ・・・（式２）
図３より、ΔＸは、時間３０３（すなわち、リセット開始のタイミングのずれ量Δｔ）で読み出し可能なライン数を示し、以下の（式３）のように表現できる。
ΔＸ＝Δｔ／ｔｌ ・・・（式３）

以上から、リセット開始のタイミングのずれ量Δｔを考慮した場合の２つ画像信号間で発生する外部ストロボによる輝度変調を受けるラインＸ'は、（式１）、（式２）、（式３）より、以下の（式４）のようになる。
Ｘ'＝（１／ｔｌ）×（ｔ−Δｔ） ・・・（式４）

ここで、（式４）は、リセット開始のタイミングのずれ量Δｔが外部ストロボの発光時間ｔと同じかそれ以上の場合に、連続する２つの画像信号間で発生する外部ストロボによる輝度変調を受けるラインが０（ゼロ）になることを意味する。すなわち、このような場合には、全てのラインにおいて、どちらか一方の画像信号では適切な撮像が成されることを示す。
制御部１１３は、（式４）に基づいてずれ時間導出処理を行う。具体的に制御部１１３は、（式４）で示されたラインＸ'が０（ゼロ）となるようなリセット開始のタイミングのずれ量Δｔを、外部ストロボの平均発光時間に基づいて決定する。そして、制御部１１３は、このずれ量Δｔで撮像するように撮像素子制御部１０２へ制御信号を渡す。外部ストロボの平均発光時間は、代表的なストロボ発光手段のストロボ発光時間を元に予め決定され、制御部１１３内の不揮発性記憶媒体等に記憶しておくことにより、撮像装置内に予め情報として保持される。

図４は、本実施形態における撮像素子１０１の動作を説明する図である。同一符号を付した箇所については説明を省略する。
チャート４０２、４０３は、それぞれ、チャート２０６、２０７に従って読み出される画像信号の電荷蓄積時間を決定するリセット信号である。このリセット信号は、リセット開始のタイミングのずれ量Δｔのオフセットをもって走査される。このリセット開始のタイミングのずれ量Δｔは、外部ストロボの平均発光時間を（式４）に与えることにより決定される。

図４に示す発光開始タイミング３０１と発光終了タイミング３０２との間の発光時間ｔで外部ストロボが発光した場合、チャート２０６に従って読み出される画像信号については、領域４０４が外部ストロボによる輝度変調を受ける。また、チャート２０７に従って読み出される画像信号については、領域４０５が、外部ストロボによる輝度変調の影響を受ける。
画像信号４０６、４０７は、それぞれ、チャート２０６、２０７に従って読み出される画像信号の模式図である。連続して撮影された２枚の画像信号４０６、４０７において、外部ストロボによって輝度変調を受けた領域４０４、４０５に注目すると、全てのラインにおいて、どちらか一方の画像信号では適切な撮像が成されるようになる。

次に、図５を参照して、本実施形態の撮像装置の全体制御のタイミングの一例を説明する。同一符号を付した箇所については説明を省略する。
画像信号５０１は、撮像素子１０１で撮像された画像信号を示す。チャート２０６、２０７、２０８に従って読み出される画像信号をそれぞれ、画像Ａ、画像Ｂ、画像Ｃとしている。
画像信号５０２は、フレームメモリ１０７から出力される画像信号を示す。撮像素子１０１から出力される画像信号は、１フレーム分遅延されてフレームメモリ１０７から出力される。
輝度変調領域情報５０３は、輝度変調領域判定部１０３から出力される輝度変調領域情報を示す。画像Ａから判定された結果（輝度変調領域）を（ａ）で表している。同様に、画像Ｂ、Ｃから判定された結果（輝度変調領域）を、それぞれ（ｂ）、（ｃ）で表している。

図６を参照して、輝度変調領域判定部１０３における輝度変調領域の判定方法の一例を説明する。
画像信号６０１は、撮像素子１０１で撮像された画像信号（画像Ａ）を模式的に示したものである。輝度変調領域判定部１０３は、入力される画像信号の各ラインの積分値を算出する。本実施形態では、撮像素子１０１はＣＭＯＳセンサである。このため、外部ストロボによって画像信号上に発生する輝度変調領域は、図６の輝度変調領域情報６０３のように、ライン方向（同一のライン上）では一様に発生する。したがって、輝度変調領域判定部１０３は、画像信号の輝度値をライン方向に積分してその積分値であるライン積分値を評価することで輝度変調を受けているか否かを判定することができる。

図６では、輝度変調領域判定部１０３において演算されたライン積分値６０２を画像信号６０１に合わせて示す。横軸は、ライン積分値を表し、縦軸は、ライン数を表す。輝度変調領域判定部１０３は、予め決められた閾値Ｔｈを持ち、算出されたライン積分値が閾値Ｔｈより大きい場合に、当該ライン積分値に対応するラインを輝度変調領域であると判定する。一方、ライン積分値が閾値Ｔｈより大きくない場合、当該ライン積分値に対応するラインは輝度変調領域でないと判定する。尚、閾値Ｔｈを、過去のフレームのライン積分値の結果を参照して決定することで、より精度よく輝度変調領域を判定することもできる。

また、図６では、輝度変調領域判定部１０３から出力される輝度変調領域情報６０３を画像信号６０１に合わせて示す。横軸は、輝度変調領域情報の値を表し、縦軸は、ライン数を表す。輝度変調領域判定部１０３は、輝度変調を受けたラインでは輝度変調領域情報として１を出力し、そうでないラインでは輝度変調領域情報として０（ゼロ）を出力する。

再び図５に戻って、本実施形態の撮像装置の全体制御を説明する。
輝度変調領域情報５０４は、合成比率算出部１０４に備わるメモリ１０５から出力される輝度変調領域情報を示す。輝度変調領域判定部１０３から出力される輝度変調領域情報は、１フレーム分遅延されてメモリ１０５から出力される。
合成比率制御信号５０５は、輝度変調領域判定部１０３とメモリ１０５とから出力される輝度変調領域情報を元に合成比率演算部１０６で生成される合成比率制御信号を示す。具体的に、合成比率制御信号γ１は、輝度変調領域情報（ａ）及び（ｂ）に基づいて演算される合成比率制御信号を示し、合成比率制御信号γ２は、輝度変調領域情報（ｂ）及び（ｃ）に基づいて演算される合成比率制御信号を示す。

図７は、合成比率制御信号を生成する方法の一例を説明する図である。具体的に図７は、合成比率演算部１０６において、輝度変調領域情報（ａ）及び（ｂ）に基づいて合成比率制御信号γ１を生成する方法の一例を示す図である。
画像信号７０１、７０２は、それぞれ画像Ａ、Ｂを模式的に示したものである。グラフ７０３、７０４は、それぞれ、輝度変調領域判定部１０３で生成される輝度変調領域情報（ａ）、（ｂ）を示したものである。輝度変調領域情報（ａ）はメモリ１０５から出力され、輝度変調領域情報（ｂ）は輝度変調領域判定部１０３から出力される。

合成比率演算部１０６は、これら２つの輝度変調領域情報（ａ）及び（ｂ）を元に、外部ストロボによる輝度変調領域が合成画像１１２に現れないような合成比率制御信号γ１を生成する。
グラフ７０５は、合成比率演算部１０６で生成された合成比率制御信号γ１を模式的に示したものである。領域７０６では画像Ｂに輝度変調領域がある。したがって、合成比率演算部１０６は、領域７０６では画像Ｂを使わないように（すなわち画像Ａを使うように）合成比率制御信号γ１を生成する。また、領域７０７では画像Ａに輝度変調領域がある。したがって、合成比率演算部１０６は、領域７０７では画像Ａを使わないように（すなわち画像Ｂを使うように）合成比率制御信号γ１を生成する。尚、本実施形態では合成比率制御信号γ１は、０（ゼロ）又は１をとるようにし、合成比率制御信号γ１の値が０（ゼロ）である場合には画像Ｂを使い、１である場合には画像Ａを使うことを示すものとする。領域７０８は、画像Ａ、画像Ｂのどちらにも輝度変調領域が発生していない領域である。そこで、合成比率演算部１０６は、領域７０８では合成比率を徐々に変化させるように合成比率制御信号γ１を生成する。尚、領域７０８に関しては、合成比率制御信号γ１の値を０．５で固定してもよいし、０（ゼロ）又は１のどちらか一方としてもよい。

再び図５に戻って、本実施形態の撮像装置の全体制御の説明を続ける。
合成画像５０６は、フレームメモリ１０７から出力される画像Ａと、撮像素子１０１から出力される画像Ｂとを合成部１１１で合成したものを示す。合成比率調整部１０９、１１０において、合成比率演算部１０６から出力される合成比率制御信号γ１に基づく合成比率を元に、画像信号（画像Ａ、Ｂ）に対して当該合成比率でゲイン処理する。本実施形態では、合成比率制御信号γ１の値が０（ゼロ）である場合に画像Ｂを使うこととしている。このため、合成比率調整部１０９は、受け取った合成比率制御信号γ１に対して、以下の（式５）の操作をすることにより得られる合成比率で、入力される画像信号（画像Ｂ）に対してゲイン処理を行う
γ１←（１−γ１） ・・・（式５）
合成部１１１は、合成比率が調整された後の画像信号（画像Ａ、Ｂ）の相互に対応する画素の値を加算して合成画像１１２を生成して出力する。

以上のように本実施形態では、撮像素子１０１における電荷蓄積時間を、外部ストロボの代表的な発光時間（平均発光時間）と１ラインの読み出し時間とに基づいて決定して、２つの画像信号を連続して撮像する。すなわち、撮像素子１０１における電荷の蓄積を開始するタイミングを、外部ストロボの代表的な発光時間（平均発光時間）と１ラインの読み出し時間とに基づく時間だけずらして、２つの画像信号を連続して撮像する。それら２つの画像信号のそれぞれについて、各ラインの積分値（ライン積分値）を導出し、導出したライン積分値と閾値Ｔｈとを比較して、輝度変調領域を判定する。２つの画像信号のそれぞれの輝度変調領域に応じて、２つの画像信号を合成する領域と、２つの画像信号の一部（何れか）を使用する領域を決定する。したがって、フレーム欠落を起こすことなく、また、輝度変調を受けていない領域を使って画像信号を生成することで画質の劣化を最小限に抑えることが可能となる。

＜変形例１＞
本実施形態のようにすると、撮像素子１０１における電荷蓄積時間は、外部ストロボの代表的な発光時間（平均発光時間）に基づいて決定される。したがって、撮像装置における露出は、本来の露出よりも低くなることがある。この場合は、撮像装置に備わる不図示のゲイン回路（増幅器）に対して設定されるゲイン値（増幅率）を制御し、合成画像の信号値を増幅（ゲインアップ）することで、適正な明るさにすることも可能である。

＜変形例２＞
また、撮影状況を判断して、本実施形態で説明した制御をするか否かを切り替えることができる。このようにすれば、外部ストロボが焚かれない状況下では、撮像素子１０１における電荷蓄積時間を、外部ストロボの代表的な発光時間（平均発光時間）を元に決定して撮像しないようにすることが可能になる。
図８は、本変形例の撮像装置の構成の一例を示すブロック図である。撮像装置の構成としては、図１に示した撮像装置に対し制御線８０１を追加したものとする。
制御線８０１は、制御部１１３から出力される制御信号を合成比率演算部１０６に伝送するためのものであり、具体的には合成比率演算部１０６で生成される合成比率制御信号を制御するために用いられる。

図９は、本変形例の撮像装置の動作の概略の一例を説明するフローチャートである。
まず、ステップＳ９０１において、制御部１１３は、撮像装置の露出制御パラメータである、Ｆ値（Ｆ）、蓄積時間（Ｔ）、及びゲイン値（Ｇ）を取得する。
次に、ステップＳ９０２において、制御部１１３は、室内判定演算をする。外部ストロボが発光される状況は、ほとんどが室内等の照明光源下である。このため、制御部１１３は、ステップＳ９０１で得られた露出制御パラメータを用いて、室内（或いは室内と同等の照明環境下）で撮影されているか否かを判定する。判定は、例えば、次に示す（式６）の判定式に基づいて行われる。
評価値＝（Ｆｄ／Ｆ）²×（Ｔ／Ｔｄ）×（Ｇ／Ｇｄ） ・・・（式６）

ここで、Ｆｄ、Ｔｄ、Ｇｄは、一般的に室内での撮影条件下における露出制御パラメータ（Ｆ値、蓄積時間、ゲイン値）であり、撮像装置内の不揮発性記憶媒体等に予め記憶させておく。
次に、ステップＳ９０３において、制御部１１３は、（式６）の評価値が１以上であるか否かを判定する。この判定の結果、評価値が１以上である場合には、室内で撮影していると判断され、ステップＳ９０４へ遷移する。一方、評価値が１未満である場合には、室内で撮影していないと判断され、ステップＳ９０５に遷移する。

ステップＳ９０４に進むと、撮像装置は、本実施形態で説明したように、撮像素子１０１における電荷蓄積時間を、外部ストロボの代表的な発光時間（平均発光時間）と１ラインの読み出し時間とに基づいて決定して、２つの画像信号を連続して撮像する。この際、制御部１１３は、撮像素子制御部１０２に制御信号を渡す。この制御信号を受けた撮像素子制御部１０２は、所望の電荷蓄積時間で撮像がなされるように撮像素子１０１に制御信号を渡す。

一方、ステップＳ９０５に進むと、制御部１１３は、輝度変調領域情報に因らずに合成比率制御信号が一定値（０．５等）となるようにすることを示す制御信号を合成比率演算部１０６に渡す。また、撮像素子制御部１０２は、撮像素子１０１における電荷の蓄積を開始するタイミングが大きくずれないように（図２の時間Δｔが所定値となるように）撮像素子１０１に制御信号を渡す。
以上のように、外部ストロボが焚かれる状況であるか否かを判断することで、適応的に撮像方法を切り替えることが可能となる。

＜変形例３＞
また、本実施形態のように、撮像素子１０１における電荷蓄積時間を、外部ストロボの代表的な発光時間（平均発光時間）に基づいて決定すると、撮像装置で撮影したい本来の露出よりも露出が低くなる。露出制御パラメータとしてＦ値を備える（すなわち絞り制御機構を備える）撮像装置では、Ｆ値（絞り値）を制御することで、適正な明るさで撮影することも可能である。
図１０は、本変形例の撮像装置の構成の一例を示す図である。本変形例の撮像装置は、図１に示した撮像装置に対し、光学系１００１と、光学系１００１を制御する光学系制御部１００２を追加したものとなる。
制御部１１３は、制御信号を光学系制御部１００２に渡す。この制御信号を受けた光学系制御部１００２は、外部ストロボの代表的な発光時間（平均発光時間）と１ラインの読み出し時間とを基にして決定された撮像素子１０１の電荷蓄積時間に基づいて、露出が過少となっている分の露出を反映するＦ値を決定する。そして、光学系制御部１００２は、決定したＦ値になるように、光学系１００１の絞りを制御する。このようにすることで、適正な明るさで撮影することが可能となる。

＜変形例４＞
本実施形態では、連続して撮像された２つの画像信号を合成する場合を例に挙げて説明した。しかしながら、合成する画像信号の数は３つ以上であってもよい。
この場合、連続して撮像された複数の画像信号の相互に対応する領域について、一部の画像信号では輝度変調領域であると判定され、他の一部の画像信号では輝度変調領域ではないと判定された場合、当該領域については、当該他の一部の画像信号を使用できる。当該他の一部の画像信号が複数ある場合には、それら複数の画像信号を合成してもよいし、当該他の一部の画像信号の一つを選択してもよい。

（第２の実施形態）
次に、本発明の第２の実施形態を説明する。本実施形態では、第１の実施形態に対し、異なる露出で撮像された複数の画像信号から高ダイナミックレンジの画像信号を合成して生成する構成を付加したものである。これにより、外部ストロボが発光した場合でもその影響を受けない高ダイナミックレンジ画像を生成することができる。したがって、本実施形態の説明において、第１の実施形態と同一の部分については、図１〜図１０に付した符号と同一の符号を付す等して詳細な説明を省略する。

図１１は、本実施形態の撮像装置の構成の一例を示すブロック図である。
図１１において、制御部１１３は、高ダイナミックレンジで撮影する際の露出量を決定する。撮像素子制御部１０２は、制御部１１３から渡される制御信号に従って、撮像素子１０１の露出量を制御する。さらに制御部１１３は、撮像素子制御部で決定された露出量に応じて画像信号に対して行うレベル合わせのためのレベル合わせゲインを決定する。
画像合成部１１０１は、複数の画像信号を合成して１枚の画像信号を生成する。画像合成部１１０１は、レベル調整部１１０２、１１０３、動き検出部１１０４、合成比率決定部１１０５、合成比率調整部１０９、１１０、及び合成部１１１を有する。
レベル調整部１１０２、１１０３は、制御部１１３からの制御信号に従って、撮像素子１０１から読み出される画像信号のレベルをそれぞれ調整する。

動き検出部１１０４は、レベルが合わせられた２枚の画像信号について、画像信号間の差分情報等を求めて、動きベクトルを検出し、検出した動きベクトルを含む動き検出情報を合成比率決定部１１０５へ渡す。
合成比率決定部１１０５は、２枚の画像信号を合成するための合成比率を決定する。この合成比率は、動き検出部１１０４から出力される動き検出情報と、レベル調整部１１０２、１１０３から出力されるレベル調整後の画像信号と、合成比率演算部１０６から出力される合成比率制御信号とに基づいて決定される。

次に、露出の異なる２枚の画像を撮像し、それらを合成する手順の一例を説明する。以下では、最初に、相対的に低い露出の画像（低露出画像）を撮像し、その次に、相対的に高い露出の画像（高露出画像）を撮像してそれらを合成する場合を例に挙げて説明する。しかしながら、前記低露出画像と、前記高露出画像とを撮像する順番は、これとは逆であっても構わない。

まず、制御部１１３は、低露出の露出段差を設定する。ここでは、適正露出に対して−２段の露出段差を設定する場合を例に挙げて説明する。
撮像素子制御部１０２は、制御部１１３で設定された−２段に相当する露出量になるように撮像素子１０１の露出量を制御する。すなわち、シャッタースピードのみの制御ならば、撮像素子制御部１０２は、適正露出時の１／４倍の露出時間を設定する。また、撮像素子１０１に備わるセンサーゲイン部のみの制御ならば、撮像素子制御部１０２は、当該センサーゲイン部に、適正露出時の１／４倍のゲインを設定する。これらのうち、何れかのみの設定を行うか、又は、これらの組合せで−２段の露出量を設定する。

そして、撮像素子１０１は、撮像素子制御部１０２で設定された露出量（露出時間やゲインの設定値）に従って低露出の撮影を行い、低露出画像信号を出力する。このようにして撮像素子１０１で得られた画像信号はフレームメモリ１０７に一時的に保持される。
次に、制御部１１３は、高露出の露出段差を設定する。ここでは、適正露出に対して＋２段の露出段差を設定する場合を例に挙げて説明する。
撮像素子制御部１０２は、制御部１１３で設定された＋２段に相当する露出量になるように撮像素子１０１の露出量を制御する。すなわち、シャッタースピードのみの制御ならば、撮像素子制御部１０２は、適正露出時の４倍の露出時間を設定する。また、撮像素子１０１に備えられているセンサーゲイン部のみの制御ならば、撮像素子制御部１０２は、当該センサーゲイン部に、適正露出時の４倍のゲインを設定する。これらのうち、何れかのみの設定を行うか、又は、これらを組合せで＋２段の露出量を設定する。
そして、撮像素子１０１は、撮像素子制御部１０２で設定された露出量（露出時間やゲインの設定値）に従って高露出の撮影を行い、高露出画像信号を出力する。

ここで、制御部１１３は、２枚の画像信号を合成する際に前記低露出画像信号と前記高露出画像信号とのレベルを合わせるために、レベル調整部１１０２、１１０３に対するレベル設定を行う。すなわち、制御部１１３は、適正露出時の４倍のレベル合わせゲインを、前記低露出画像信号のレベル合わせを行うレベル調整部１１０３に設定する。同様に、制御部１１３は、適正露出時の１／４倍のレベル合わせゲインを、前記高露出画像信号のレベル合わせを行うレベル調整部１１０２に設定する。
前記低露出画像信号は、フレームメモリ１０７から読み出されて、レベル調整部１１０３でレベル合わせが行われ、動き検出部１１０４、合成比率決定部１１０５及び合成比率調整部１１０に送られる。前記高露出画像信号は、レベル調整部１１０２で、レベル合わせが行われ、動き検出部１１０４、合成比率決定部１１０５及び合成比率調整部１１０に送られる。

動き検出部１１０４は、レベルが合わせられた前記低露出画像信号と前記高露出画像信号とを比較して、画像内の動き検出情報（例えば動きベクトル）を検出する。例えば、動き検出部１１０４は、前記低露出画像信号と前記高露出画像信号とをそれぞれ一定の領域に区分し、相互に対応する各領域の画素値の差分を求め、その差分の値の絶対値が大きい場合、その領域は動き領域であると判断する。尚、動き検出情報の検出は、公知の技術で実現できるので、ここでは、その詳細な説明を省略する。
合成比率決定部１１０５は、レベル調整後の画像信号の明るさ情報と、動き検出部１１０４からの動き検出情報と、合成比率演算部１０６からの合成比率制御信号と、に基づいて合成比率を決定する。

具体的に説明すると、合成比率決定部１１０５は、まず、レベル調整後の画像信号（前記低露出画像信号と前記高露出画像信号）を比較する。そして、合成比率決定部１１０５は、画像の明るい部分は前記低露出画像信号が主に合成されるように合成比率を決定し、画像の暗い部分は前記高露出画像信号が主に合成されるように合成比率を設定する。また、合成比率決定部１１０５は、前記動き領域と判断された領域については、前記低露出画像信号と前記高露出画像信号のうち何れか一方の画像信号を出力し、前記動き領域とでない領域については、他方の画像信号を出力する様に合成比率を決定する。尚、本実施形態では、動き領域と判断された領域については低露出画像信号を出力するものとする。このようにすることによって、電荷蓄積動作による蓄積ブレ等の画質の劣化を回避することが可能となり、合成後の画像信号で、動き領域のブレ等の画質の劣化を回避することができる。
本実施形態ではさらに、合成比率演算部１０６から出力される合成比率制御信号に基づいて合成比率を決定するが、その詳細な内容については後述する。

図１２は、前記低露出画像信号及び前記高露出画像信号の輝度値と画素値との関係の一例を示す図である。図１２において、横軸は、撮像された画像信号の輝度値を示し、縦軸は、画像データの画素値の大きさを示す。
図１２（ａ）は、レベル合わせが行われる前の関係を示す。図１２（ａ）において、白抜き線Ｌは前記低露出画像信号の値を示し、黒太線Ｈは前記高露出画像信号の値を示す。Ｎは、レベル合わせの目標となる、適正露出の画像信号の値を示す。以下では適正露出の画像信号（Ｎ）をレベル合わせの目標とする場合を例に挙げて説明する。

図１２（ａ）に示すように、前記低露出画像信号（Ｌ）の輝度値は、輝度値Ｙ０からＹ２までの広い輝度範囲を有するが、画素値は、画素値Ｖ０からＶ１までの狭い範囲にとどまり、明るい画像信号が白飛びしないように撮影される。逆に、前記高露出画像信号（Ｈ）の輝度値は、輝度値Ｙ０からＹ１までの狭い輝度範囲を有するが、画素値は、画素値Ｖ０からＶ２までの広い範囲を有し、暗い画像信号が黒つぶれしないように撮影される。

図１２（ｂ）は、これらの画像信号（前記低露出画像信号と前記高露出画像信号）を合成するためにレベル合わせをした場合の関係を示す。
図１２（ｂ）において、前記低露出画像信号は、露出段差に従ってレベル合わせが行われ、画素値が画素値Ｖ０からＶ２までのデータ値を有する低露出画像信号（Ｌ２）となる。同様に前記高露出画像信号は、露出段差に従ってレベル合わせが行われ、画素値が画素値Ｖ０からＶ１までのデータ値を有する高露出画像信号（Ｈ２）となる。レベル合わせが行われた結果、前記低露出画像信号（Ｌ２）と前記高露出画像信号（Ｈ２）は、何れも適正露出の場合の画像信号（Ｎ）の輝度値と画素値との関係に合わせられる。この結果、画像合成処理では、輝度値Ｙ１からＹ２の範囲については、低露出画像信号に基づく画像となり、輝度値Ｙ０からＹ１の範囲については、低露出画像信号と高露出画像信号とが混合された画像となる。尚、動き検出は、レベル合わせ後の前記低露出画像信号（Ｌ２）と、レベル合わせ後の前記高露出画像信号（Ｈ２）とで共通するデータ範囲、すなわち輝度値が輝度値Ｙ０からＹ１の範囲で行われる。

図１３は、前記低露出画像信号及び前記高露出画像信号の画素値のヒストグラムの一例を示す図である。図１３において、横軸は、画素値を示し、縦軸は、その画像値を持つ画素の画素数を示す。
図１３（ａ）は、レベル合わせが行われる前のヒストグラムを示す。図１３（ａ）において、細線Ｌは、前記低露出画像信号のヒストグラムを示し、画素値が画素値Ｖ０からＶ１の範囲に分布している。太線Ｈは、前記高露出画像信号のヒストグラムを示し、画素値が画素値Ｖ０からＶ２の範囲に分布している。前記高露出画像信号の輝度値のうち、図１２の輝度値Ｙ１以上の輝度値は飽和している。このため、前記高露出画像信号のヒストグラム（Ｈ）は、画素値の暗い部分のみのヒストグラムとなっている。点線Ｎは、適正露出の場合のヒストグラムを示す。

図１３（ｂ）は、レベル合わせを行った後のヒストグラムを示す。
前記低露出画像信号のヒストグラム（Ｌ）は、露出段差に従ってレベル合わせが行われた結果、画素値が画素値Ｖ０からＶ２までに分布するヒストグラム（Ｌ２）となる。また、前記高露出画像信号のヒストグラム（Ｈ）は、露出段差に従ってレベル合わせが行われた結果、画素値が画素値Ｖ０からＶ１までに分布するヒストグラム（Ｈ２）となる。画素値Ｖ０からＶ１の範囲では、レベル合わせ後の前記低露出画像信号のヒストグラム（Ｌ２）と前記高露出画像信号のヒストグラム（Ｈ２）とが一致した（重なった）状態となる。

図１４は、このような構成で高ダイナミックレンジの撮像を実現する場合の本実施形態における撮像素子１０１の動作を説明する図である。同一符号を付した箇所については説明を省略する。
チャート１４０１は、チャート２０６に従って読み出される画像信号の電荷蓄積時間を決定するリセット信号である。撮像素子１０１は、第１の実施形態と同様に、外部ストロボの平均発光時間を（式４）に与えることにより決定されたリセット開始のタイミングのずれ量Δｔのオフセットをもって走査される。加えて、高ダイナミックレンジの撮像のために、制御部１１３は、１フレームおきに低露出画像用のリセットタイミングと高露出画像用のリセットタイミングで撮像素子１０１が駆動できるように、撮像素子制御部１０２に対して、制御信号を送信する。撮像素子１０１は、撮像素子制御部１０２から送信される制御信号に従って駆動する。

図１４に示す発光開始タイミング３０１と発光終了タイミング３０２の間の発光時間ｔで外部ストロボが発光すると、チャート２０６に従って読み出される画像信号については、輝度変調領域１４０２に相当するライン群が外部ストロボによる輝度変調を受ける。また、チャート２０７に従って読み出される画像信号については、輝度変調領域１４０３に相当するライン群が、外部ストロボによる輝度変調の影響を受ける。
画像信号１４０４、１４０５は、それぞれ、チャート２０６、２０７に従って読み出される画像信号の模式図である。連続して撮影された２枚の画像信号１４０４、１４０５において、外部ストロボによって輝度変調を受けた領域である輝度変調領域１４０２、１４０３に注目すると、全てのラインにおいて、どちらか一方の画像信号では適切な撮像が成されるようになる。

次に、図１５を参照して、本実施形態の撮像装置の全体制御のタイミングの一例を説明する。同一符号を付した箇所については説明を省略する。
画像信号１５０１は、撮像素子１０１で撮像された画像信号を示す。チャート２０６、２０７、２０８、１５１７で読み出される画像信号をそれぞれ、画像Ｏ、画像Ｐ、画像Ｑ、画像Ｒとしている。

画像信号１５０２は、フレームメモリ１０７から出力される画像信号を示す。撮像素子１０１から出力される画像信号は、１フレーム分遅延されてフレームメモリ１０７から出力される。
輝度変調領域情報１５０３、１５０４は、輝度変調領域判定部１０３から出力される輝度変調領域情報を示す。画像Ｏから判定された結果（輝度変調領域）を（ｏ）、画像Ｑから判定された結果（輝度変調領域）を（ｑ）で表している。
輝度変調領域判定部１０３は、制御部１１３から送信される制御信号に従って、前記低露出画像信号を撮像素子１０１から読み出している期間だけ輝度変調領域判定を行うように制御される。このため、図１５に示すように、１フレーム置きに（フレーム間欠で）輝度変調領域情報が出力される。輝度変調領域の判定は、第１の実施形態と同様に、入力される画像信号の輝度値をライン方向に積分してその積分値であるライン積分値を閾値Ｔｈと比較することで実現される（図６を参照）。

輝度変調領域判定部１５０５、１５０６は、合成比率算出部１０４に備えるメモリ１０５から出力される輝度変調領域情報を示す。輝度変調領域判定部１０３から入力される輝度変調領域情報は、１フレーム分遅延されてメモリ１０５から出力される。
合成比率制御信号１５０７、１５０８は、メモリ１０５から出力される輝度変調領域情報を元に合成比率演算部１０６で生成される合成比率制御信号を示す。具体的に、合成比率制御信号γ１は、輝度変調領域情報（ｏ）に基づいて演算される合成比率制御信号を示し、合成比率制御信号γ２は、輝度変調領域情報（ｑ）に基づいて演算される合成比率制御信号を示す。

動き検出情報１５０９、１５１０は、動き検出部１１０４から出力される動き検出情報を示す。前述したように、動き検出情報１５０９、１５１０は、レベル調整部１１０２、１１０３から出力されるレベル調整後の画像信号（前記低露出画像信号と前記高露出画像信号）を元に生成される。図１５では、画像Ｏ及び画像Ｐを元に検出された動き検出情報を動き検出情報α１とし、画像Ｑと画像Ｒを元に検出された動き検出情報を動き検出情報α２としている。
また、動き検出部１１０４は、制御部１１３から送信される制御信号に従って、合成の対象となる２枚の画像信号（前記低露出画像信号と前記高露出画像信号）が画像合成部１１０１に入力される期間だけ動き検出を行うように制御されている。このため、図１５に示すように１フレーム置きに（フレーム間欠で）動き検出情報が出力される。

合成比率１５１１、１５１２は、レベル調整部１１０２、１１０３から出力されるレベル調整後の画像信号（前記低露出画像信号と前記高露出画像信号）のレベルに応じて、合成比率決定部１１０５で生成された合成比率を示す。図１５では、画像Ｏ及び画像Ｐのレベルに応じて生成された合成比率を合成比率β１とし、画像Ｑ及び画像Ｒのレベルに応じて生成された合成比率を合成比率β２としている。

合成比率１５１３、１５１４は、合成比率決定部１１０５から出力される合成比率を示す。図１５では、画像Ｏ及び画像Ｐを合成するときの合成比率を合成比率δ１とし、画像Ｑ及び画像Ｒを合成するときの合成比率を合成比率δ２とする。
合成画像１５１５、１５１６は、レベル調整部１１０２、１１０３から出力される画像信号（前記低露出画像信号と前記高露出画像信号）を合成した合成画像を示す。合成比率調整部１０９、１１０は、合成比率決定部１１０５から出力される合成比率δ１、δ２を元に、画像信号に対して、当該合成比率でゲイン処理する。本実施形態では、第１の実施形態と同様に、合成比率δ１の値が０（ゼロ）である場合に画像Ｐ、Ｒを使うこととする。このため、合成比率調整部１０９は、受け取った合成比率δ１、δ２に対して、第１の実施形態と同様に（式５）の操作をして得られる合成比率で、入力される画像信号（画像Ｐ、Ｒ）に対してゲイン処理を行う。

図１６は、撮像素子１０１から読み出される画像信号（前記低露出画像信号と前記高露出画像信号）を元に合成比率を決定する方法の一例を説明する図である。同一符号を付している箇所については説明を省略する。
グラフ１６０１は、画像Ｏと画像Ｐを元に生成される動き検出情報α１を示す。合成比率決定部１１０５は、画像信号（画像Ｏ、Ｐ）間に差分がある領域については、画像Ｏを選択する。従って、輝度変調領域１４０２及び１４０３に属するラインにおいて、低露出画像信号（すなわち画像Ｏ）を選択するように動き検出情報α１が生成される。
グラフ１６０２は、画像Ｏ、画像Ｐの信号レベルに応じて生成される合成比率β１を示す。図１６では、説明の便宜上ライン単位で合成比率β１を示す。実際には、１画素単位で画像Ｏ、Ｐの信号レベルを比較したり、或る区分領域に区切って画像Ｏ、Ｐの信号レベルを比較したりすること等が行われる。

グラフ１６０３は、画像Ｏを元に生成される合成比率制御信号γ１を示す。外部ストロボによる輝度変調領域が合成画像１１２に現れないような合成比率制御信号γ１が生成される。より具体的には、輝度変調領域１４０２に関しては画像Ｏを使わないように（すなわち画像Ｐを使うように）合成比率制御信号γ１が生成される。第１の実施形態では、合成比率制御信号を生成する際に、２つの画像信号を参照した。これに対し、本実施形態では、合成の対象となる２つの画像信号（前記低露出画像信号と前記高露出画像信号）のうち、前記低露出画像信号の輝度変調領域１４０２しか参照していない。前述したように本実施形態では、動き検出部１１０４は、合成の対象となる画像信号の差分値の絶対値が大きい領域は動き領域であると判断し、前記低露出画像信号を出力する。このため、外部ストロボによる輝度変調が前記高露出画像信号に発生した場合には、外部ストロボによる輝度変調が発生した領域（輝度変調領域）を動き検出部１１０４で検出することができる。したがって、前述したように本実施形態では、前記低露出画像信号と前記高露出画像信号のうち、前記低露出画像信号の輝度変調領域１４０２しか参照しない。

グラフ１６０４は、動き検出情報α１、レベルに応じた合成比率β１、及び合成比率制御信号γ１を元に、合成比率決定部１１０５で決定され、合成比率調整部１０９及び１１０に渡される合成比率δ１を示す。合成比率決定部１１０５は、合成比率制御信号γ１が０（ゼロ）の領域に対する合成比率δ１を、それに従い０（ゼロ）とする。次に、合成比率決定部１１０５は、それ以外の領域（γ１＝１の領域）のうち、動き検出情報α１が１の領域に対する合成比率δ１を、１とする。最後に、合成比率決定部１１０５は、合成比率が決定していない領域の合成比率δ１については、レベルに応じた合成比率β１に従って決定する。

以上のように本実施形態では、動き検出領域については、低露出画像信号を選択した後、低露出画像信号の輝度変調領域については、高露出画像信号画像Ｏを優先的に選択し、残りの領域については、レベルに応じて低露出画像信号と高露出画像信号を合成する。したがって、高ダイナミックレンジの撮像を行う撮像装置においても、合成後の画像信号上に外部ストロボの影響が発生することを抑制することが可能になり、第１の実施形態で説明した効果と同様の効果を奏する。また、低露出画像信号と高露出画像信号を合成する領域については、高ダイナミックレンジの画像を生成することが可能となる。

（第３の実施形態）
次に、本発明の第３の実施形態を説明する。第１の実施形態では、リセット開始のタイミングのずれ量Δｔを、外部ストロボの平均発光時間に基づいて予め決定し、所定の時間で固定した場合を例に挙げて説明した。これに対し、本実施形態では、リセット開始のタイミングのずれ量Δｔを動的に決定する場合について説明する。このように本実施形態と第１の実施形態とは、リセット開始のタイミングのずれ量Δｔを決定するための構成及び処理が主として異なる。したがって、本実施形態の説明において、第１、第２の実施形態と同一の部分については、図１〜図１６に付した符号と同一の符号を付す等して詳細な説明を省略する。

図１７は、本実施形態の撮像装置の構成の一例を示すブロック図を示す。
本実施形態の撮像装置は、図１に示した第１の実施形態の撮像装置に対して、合成比率演算部１０６が、合成後に現れる輝度変調領域の情報を制御部１１３に渡す制御線１７０１が追加されたものである。
撮像装置は、リセット開始のタイミングのずれ量Δｔが０（ゼロ、Δｔ＝０）の状態で撮像する。そして、撮像装置は、外部ストロボが発光した場合に、連続して撮像された２つの画像信号を合成した後に現れる輝度変調領域を元に、リセット開始のタイミングのずれ量Δｔを決定する。そのために、合成比率演算部１０６は、輝度変調領域判定部１０３から得られる輝度変調領域情報を元に、合成画像１１２上に現れる輝度変調領域を判定し、その判定の結果を、制御線１７０１を介して制御部１１３に渡す。

図１８は、撮像素子１０１を駆動する際の本実施形態の撮像装置の動作の概要の一例を説明するフローチャートである。
まず、ステップＳ１８０１において、輝度変調領域判定部１０３は、外部ストロボの発光による輝度変調領域を判定する。第１の実施形態で述べたように、外部ストロボによって輝度変調を受けている領域を輝度変調領域情報として出力する。
次に、ステップＳ１８０２において、合成比率演算部１０６は、画像合成後に輝度変調領域が発生するライン数を算出する。

図１９は、合成画像１１２上に現れる輝度変調領域を判定する方法の一例を説明する図である。
本実施形態の撮像装置において、リセット開始のタイミングのずれ量Δｔ＝０で撮像したときに外部ストロボが発光すると、例えば、図２２に示したようにして撮像素子１０１における電荷の蓄積と読み出しとが行われる。
図２２に示すチャート２２０５、２２０６に従って読み出される画像信号が、それぞれ、画像信号１９０１、１９０２（画像Ｘ、Ｙ）に対応する。

図１９において、グラフ１９０３は、画像Ｘを元に輝度変調領域判定部１０３で生成される輝度変調領域情報を示し、グラフ１９０４は、画像Ｙを元に輝度変調領域判定部１０３で生成される輝度変調領域情報を示す。合成比率演算部１０６は、メモリ１０５を介して、これら両方の輝度変調領域情報から、画像合成後に輝度変調領域が発生するライン数を算出する。グラフ１９０５は、これら両方の輝度変調領域情報（グラフ１９０３、１９０４）の論理積を取った結果を示す。領域１９０６が、画像合成後に輝度変調領域として残ってしまうラインに相当する。合成比率演算部１０６は、演算した結果（ライン数）を制御部１１３に渡す。

図１８の説明に戻り、ステップＳ１８０３において、制御部１１３は、合成比率演算部１０６により算出されたライン数と、撮像素子１０１の１ラインの読み出し時間ｔｌから、（式４）に従って、外部ストロボの発光時間ｔを算出する。（式４）における左辺の変数Ｘ'は、２つの画像信号間で発生する外部ストロボによる輝度変調を受けるラインであり、合成比率演算部１０６で算出されたライン数に相当する。また、リセット開始のタイミングのずれ量Δｔは０（ゼロ、Δｔ＝０）である。以上から外部ストロボの発光時間ｔが簡単に求まる。

次に、ステップＳ１８０４において、制御部１１３は、ステップＳ１８０３で算出された外部ストロボの発光時間ｔを元に、リセット開始のタイミングのずれ量Δｔを算出する。（式４）から、リセット開始のタイミングのずれ量Δｔを、外部ストロボの発光時間ｔ以上の値にすることで、連続する２つの画像信号間で発生する外部ストロボによる輝度変調を受けるラインを０にすることができる。制御部１１３は、撮像素子１０１に対して、このようにして算出したリセット開始のタイミングのずれ量Δｔで撮像するように撮像素子制御部１０２へ制御信号を渡す。そして、撮像素子制御部１０２は、リセット開始のタイミングのずれ量Δｔに基づいて、撮像素子１０１における電荷の蓄積時間を制御する。

以上のように本実施形態では、連続して撮像された２つの画像信号を解析し、当該２つの画像信号に共通して存在する輝度変調領域に対応するライン数を導出する。そして、導出したライン数と、撮像素子１０１の１ラインの読み出し時間と、リセット開始のタイミングの現在のずれ量とに基づいて、外部ストロボの発光時間を算出する。したがって、第１の実施形態で説明した効果に加え、以下の効果が得られる。すなわち、撮像装置で映像を記録する前に、合成後の画像信号に外部ストロボによる影響が出ないように撮像素子１０１を駆動することができ、且つ、外部ストロボが発光していない状況下ではリセット開始のタイミングをずらすことなく撮像することができる。

＜変形例＞
本実施形態では、リセット開始のタイミングのずれ量Δｔが０（ゼロ、Δｔ＝０）で撮像された画像信号から外部ストロボの発光時間ｔを算出した。しかしながら、リセット開始のタイミングのずれ量Δｔが０（ゼロ）では無い場合であって、外部ストロボの発光時間ｔが、リセット開始のタイミングのずれ量Δｔより大きい場合も、同様に（式４）により、外部ストロボの発光時間ｔを算出することができる。この場合、（式４）には、リセット開始のタイミングのずれ量Δｔの現在値を与える。また、第１の実施形態に示したように、外部ストロボの平均発光時間を元に予め決定されたリセット開始のタイミングのずれ量Δｔの値を調整することもできる。
また、本実施形態の構成を第２の実施形態に適用することもできる。

（第４の実施形態）
次に、本発明の第４の実施形態を説明する。本実施形態では、第１の実施形態に対し、リセット開始のタイミングのずれ量Δｔで撮像された２つの画像信号を合成して得た画像信号の露出を補償する構成を付加したものである。したがって、本実施形態の説明において、第１〜第３の実施形態と同一の部分については、図１〜図１９に付した符号と同一の符号を付す等して詳細な説明を省略する。

図２０は、本実施形態の撮像装置の構成の一例を示すブロック図である。
本実施形態の撮像装置は、図１に示した第１の実施形態の撮像装置と比較し、２つのフレームメモリ２００４、２００５を有することと、２つのメモリ２００２、２００３を有することと、露出補正用画像信号を生成するための構成が追加されたことが異なる。具体的に、露出補正用画像信号を生成する補正信号生成処理を実行するための構成として、露出補正信号生成部２００７と、露出補正部２００８とが撮像装置に備わる。本実施形態の撮像装置は、リセット開始のタイミングのずれ量Δｔで連続して撮像された２つの画像信号を合成した画像信号において過少になっている露出を、他のフレームの画像信号に基づいて補償する。

図２０において、合成比率算出部２００１は、図１に示した合成比率算出部１０４と異なり、２つのメモリ（第１のメモリ２００２と、第２のメモリ２００３）を有する。合成比率演算部１０６は、第１のメモリ２００２及び第２のメモリ２００３から出力される輝度変調領域情報に基づいて合成比率制御信号を生成する。
第１のフレームメモリ２００４及び第２のフレームメモリ２００５は、撮像素子１０１から出力される画像信号を１フレーム分保持するフレームメモリである。第２のフレームメモリ２００５は、第１のフレームメモリ２００４から出力される画像信号を１フレーム分保持する。

画像合成部２００６は、図１に示した画像合成部１０８に対し、露出補正信号生成部２００７と、露出補正部２００８とが追加されたものである。合成比率調整部１０９、１１０は、それぞれ、第１のフレームメモリ２００４、第２のフレームメモリ２００５から出力される画像信号に対して、合成比率演算部１０６から出力される合成比率制御信号に応じた合成比率でゲイン処理を行う。
露出補正信号生成部２００７は、撮像素子１０１から出力される画像信号から、制御部１１３から送られてくる制御信号に応じて、露出補正用画像信号を生成する。
露出補正部２００８は、合成部１１１から出力される合成後の画像信号と、露出補正信号生成部２００７から出力される露出補正用画像信号とを合成（加算）して、合成画像２００９を出力する。

図２１を参照して、本実施形態の撮像装置の全体制御のタイミングの一例を説明する。同一符号を付した箇所については、説明を省略する。
画像信号２１０１は、撮像素子１０１から読み出される画像信号を示す。
画像信号２１０２、２１０３は、それぞれ、第１のフレームメモリ２００４、第２のフレームメモリ２００５から出力される画像信号を示す。画像信号を、出力順に、画像Ｏ、画像Ｐ、画像Ｑ、画像Ｒとしている。
第１のフレームメモリ２００４は、撮像素子１０１から出力された画像信号を１フレーム分保持する。第２のフレームメモリ２００５は、フレームメモリ２００４から出力された画像信号を１フレーム分保持する。

輝度変調領域情報２１０４は、輝度変調領域判定部１０３から出力される輝度変調領域情報を示す。
輝度変調領域情報２１０５、２１０６は、それぞれ、第１のメモリ２００２、第２のメモリ２００３から出力される輝度変調領域情報を示す。図２１では、画像信号の番号に沿って順に、輝度変調領域情報（ｏ）、（ｐ）、（ｑ）、（ｒ）と表記している。
合成比率信号２１０７は、合成比率演算部１０６で生成される合成比率制御信号を示す。合成比率制御信号γ１は、第１のメモリ２００２から出力される輝度変調領域情報（ｐ）と第２のメモリ２００３から出力される輝度変調領域情報（ｏ）とを元に生成される。同様に、合成比率制御信号γ２は、第１のメモリ２００２から出力される輝度変調領域情報（ｑ）と第２のメモリ２００３から出力される輝度変調領域情報（ｒ）とを元に生成される。合成比率制御信号γ１、γ１２を生成する方法は、第１の実施形態で説明した方法と同じである。

画像信号２１０８は、合成部１１１で合成された画像信号を示す。画像Ｏと画像Ｐは、合成比率制御信号γ１に従って、合成比率調整部１０９、１１０でゲイン処理が成される。このことは、第１の実施形態で説明したのと同じである。
露出補正用画像信号２１０９は、露出補正信号生成部２００７で生成される露出補正用画像信号を示す。画像Ｏと画像Ｐとが合成された画像信号が出力されるタイミングで制御部１１３から出力される制御信号に基づいて、画像Ｑに基づく露出補正用画像信号が生成される。制御部１１３から出力される制御信号は、撮像素子１０１におけるリセット開始のタイミングのずれ量Δｔに応じた露出の過少分を補償するように計算されたゲイン量を指示する信号である。露出補正信号生成部２００７は、このゲイン量に基づいて、画像Ｑに対してゲイン処理を行ったものを露出補正用画像信号として生成する。撮像素子１０１におけるリセット開始のタイミングのずれ量Δｔが０（ゼロ、Δｔ＝０）のときの電荷の蓄積時間をＴとすると、ゲイン量Ｇａは、以下の（式７）で表される。
Ｇａ＝Δｔ／（Ｔ−Δｔ） ・・・（式７）

合成画像２１１０は、合成部１１１で合成された画像信号と露出補正信号生成部２００７で生成された露出補正用画像信号とを露出補正部２００８で合成したものを示す。画像Ｏと画像Ｐの合成画像に対して次のフレームである画像Ｑから生成された画像補正信号Ｑ'が加算される。同様に、画像Ｐと画像Ｑの合成画像に対して次のフレームである画像Ｒから生成された画像補正信号Ｒ'が加算される。

以上のように本実施形態では、リセット開始のタイミングのずれ量Δｔに起因する露光の過少に応じたゲイン量で次の画像信号に対してゲイン処理を行って露出補正用画像信号を生成する。そして、連続して撮像された２つの画像信号を第１の実施形態で説明したようにして合成した画像信号を露出補正用画像信号で補償する。これにより、ゲインアップによる露出の補償よりもＳ／Ｎのよい合成画像２００９を得ることが可能となる。また、図示しない光学系の絞り値を変更するよりも、急峻な露出補償が可能となる。
また、本実施形態の構成を第２の実施形態又は第３の実施形態に適用することもできる。

尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）が当該コンピュータプログラムを読み出して実行する。

１０１ 撮像素子、１０３ 輝度変調領域判定部、１０４ 合成比率算出部、１０８ 画像合成部

Claims (23)

1. 行列状に配置された複数の画素を有する撮像素子で連続して撮像された複数の画像信号を合成して画像信号を生成する撮像装置であって、
   前記画像信号を得るための前記撮像素子における電荷の読み出しを行ってから、その次の前記画像信号を得るための前記撮像素子における電荷の蓄積を開始するまでの時間であるずれ時間を設定する設定手段と、
   前記設定手段により設定されたずれ時間に基づいて、前記撮像素子の動作を制御する撮像素子制御手段と、
   前記撮像素子制御手段により動作が制御された前記撮像素子で撮像された前記複数の画像信号の輝度値に基づいて、輝度が変調している領域である輝度変調領域を、前記複数の画像信号のそれぞれについて判定する領域判定手段と、
   前記領域判定手段により判定された輝度変調領域に基づいて、前記複数の画像信号の合成比率を算出する合成比率算出手段と、
   前記合成比率算出手段により算出された合成比率で、前記撮像素子制御手段により動作が制御された前記撮像素子で撮像された前記複数の画像信号を合成する合成手段と、
   を有することを特徴とする撮像装置。
2. 前記合成比率算出手段は、前記領域判定手段により、前記複数の画像信号の少なくとも１つの画像信号に、前記輝度変調領域となる領域があると判定され、且つ、前記複数の画像信号の残りの画像信号の、当該領域に対応する領域が前記輝度変調領域ではないと判定された場合、当該領域については、前記複数の画像信号の残りの画像信号を使用するように、前記合成比率を算出することを特徴とする請求項１に記載の撮像装置。
3. 前記合成比率算出手段は、前記領域判定手段により、前記複数の画像信号の相互に対応する領域が、前記輝度変調領域でないと判定された場合、当該領域については、当該複数の画像信号を合成して使用するように、前記合成比率を算出することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記複数の画像信号は、相対的に露出が高い高露出画像信号と、相対的に露出が低い低露出画像信号であることを特徴とする請求項１〜３の何れか１項に記載の撮像装置。
5. 前記高露出画像信号と前記低露出画像信号の信号レベルを合わせるレベル調整手段と、
   前記レベル調整手段により信号レベルが合わせられた、前記高露出画像信号と前記低露出画像信号との信号レベルの差分に基づいて被写体の動きを検出する動き検出手段と、
   前記合成比率算出手段により算出された合成比率と、前記動きが検出された領域である動き検出領域と、前記レベル調整手段により信号レベルが合わせられた前記高露出画像信号および前記低露出画像信号と、に基づいて、前記合成比率を決定する合成比率決定手段と、を更に有することを特徴とする請求項４に記載の撮像装置。
6. 前記合成比率算出手段は、
   前記低露出画像信号の前記輝度変調領域については、前記高露出画像信号を使用し、前記低露出画像信号の前記輝度変調領域と異なる領域については、前記低露出画像信号を使用するように、前記合成比率を算出し、
   前記合成比率決定手段は、
   前記動き検出領域については、前記高露出画像信号および前記低露出画像信号のうち予め定められた一方の画像信号を使用し、前記動き検出領域と異なる領域については、他方の画像信号を使用し、
   前記低露出画像信号の前記輝度変調領域については、前記動き検出領域に基づいて使用するとされた画像信号に関わらず、前記高露出画像信号を使用し、
   その他の領域については、前記レベル調整手段により信号レベルが合わせられた前記高露出画像信号および前記低露出画像信号の信号レベルに応じて前記高露出画像信号および前記低露出画像信号を合成して使用するように、前記合成比率を決定することを特徴とする請求項５に記載の撮像装置。
7. 前記複数の画像信号の両方に共通する前記輝度変調領域に存在する前記撮像素子のライン数と、前記撮像素子の１ラインの読み出し時間とに基づいて、前記ずれ時間を導出するずれ時間導出手段を更に有することを特徴とする請求項１〜６の何れか１項に記載の撮像装置。
8. 前記ずれ時間は、外部発光手段の平均発光時間に基づいた所定の時間であることを特徴とする請求項１〜６の何れか１項に記載の撮像装置。
9. 前記撮像素子制御手段により動作が制御された前記撮像素子で撮像された画像信号であって、前記複数の画像信号と異なる画像信号に対して、前記ずれ時間と、当該ずれ時間に対応する前記撮像素子における電荷の蓄積時間とに基づくゲインをかけることにより得られた信号を露出補正用画像信号として生成する補正信号生成手段と、
   前記補正信号生成手段により生成された露出補正用画像信号と前記合成手段により合成された複数の画像信号とを合成する露出補正手段と、を更に有することを特徴とする請求項１〜８の何れか１項に記載の撮像装置。
10. 少なくとも絞りを含む光学系と、
    前記光学系の動作を制御する光学系制御手段と、を更に有し、
    前記光学系制御手段は、前記ずれ時間と、当該ずれ時間に対応する前記撮像素子における電荷の蓄積時間とに基づく絞り値になるように、前記光学系の絞りを制御することを特徴とする請求項１〜８の何れか１項に記載の撮像装置。
11. 前記撮像装置の露出制御パラメータに応じて、前記ずれ時間に基づく前記撮像素子の動作の制御を行うか否かを判断する判断手段を更に有し、
    前記撮像素子制御手段は、前記判断手段により、前記ずれ時間に基づく前記撮像素子の動作の制御を行わないと判断されると、前記ずれ時間を０（ゼロ）として前記撮像素子の動作を制御することを特徴とする請求項１〜１０の何れか１項に記載の撮像装置。
12. 行列状に配置された複数の画素を有する撮像素子で連続して撮像された複数の画像信号を合成して画像信号を生成する撮像装置の制御方法であって、
    前記画像信号を得るための前記撮像素子における電荷の読み出しを行ってから、その次の前記画像信号を得るための前記撮像素子における電荷の蓄積を開始するまでの時間であるずれ時間を設定する設定工程と、
    前記設定工程により設定されたずれ時間に基づいて、前記撮像素子の動作を制御する撮像素子制御工程と、
    前記撮像素子制御工程により動作が制御された前記撮像素子で撮像された前記複数の画像信号の輝度値に基づいて、輝度が変調している領域である輝度変調領域を、前記複数の画像信号のそれぞれについて判定する領域判定工程と、
    前記領域判定工程により判定された輝度変調領域に基づいて、前記複数の画像信号の合成比率を算出する合成比率算出工程と、
    前記合成比率算出工程により算出された合成比率で、前記撮像素子制御工程により動作が制御された前記撮像素子で撮像された前記複数の画像信号を合成する合成工程と、
    を有することを特徴とする撮像装置の制御方法。
13. 前記合成比率算出工程は、前記領域判定工程により、前記複数の画像信号の少なくとも１つの画像信号に、前記輝度変調領域となる領域があると判定され、且つ、前記複数の画像信号の残りの画像信号の、当該領域に対応する領域が前記輝度変調領域ではないと判定された場合、当該領域については、前記複数の画像信号の残りの画像信号を使用するように、前記合成比率を算出することを特徴とする請求項１２に記載の撮像装置の制御方法。
14. 前記合成比率算出工程は、前記領域判定工程により、前記複数の画像信号の相互に対応する領域が、前記輝度変調領域でないと判定された場合、当該領域については、当該複数の画像信号を合成して使用するように、前記合成比率を算出することを特徴とする請求項１２又は１３に記載の撮像装置の制御方法。
15. 前記複数の画像信号は、相対的に露出が高い高露出画像信号と、相対的に露出が低い低露出画像信号であることを特徴とする請求項１２〜１４の何れか１項に記載の撮像装置の制御方法。
16. 前記高露出画像信号と前記低露出画像信号の信号レベルを合わせるレベル調整工程と、
    前記レベル調整工程により信号レベルが合わせられた、前記高露出画像信号と前記低露出画像信号との信号レベルの差分に基づいて被写体の動きを検出する動き検出工程と、
    前記合成比率算出工程により算出された合成比率と、前記動きが検出された領域である動き検出領域と、前記レベル調整工程により信号レベルが合わせられた前記高露出画像信号および前記低露出画像信号と、に基づいて、前記合成比率を決定する合成比率決定工程と、を更に有することを特徴とする請求項１５に記載の撮像装置の制御方法。
17. 前記合成比率算出工程は、
    前記低露出画像信号の前記輝度変調領域については、前記高露出画像信号を使用し、前記低露出画像信号の前記輝度変調領域と異なる領域については、前記低露出画像信号を使用するように、前記合成比率を算出し、
    前記合成比率決定工程は、
    前記動き検出領域については、前記高露出画像信号および前記低露出画像信号のうち予め定められた一方の画像信号を使用し、前記動き検出領域と異なる領域については、他方の画像信号を使用し、
    前記低露出画像信号の前記輝度変調領域については、前記動き検出領域に基づいて使用するとされた画像信号に関わらず、前記高露出画像信号を使用し、
    その他の領域については、前記レベル調整工程により信号レベルが合わせられた前記高露出画像信号および前記低露出画像信号の信号レベルに応じて前記高露出画像信号および前記低露出画像信号を合成して使用するように、前記合成比率を決定することを特徴とする請求項１６に記載の撮像装置の制御方法。
18. 前記複数の画像信号の両方に共通する前記輝度変調領域に存在する前記撮像素子のライン数と、前記撮像素子の１ラインの読み出し時間とに基づいて、前記ずれ時間を導出するずれ時間導出工程を更に有することを特徴とする請求項１２〜１７の何れか１項に記載の撮像装置の制御方法。
19. 前記ずれ時間は、外部発光手段の平均発光時間に基づいた所定の時間であることを特徴とする請求項１２〜１７の何れか１項に記載の撮像装置の制御方法。
20. 前記撮像素子制御工程により動作が制御された前記撮像素子で撮像された画像信号であって、前記複数の画像信号と異なる画像信号に対して、前記ずれ時間と、当該ずれ時間に対応する前記撮像素子における電荷の蓄積時間とに基づくゲインをかけることにより得られた信号を露出補正用画像信号として生成する補正信号生成工程と、
    前記補正信号生成工程により生成された露出補正用画像信号と前記合成工程により合成された複数の画像信号とを合成する露出補正工程と、を更に有することを特徴とする請求項１２〜１９の何れか１項に記載の撮像装置の制御方法。
21. 少なくとも絞りを含む光学系の動作を制御する光学系制御工程と、を更に有し、
    前記光学系制御工程は、前記ずれ時間と、当該ずれ時間に対応する前記撮像素子における電荷の蓄積時間とに基づく絞り値になるように、前記光学系の絞りを制御することを特徴とする請求項１２〜１９の何れか１項に記載の撮像装置の制御方法。
22. 前記撮像装置の露出制御パラメータに応じて、前記ずれ時間に基づく前記撮像素子の動作の制御を行うか否かを判断する判断工程を更に有し、
    前記撮像素子制御工程は、前記判断工程により、前記ずれ時間に基づく前記撮像素子の動作の制御を行わないと判断されると、前記ずれ時間を０（ゼロ）として前記撮像素子の動作を制御することを特徴とする請求項１２〜２１の何れか１項に記載の撮像装置の制御方法。
23. 請求項１２〜２２の何れか１項に記載の撮像装置の制御方法の各工程をコンピュータに実行させることを特徴とするコンピュータプログラム。

Images