JP2023010307A - 画像処理装置およびその制御方法、プログラム - Google Patents

Abstract

【課題】 動画における残像表現と非残像表現とを、違和感なく両立した撮影をすることを可能にした撮像装置を提供すること。
【解決手段】 撮像手段により時系列に撮像された第１および第２の画像、及び該第１及び第２の画像に対応する距離情報を取得する取得手段と、前記第１の画像から、予め定めた値よりも大きな輝度値を持った残像領域を抽出し、該残像領域を含む残像画像を生成する残像抽出手段と、前記第１の画像に対応する距離情報のなかで前記残像画像に対応する残像距離情報に基づいて、前記第２の画像と前記残像画像とを合成する合成手段と、
を有することを特徴とする画像処理装置。
【選択図】 図２

Description

本発明は、動画撮影が可能な撮像装置に関し、特に動画による残像表現を行うものである。

デジタルカメラなどの撮像装置において、露光を長時間行う撮影（以後、「長秒撮影」と呼ぶ。）によって光の軌跡による残像表現を利用した花火文字などのライトペインティングを行うことが出来る。使用する光源としては花火やＬＥＤなどがある。特許文献１では、キーフレームを残像として表示しながら、被写体の動きを表示する動画を作成する手法が開示されている。また、特許文献２には動画の軌跡を残す技術として、入力された映像に含まれる映像から移動体の候補を抽出し、抽出した移動体を画像合成する手法が開示されている。

特開２００７―３２８７５５号公報 特許４１８１４３７号公報

しかしながら、上述の特許文献１に開示された従来技術では、残像ないし軌跡が合成されている部分に新たに被写体が入った場合に、残像の合成有無をフレームの時系列の前後関係で判断している。そのため、合成結果が撮影者の意図に合わない場合が生じうる。例えば、特定の人物だけを残像で隠したくないとして、その人物の前を横切る被写体があった場合に、特定の人物が残像で隠れることが起こり得る。

また、上述の特許文献２に開示された従来技術では、移動体の候補を抽出し、抽出するために複雑な演算を行う必要がある。そのため、撮像装置としてリアルタイムに画像を処理することは困難であり、こちらも合成結果が撮影者の意図に合わない場合が生じうる。

そこで、本発明の目的は、動画における残像表現と非残像表現とを、よりユーザーの意図に沿うように両立した撮影をすることを可能にした画像処理装置および画像処理装置の制御方法を提供することである。

上記課題を解決するために、本発明の画像処理装置は、撮像手段により時系列に撮像された第１および第２の画像、および該第１及び第２の画像に対応する距離情報を取得する取得手段と、前記第１の画像から、予め定めた値よりも大きな輝度値を持った残像領域を抽出し、該残像領域を含む残像画像を生成する残像抽出手段と、前記第１の画像に対応する距離情報のなかで前記残像画像に対応する残像距離情報に基づいて、前記第２の画像と前記残像画像とを合成する合成手段と、を有することを特徴とする。

本発明によれば、動画における残像表現と非残像表現とを、よりユーザーの意図に沿うように両立した撮影をすることを可能にする。

第１の実施形態に係る撮像装置の構成を示すブロック図 第１の実施形態に係る撮影および画像合成動作を説明したフロー図 第１の実施形態に係る特定被写体領域の抽出を説明した図 第１の実施形態に係る、高輝度残像と特定被写体の画像領域の重なり抽出を説明した図 第１の実施形態に係る画像合成結果を説明した図 第２の実施形態に係る撮像装置の構成を示すブロック図 第２の実施形態に係る撮影および画像合成動作を説明したフロー図 第３の実施形態に係る撮像装置の構成を示すブロック図 第３の実施形態に係る撮影動作の概要フローチャート 第３の実施形態に係る画像処理動作の詳細動作フローチャート 第３の実施形態に係る画像処理に使用する入出力特性係数（ガンマカーブ） 第３の実施形態に係る合成処理イメージ説明図 第４の実施形態に係る撮像部構成図 第４の実施形態に係る撮像部の動作概念図

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。なお、本発明は以下に説明する実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

以下、図１から図５を参照して、本発明の第１の実施例を説明する。

本実施例では、動画における任意のフレームから輝度の高い残像（以後、「高輝度残像」と呼ぶ。）の領域を抽出（残像抽出）し、その後のフレームに合成する撮像装置において、合成時に特定の被写体の検出を行って、特定の被写体には高輝度残像を合成しない撮像システムについて説明する。

図１は、本発明の第一の実施例に係る撮像装置１００の概略構成を示す図である。

制御部１０１は、シグナルプロセッサであり、後述するＲＯＭ１０５に予め内蔵されたプログラムを読み出しながら、撮像装置１００の各部分を制御する。例えば、制御部１０１が、後述する撮像部１０４に対して撮像動作の開始と終了について指令を出す。または、後述する画像処理部１０７に対して、ＲＯＭ１０５に内蔵されたプログラムに基づいて、画像処理の指令を出す。ユーザーによる指令は、後述する操作部１１０によって撮像装置１００に入力され、制御部１０１を介して、撮像装置１００の各ブロックに達する。

駆動部１０２は、モーターなどによって構成され、制御部１０１の指令の下で、後述する撮影レンズである光学系１０３を駆動させる。

たとえば、制御部１０１の指令に基づいて、駆動部１０２が光学系１０３に含まれるズームレンズ１０３－１や、フォーカスレンズ１０３－２の位置を移動させ、光学系１０３の焦点位置を調整する。また、光学系１０３には、後述する撮像部１０４に対して入射する光束を制限する為の絞り１０３－３も備えている。

光学系１０３は、倍率調整を行うズームレンズ１０３－１、焦点位置調整を行うフォーカスレンズ１０３－２を含む撮影レンズ、および、後述する撮像部１０４に対しての入射光束を制限する絞り１０３－３により構成され、露出・深度調整などが可能となっている。なお、ズームレンズ１０３－１やフォーカスレンズ１０３－２、絞り１０３－３の撮影時の光学系情報は、撮影情報として使用する為、画像処理部１０７に送られ、後述するＲＯＭ１０５に予め記憶されている色比補正データなどの選定条件として用いられる。また、光学系１０３として撮像装置１００において着脱可能なレンズ装置を用いることも可能である。光学系１０３を介し、被写体像は後述の撮像部１０４の撮像面上に結像する。

撮像部１０４は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子であり、光学系１０３により撮像部１０４の撮像面上に結像された被写体像を光電変換し、アナログ画像信号を得る。得られたアナログ信号データはＡ／Ｄ変換部などを介してデジタル画像データに変換され、後述するＲＡＭ１０６に一時的に保存される。

ＲＯＭ１０５は、読み出し専用の不揮発性メモリであり、撮像装置１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータや、画像補正に必要な補正データを記憶している。

ＲＡＭ１０６は、書き換え可能な揮発性メモリであり、撮像装置１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。また、ＲＡＭ１０６には撮影時に必要な情報を記憶する領域もある。

画像処理部１０７は、ＲＡＭ１０６に記憶されている画像データあるいは後述する内蔵メモリ１０９に記録されている画像のデータに対して、ホワイトバランス調整、色補間、フィルタリングなど、様々な画像処理を行う。レンズ情報に伴う色比補正も、ＲＯＭ１０５に保存されている補正データと、光学系情報を基に、画像処理部１０７にて補正する。また、画像処理部１０７にてＲＡＭ１０６に記憶されている画像データに対して、ＪＰＥＧなどの規格で、圧縮処理を行う。

画像処理部１０７には、後述する「第１の画像」を記憶しておくための記憶メモリ２０１（記憶部１）と、「第２の画像」を記憶しておくための記憶メモリ２０２（記憶部２）も備える。また、「第２の画像」を更新するための第１の画像合成部２０３、および、「第１の画像」と「第２の画像」を合成するための第２の画像合成部２０４を備える。そして、高輝度残像や人物や動物などを認識し抽出する被写体検出部２０５、画像合成部２０３および画像合成部２０４を制御する合成制御部２０６も備えている。

表示部１０８は、ＲＡＭ１０６に一時保存されている画像データ、または、後述する内蔵メモリ１０９に保存されている画像データ、あるいは、撮像装置１００の設定画面などを表示するための液晶ディスプレイなどである。

なお、表示部１０８は、タッチパネル機能を有しており、ユーザーが撮像装置の機能設定をするためのメニュー操作等の、後述する操作部１１０の機能も一部備えている。

例えば、後述する特定の被写体の選択も、表示部１０８にて表示された設定画面より、ユーザーが設定できるものである。

内蔵メモリ１０９は、撮像部ＲＡＭ１０６にて記憶された画像データや画像や画像処理部１０７の処理を行なった画像データを記録画像として記録する。

操作部１１０は、例えば、撮像装置１００につけるボタンやスイッチ、キー、モードダイヤルなど、あるいは、前述の表示部１０８に兼用されるタッチパネルなどである。例えば、撮影開始スイッチなども該操作部１１０内に含まれている。ユーザーによる指令は、操作部１１０を経由して、制御部１０１に達する。

次に、図２を用いて、動画記録の動作について説明する。

まず、図２は本実施例における撮影動作の概要を示したフローチャートである。本動作は操作部１１０内にある撮影開始スイッチがオンされることにより動作を開始する。

ステップＳ１００１では、制御部１０１が駆動部１０２や撮像部１０４に対して、絞りや露光時間などの各種撮影条件を設定する。また、制御部１０１は画像処理部１０７における被写体認識部２０５に対して後述する特定の被写体を設定する。なお、この時に設定される特定の被写体は複数でもよい。

ステップＳ１００２では、光学系１０３を介して、撮像部１０４に入射する光を電荷変換して電気信号として後段の画像処理部１０７に転送する、いわゆる、周知の撮影動作を行う。また、撮影された画像は記憶メモリ２０１に保存される。以後、ステップＳ１００２で撮影された画像を第一の画像と呼ぶ。

ステップＳ１００３では、合成制御部２０６により記憶メモリ２０２に後述する第二の画像が保存されているかを判断し、保存されている場合はＳ１００４へ遷移し、保存されていない場合はＳ１００７へ遷移する。ステップＳ１００３において撮影開始直後は後述する第二の画像が保存されていないため、次にステップＳ１００７を説明する。

ステップＳ１００７では、合成制御部２０６により動画のフレームとして記録する画像を決定する。動画のフレームとして記録する画像はステップＳ１００７へ遷移する前のステップが何であるかによって変化し、遷移前がステップＳ１００３であれば第一の画像が記録される。遷移前がＳ１００５もしくはＳ１００６であればそれぞれのステップで合成された画像が記録され、これらの画像は画像処理部１０７により内蔵メモリ１０９へ動画として逐次保存される。

ステップＳ１００８では、記憶メモリ２０１に保存された第一の画像を読み出し、第一の画像における高輝度残像の領域を抽出する。ここで抽出される高輝度残像の領域とは、例えば予め定めた輝度の所定値よりも大きな輝度値を持った画素が存在する画像中の領域のことである。また、画像をいくつかの領域に分割し、ある領域における輝度値の平均値が予め定めた輝度の所定値よりも大きい場合、その領域を高輝度残像の領域として抽出してもよい。

このとき抽出された画像（以後、「残像画像」と呼ぶ。）においては、抽出元の第一の画像における位置関係は保存される。例えば、抽出されていない領域を、合成時に画素信号として影響しない透過データで補完することで第一の画像における高輝度残像の位置関係を保存することができる。

この時、既に記憶メモリ２０２に後述する第二の画像が存在する場合は、抽出した残像画像を画像合成部２０３により第二の画像へ合成し、新しい第二の画像として記憶メモリ２０２に保存する。第二の画像が存在しない場合は、抽出した残像画像を記憶メモリ２０２に保存する。以後、ステップＳ１００８で生成された残像画像を第二の画像と呼ぶ。また、高輝度残像の領域が無く、残像画像が抽出されなかった場合には第二の画像は記憶メモリ２０２上で保存または更新されない。

さらに、被写体認識部２０５は第一の画像からステップＳ１００１で設定された特定の被写体を認識する動作を実施し、認識された場合は特定の被写体の画像上の領域範囲情報をＲＡＭ１０６へ保存する。ここでの特定の被写体とは、例えば特定の人物や動物等を指す。

被写体検出部２０５による特定の被写体を認識する動作は周知の技術を用いてよく、例えば機械学習されたＣＮＮにより構成されていてもよい。さらに検出可能な被写体によって異なるＣＮＮにより構成されていてもよい。被写体検出部２０５は、ＧＰＵ（グラフィックス・プロセッシング・ユニット）やＣＮＮによる推定処理に特化した回路で実現されてもよい。

被写体検出部２０５には、学習済みのＣＮＮ以外の任意の学習済みモデルが用いられてもよい。例えば、サポートベクタマシンや決定木等の機械学習により生成される学習済みモデルが、被写体検出部２０５に適用されてもよい。また、被写体検出部２０５は、機械学習により生成される学習済みモデルでなくてもよい。例えば、被写体検出部２０５には、機械学習を用いない任意の被写体検出手法が適用されてもよい。

この特定の被写体の選択においては、Ｓ１００１以前にユーザーが操作部１１０を用いて被写体を選択してもよい。ここで、図３（ａ）に示す人物が特定の被写体で、図３（ｂ）が第一の画像だとした場合に、特定の被写体の画像上の領域範囲は図３（ｃ）において点線で囲われた領域となる。

ステップＳ１００９では、操作部１１０の中の撮影停止スイッチが操作されたか否かをチェックし、操作停止スイッチが操作されていなければステップＳ１００２に戻り、操作停止スイッチが操作されていれば本シーケンスを終了する。

次に、ステップＳ１００３において記憶メモリ２０２に第二の画像が保存されている場合に遷移するステップＳ１００４を説明する。

ステップＳ１００４では、合成制御部２０６により第二の画像とＲＡＭ１０６に保存された特定の被写体の画像領域が重なっているかを判断する。具体的には、合成制御部２０６は、第二の画像および特定に被写体の画像の領域範囲情報を比較し、重複領域を判定する。両領域が重なっていない場合はＳ１００５へ遷移し、重なっている場合はＳ１００６へ遷移する。ここで、図４（ａ）における白い領域が第二の画像だとした場合に、これと図３（ｃ）のそれぞれの領域を比較すればよいので、第二の画像と特定の被写体の画像領域（被写体領域）が重なっている領域は図３（ｂ）に示す斜線領域となる。また、ＲＡＭ１０６に被写体の画像上の領域範囲情報が存在しない場合においてもＳ１００６へ遷移する。

ステップＳ１００５においては、画像合成部２０４により第一の画像へ第二の画像を合成しＲＡＭ１０６に保存する。

ステップＳ１００６においては、画像合成部２０４により第一の画像へ第二の画像を合成しＲＡＭ１０６に保存する。合成時においては、第一の画像における特定の被写体領域と第二の画像における高輝度残像の領域が重なっている領域においては、第二の画像をマスクして合成する。すなわち、この重なっている領域において高輝度残像は合成されない。同様に、図４（ａ）の第二の画像に対して図４（ｂ）に示す重なった領域をマスクした上で図３（ｂ）の第一の画像と合成すると図５（ａ）のようになり、特定の被写体が残像で隠れることを防ぐことができる。なお、対比として上述するマスク処理をせずに合成を実施した場合を図５（ｂ）に示すが、この場合は特定の被写体の顔が高輝度の残像で隠れてしまっている。

このようにフレームごとに残像画像を合成していく動画において、特定の被写体を検知し、残像領域と被写体領域の重なった部分をマスクして合成することで、特定の被写体の描写を損なわない残像表現を可能とした動画を生成することができる。

以下、図６、図７を参照して、本発明の第２の実施例を説明する。

本実施例では、動画における任意のフレームから高輝度残像を抽出し、その後のフレームに合成する撮像装置において、フレーム撮影時と同時にフレームと同画角の距離マップを取得する。そして、画像の合成時には合成される領域と高輝度残像の領域の距離比較を実施し、その結果に応じて高輝度残像を合成しない撮像システムについて説明する。

図６は、本発明の第一の実施例に係る撮像装置３００の概略構成を示す図である。

図６の図１に対する違いとして、撮像装置３００には距離検知部３０１と距離比較部３０２があり、被写体認識部２０５が無い。また、記憶メモリ２０１は第一の画像以外にも後述する「第一の距離マップ」を記憶し、記憶メモリ２０２は第二の画像以外にも後述する「第二の距離マップ」を記憶する。それら以外の部分は図１と同様であり実施例１で説明済である為、ここでは説明を省略する。

距離検知部３０１は、撮像部１０４で撮影される画像と同画角内のそれぞれの位置においてカメラと被写体間の距離を計測することで距離マップを取得する。距離マップと撮像装置と被写体との距離を前記画角内における二次元座標とそれぞれの座標における距離で表したデータである。

距離および距離マップの計測方法においては、例えば一般的な撮像面位相差ＡＦにおける位相差情報を一種の距離情報として使用する手法を用いてもよい。また、ステレオカメラによる視差計測やＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）、ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）といった手法も用いることができるが、距離マップを取得することができる装置であればこれに限らない。

距離比較部３０２は、距離検知部３０１で取得した距離マップと後述する「高輝度残像の距離」を比較する。

次に、図７を用いて、動画記録の動作について説明する。

図７は本実施例における撮影動作の概要を示したフローチャートである。本動作は操作部１１０内にある撮影開始スイッチがオンされることにより動作を開始する。

ステップＳ２００１では、制御部１０１が駆動部１０２や撮像部１０４に対して、絞りや露光時間などの各種撮影条件を設定する。

ステップＳ２００２では、光学系１０３を介して、撮像部１０４に入射する光を電荷変換して電気信号として後段の画像処理部１０７に転送する、いわゆる、周知の撮影動作を行う。撮影された画像は記憶メモリ２０１に保存される。以後、ステップＳ２００２で撮影された画像を第一の画像と呼ぶ。また、同時に距離検知部３０１によって撮像部１０４と同画角の距離マップを取得し、取得した距離マップは記憶メモリ２０１に保存される。以後、ステップＳ２００２で取得した距離マップを第一の距離マップと呼ぶ。これは第一の画像に対応した距離マップとも言える。

ステップＳ２００３では、合成制御部２０６により記憶メモリ２０２に後述する第二の画像が保存されているかを判断し、保存されている場合はＳ２００４へ遷移し、保存されていない場合はＳ２００６へ遷移する。

ステップＳ２００３において撮影開始直後は後述する第二の画像が保存されていないため、次にステップＳ２００６を説明する。

ステップＳ２００６では、合成制御部２０６により動画のフレームとして採用する画像を決定する。動画のフレームとして採用する画像はステップＳ２００６へ遷移する前のステップが何であるかによって変化し、遷移前がステップＳ２００３であれば第一の画像が採用される。遷移前がＳ２００５であればステップＳ２００５で合成された画像が採用され、画像処理部１０７により内蔵メモリ１０９へ動画として逐次保存される。

ステップＳ２００７では、記憶メモリ２０１に保存された第一の画像を読み出し、第一の画像における高輝度残像の領域を抽出する。

このとき抽出された画像（残像画像）においては、抽出元の第一の画像における位置関係は保存される。例えば、抽出されていない領域を合成時に画素信号として影響しない透過データで補完することで第一の画像における位置関係を保存することができる。

この時、既に記憶メモリ２０２に後述する第二の画像が存在する場合は、抽出した残像画像を画像合成部２０３により第二の画像へ合成し、新しい第二の画像として記憶メモリ２０２に保存する。この合成において画像合成部２０３は元々保存されていた第二の画像に１未満の係数をかけて、時系列的に過去に生成された高輝度残像の画像の信号値を減少させてもよい。

画像合成部２０３は記憶メモリ２０２に保存された高輝度残像の画像の信号値を比較し、高輝度残像の領域の信号値が低くないものから画像合成してもよい。また、信号値が一定値よりも小さくなった画像については画像合成部２０３が画像合成を行わないように設定することや、記憶メモリ２０２から削除することで高輝度残像の合成を適切に制御することも可能である。これにより、高輝度残像を適切に表現した画像を生成することが可能となる。

第二の画像が存在しない場合は、抽出した高輝度残像の領域を記憶メモリ２０２に保存する。以後、ステップＳ２００７で生成された高輝度残像の画像を第二の画像と呼ぶ。また、高輝度残像の領域が無く検出および抽出されなかった場合には第二の画像は記憶メモリ２０２に保存されない。

また、ここで抽出された高輝度残像の領域と同じ領域を第一の距離マップから抽出し、記憶メモリ２０２に保存する。以後、ステップＳ２００７で生成された距離マップを第二の距離マップ（残像距離情報）と呼ぶ。

ステップＳ２００８では、操作部１１０の中の撮影停止スイッチをオンされたか否かをチェックし、オンされていなければ、ステップＳ２００２に戻り、オンされていれば本シーケンスを終了する。

次に、ステップ２００３において記憶メモリ２０２に第二の画像が保存されている場合に遷移するステップＳ２００４を説明する。

ステップＳ２００４では、距離比較部３０２により第一の距離マップと第二の距離マップとの各座標の距離を比較する。ここで第一の距離マップの距離値が第二の距離マップの距離値より小さい（カメラに近い）値を示す領域を算出し、その領域情報をＲＡＭ１０６へ保存する。以後、この領域をマスク領域と呼ぶ。

ステップＳ２００５においては、画像合成部２０４により第一の画像へ第二の画像を合成しＲＡＭ１０６に保存する。合成時においては、第二の画像に対してマスク領域をマスクして合成する。すなわち、マスク領域において高輝度残像は合成されない。

このようにフレームごとに高輝度残像を合成していく動画において、画像撮影と同時に撮影した画像に対応する距離マップを取得し、高輝度残像の距離より近い距離にいる被写体領域をマスクして合成する。これにより、残像と被写体の前後関係において違和感のない残像表現を可能とした動画を生成することができる。

以下、図８～１１を参照して、本発明の第３の実施例を説明する。

本実施例では、動画における任意のフレームについて後述のガンマカーブを用いた画像処理を行うことで高輝度残像の領域を抽出した残像画像を生成し、生成した残像画像に重みづけを行なったうえで合成処理を行う撮像システムについて説明する。

図８は、本発明の第３の実施例に係る撮像装置４００の概略構成を示す図である。

図８の図１に対する違いとして、撮像装置４００には演算部４０１があり、被写体認識部２０５が無い。演算部４０１は後述する「第四の画像」から「第五の画像」を生成する際にフレーム毎に「第四の画像」の重みづけを行う。また、本実施例において画像合成部２０３は「第四の画像」から「第五の画像」を合成生成し、画像合成部２０４は「第三の画像」と「第五の画像」から記録用画像を生成する機能を備える。また、記憶部２０１と記憶部２０２は本実施例においてそれぞれ後述の「第三の画像」と「第四の画像」を保存する機能を有する。

図１０は撮影動作の概要を示したフローチャートである。

本動作は該操作部１１０内にある撮影開始スイッチがオンされることにより動作を開始する。

ステップＳ３００１は、光学系１０３を介して、撮像部１０４に入射する電荷変換して電気信号として後段の画像処理部１０７に転送する、いわゆる、周知の撮影動作を行う。

ステップＳ３００２は、ステップＳ３００１で転送された撮像された信号を画像処理部１０７にて、動画像として画像処理を行う（画像処理動作）。本ステップＳ３００２の動作の詳細は図１０および図１１にて後述する。

ステップＳ３００３は、画像処理部１０７にて処理を行なった画像信号を、内蔵メモリ１０９を記録する。

ステップＳ３００４は、操作部１１０の中の撮影停止スイッチが操作されたか否かをチェックし、操作されていなければ、ステップＳ３００１に戻り、操作されていれば本シーケンスを終了する。

つづいて、図１０および図１１を用いて図９のステップＳ３００２の画像処理動作の詳細動作を説明する。

図１０は図９のステップＳ３００２の画像処理動作の詳細動作を示したフローチャートである。

図１１は、本フローチャート内で説明する画像処理に使用する入出力特性係数（ガンマカーブ）を示した図である。

図１０において、ステップＳ４００１は、ステップＳ３００１にて電気信号として転送された撮像データを、画像データに変換する予め準備された第１の入出力特性係数（第１のガンマカーブ）に伴った第１のガンマ処理を行い、第三の画像を生成する。

本処理に使用する第１のガンマカーブを図１１（ａ）に示す。第１のガンマカーブは、低輝度から高輝度まで徐々に変換をかけるための通常のガンマカーブとなっている。

ステップＳ４００２は、ステップＳ４００１で変換した第三の画像を、画像処理部１０７内の記憶メモリ２０１（記憶部１）に保存する。

ステップＳ４００３は、ステップＳ３００１にて電気信号として転送された撮像データを、画像データに変換する予め準備された第２の入出力特性係数（第２のガンマカーブ）に伴った第２のガンマ処理を行い、第四の画像を生成する。

本処理に使用する第２のガンマカーブを図１１（ｂ）に示す。第２のガンマカーブは、低輝度は変化せず、高輝度のみ変換をかけるための高輝度に特化したガンマカーブである。

ステップＳ４００４は、ステップＳ４００３で変換した第四の画像を、画像処理部１０７内の記憶メモリ２０２（記憶部２）に保存する。

なお、記憶メモリ２０２には複数の画像を保存できる記憶領域を備える。例えば、記憶領域１から記憶領域１０までの１０枚分のメモリを備えており、新しいものから順に記憶領域１から記憶領域１０としてメモリに保存される。

ステップＳ４００５は、後述する合成処理の事前準備として、演算部４０１にて、記憶領域１から記憶領域１０の画像を比較する。演算部４０１は記憶領域１から記憶領域１０の画像から、変化が予め定めた設定値よりも小さい部分を抽出し、抽出した部分について除去（画像の信号値を出力０に変換）を行う。

ステップＳ４００６は、ステップＳ４００５と同様に、演算部４０１にて、記憶メモリ２０２に保存された各領域の画像の信号値に、重みづけを行うための係数掛けを行う。例えば、新しい画像である記憶領域１の画像には１００％、古い画像に徐々に係数をかけ、記憶領域１０の画像には１０％をかける。これにより、保存が過去に行われた画像ほど信号値が小さくなる。

ステップＳ４００７は、ステップＳ４００６で係数掛けをした複数の第四の画像を、画像合成部２０４にて合成処理を行う。合成処理は、一般的な加算平均や、明比較合成などでよい。本ステップＳ４００７で生成する画像を「第五の画像」と称する。

ステップＳ４００８は、記憶部２０２に保存された各記憶領域の画像の領域をシフトし、所定のフレーム（例えば、記憶領域２から記憶領域１０の９フレーム分）が直近のフレームとなるようにして保存する。

ステップＳ４００９は、ステップＳ４００２にて記憶メモリ２０１に保存した「第三の画像」と、ステップＳ４００７で画像合成部２０４にて合成処理した「第五の画像」を、画像合成部２０５にて合成処理を行う。本合成処理を行うことで、記録用画像が生成され、図２のステップＳ３００３に移行する。

なお、ステップＳ４００９における合成処理は、図８の撮像装置４００に実施例１や２にて示した撮像装置の構成を追加することで、画像の距離マップを取得しておき、高輝度残像の距離より近い距離にいる被写体領域をマスクして合成してもよい。これにより、残像と被写体の前後関係において違和感のない残像表現を可能とした動画を生成することができる。

図１２は、図１０および図１１で説明した合成処理について、イメージを説明する図である。

図１２は、第三の画像、第四の画像、第五の画像、記録用画像を、（ａ）第１フレーム、（ｂ）第５フレーム、（ｃ）第１０フレームとして記載している。（実質的には、第２フレームなどの中間のフレームも存在するが、図１２においては、便宜上、非記載としている。）
図１２は、例えば、街灯のような固定の光源も含める背景の中で、人物が、ＬＥＤ光源のバーなどの可動光源をゆっくり振るシーンを撮影したものを表現している。

図１２は人物が可動光源を（ａ）第１フレームでは左向きにしたものを、徐々に正面に向け（（ｂ）第５フレーム）、さらに右向き（（ｃ）第１０フレーム）に回しているフレームが撮影されている。

各画像として、図１２の（１）第三の画像は、暗い部分から明るい部分までの第１のガンマカーブで画像処理されている、いわゆる、通常の画像である。図１２の（２）第四の画像は、明るい部分に特化した第２のガンマカーブで画像処理されている、いわゆる、残像として残したい部分の候補領域をとらえている画像である。図１２の（３）第五の画像は、第四の画像を複数フレームに渡り、比較し、変化がない箇所（街灯にあたる部分）については除外して、且つ、可動光源（ＬＥＤ光源バーにあたる部分）を、フレーム毎に係数をかけて加算した画像である。図１２の（４）記録用画像は、（１）第三の画像と、（３）第五の画像を合成したものであり、この処理を行うことで、結果として、人物や街灯のブレを抑え、ＬＥＤ光源バーのみ残像が残る動画を記録することができる。

第３の実施例では、撮像素子が１フレームとして取得した画像を複数のガンマカーブによる画像処理で、通常画像と残像を生成した。第４の実施例では、撮像素子の機能、例えば、マルチストリーム機能より通常画像と残像画像を取得することで、画像処理を簡易化する方法について説明する。

図１３は本発明第４の実施例における撮像部１０４の構成図である。

撮像部１０４は、撮像素子６００と撮像信号処理回路７０７で構成されている。カラムＡＤＣブロック６１１、行走査回路６１２、列走査回路６１３、タイミング制御回路（画素駆動回路）６１４、切替スイッチ６１６、フレームメモリ６１７、素子内演算部６１８、リサイズ変換部６１９、Ｐ／Ｓ変換部６２０を有する。

切替スイッチ６１６は、チャンネル毎の水平信号線６１５－ａ、６１５－ｂから出力される画像信号をフレームメモリ６１７に選択的に出力するためのスイッチである。

フレームメモリ６１７は、出力された画像信号を画像データとして一時的に記憶する。素子内演算部６１８は、駆動モードに応じてリサイズや圧縮の演算を行う。

リサイズ変換部６１９は、素子内演算部６１８にて算出された結果を基にフレームメモリ６１７に保存された画像データを必要な画角にリサイズする。

リサイズ変換部６１９においてリサイズされた画像データは、Ｐ／Ｓ変換部６２０にてパラレル・シリアル変換を行い、撮像素子１００外の撮像信号処理回路７０７へ送られる。

タイミング制御回路６１４およびフレームメモリ６１７は、撮像素子６００の外部の全体制御演算部（選択手段）７０９により制御される。

撮像素子６００と撮像信号処理回路７０７とは、複数のレーンで接続されており、駆動モードに応じた異なる画素の信号や同一の画素の信号が、メインストリームおよびサブストリームに振り分けて、またはメインストリームのみから転送される。

リサイズや圧縮の処理が不要な場合には、切替スイッチ６１６から直接Ｐ／Ｓ変換部６２０への転送が行われる。

駆動モードとして、全画素の読出駆動、垂直方向を間引いた（例えば１／３間引き）読出駆動、水平方向を加算した読出駆動、垂直間引き水平加算の読出駆動などを選択することが可能である。

本実施例では、表示用画像をメインストリームとして垂直方向１／３間引きの読出駆動を、残像用画像をサブストリームとして垂直１／３間引き水平加算の読出駆動を使用する。また、メインストリーム１２１の読み出し行とサブストリーム１２２は読み出し行はそれぞれ異なる隣接行で行う。これによりメインストリーム１２１とサブストリーム１２２は各々が異なる撮像設定（例えば、異なる感度、異なる露光秒時）で独立した動作を行うことができる。

次に、図１４を用いて、撮像部１０４の動作の概念図を説明する。

読出駆動Ａは、通常被写体を露光するメインストリーム１２１の読出し動作であり、読み出駆動Ｂは、残像成分を露光するメインストリーム１２１の読出し動作である。ここで、メインストリーム１２１はブレない条件で撮影したいので、露光時間を短めのＴ１で適正露出を得るため、高感度で設定している。またサブストリーム１２２はＬＥＤ光源などの明るい箇所の露光したいことと、残像が発生しやすい状態で露光するために露光時間はＴ１より長めのＴ２とし、感度も低感度に設定する。

メインストリーム１２１を通常画像の「第三の画像」として、サブストリーム１２２を残像画像の「第四の画像」として、後段の画像処理部に転送する。これにより、本発明第３の実施例で示したガンマカーブを分ける必要なく、単一のガンマカーブで画像処理を行なっても、大きな違和感なく合成処理された画像を取得することができる。この画像取得方法後の処理は、本発明の第３の実施例と同様で問題ないため、ここでの説明は割愛する。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０４ 撮像素子
２０１、２０２ 記憶メモリ
２０３、２０４ 画像合成部
２０６ 合成制御部

Claims (17)

1. 撮像手段により時系列に撮像された第１および第２の画像、及び該第１及び第２の画像に対応する距離情報を取得する取得手段と、
   前記第１の画像から、予め定めた値よりも大きな輝度値を持った残像領域を抽出し、該残像領域を含む残像画像を生成する残像抽出手段と、
   前記第１の画像に対応する距離情報のなかで前記残像画像に対応する残像距離情報に基づいて、前記第２の画像と前記残像画像とを合成する合成手段と、
   を有することを特徴とする画像処理装置。
2. 前記残像画像と前記残像距離情報とを記憶するメモリを有し、
   前記取得手段は、前記撮像手段により時系列に撮像された、前記第１及び第２の画像とは異なる複数の画像をさらに取得し、
   前記合成手段は、前記残像画像および前記残像距離情報に基づいて、前記複数の画像と前記残像画像とをそれぞれ合成することを特徴とする請求項１に記載の画像処理装置。
3. 前記第２の画像において特定の被写体を抽出する抽出手段を有し、
   前記合成手段は前記特定の被写体の距離情報と前記残像距離情報に基づいて前記合成を行うことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記抽出手段は、予め機械学習された学習済みモデルを用いて、画像データから前記特定の被写体を抽出することを特徴とする請求項３に記載の撮像装置。
5. 前記抽出手段は、ユーザーによる選択操作に基づいて前記特定の被写体を決定し、抽出することを特徴とする請求項３または４に記載の画像処理装置。
6. 前記合成手段は、前記残像画像が前記第２の画像における前記特定の被写体の領域と重なり、かつ前記特定の被写体の領域の距離情報の方がより近い距離を示すとき、前記残像画像の合成処理を行わないことを特徴とする請求項３乃至５のいずれか１項に記載の画像処理装置。
7. 前記メモリに新たに画像が保存されると、前記合成手段はそれまでに前記メモリに保存されていた前記残像画像の信号値を減少させることを特徴とする請求項２に記載の撮像装置。
8. 前記合成手段は、前記メモリに保存された前記残像画像のうち、予め定めた値より信号値が大きいものを選択して合成処理を行うことを特徴とする請求項７に記載の画像処理装置。
9. 撮像手段により撮像された画像から第３の画像と、残像が抽出された第４の画像を生成する生成手段と、
   時系列に生成された複数の前記第４の画像を合成することで第５の画像を生成する第１合成手段と、
   前記第３の画像と前記第５の画像を合成する第２合成手段と、
   を有することを特徴とする画像処理装置。
10. 前記生成手段は異なる画像処理によって前記第３の画像と前記第４の画像を生成し、前記第４の画像は予め定めた輝度値よりも大きい領域の信号の出力を抽出するガンマカーブによる画像処理によって生成されることを特徴とする請求項９に記載の画像処理装置。
11. 前記第３の画像と前記第４の画像は同一のタイミングで１つの撮像素子が取得した異なる画像であり、前記第３の画像は前記第４の画像とは異なる露光時間で撮像を行うことで取得した画像であることを特徴とする請求項９に記載の画像処理装置。
12. 複数の前記第４の画像を記憶するメモリと、
    前記メモリに記憶された複数の前記第４の画像の比較を行う演算手段と、を有し、
    前記演算手段は複数の前記第４の画像を比較し、予め定めた値よりも変化が小さい画像の部分の信号値を変換することを特徴とする請求項９乃至１１のいずれか１項に記載の画像処理装置。
13. 前記演算手段は、前記第４の画像について前記メモリに記憶された順に画像の信号値の重み付けを行うことを特徴とする請求項１２に記載の画像処理装置。
14. 撮像装置クレーム
    光学系を介して結像された被写体像を撮像する撮像手段と、
    請求項１乃至１３のいずれか１項に記載の画像処理装置と、
    を有することを特徴とする撮像装置。
15. 制御クレーム
    撮像手段により時系列に撮像された第１および第２の画像、及び該第１及び第２の画像に対応する距離情報を取得する取得ステップと、
    前記第１の画像から、予め定めた値よりも大きな輝度値を持った残像領域を抽出し、該残像領域を含む残像画像を生成する残像抽出ステップと、
    前記第１の画像に対応する距離情報のなかで前記残像画像に対応する残像距離情報に基づいて、前記第２の画像と前記残像画像とを合成する合成ステップと、
    を有することを特徴とする画像処理装置。
16. プログラムクレーム
    請求項１５に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
17. 記憶媒体。
    請求項１６に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読取り可能な記憶媒体。

Images