JP2018201158A - 信号処理装置、信号処理方法及びコンピュータプログラム - Google Patents

Abstract

【課題】ＨＤＲ画像を得る際に、ダイナミックレンジの性能は落とさず処理時間を短縮させたり、画質と処理時間とのトレードオフを柔軟に調整したりすることが可能な信号処理装置を提供する。【解決手段】露光時間がそれぞれ異なるＮ個のフレームの画像に対して少なくともＮ−１回の合成処理を行う合成処理部と、前記合成処理部で前記画像の群のうち２つを使用する１回の合成の際に動き適応処理を行う動き適応処理部とを備え、前記合成処理部が前記Ｎ−１回の合成処理を行う際の前記動き適応処理部での動き適応処理の回数をＮ—２回以下とする、信号処理装置が提供される。【選択図】図１

Description

本開示は、信号処理装置、信号処理方法及びコンピュータプログラムに関する。

近年、ＨＤＲ（High Dynamic Range：ハイダイナミックレンジ）画像を撮像するための技術として、複数種類の露光で撮像された画像信号を合成する撮像手法が利用されている。

合成処理を行うプラットフォームとしては、近年はスマートフォンが最も多くなっており、その際にはＡＰ（アプリケーションプロセッサ）上でのソフトウェアによって処理が行われる。ＡＰの演算性能が十分でない環境において、動きに対して一定の画質を保ちながら広いダイナミックレンジをリーズナブルな処理時間で得ることが要求され、ＨＤＲ画像を得るための時間を短縮させることを目的とした技術が開示されている（特許文献１、２参照）。

特開２０１３−１５２３３４号公報 特開２０１５−１８６０６２号公報

しかし、既存技術では、ＨＤＲ画像を得るための処理時間は短縮するが画質が劣化したり、ＨＤＲ画像の画質の劣化は抑えられるが処理時間を短縮させることが困難であったりした。また既存技術では、ＨＤＲ画像を得る際に、画質と処理時間とのトレードオフを柔軟に調整することが行われていない。

そこで本開示では、ＨＤＲ画像を得る際に、ダイナミックレンジの性能は落とさず処理時間を短縮させたり、画質と処理時間とのトレードオフを柔軟に調整したりすることが可能な、新規かつ改良された信号処理装置、信号処理方法及びコンピュータプログラムを提案する。

本開示によれば、露光時間がそれぞれ異なるＮ個（Ｎは３以上の整数）のフレームの画像に対して少なくともＮ−１回の合成処理を行う合成処理部と、前記合成処理部で前記画像の群のうち２つを使用する１回の合成の際に動き適応処理を行う動き適応処理部と、を備え、前記合成処理部が前記Ｎ−１回の合成処理を行う際の前記動き適応処理部での動き適応処理の回数をＮ―２回以下とする、信号処理装置が提供される。

また本開示によれば、プロセッサが、露光時間がそれぞれ異なるＮ個（Ｎは３以上の整数）のフレームの画像に対して少なくともＮ−１回の合成処理を行うことと、前記画像の群のうち２つを使用する１回の合成の際に動き適応処理を行うことと、を含み、前記Ｎ−１回の合成処理を行う際の動き適応処理の回数をＮ―２回以下とする、信号処理方法が提供される。

また本開示によれば、コンピュータに、露光時間がそれぞれ異なるＮ個（Ｎは３以上の整数）のフレームの画像に対して少なくともＮ−１回の合成処理を行うことと、前記画像の群のうち２つを使用する１回の合成の際に動き適応処理を行うことと、を実行させ、前記Ｎ−１回の合成処理を行う際の動き適応処理の回数をＮ―２回以下とする、コンピュータプログラムが提供される。

以上説明したように本開示によれば、ＨＤＲ画像を得る際に、ダイナミックレンジの性能は落とさず処理時間を短縮させたり、画質と処理時間とのトレードオフを柔軟に調整したりすることが可能な、新規かつ改良された信号処理装置、信号処理方法及びコンピュータプログラムを提供することが出来る。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本実施形態における信号処理装置が前提とするＨＤＲ画像の生成の様子を示す説明図である。 異露光画素を二次元的に配置したイメージセンサの例を示す説明図である。 同実施形態に係る信号処理装置の機能構成例を示す説明図である。 同実施形態に係る信号処理装置によるＨＤＲ画像の生成処理について説明する説明図である。 同実施形態に係る信号処理装置の動作例を示す流れ図である。 同実施形態に係る信号処理装置の動作の具体例を示す説明図である。 同実施形態に係る信号処理装置の動作の具体例を示す説明図である。 本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。 撮像部１２０３１の設置位置の例を示す図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．本開示の実施の形態
１．１．経緯
１．２．構成例
１．３．動作例
２．移動体への応用例
３．まとめ

＜１．本開示の実施の形態＞
［１．１．経緯］
まず、本開示の実施の形態について詳細に説明する前に、本開示の実施の形態に至った経緯について説明する。

上述したように、近年、ＨＤＲ（ハイダイナミックレンジ）画像を撮像するための技術として、複数種類の露光で撮像された画像信号を合成する撮像手法が利用されている。撮像素子のサイズが小さいとダイナミックレンジが小さくなり、撮像した画像には、いわゆる白飛びや黒潰れが起きやすくなる。白飛びや黒潰れが起きた画像は肉眼での見え方とは異なる。そこで、ダイナミックレンジを拡大するＨＤＲ技術は、小さいサイズのイメージセンサのダイナミックレンジを拡大する技術として有用である。

ＨＤＲ画像は、露光が異なる複数の画像を合成することにより得られる。ＨＤＲ画像の生成に際しては、動いている物体が被写体に含まれている場合を考慮する必要がある。動きへの対応としては、露光時間が長い画像（長蓄画像）で発生する動物体のブラーを低減する、またはフレーム合成タイプであれば動物体の位置ずれや二重像を低減することを目的として、動き領域を検出して、露光時間が短い画像（短蓄画像）のブレンド率を高めたり、動きベクトルを検出してオブジェクトの位置合わせを行ったりする動き適応処理が行われることもある。また近年では、露光数を増やしてより広いダイナミックレンジを得ようとする傾向がある。

合成処理を行うプラットフォームとしては、近年はスマートフォンが最も多くなっており、その際にはＡＰ（アプリケーションプロセッサ）上でのソフトウェアによって処理が行われる。しかし、スマートフォン向けのＡＰの演算性能はまだ十分ではなく、特にミドルクラス以下のモデルに搭載されるＡＰの演算性能は比較的低い。このような環境において、ＨＤＲ画像を得るために露光数を増やした上で複雑な演算処理を行わせれば、長い処理時間がかかる。ユーザーがＨＤＲ機能を有効にして撮影した後にＨＤＲ合成画像が出力されるまでに長い間待機させられることになる。演算性能が十分でない環境において、動きに対して一定の画質を保ちながら広いダイナミックレンジをリーズナブルな処理時間で得ることは容易ではない。

ＡＰの演算性能が十分でない環境において、動きに対して一定の画質を保ちながら広いダイナミックレンジをリーズナブルな処理時間で得ることが要求され、ＨＤＲ画像を得るための時間を短縮させることを目的とした技術が開示されている。

しかし、既存技術では、ＨＤＲ画像を得るための処理時間は短縮するが画質が劣化したり、ＨＤＲ画像の画質の劣化は抑えられるが処理時間を短縮させることが困難であったりした。また既存技術では、ＨＤＲ画像を得る際に、画質と処理時間とのトレードオフを柔軟に調整することが行われていない。

そこで本件開示者は、上述した点に鑑みて、ＨＤＲ画像を得る際に、ダイナミックレンジの性能は落とさず処理時間を短縮させたり、画質と処理時間とのトレードオフを柔軟に調整したりすることが可能な技術について鋭意検討を行った。その結果、本件開示者は、以下で説明するように、ＨＤＲ画像を得る際に、ダイナミックレンジの性能は落とさず処理時間を短縮させたり、画質と処理時間とのトレードオフを柔軟に調整したりすることが可能な技術を考案するに至った。

以上、本開示の実施の形態に至った経緯について説明した。続いて、本開示の実施の形態について詳細に説明する。

［１．２．構成例］
本実施形態では、露光が異なる複数の画像フレームを入力し、その複数の画像フレームを用いてＨＤＲ画像を生成する信号処理装置を想定する。図１は、本実施形態における信号処理装置が前提とするＨＤＲ画像の生成の様子を示す説明図である。図１では、４つの画像フレームを用いてＨＤＲ画像を生成している様子が示されている。４つの画像フレームを、露光時間が長い順から長蓄、中蓄、短蓄、超短蓄とする。一例を挙げれば、長蓄の画像は露光時間が１／３０秒、中蓄の画像は露光時間が１／１２０秒、短蓄の画像は露光時間が１／４８０秒、超短蓄の画像は露光時間が１／１９２０秒である。もちろんそれぞれの画像の露光時間は係る例に限定されるものでは無い。また図１では、露光時間が異なる４つの画像を用いてＨＤＲ画像を生成する様子が示されているが、ＨＤＲ画像の元となる画像の数は４つに限定されるものでは無く、２つ以上であればよい。また図１には、露光時間が長いものから合成する様子が示されているが、ＨＤＲ画像の生成に際しては露光時間が短いものから合成してもよい。

４つの画像が合成されて得られる画像はダイナミックレンジが拡張されているので、通常のダイナミックレンジに収めるために階調圧縮処理を施す。階調圧縮処理を施した後はＨＤＲを行わない時にも使用するカメラ信号処理系に接続される。カメラ信号処理はホワイトバランス、デモザイク、カラーマトリックス、エッジエンハンス、ノイズリダクションなどが含まれる。

なお、露光の異なる複数の画像を得る方式としては、上述したように露光時間を変えながら時間順次で撮像してもよいし、イメージセンサに異露光画素を二次元的に配置して、１回の撮影で各露光プレーンを得てもよい。またはこれらの方式を組み合わせてもよい。図２は、異露光画素を二次元的に配置したイメージセンサの例を示す説明図である。図２に示したイメージセンサ１０は、長蓄画素１１、中蓄画素１２、短蓄画素１３、及び超短蓄画素１４がマトリクス状に配置された構成を有する。

また、露光の異なる複数の画像を得る方式として、シャッタータイムは変えずに感度を変化させる方式であってもよい。シャッタータイムを短くするとフリッカーへの対応が求められるため、シャッタータイムは変えずに感度を変化させることでフリッカーへの対応を省略することが出来る。

次に、本開示の実施の形態に係る信号処理装置の機能構成例について説明する。図３は、本開示の実施の形態に係る信号処理装置１００の機能構成例を示す説明図である。図３に示したのは、ＨＤＲ画像を生成する処理を実行する信号処理装置１００の機能構成例である。以下、図１を用いて本開示の実施の形態に係る信号処理装置１００の機能構成例について説明する。

図３に示したように、本実施形態に係る信号処理装置１００は、飽和検出部１０２と、動き検出部１０４と、黒潰れ検出部１０６と、ブレンド率決定部１０８と、合成部１１０と、を含んで構成される。

飽和検出部１０２は、信号処理装置１００に入力される、露光時間が異なる２つの画像のうち、露光時間が長い方の画像の飽和の度合いを検出する。画像の飽和の度合いとは、ある閾値以下は０、閾値を超えた画素値に対して多値で定義される情報である。飽和検出部１０２は、検出した飽和の度合いの情報をブレンド率決定部１０８に送る。飽和の度合いの情報は、ブレンド率決定部１０８における、２つの画像のブレンド率（合成比率）の決定に用いられる。

動き検出部１０４は、信号処理装置１００に入力される２つの画像を用いて画像間の動きを検出する。動き検出部１０４は、動きを検出する処理として、例えば、事前に短蓄フレームに露光比ゲインをかけて明るさを正規化した上で、長蓄フレームと短蓄フレームとの画素値の差分を取る。動き検出部１０４は、この差分値が所定の閾値より大きければ画像間に動きがあると判定する。また動き検出部１０４は、動きを検出する処理として、ある一定の範囲の平均値を算出してその差分を取ってもよい。また動き検出部１０４は、動きを検出する処理として、より正確に動きを検出するために周波数や勾配に注目してその変化を検出してもよい。また動き検出部１０４は、複数のフレーム間で対応する位置の変化を検出しても良いし、移動ベクトルを検出してその値を使用する方法で動きを検出しても良い。動き検出部１０４は、動きとして検出した領域の情報をブレンド率決定部１０８に送る。ブレンド率決定部１０８は、動きとして検出された領域では、ブラーや位置ずれの低減を目的として露光時間が短い方の画像のブレンド率を高める。

黒潰れ検出部１０６は、露光時間が異なる２つの画像のうち、露光時間が短い方の画像の黒潰れの度合いを検出する。画像の黒潰れの度合いとは、ある閾値以上は０、閾値を下回る画素値に対して多値で定義される情報である。黒潰れ検出部１０６は、検出した黒潰れの度合いの情報をブレンド率決定部１０８に送る。黒潰れの度合いの情報は、ブレンド率決定部１０８における、２つの画像のブレンド率の決定に用いられる。

ブレンド率決定部１０８は、信号処理装置１００に入力される２つの画像のブレンド率を決定する。ブレンド率決定部１０８は、２つの画像のブレンド率を決定するにあたり、飽和検出部１０２が検出した画像の飽和の度合い、黒潰れ検出部１０６が検出した画像の黒潰れの度合い、動き検出部１０４が検出した動きの有無の情報を用いる。例えば、飽和検出部１０２が検出した画像の飽和の度合いが所定の閾値以上であれば、ブレンド率決定部１０８は、露光時間が短い方の画像のブレンド率を高める。また例えば、黒潰れ検出部１０６が検出した画像の黒潰れの度合いが所定の閾値以上であれば、ブレンド率決定部１０８は、露光時間が長い方の画像のブレンド率を高める。また例えば、動き検出部１０４が動きとして検出した領域では、ブレンド率決定部１０８は、ブラーや位置ずれの低減を目的として露光時間が短い方の画像のブレンド率を高める。ブレンド率決定部１０８は、これらの要素から最終的なブレンド率を決定し、決定したブレンド率の情報を合成部１１０に送る。

合成部１１０は、ブレンド率決定部１０８が決定したブレンド率に基づき、信号処理装置１００に入力される２つの画像を合成する処理を行う。合成部１１０により合成された画像は、さらに別の、ＨＤＲ画像の生成対象になる画像と合成される。

信号処理装置１００は、全てのＨＤＲ画像の生成対象になる画像に対して一連の処理を行うことでＨＤＲ画像の生成を行う。

信号処理装置１００におけるＨＤＲ画像の生成処理の中では、アルゴリズムにもよるが画像間での被写体の動き検出を含む動き適応処理の演算量が比較的大きい。もし動き適応処理を全く行わないならば、演算量は小さく、合成処理は比較的短時間で終了するが、代わりに動物体のブラーが目立ったり、多重輪郭が発生するアーティファクトが見えたりする。

本実施形態では、このトレードオフに注目して、ＨＤＲ画像の画質と、ＨＤＲ画像の生成に掛かる処理時間の関係を柔軟に制御することを目的としている。

図４は、本実施形態に係る信号処理装置１００によるＨＤＲ画像の生成処理について説明する説明図である。図４に示したのは、露光時間が異なる４つの画像からＨＤＲ画像を生成する例である。図４には、各フレームのシャッタータイムが、長蓄側から１／３０秒、１／１２０秒、１／４８０秒、１／１９２０秒であり、露光比間隔は４倍ずつ増えていき、全体として６４倍のケースが示されている。なお、露光比の間隔は最大でも１６倍程度とすることが望ましい。また、各フレームのシャッタータイムは、被写体や、撮像時の環境（明るさ等）に応じて変化しうる。

通常であれば、４つの画像からＨＤＲ画像を生成する際には動き適応処理を計３回実行するところ、図４に示した例では、長蓄側の１回だけとしている。シャッタータイムが最も長い長蓄フレームで発生する顕著なブラーを救済するが、さらに短蓄側への置き換えは行わない。激しいブラーが見られるのは長蓄画像のみで、長蓄画像を除けばブラー量は許容範囲に収まるケースが多いため、長蓄側の１回だけ動き適応処理を行えば十分な品質の合成画像を生成し得る。また動き検出を行って短蓄側への置換を進める場合でも、シャッタータイムが短くになるに従って短蓄側の動体のＳ／Ｎは低下していくため、短蓄画像を合成に使用したとしても画質の観点で使用に耐えないこともある。このような観点から、本実施形態に係る信号処理装置１００は、動き適応処理を長蓄側の１回だけとしている。動き適応処理を長蓄側の１回だけとすることで、動体の致命的なブラーや著しいＳ／Ｎ低下といった弊害を排除した上で、動き適応処理にかかる演算量を減らすことができる。

図４では、動き適応処理を１回だけ行うとして説明したが、動き適応処理の回数は係る例に限定されるもので無い。本実施形態に係る信号処理装置１００の特徴は、動き適応処理の回数を、本来必要な回数よりも少ない回数で固定する点にある。

動き適応処理の回数を減らすと言っても、回数を固定にするのでは、ある程度の品質を担保したＨＤＲ画像の生成には十分とは言えないケースがある。各フレームに含まれるブラー量というのは多くの要因で決まる。動体の移動速度が大きければ当然ブラー量は大きくなる。またカメラと動被写体との距離が遠かったり、レンズ画角が広かったりすれば移動速度は相対的に遅くなりブラー量は小さくなる。またブラー量に対する許容限も主観的なものであって、画像の評価者（例えば撮像者）によって異なる。加えて、実際の各フレームのシャッタータイムは、撮影対象シーンが明るいか暗いか、フレーム間の露光比を何倍に設定するか、全体の露光比つまりダイナミックレンジをどれくらい広く取るか、ＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ；自動露出）制御の方法やポリシーなど、さまざまな要素によって決まる。さらに、先に述べたようにシャッタータイムが短くなっていくに従って動体のＳ／Ｎは低下するので、ブラー低減を取るか動体のＳ／Ｎ確保を取るかのトレードオフとなるが、ブラー低減と動体のＳ／Ｎ確保とのバランスも主観的なものであって、やはり評価者によって異なる。以上のような要素を考慮すれば、適切な動き適応処理の回数というのは容易に決められるものではなく、状況に応じて柔軟に制御した方がよいと言える。

そこで、本実施形態に係る信号処理装置１００は、ＨＤＲ画像の生成の基になる画像のシャッタータイムが所定の閾値以上であるかどうかを判断する。シャッタータイムが所定の閾値以上であれば、信号処理装置１００は、その画像には動物体のブラーが目立っている可能性があるので、動き適応処理を実施して画像の合成処理を行う。なお、本実施形態では、合成処理とは、ブレンド率決定部１０８における２つの画像の合成比率の決定処理のこと、または、合成部１１０による、２つの画像の合成比率に基づいて画像を合成する処理のこと、のいずれかを言うものとする。また本実施形態では、ＨＤＲ画像の生成の際に、露光時間が短い画像から順に画像を合成するとして説明するが、本開示は係る例に限定されるものでは無く、露光時間が長い画像から順に画像を合成しても良い。

［１．３．動作例］
図５は、本開示の実施の形態に係る信号処理装置１００の動作例を示す流れ図である。図５に示したのは、ＨＤＲ画像の生成処理を行う際の信号処理装置１００の動作例である。図５に示した流れ図において、Ｎは合成フレーム数、Ｔ_ＮはＮ番目のフレームのシャッタータイム、ＴＨ_ＳｈｕｔはブラーやＳ／Ｎを考慮して予め定義するシャッタータイムの閾値を表している。ここでは、Ｎが小さい方が長蓄側であり、大きい方が短蓄側であるとする。以下、図５を用いて本開示の実施の形態に係る信号処理装置１００の動作例を説明する。

信号処理装置１００は、まずＮの値を１に初期化し（ステップＳ１０１）、続いて、Ｔ_ＮがＴＨ_Ｓｈｕｔ以上であるかどうか判断する（ステップＳ１０２）。このステップＳ１０２の判断は、例えば動き検出部１０４が実行する。

ステップＳ１０２の判断の結果、Ｔ_ＮがＴＨ_Ｓｈｕｔ以上であれば（ステップＳ１０２、Ｙｅｓ）、信号処理装置１００は、入力された２つの画像（Ｎ番目及びＮ＋１番目のフレーム）を用いて動き適応処理を行う（ステップＳ１０３）。ステップＳ１０３の処理は、例えば動き検出部１０４が行う。

一方、ステップＳ１０２の判断の結果、Ｔ_ＮがＴＨ_Ｓｈｕｔ以上でなければ（ステップＳ１０２、Ｎｏ）、信号処理装置１００は、ステップＳ１０３の動き適応処理をスキップする。

続いて、信号処理装置１００は、入力された２つの画像の合成処理を行う（ステップＳ１０４）。画像の合成処理は、合成部１１０が実行する。信号処理装置１００は、２つの画像の合成処理の際には、上述したように、飽和の度合いの情報や黒潰れの度合いの情報、２つの画像間の動きの情報等を用いる。

続いて、信号処理装置１００は、Ｎの値が合成対象のフレーム数より１少ない値と等しいかどうか判断する（ステップＳ１０５）。Ｎの値が合成対象のフレーム数より１少ない値と等しければ（ステップＳ１０５、Ｙｅｓ）、信号処理装置１００は、合成対象のフレームについて全て処理が完了したとして一連の処理を終了する。一方、Ｎの値が合成対象のフレーム数より１少ない値と等しくなければ（ステップＳ１０５、Ｎｏ）、信号処理装置１００は、Ｎの値を１つインクリメントし（ステップＳ１０６）、ステップＳ１０２の処理に戻る。

図６は、本開示の実施の形態に係る信号処理装置１００の動作の具体例を示す説明図である。図６では、ＴＨ_Ｓｈｕｔが１／６０秒であるとしている。

長蓄フレームのシャッタータイム（１／３０秒）は、閾値ＴＨ_Ｓｈｕｔよりも長いので、長蓄フレームのブラー発生リスクは大きい。そして中蓄フレームのＳ／Ｎは十分であるとして、信号処理装置１００は、長蓄フレームと中蓄フレームとの間で動き適応処理を実行する。

次に、中蓄フレームのシャッタータイム（１／１２０秒）は閾値ＴＨ_Ｓｈｕｔよりも短いので、中蓄フレームのブラー発生リスクは小さい。また、中蓄フレームのＳ／Ｎが不足しているとして、信号処理装置１００は、中蓄フレームと短蓄フレームとの間で動き適応処理は実行しない。

さらにシャッタータイムが短くなる短蓄フレームと超短蓄フレームの間の動き適応処理も、信号処理装置１００は実行しない。本実施形態に係る信号処理装置１００は、このようにして、ブラーやＳ／Ｎを考慮しながら動き適応処理の回数を減らすことができる。図６に示した例では、閾値ＴＨ_Ｓｈｕｔを考慮しなければ動き適応処理を３回実行するところを１回に減らしている。本実施形態に係る信号処理装置１００は、ブラーやＳ／Ｎといった、合成後のＨＤＲ画像の画質を反映する要素としてシャッタータイムの閾値ＴＨ_Ｓｈｕｔを定義して、最終的に設定されたシャッタータイムとの関係から動き適応処理の実行回数を調整するものである。

本実施形態に係る信号処理装置１００は、動き適応処理の実行回数を予め求めたうえでＨＤＲ合成処理を実行してもよい。その実行回数の計算式を数式（１）、（２）に示す。

ＨＤＲ処理全体の処理時間をＴ_ＳＵＭとすると、１回のＨＤＲ合成にかかる時間Ｔ_ＨＤＲと１回の動き適応処理にかかる時間Ｔ_ＭＯＶＥの和を、合成フレーム数Ｎ倍したものがＴ_ＳＵＭになる（数式（１）参照）。この関係から、全体の処理時間Ｔ_ＳＵＭを一定以下に収めたい場合の動き適応処理の回数Ｍが数式（２）で表される。本実施形態に係る信号処理装置１００は、数式（２）で求めた回数Ｍだけ動き適応処理を行うことで、一定の処理時間を超えない範囲で動物体の画質を向上させることができる。

信号処理装置１００は、シャッタータイムの閾値に基づいて動き適応処理の実行可否を判断する手法と、動き適応処理の実行回数を予め求める手法とを併用することも可能である。この場合、信号処理装置１００は、ブラーやＳ／Ｎを考慮した動き適応処理の回数の上限と、上述のように求めた回数Ｍのうち小さい回数の方を使用すればよい。

本実施形態に係る信号処理装置１００は、画像間の動きの量の情報に基づいて動き適応処理の実行可否を判断しても良い。図７は、本開示の実施の形態に係る信号処理装置１００の動作の具体例を示す説明図である。

信号処理装置１００は、まず長蓄フレームと中蓄フレームとで動き検出を行い、画像間の動きの大きさＭｏｔｉｏｎ１２を検出する。検出された動きが大きければ動物体の移動速度がシャッタータイムに対して速いということであり、ブラーや二重像発生のリスクが高いということになる。動きの大きさとシャッタータイムは基本的には比例すると仮定してよく、ここで、信号処理装置１００は、Ｍｏｔｉｏｎ１２からより短蓄側の動き量Ｍｏｔｉｏｎ２３、Ｍｏｔｉｏｎ３４も算出することができる。

そして、ブラーや二重像が目立たない動き量の大きさＴＨ_{Ｍｏｔｉｏｎ}を定義しておいた上で、信号処理装置１００は、動き量がＴＨ_{Ｍｏｔｉｏｎ}以上のフレーム間に対してのみ動き適応処理を行う。図７に示した例では、長蓄フレームと中蓄フレームとの間で動き適応処理を実行し、それ以外のフレームの間では動き適応処理を行っていない。

このように動き量の大きさに基づいて動き適応処理の実行可否を判断することで、信号処理装置１００は、フレーム間の動き量がゼロまた十分小さければ、動き適応処理を実行しなくても画質の低下がなく、また、以降のフレームに対する動き適応処理を自動的にオフにできる。つまり、本開示の実施の形態に係る信号処理装置１００は、撮影シーンにおける動き量に応じて処理時間を短縮することができるという効果を有する。

信号処理装置１００は、シャッタータイムの閾値に基づいて動き適応処理の実行可否を判断する手法と、画像間の動きの量の情報に基づいて動き適応処理の実行可否を判断する手法とを併用することも可能である。この場合、信号処理装置１００は、ブラーやＳ／Ｎを考慮した動き適応処理の回数の上限と、画像間の動きの量の情報を考慮した動き適応処理の回数の上限回数の方のうち、小さい回数の方を使用すればよい。

また信号処理装置１００は、画像間の動きの量の情報に基づいて動き適応処理の実行可否を判断する手法と、動き適応処理の実行回数を予め求める手法とを併用することも可能である。この場合、信号処理装置１００は、画像間の動きの量の情報を考慮した動き適応処理の回数の上限と、上述のように求めた回数Ｍのうち小さい回数の方を使用すればよい。

また信号処理装置１００は、シャッタータイムの閾値に基づいて動き適応処理の実行可否を判断する手法と、画像間の動きの量の情報に基づいて動き適応処理の実行可否を判断する手法と、画像間の動きの量の情報に基づいて動き適応処理の実行可否を判断する手法と、を併用することも可能である。この場合、信号処理装置１００は、ブラーやＳ／Ｎを考慮した動き適応処理の回数の上限と、画像間の動きの量の情報を考慮した動き適応処理の回数の上限回数の方のうち、上述のように求めた回数Ｍのうち、小さい回数の方を使用すればよい。

動き量に基づいて動き適応処理の実行可否を判断する場合、各フレームの画像全体で動き量を判断しても良いが、主要被写体は画像の中心部分に存在することが多い。よって信号処理装置１００は、画像全体ではなく、一部分、例えば中心部分の所定の範囲における動き量に基づいて動き適応処理の実行可否を判断してもよい。

＜２．移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

図８は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図８に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。

駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図８の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

図９は、撮像部１２０３１の設置位置の例を示す図である。

図９では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。

撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図９には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、マイクロコンピュータ１２０５１に適用され得る。具体的には、信号処理装置１００は、マイクロコンピュータ１２０５１に適用することができる。マイクロコンピュータ１２０５１に本開示に係る技術を適用することにより、ＨＤＲ画像を得る際に、ダイナミックレンジの性能は落とさず処理時間を短縮させたり、画質と処理時間とのトレードオフを柔軟に調整したりすることが可能となる。

＜３．まとめ＞
以上説明したように本開示の実施の形態によれば、動き検出回数を全て実行するよりも少ない回数にすることで、ＨＤＲ画像において致命的なブラーや動体の著しいＳ／Ｎ低下といった弊害を避けながら、ＨＤＲ画像の生成時の演算量を削減することができる信号処理装置１００が提供される。

また本開示の実施の形態によれば、最終的に決定された各フレームのシャッタータイムから動き適応処理の実行回数を制御することが可能であり、ＨＤＲ画像の画質を保ちながら処理時間を短縮することができる信号処理装置１００が提供される。

また本開示の実施の形態によれば、合成処理全体の時間が既定値を超えない範囲で動き適応処理の実行回数を制御することが可能であり、既定の処理時間を守ったうえで動物体を含んだＨＤＲ画像の画質が自動的に調整される信号処理装置１００が提供される。

また本開示の実施の形態によれば、動き検出の結果から動き適応処理の実行回数を制御することが可能であり、動物体を含んだＨＤＲ画像の画質を保ちながら処理時間を短縮することができる信号処理装置１００が提供される。

本明細書の各装置が実行する処理における各ステップは、必ずしもシーケンス図またはフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、各装置が実行する処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

また、各装置に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した各装置の構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供されることが可能である。また、機能ブロック図で示したそれぞれの機能ブロックをハードウェアで構成することで、一連の処理をハードウェアで実現することもできる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
露光時間がそれぞれ異なるＮ個（Ｎは３以上の整数）のフレームの画像に対して少なくともＮ−１回の合成処理を行う合成処理部と、
前記合成処理部で前記画像の群のうち２つを使用する１回の合成の際に動き適応処理を行う動き適応処理部と、
を備え、
前記合成処理部が前記Ｎ−１回の合成処理を行う際の前記動き適応処理部での動き適応処理の回数をＮ―２回以下とする、信号処理装置。
（２）
前記動き適応処理部は、前記合成処理部での合成処理の対象となる前記画像の露光時間が所定の閾値以上の画像に対してのみ動き適応処理を行う、前記（１）に記載の信号処理装置。
（３）
前記動き適応処理部は、前記合成処理部での合成処理の実行時間が所定の閾値を超えない最大の回数で動き適応処理を行う、前記（１）に記載の信号処理装置。
（４）
前記合成処理部で合成される２つの画像に対して動き検出処理を実行する動き検出処理部をさらに備え、
前記動き適応処理部は、前記動き検出処理により検出された前記２つの画像の間の動きの大きさに応じて該２つの画像に対する動き適応処理を行うかを判断する、前記（１）〜（３）のいずれかに記載の信号処理装置。
（５）
前記合成処理部は、前記合成処理として、合成される２つの前記画像の合成比率を生成する処理を行う、前記（１）〜（４）のいずれかに記載の信号処理装置。
（６）
前記合成処理部は、前記合成処理として、合成される２つの前記画像の合成比率に基づいて２つの前記画像の合成を行う、前記（１）〜（４）のいずれか１に記載の信号処理装置。
（７）
前記合成処理部は、前記露光時間が長い画像から順に少なくともＮ−１回の合成処理を行う、前記（１）〜（６）のいずれかに記載の信号処理装置。
（８）
プロセッサが、
露光時間がそれぞれ異なるＮ個（Ｎは３以上の整数）のフレームの画像に対して少なくともＮ−１回の合成処理を行うことと、
前記画像の群のうち２つを使用する１回の合成の際に動き適応処理を行うことと、
を含み、
前記Ｎ−１回の合成処理を行う際の動き適応処理の回数をＮ―２回以下とする、信号処理方法。
（９）
コンピュータに、
露光時間がそれぞれ異なるＮ個（Ｎは３以上の整数）のフレームの画像に対して少なくともＮ−１回の合成処理を行うことと、
前記画像の群のうち２つを使用する１回の合成の際に動き適応処理を行うことと、
を実行させ、
前記Ｎ−１回の合成処理を行う際の動き適応処理の回数をＮ―２回以下とする、コンピュータプログラム。

１０ ：イメージセンサ
１１ ：長蓄画素
１２ ：中蓄画素
１３ ：短蓄画素
１４ ：超短蓄画素
１００ ：信号処理装置

Claims (9)

1. 露光時間がそれぞれ異なるＮ個（Ｎは３以上の整数）のフレームの画像に対して少なくともＮ−１回の合成処理を行う合成処理部と、
   前記合成処理部で前記画像の群のうち２つを使用する１回の合成の際に動き適応処理を行う動き適応処理部と、
   を備え、
   前記合成処理部が前記Ｎ−１回の合成処理を行う際の前記動き適応処理部での動き適応処理の回数をＮ―２回以下とする、信号処理装置。
2. 前記動き適応処理部は、前記合成処理部での合成処理の対象となる前記画像の露光時間が所定の閾値以上の画像に対してのみ動き適応処理を行う、請求項１に記載の信号処理装置。
3. 前記動き適応処理部は、前記合成処理部での合成処理の実行時間が所定の閾値を超えない最大の回数で動き適応処理を行う、請求項１に記載の信号処理装置。
4. 前記合成処理部で合成される２つの画像に対して動き検出処理を実行する動き検出処理部をさらに備え、
   前記動き適応処理部は、前記動き検出処理により検出された前記２つの画像の間の動きの大きさに応じて該２つの画像に対する動き適応処理を行うかを判断する、請求項１に記載の信号処理装置。
5. 前記合成処理部は、前記合成処理として、合成される２つの前記画像の合成比率を生成する処理を行う、請求項１に記載の信号処理装置。
6. 前記合成処理部は、前記合成処理として、合成される２つの前記画像の合成比率に基づいて２つの前記画像の合成を行う、請求項１に記載の信号処理装置。
7. 前記合成処理部は、前記露光時間が長い画像から順に少なくともＮ−１回の合成処理を行う、請求項１に記載の信号処理装置。
8. プロセッサが、
   露光時間がそれぞれ異なるＮ個（Ｎは３以上の整数）のフレームの画像に対して少なくともＮ−１回の合成処理を行うことと、
   前記画像の群のうち２つを使用する１回の合成の際に動き適応処理を行うことと、
   を含み、
   前記Ｎ−１回の合成処理を行う際の動き適応処理の回数をＮ―２回以下とする、信号処理方法。
9. コンピュータに、
   露光時間がそれぞれ異なるＮ個（Ｎは３以上の整数）のフレームの画像に対して少なくともＮ−１回の合成処理を行うことと、
   前記画像の群のうち２つを使用する１回の合成の際に動き適応処理を行うことと、
   を実行させ、
   前記Ｎ−１回の合成処理を行う際の動き適応処理の回数をＮ―２回以下とする、コンピュータプログラム。
   
   

Images