JP2017055315A - 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 - Google Patents

Abstract

【課題】主被写体のピント状態に応じて複数のフレーム画像の画像補正処理を変更することにより、高いフレームレートで複数の動画を取得可能な画像処理装置を提供する。【解決手段】画像処理装置（１００）は、所定期間ごとに撮影された、撮影条件が互いに異なる複数のフレーム画像を生成する信号処理手段（１０５）と、複数のフレーム画像に関して優先順位を付ける優先順位付け手段（１１８）と、複数のフレーム画像に対して補正処理を行う画像補正手段（１１９）とを有し、画像補正手段は、優先順位に応じて複数のフレーム画像に対する補正処理を変更する。【選択図】図１

Description

本発明は、動画を撮影可能な撮像装置に関する。

一般的にカメラなどの撮影装置では、撮影された画像信号に対して、ブレ補正、歪曲補正、色収差補正、および、輪郭補正などの各種の画像補正処理を行い、記録画像が生成される。この画像補正処理は、画素ごとに実行される処理であるため、多大な処理時間を要する。特許文献１には、画像補正処理を制限する画像動き補正装置が開示されている。

また、主被写体に対してフォーカスを合わせるため、顔認識技術などを用いる撮像装置が知られている。特許文献２には、認識した被写体の追尾性を向上させる画像処理装置が開示されている。

特許文献３には、複数のマイクロレンズに対応する複数の受光素子を有し、光学系からの光束を複数の受光素子で受光して複数の受光信号を出力し、光学系による像面のずれ量に基づいてピントの異なる複数の画像信号を生成する画像合成装置が開示されている。

特許文献４には、撮影条件の異なる画像を動画として記録する技術として、近傍合焦状態と遠方合焦状態とで別々に動画ストリームを生成し、時間軸を合わせるためにリピート画像を挿入し見やすい動画を生成する撮像装置が開示されている。

特開平１１−１８３９５１号公報 特開２０１３−１３０３７号公報 特開２０１１−９７６４５号公報 特開２００９−１００１７６号公報

しかし、従来技術のように、同一のタイミングでピントの異なる複数のフレーム画像を撮影し、ピントごとに複数の動画を記録する装置では、複数のフレーム画像に対して各種の画像補正処理を所定タイミング内に行う必要がある。しかし、撮影された全てのフレーム画像に同一の画像補正処理を行うと、多大な処理時間を要し、動画の処理フレームレート内に符号化すべき画像を生成することが困難となる。また画像補正処理は、撮影画像によって適応的に処理されるため、補正処理に要するワースト時間をもとにしたフレームレートが動画の最大フレームレートなってしまう。

そこで本発明は、主被写体のピント状態に応じて複数のフレーム画像の画像補正処理を変更することにより、高いフレームレートで複数の動画を取得可能な画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供する。

本発明の一側面としての画像処理装置は、所定期間ごとに撮影された、撮影条件が互いに異なる複数のフレーム画像を生成する信号処理手段と、前記複数のフレーム画像に関して優先順位を付ける優先順位付け手段と、前記複数のフレーム画像に対して補正処理を行う画像補正手段とを有し、前記画像補正手段は、前記優先順位に応じて前記複数のフレーム画像に対する前記補正処理を変更する。

本発明の他の側面としての撮像装置は、所定期間ごとに撮影条件が互いに異なる複数の画像データを出力する撮像手段と、前記複数の画像データに基づいて複数のフレーム画像を生成する信号処理手段と、前記複数のフレーム画像に関して優先順位を付ける優先順位付け手段と、前記複数のフレーム画像に対して補正処理を行う画像補正手段とを有し、前記画像補正手段は、前記優先順位に応じて前記複数のフレーム画像に対する前記補正処理を変更する。

本発明の他の側面としての画像処理方法は、所定期間ごとに撮影された、撮影条件が互いに異なる複数のフレーム画像を生成するステップと、前記複数のフレーム画像に関して優先順位を付けるステップと、前記複数のフレーム画像に対して補正処理を行うステップとを有し、前記補正処理を行うステップは、前記優先順位に応じて前記複数のフレーム画像に対する前記補正処理を変更するステップを含む。

本発明の他の側面としてのプログラムは、所定期間ごとに撮影された、撮影条件が互いに異なる複数のフレーム画像を生成するステップと、前記複数のフレーム画像に関して優先順位を付けるステップと、前記複数のフレーム画像に対して補正処理を行うステップと、をコンピュータに実行させるプログラムであって、前記補正処理を行うステップは、前記優先順位に応じて前記複数のフレーム画像に対する前記補正処理を変更するステップを含む。

本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施形態において説明される。

本発明によれば、主被写体のピント状態に応じて複数のフレーム画像の画像補正処理を変更することにより、高いフレームレートで複数の動画を取得可能な画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供することができる。

各実施形態における撮像装置のブロック図である。 各実施形態における撮像装置による記録動作のデータフロー図である。 各実施形態における撮像装置による動画ストリームの生成の説明図である。 各実施形態における撮像装置による撮像周期と画像の補正処理期間との関係を示すタイミング図である。 実施形態１において、主被写体の合焦状態による画像補正処理の優先順位の判定の説明図である。 実施形態１において、優先順位に応じた画像補正処理のタイミング図である。 実施形態１において、優先順位に応じた画像補正処理の動作を示すフローチャートである。 実施形態２において、優先順位に応じた画像補正処理のタイミング図である。 実施形態２において、優先順位に応じた画像補正処理の動作を示すフローチャートである。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

（第１実施形態）
まず、図１を参照して、本発明の第１実施形態における撮像装置について説明する。図１は、本実施形態における撮像装置１００のブロック図である。

図１において、２００は、撮像装置１００から着脱可能なメモリカードなど記録媒体である。１０１は、撮像装置１００のメインメモリとしてのＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。ＤＲＡＭ１０１は、画像データや、記録媒体２００から読み込まれた画像符号化データなどを一時的に保持する。１０２は、ＤＲＡＭ１０１へアクセスするためのデータバスである。１０３は、撮影者が被写体を撮影する（光学像としての被写体像を形成する）ためのレンズを含むレンズユニットである。なお本実施形態において、撮像装置１００は、レンズユニット１０３（撮像光学系）を含む（すなわち、撮像装置本体とレンズユニットとが一体的に構成されている）が、これに限定されるものではない。本実施形態は、撮像装置本体と、撮像装置本体に着脱可能なレンズユニットと、により構成される撮像システムにも適用可能である。

１０４は、複数のマイクロレンズを配列して構成されたマイクロレンズアレイと、複数のマイクロレンズに対応して設けられた複数の受光素子からなる受光素子アレイとを有する撮像手段（撮像素子）である。撮像手段１０４は、レンズユニット１０３からの光束（レンズユニット１０３を介して形成された光学像）を、対応するマイクロレンズを介して複数の受光素子により受光して、複数の受光信号を出力する。そして撮像手段１０４は、受光信号を取得した際の撮像光学系（レンズユニット１０３）による像面のずれ量に基づいて、互いにピントが異なる複数の画像信号を生成する。撮像手段１０４により生成された画像信号は、デジタルデータ（画像データ）としてＤＲＡＭ１０１へ一時的に保持される。特に本実施形態において、撮像手段１０４は、所定期間ごとに撮影条件が互いに異なる複数の画像データを出力する。

信号処理手段１０５は、撮像手段１０４により取得された画像信号を現像処理し、互いにピントが異なる複数のフレーム画像を生成する。信号処理手段１０５により生成された複数のフレーム画像は、ＤＲＡＭ１０１に一時的に保持される。被写体検出手段１０６（顔検出手段）は、信号処理手段１０５により生成されたフレーム画像から被写体領域（顔領域）を検出する。合焦判定手段１０７は、被写体検出手段１０６により検出された被写体領域（顔領域）の画像の高周波成分を数値化し、合焦状態を判定する。画像分類手段１０８は、信号処理手段１０５により生成された複数のフレーム画像を、撮影条件（撮影ピント条件）に応じて複数の画像群に分類する。動画符号化手段１０９は、画像分類手段１０８により分類された複数の画像群のそれぞれを用いて、複数チャンネルの動画ストリームを生成する。

パネル手段１１０は、ＤＲＡＭ１０１に保持されたフレーム画像データを読み込む。そしてパネル手段１１０は、液晶素子（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や有機ＥＬ素子（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）などの表示パネル上に、フレーム画像を表示する。Ｍｅｄｉａ Ｉ／Ｆ１１１は、撮像装置１００に装着されている記録媒体２００とのインタフェース（Ｉ／Ｆ）であり、ＤＲＡＭ１０１から画像データを読み込み、読み込んだ画像データを記録媒体２００に記録する。制御バス１１２は、ＣＰＵ１１３が撮像装置１００の各ブロックへ制御指示を行うために用いられる。

ＣＰＵ１１３（制御装置）は、撮像装置１００の全体を制御する。プログラムバス１１４は、ＣＰＵ１１３と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１５、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１６、および、操作キー１１７とを接続する。ＲＯＭ１１５は、ＣＰＵ１１３により実行されるプログラムを格納している。
また、ＲＯＭ１１５には以下のプログラムが格納されており、ＣＰＵ１１３によって実行可能である。ＲＡＭ１１６は、ＣＰＵ１１３のワークメモリである。操作キー１１７は、ユーザが撮像装置１００の動作指示を行うためのボタンや十字キーなどの操作手段である。

優先順位付け手段１１８は、合焦判定手段１０７による合焦判定結果に基づいて、各フレーム画像の重要度を優先順位付けする。画像補正手段１１９は、優先順位付け手段１１８によるフレーム画像の重要度に応じた画像補正処理を行う。また本実施形態において、ＲＯＭ１１５は、画像補正手段１１９により補正されたフレーム画像ごとに、補正処理内容とフレーム画像とを関連付ける補正情報を生成する補正情報生成プログラムを記憶する。またＲＯＭ１１５は、動画符号化手段１０９により生成される複数チャンネルの動画ストリームの所定位置に、前記補正情報を付加する補正情報付加プログラムを記憶する。

次に、図２を参照して、本実施形態における撮像装置１００による記録動作について説明する。図２は、撮像装置１００による記録動作のデータフロー図である。本実施形態において、撮像装置１００は、撮像処理、補正・分類処理、符号化処理、および、記録処理を行い、各処理は並列に実行される。図２において、撮影フレーム画像バッファ、各Ｇｒｏｕｐの符号化画像バッファと付加情報バッファ、および、ストリームバッファは、ＤＲＡＭ１０１に割り当てられたメモリ領域に相当する。

撮影処理は、撮像手段１０４と信号処理手段１０５とを用いて行われ、所定の撮影タイミングごとに複数の撮影フレーム画像を生成する。補正・分類処理は、被写体検出手段１０６と合焦判定手段１０７とにより行われ、各フレーム画像の合焦判定結果に基づいて優先順位付け手段１１８により補正レベルをフレームごとに算出する。画像補正手段１１９は、算出された補正レベルに応じて、撮影フレーム画像バッファ内に格納されているフレーム画像に対して画像補正を行い、補正後のフレーム画像を、ピント距離などの撮影条件に応じてＧｒｏｕｐ１〜５の符号化画像バッファへ転送する。また画像補正手段１１９は、転送したフレーム画像に付随する補正情報を、付加情報バッファへ転送する。

符号化処理は、動画符号化手段１０９を用いて行われる。Ｇｒｏｕｐ１〜５の符号化画像バッファに符号化すべきフレーム画像が格納された場合、動画符号化手段１０９は、Ｇｒｏｕｐごとの動画ストリームとなるように符号化処理を行い、各Ｇｒｏｕｐに対応するストリームバッファへ出力する。なお、各符号化画像バッファに符号化すべきフレーム画像が格納されたか否かは、ＣＰＵ１１３または動画符号化手段１０９により検出される。また、動画符号化手段１０９により符号化される動画ストリームに関し、Ｇｒｏｕｐ１を３次元映像の符号化Ｍｕｌｔｉｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＭＶＣ）におけるｂａｓｅ ｖｉｅｗ（メインストリーム）として符号化する。また、Ｇｒｏｕｐ２〜５をｎｏｎ−ｂａｓｅ ｖｉｅｗ（エクステントストリーム）として符号化する。

記録処理は、Ｍｅｄｉａ Ｉ／Ｆ１１１を用いて行われる。Ｇｒｏｕｐ１〜５のストリームバッファに記録可能な動画ストリームが格納された場合、Ｍｅｄｉａ Ｉ／Ｆ１１１は、Ｇｒｏｕｐごとのファイルとなるように、記録媒体２００への書き込み処理を行う。なお、ストリームバッファに記録可能な動画ストリームが格納されたか否かは、ＣＰＵ１１３またはＭｅｄｉａ Ｉ／Ｆ１１１により検出される。

以上のように、撮像データは、各データバッファを介して、撮像処理、補正・分類処理、符号化処理、および、記録処理により記録媒体２００に動画ストリームとして記録される。

次に、図３を参照して、撮像装置１００による動画ストリームの生成について説明する。図３は、撮像装置１００における動画ストリームの生成の説明図である。図３において、フレーム画像はピント情報ごとに生成され、縦軸はピント距離、横軸は撮像する時間をそれぞれ示している。本実施形態は、５点のピント距離Ｆ１〜Ｆ５に応じたフレーム画像を撮像周期Ｔごとに撮影タイミングＴ１〜Ｔ６で撮像するが、これに限定されるものではない。

本実施形態において、撮影タイミングごとに生成されるフレーム画像は、撮影タイミングＴ１〜Ｔ６のそれぞれにおけるピント距離Ｆ１〜Ｆ５のフレーム画像（Ｔ１−Ｆ１〜Ｔ６−Ｆ５）である。また、主被写体の合焦位置は、フレーム画像Ｔ１−Ｆ３、Ｔ２−Ｆ２、Ｔ３−Ｆ１、Ｔ４−Ｆ２、Ｔ５−Ｆ３、Ｔ６−Ｆ４のように変化している。同一の撮影タイミングで生成されるフレーム画像に対して、合焦判定手段１０７は、主被写体領域の高周波成分量から主被写体の合焦状態を判定する。また画像分類手段１０８は、各フレーム画像を、主被写体領域の高周波成分が最も多い画像から最も少ない画像の順に、Ｇｒｏｕｐ１〜Ｇｒｏｕｐ５に分類する。

この条件下において、生成される動画ストリームは、Ｇｒｏｕｐ１〜５ごとの動画ストリームとなる。Ｇｒｏｕｐ１の動画ストリームは、主被写体の合焦位置となるフレーム画像Ｔ１−Ｆ３、Ｔ２−Ｆ２、Ｔ３−Ｆ１、Ｔ４−Ｆ２、Ｔ５−Ｆ３、Ｔ６−Ｆ４を用いて生成された動画ストリーム（メイン動画ストリーム）である。Ｇｒｏｕｐ２の動画ストリームは、フレーム画像Ｔ１−Ｆ２、Ｔ２−Ｆ１、Ｔ３−Ｆ２、Ｔ４−Ｆ１、Ｔ５−Ｆ２、Ｔ６−Ｆ３を用いて生成された動画ストリーム（エクステント動画ストリーム）である。同様に、Ｇｒｏｕｐ３の動画ストリームは、フレーム画像Ｔ１−Ｆ４、Ｔ２−Ｆ３、Ｔ３−Ｆ３、Ｔ４−Ｆ３、Ｔ５−Ｆ４、Ｔ６−Ｆ５を用いて生成された動画ストリーム（エクステント動画ストリーム）である。また、Ｇｒｏｕｐ４の動画ストリームは、フレーム画像Ｔ１−Ｆ１、Ｔ２−Ｆ４、Ｔ３−Ｆ４、Ｔ４−Ｆ４、Ｔ５−Ｆ５、Ｔ６−Ｆ２を用いて生成された動画ストリーム（エクステント動画ストリーム）である。また、Ｇｒｏｕｐ５の動画ストリームは、フレーム画像Ｔ１−Ｆ５、Ｔ２−Ｆ５、Ｔ３−Ｆ５、Ｔ４−Ｆ５、Ｔ５−Ｆ１、Ｔ６−Ｆ１を用いて生成された動画ストリーム（エクステント動画ストリーム）である。このように、生成された５つの動画ストリーム内のフレーム画像は、主被写体のピント状態ごとのストリームとなる。Ｇｒｏｕｐ１の動画ストリームは、常に主被写体にピントが合った動画ストリームとなる。

次に、図４を参照して、撮像装置１００による撮像周期Ｔと、画像の補正処理期間Ｈとの関係について説明する。図４は、撮像装置１００による撮像周期Ｔと画像の補正処理期間Ｈ（色収差補正、ブレ補正、歪曲補正処理の期間）との関係を示すタイミング図である。ここでは、図３を参照して説明した撮影タイミングごとに生成されるフレーム画像（Ｔ１−Ｆ１、Ｔ１−Ｆ２、・・・、Ｔ６−Ｆ５）の全てに対して、動画記録と同時に画像の補正処理を色収差補正、ブレ補正、歪曲補正の順に行う場合について説明する。ただし、本実施形態はこれに限定されるものではない。

図４に示されるように、色収差補正処理に関しては、撮像周期Ｔで取り込まれたフレーム画像Ｔ１−Ｆ１、Ｔ１−Ｆ２、Ｔ１−Ｆ３、Ｔ１−Ｆ４、Ｔ１−Ｆ５の全てに対して処理を行う場合、撮像周期Ｔ内に処理を完了することができる。一方、ブレ補正処理および歪曲補正は、全てのフレーム画像に対して処理を行う場合、撮像周期Ｔよりも長い処理時間を要する。その結果、撮像周期Ｔで取り込まれたフレーム画像に対して補正処理を行う場合、補正処理が完了する期間である補正処理期間Ｈが撮像周期Ｔよりも大きい。このため、動画を記録する時間は、ＤＲＡＭ１０１の撮影フレーム画像バッファに蓄積可能な時間となる。また、この条件下で長時間の動画撮影を実現するには、撮像周期Ｔを補正処理期間Ｈ以上とすればよいが、動画のフレームレートは低くなる。

次に、図５および図６を参照して、主被写体の合焦状態による画像補正処理の優先順位の判定および優先順位に応じた画像補正処理のタイミングについて説明する。図５は、主被写体の合焦状態による画像補正処理の優先順位の判定の説明図である。図６は、画像補正処理の優先順位に応じた画像補正処理のタイミング図である。

図５において、図３と同様に、フレーム画像はピント情報ごとに生成され、縦軸はピント距離、横軸は撮像する時間をそれぞれ示している。本実施形態は、５点のピント距離Ｆ１〜Ｆ５に応じたフレーム画像を撮像周期Ｔごとに撮影タイミングＴ１〜Ｔ６で撮像するが、これに限定されるものではない。また図５において、図３同様に、撮影タイミングごとに生成されるフレーム画像は、撮影タイミングＴ１〜Ｔ６のそれぞれにおけるピント距離Ｆ１〜Ｆ５のフレーム画像（Ｔ１−Ｆ１〜Ｔ６−Ｆ５）である。また、主被写体の合焦位置は、フレーム画像Ｔ１−Ｆ３、Ｔ２−Ｆ２、Ｔ３−Ｆ１、Ｔ４−Ｆ２、Ｔ５−Ｆ３、Ｔ６−Ｆ４のように変化している。同一の撮影タイミングで生成されるフレーム画像に対して、合焦判定手段１０７は、主被写体領域の高周波成分量から主被写体の合焦状態を判定する。そして優先順位づけ手段１１８（重み付け手段）は、主被写体領域の高周波成分が最も多い画像から最も少ない画像の順に、画像補正処理の優先順位付けを行う。

この条件下で補正処理の優先順位付けが行われた場合、各フレーム画像は、以下のように優先順位付けされる。すなわち、優先順位の最も高いフレーム画像Ｔ１−Ｆ３、Ｔ２−Ｆ２、Ｔ３−Ｆ１、Ｔ４−Ｆ２、Ｔ５−Ｆ３、Ｔ６−Ｆ４により、メイン（Ｇｒｏｕｐ１）動画ストリームが構成される。続いて優先順位の高いフレーム画像Ｔ１−Ｆ２、Ｔ２−Ｆ１、Ｔ３−Ｆ２、Ｔ４−Ｆ１、Ｔ５−Ｆ２、Ｔ６−Ｆ３により、エクステント（Ｇｒｏｕｐ２）動画ストリームが構成される。続いて優先順位の高いフレーム画像Ｔ１−Ｆ４、Ｔ２−Ｆ３、Ｔ３−Ｆ３、Ｔ４−Ｆ３、Ｔ５−Ｆ４、Ｔ６−Ｆ５により、エクステント（Ｇｒｏｕｐ３）動画ストリームが構成される。続いて優先順位の高いフレーム画像Ｔ１−Ｆ１、Ｔ２−Ｆ４、Ｔ３−Ｆ４、Ｔ４−Ｆ４、Ｔ５−Ｆ５、Ｔ６−Ｆ２により、エクステント（Ｇｒｏｕｐ４）動画ストリームが構成される。また、優先順位の最も低いフレーム画像Ｔ１−Ｆ５、Ｔ２−Ｆ５、Ｔ３−Ｆ５、Ｔ４−Ｆ５、Ｔ５−Ｆ１、Ｔ６−Ｆ１により、エクステント（Ｇｒｏｕｐ５）動画ストリームが構成される。

画像補正手段１１９は、優先順位付け手段１１８により決定された優先順位に応じた画像補正処理を行う。本実施形態において、画像補正手段１１９は、以下のように、補正優先順位に応じた画像補正処理を行う。すなわち画像補正手段１１９は、優先順位の最も高い（優先順位１の）フレーム画像（Ｇｒｏｕｐ１）および次に優先順位の高い（優先順位２の）フレーム画像（Ｇｒｏｕｐ２）に対して、画像補正処理として、色収差補正、ブレ補正、および、歪曲補正を行う。また画像補正手段１１９は、次に優先順位の高い（優先順位３の）フレーム画像（Ｇｒｏｕｐ３）に対して、画像補正処理として色収差補正およびブレ補正を行う。また画像補正手段１１９は、次に優先順位の高い（優先順位４の）フレーム画像（Ｇｒｏｕｐ４）および最も優先順位の低い（優先順位５の）フレーム画像（Ｇｒｏｕｐ３）に対して、画像補正処理として色収差補正を行う。

この条件下で補正処理を行うと、図６に示されるような画像補正処理タイミングとなる。すなわち、補正優先順位の低いフレームに対しては処理時間を要する補正処理を行わないようにすることにより、撮像周期Ｔの期間に取り込まれたフレーム画像に対する補正処理期間Ｈを短くすることができる。このように本実施形態では、撮像周期Ｔの期間に取り込まれたフレーム画像に対して、主被写体のピント状態による画像補正処理の優先順位を決定し、その優先順位に応じて画像補正処理を変更すること。これにより、補正処理期間Ｈを撮像周期Ｔの期間よりも短くすることができ、撮影フレームレートを向上させることが可能となる。

次に、図７を参照して、図５および図６を参照して説明した主被写体の合焦状態による優先順位に応じた画像補正処理に関し、撮像装置１００の動作について説明する。図７は、主被写体の合焦状態による優先順位に応じた画像補正処理に関し、撮像装置１００の動作を示すフローチャートである。図７の各ステップは、主に、撮像装置１００のＣＰＵ１１３の指令に基づいて、撮像装置１００の各部（被写体検出手段１０６、合焦判定手段１０７、優先順位付け手段１１８、画像補正手段１１９）により実行される。

まず、ステップＳ７０１において、被写体検出手段１０６は、撮像周期Ｔの期間中に取り込まれた複数（Ｎ枚）のフレーム画像を用いて、主被写体領域を検出する。そして合焦判定手段１０７は、被写体検出手段１０６により検出された主被写体領域の合焦状態が最も良好なフレーム画像（主被写体合焦フレーム画像）を判定する。

続いてステップＳ７０２において、優先順位付け手段１１８は、ステップＳ７０１にて判定された主被写体合焦フレーム画像を基準として、取り込まれたＮ枚のフレーム画像に対して画像補正処理の優先順位を決定する。すなわち優先順位付け手段１１８は、主被写体合焦フレーム画像からの距離に応じて、各フレーム画像の優先順位を決定する。続いてステップＳ７０３において、ＣＰＵ１１３（画像補正手段１１９）は、画像補正処理されたフレーム画像の枚数を数える画像補正処理カウンタの値ｎを１に初期化する。画像補正処理カウンタの値ｎは、取り込まれたＮ枚のフレーム画像に一対一で対応付けられている。

続いてステップＳ７０４において、画像補正手段１１９は、画像補正処理カウンタの値ｎが取り込まれたフレーム画像の枚数Ｎ以下であるか否かを判定する。ステップＳ７０４にて画像補正処理カウンタの値Ｎがフレーム画像の枚数Ｎよりも大きい場合、ＣＰＵ１１３（画像補正手段１１９）は、取り込まれた全てのフレーム画像に対する画像補正処理が完了したと判定し、本フローを終了する。一方、ステップＳ７０４にて画像補正処理カウンタの値ｎがフレーム画像の枚数Ｎ以下である場合、ステップＳ７０５へ進む。ステップＳ７０５において、画像補正手段１１９は、画像補正処理カウンタの値ｎに対応付けられたフレーム画像が優先順位２以上（すなわち、優先順位１または優先順位２）のフレーム画像であるか否かを判定する。

ステップＳ７０５にてフレーム画像が優先順位２以上（すなわち、優先順位１または優先順位２）のフレーム画像である場合、ステップＳ７０６へ進む。ステップＳ７０６において、画像補正手段１１９は、画像補正処理として、色収差補正、ブレ補正、および、歪曲補正を行う。そしてステップＳ７０７において、ＣＰＵ１１３（画像補正手段１１９）は画像補正処理カウンタの値ｎを１インクリメントし、ステップＳ７０４へ戻る。一方、ステップＳ７０５にてフレーム画像が優先順位２未満（すなわち、優先順位３〜５）のフレーム画像である場合、ステップＳ７０８へ進む。ステップＳ７０８において、画像補正手段１１９は、画像補正処理カウンタの値ｎに対応付けられたフレーム画像が優先順位３のフレーム画像であるか否かを判定する。

ステップＳ７０８にてフレーム画像が優先順位３のフレーム画像である場合、ステップＳ７０９へ進む。ステップＳ７０９において、画像補正手段１１９は、画像補正処理として、色収差補正およびブレ補正を行う。そしてステップＳ７０７において、ＣＰＵ１１３（画像補正手段１１９）は画像補正処理カウンタの値ｎを１インクリメントし、ステップＳ７０４へ戻る。一方、ステップＳ７０８にてフレーム画像が優先順位３のフレーム画像ではない場合（すなわち、優先順位４または優先順位５のフレーム画像である場合）、画像補正処理として色収差補正を行う。そしてステップＳ７０７において、ＣＰＵ１１３（画像補正手段１１９）は画像補正処理カウンタの値ｎを１インクリメントし、ステップＳ７０４へ戻る。

以上のように、同一の撮影タイミングで撮影条件の互いに異なる複数のフレーム画像を生成する撮像装置において、撮影タイミングごとに主被写体のピント状態に応じてフレーム画像を優先順位付けし、優先順位に応じた画像補正処理を行う。すなわち、相対的に重要な主被写体の合焦フレーム画像に対しては十分な画像補正処理を行い、相対的な重要度が低いフレーム画像に対しては画像補正処理を削減する。この結果、複数の動画ストリーム撮影において、フレームレートを向上させることができ、または、フレームレートの低下を回避することができる。

（第２実施形態）
次に、図８および図９を参照して、本発明の第２実施形態について説明する。本実施形態は、優先順位に応じた画像補正処理を行う際に、直前の補正処理期間Ｈ１に基づいて、補正処理期間Ｈ２における補正処理を変更する点で、第１実施形態とは異なる。なお、本実施形態における撮像装置の基本構成および基本動作は、図１を参照して説明した第１実施形態の撮像装置１００の構成及び動作とそれぞれ同様であるため、それらに関する共通の説明は省略する。

図８は、主被写体の合焦状態による画像補正処理の優先順位に応じた画像補正処理のタイミング図である。図８において、撮像周期Ｔ（撮影タイミングＴ１、Ｔ２）で取り込まれたフレーム画像に対する補正処理の優先順位および補正処理の種類は、以下のとおりである。すなわち画像補正手段１１９は、優先順位の最も高い（優先順位１の）フレーム画像および次に優先順位の高い（優先順位２の）フレーム画像に対して、画像補正処理として、色収差補正、ブレ補正、および、歪曲補正を行う。また画像補正手段１１９は、次に優先順位の高い（優先順位３の）フレーム画像に対して、画像補正処理として色収差補正およびブレ補正を行う。また画像補正手段１１９は、次に優先順位の高い（優先順位４の）フレーム画像および最も優先順位の低い（優先順位５の）フレーム画像に対して、画像補正処理として色収差補正を行う。

この条件下で補正処理を行うと、図８に示されるような画像補正処理タイミングとなる。撮影タイミングＴ１の期間中に取り込まれたフレーム画像に対する補正処理期間Ｈ１は、撮像周期Ｔ（撮影タイミングＴ１）より長い。この場合、本実施形態では、次の撮像期間Ｔ（撮影タイミングＴ２）で取り込まれたフレーム画像に対する優先順位および補正処理の種類を変更する。例えば、撮影タイミングＴ２における変更後の優先順位および補正処理の種類は、以下のとおりである。すなわち画像補正手段１１９は、優先順位の最も高い（優先順位１の）フレーム画像に対して、画像補正処理として、色収差補正、ブレ補正、および、歪曲補正を行う。また画像補正手段１１９は、次に優先順位の高い（優先順位２の）フレーム画像、および、更に次に優先順位の高い（優先順位３の）フレーム画像に対して、画像補正処理として色収差補正およびブレ補正を行う。また画像補正手段１１９は、次に優先順位の高い（優先順位４の）フレーム画像および最も優先順位の低い（優先順位５の）フレーム画像に対して、画像補正処理として色収差補正を行う。

このように優先順位に対する補正処理の種類を変更すると、撮影タイミングＴ２の期間中に取り込まれたフレーム画像に対する画像補正処理期間Ｈ２は撮像周期Ｔ（撮影タイミングＴ２）以下となる。この結果、次の撮像周期Ｔ（撮影タイミングＴ３）で取り込まれるフレーム画像への画像補正処理期間Ｈ３を確保することが可能となる。

次に、図９を参照して、図８を参照して説明した主被写体の合焦状態による優先順位に応じた画像補正処理に関し、撮像装置１００の動作について説明する。図９は、主被写体の合焦状態による優先順位に応じた画像補正処理に関し、撮像装置１００の動作を示すフローチャートである。図９の各ステップは、主に、撮像装置１００のＣＰＵ１１３の指令に基づいて画像補正手段１１９により実行される。また、図９のフローは、撮影周期Ｔごとに、すなわち撮影タイミングＴ１、Ｔ２、・・・、Ｔｎ、Ｔｎ＋１、・・・ごとに実行される。なお、優先順位に対応する画像補正処理は、図７を参照して説明した第１実施形態の画像補正処理を初期値（標準画像補正処理）とする。

まず、ステップＳ９０１において、画像補正手段１１９は、設定されている優先順位に対応するフレーム画像に対して、図７を参照して説明した優先順位に応じた画像補正処理（標準画像補正処理または第１画像補正処理）を行う。このとき実行された補正処理期間Ｈに関し、撮影タイミングＴ１、Ｔ２、・・・Ｔｎ、Ｔｎ＋１、・・・に対応する補正処理期間ＨをそれぞれＨ１、Ｈ２、・・・Ｈｎ、Ｈｎ＋１、・・・とする。

続いてステップＳ９０２において、画像補正手段１１９は、ステップＳ９０１にて実行した撮影タイミングＴｎ（直前の撮影タイミング）に対応する補正処理期間Ｈｎが撮影周期Ｔ以上であるか否かを判定する。ステップＳ９０２にて撮影タイミングＴｎに対応する補正処理期間Ｔｎが撮影周期Ｔ以上である場合、ステップＳ９０３へ進む。ステップＳ９０３において、画像補正手段１１９は、次の撮影タイミングＴｎ＋１に対応する画像補正期間Ｈｎ＋１が短くなるように、優先順位に応じた補正処理（の内容または種類）を変更する。このとき画像補正手段１１９は、例えば図８を参照して説明したように、各優先順位に対応する画像補正処理の種類を変更する。すなわち、優先順位２のフレーム画像に対する画像補正処理として、色収差補正およびブレ補正のみを行うように（すなわち、歪曲補正を行わないように）変更する。本実施形態では、このときの画像補正処理を第２画像補正処理という。

また本実施形態において、現在設定されている優先順位に対応する画像補正処理が第２画像補正処理である場合、次に設定される画像補正処理として、第３画像補正処理の内容に変更することができる。例えば、現在設定されている画像補正処理が第２画像補正処理である場合、第３画像補正処理を以下のように設定する。すなわち画像補正手段１１９は、優先順位の最も高い（優先順位１の）フレーム画像に対して、画像補正処理として、色収差補正およびブレ補正を行う。また画像補正手段１１９は、次に優先順位の高い（優先順位２の）フレーム画像、および、更に次に優先順位の高い（優先順位３の）フレーム画像に対して、画像補正処理として色収差補正を行う。また画像補正手段１１９は、次に優先順位の高い（優先順位４の）フレーム画像および最も優先順位の低い（優先順位５の）フレーム画像に対して、画像補正処理を行わない。

以上のとおり、本実施形態では、直前の画像補正処理が撮影周期Ｔ以上である場合、次の画像補正処理の内容や種類を削減するように（画像補正処理の性能が低減するように）、次の画像補正処理を設定する。例えば、直前の画像補正処理が標準画像補正処理（第１画像補正処理）である場合、次の画像補正処理期間に実行される画像補正処理として第２画像補正処理を設定する。同様に、直前の画像補正処理が第２画像補正処理である場合、次の画像補正処理期間に実行される画像補正処理として第３画像補正処理を設定する。また、直前の画像補正処理が第３画像補正処理である場合、次の画像補正処理期間には画像補正処理を行わない。また、直前の画像補正処理期間において画像補正処理が行われない場合、次の画像補正処理期間においても画像補正処理を行わない。

一方、ステップＳ９０２にて直前の画像補正処理が撮影周期Ｔよりも小さい場合、ステップＳ９０４へ進む。ステップＳ９０４において、画像補正手段１１９は、次の撮影タイミングＴｎ＋１での画像補正処理の性能が向上するように、優先順位に応じた画像補正処理の内容または種類を変更する。例えば、直前の画像補正処理が標準画像補正処理（第１画像補正処理）である場合、次の画像補正処理期間に実行される画像補正処理として、標準画像補正処理（第１画像補正処理）を設定する。また、直前の画像補正処理が第２画像補正処理である場合、次の画像補正処理期間に実行される画像補正処理として、標準画像補正処理（第１画像補正処理）を設定する。また、直前の画像補正処理が第３画像補正処理である場合、次の画像補正処理期間に実行される画像補正処理として、第２画像補正処理を設定する。また、直前の画像補正処理期間において画像補正処理が行われない場合、次の画像補正処理期間に実行される画像補正処理として、第３画像補正処理を設定する。

なお本実施形態において、各フレーム画像に対する画像補正処理を動的に変更したが、これに限定されるものではない。例えば、各フレーム画像に対する画像補正処理の内容を、ＣＰＵ１１３により実行される補正情報付加処理プログラムに従って、動画ストリームに付加して記録してもよい。

このように本実施形態では、直前の撮影タイミングで取り込まれたフレーム画像に対する画像補正処理期間が撮像周期以上の期間である場合、次の撮影タイミングでの優先順位および画像補正処理の内容や種類を動的に変更する。これにより、複数の動画ストリーム撮影におけるフレームメモリのオーバーフローを効果的に回避することができ、撮影フレームレートを安定させることが可能となる。

このように各実施形態において、画像処理装置（撮像装置１００）は、信号処理手段１０５、優先順位付け手段１１８、および、画像補正手段１１９を有する。信号処理手段１０５は、所定期間（撮影周期Ｔ、撮影タイミング）ごとに撮影された、撮影条件が互いに異なる複数のフレーム画像を生成する。優先順位付け手段１１８は、複数のフレーム画像に関して優先順位を付ける（スコアを算出する）。画像補正手段１１９は、複数のフレーム画像に対して補正処理を行う。また画像補正手段１１９は、優先順位に応じて複数のフレーム画像に対する補正処理を変更する。

好ましくは、優先順位付け手段１１８は、複数のフレーム画像に関し、撮影条件に応じて優先順位を付ける。また好ましくは、画像補正手段１１９は、複数のフレーム画像のうち、優先順位が第１優先順位である第１フレーム画像に対して、第１処理負荷の第１補正処理を行う。また画像補正手段１１９は、複数のフレーム画像のうち、優先順位が第１優先順位よりも低い第２優先順位である第２フレーム画像に対して、第１処理負荷よりも小さい第２処理負荷の第２補正処理を行う。ここで、補正処理の処理負荷とは、補正処理の数や強度などに応じた負荷であり、処理負荷に応じて補正処理に要する時間は変化する。また好ましくは、画像処理装置は、所定期間ごとの複数のフレーム画像に基づいて複数チャンネルの動画データ（動画ストリーム）を生成する動画符号化手段１０９を有する。

好ましくは、画像処理装置は、複数のフレーム画像から被写体領域を検出する被写体検出手段１０６と、被写体領域の合焦状態を判定する合焦判定手段１０７とを有する。優先順位付け手段１１８は、合焦状態に応じて優先順位を付ける。より好ましくは、優先順位付け手段１１８は、複数のフレーム画像のうち、合焦状態が第１合焦状態である第１フレーム画像の優先順位を、第１優先順位とする。また優先順位付け手段１１８は、合焦状態が第１合焦状態よりも高周波成分の少ない第２合焦状態である第２フレーム画像の優先順位を、第１優先順位よりも低い第２優先順位とする。

好ましくは、画像補正手段１１９は、補正処理として、複数のフレーム画像に対するブレ補正処理を行い、優先順位に応じてブレ補正処理の強度を変更する。例えば、主被写体にピントが合っているフレーム画像のピント位置からの距離が離れるほど補正処理の強度（レベル）を低下させ、または、ブレ補正処理中の探索範囲を狭める。また好ましくは、画像補正手段１１９は、補正処理として、複数のフレーム画像に対する歪曲補正処理を行い、優先順位に応じて歪曲補正処理の強度を変更する。このとき、主被写体にピントが合っているフレーム画像を基準として所定の優先順位のフレーム画像に関してのみ歪曲補正処理を行うようにしてもよい。また好ましくは、画像補正手段１１９は、複数のフレーム画像に対する色収差補正処理を行い、優先順位に応じて色収差補正処理の強度を変更する。このとき、高周波成分が低い（すなわち、ほとんどぼけている）フレーム画像に対して色収差補正をしないようにしてもよい。

好ましくは、画像補正手段１１９は、補正処理に要する処理時間に応じて、優先順位に応じた補正処理方法を変更する。より好ましくは、画像補正手段は、所定期間としての第１撮影タイミングで撮影される複数のフレーム画像に対する補正処理の処理時間に基づき、第１撮影タイミングよりも後の第２撮影タイミングで撮影される複数のフレーム画像に対する補正処理方法を決定する。より好ましくは、第１撮影タイミングは第２撮影タイミングの直前の撮影タイミングである。また好ましくは、画像処理装置は、補正処理に関する補正情報をフレーム画像ごとに生成する補正情報生成手段（ＣＰＵ１１３、ＲＯＭ１１５、補正情報生成プログラム）を有する。また画像処理装置は、所定期間ごとの複数のフレーム画像に基づいて生成される複数チャンネルの動画データ（動画ストリーム）に、補正処理に関する補正情報を付加する補正情報付加手段（ＣＰＵ１１３、ＲＯＭ１１５、情報付加プログラム）を有する。補正処理に関する補正情報を動画ストリームに付加することにより、未補正の画像に対して再生時に補正を行うことができる。

好ましくは、信号処理手段１０５は、撮影条件として合焦位置（合焦距離またはピント距離）が互いに異なる複数のフレーム画像を生成する。より好ましくは、優先順位付け手段１１８は、複数のフレーム画像のうち、主被写体と合焦位置とが最も近いフレーム画像を最優先フレーム画像とする。また画像補正手段１１９は、最優先フレーム画像に対する補正処理の強度を、最優先フレーム画像を除く他のフレーム画像に対する補正処理の強度よりも強くする。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施形態によれば、所定期間に撮影条件（合焦条件）が互いに異なる複数のフレーム画像を、主被写体の合焦条件に応じて優先順位を付け、優先順位に応じてフレーム画像ごとに画像補正処理を変更する。この結果、より高いフレームレートの複数の動画を同時に記録することができる。すなわち各実施形態によれば、主被写体のピント状態に応じて複数のフレーム画像の画像補正処理を変更することにより、高いフレームレートで複数の動画を取得可能な画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００ 撮像装置（画像処理装置）
１０５ 信号処理手段
１１８ 優先順位付け手段
１１９ 画像補正手段

Claims (18)

1. 所定期間ごとに撮影された、撮影条件が互いに異なる複数のフレーム画像を生成する信号処理手段と、
   前記複数のフレーム画像に関して優先順位を付ける優先順位付け手段と、
   前記複数のフレーム画像に対して補正処理を行う画像補正手段と、を有し、
   前記画像補正手段は、前記優先順位に応じて前記複数のフレーム画像に対する前記補正処理を変更する、ことを特徴とする画像処理装置。
2. 前記優先順位付け手段は、前記複数のフレーム画像に関し、前記撮影条件に応じて前記優先順位を付けることを特徴とする請求項１に記載の画像処理装置。
3. 前記画像補正手段は、前記複数のフレーム画像のうち、
   前記優先順位が第１優先順位である第１フレーム画像に対して、第１処理負荷の第１補正処理を行い、
   前記優先順位が前記第１優先順位よりも低い第２優先順位である第２フレーム画像に対して、前記第１処理負荷よりも小さい第２処理負荷の第２補正処理を行う、ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記所定期間ごとの前記複数のフレーム画像に基づいて複数チャンネルの動画データを生成する動画符号化手段を更に有することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記複数のフレーム画像から被写体領域を検出する被写体検出手段と、
   前記被写体領域の合焦状態を判定する合焦判定手段と、を更に有し、
   前記優先順位付け手段は、前記合焦状態に応じて前記優先順位を付ける、ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記優先順位付け手段は、前記複数のフレーム画像のうち、
   前記合焦状態が第１合焦状態である第１フレーム画像の前記優先順位を、第１優先順位とし、
   前記合焦状態が前記第１合焦状態よりも高周波成分の少ない第２合焦状態である第２フレーム画像の前記優先順位を、前記第１優先順位よりも低い第２優先順位とする、ことを特徴とする請求項５に記載の画像処理装置。
7. 前記画像補正手段は、
   前記補正処理として、前記複数のフレーム画像に対するブレ補正処理を行い、
   前記優先順位に応じて前記ブレ補正処理の強度を変更する、ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記画像補正手段は、
   前記補正処理として、前記複数のフレーム画像に対する歪曲補正処理を行い、
   前記優先順位に応じて前記歪曲補正処理の強度を変更する、ことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記画像補正手段は、前記複数のフレーム画像に対する色収差補正処理を行い、
   前記優先順位に応じて前記色収差補正処理の強度を変更する、ことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記画像補正手段は、前記補正処理に要する処理時間に応じて、前記優先順位に応じた補正処理方法を変更することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記画像補正手段は、前記所定期間としての第１撮影タイミングで撮影される複数のフレーム画像に対する前記補正処理の処理時間に基づいて、該第１撮影タイミングよりも後の第２撮影タイミングで撮影される複数のフレーム画像に対する前記補正処理方法を決定する、ことを特徴とする請求項１０に記載の画像処理装置。
12. 前記補正処理に関する補正情報をフレーム画像ごとに生成する補正情報生成手段と、
    前記所定期間ごとの前記複数のフレーム画像に基づいて生成される複数チャンネルの動画データに、前記補正処理に関する補正情報を付加する補正情報付加手段と、を有する、ことを特徴とする請求項１乃至１１のいずれか1項に記載の画像処理装置。
13. 前記信号処理手段は、前記撮影条件として合焦位置が互いに異なる前記複数のフレーム画像を生成することを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. 前記優先順位付け手段は、前記複数のフレーム画像のうち、主被写体と前記合焦位置とが最も近いフレーム画像を最優先フレーム画像とし、
    前記画像補正手段は、前記最優先フレーム画像に対する前記補正処理の強度を、該最優先フレーム画像を除く他のフレーム画像に対する該補正処理の強度よりも強くする、ことを特徴とする請求項１３に記載の画像処理装置。
15. 所定期間ごとに撮影条件が互いに異なる複数の画像データを出力する撮像手段と、
    前記複数の画像データに基づいて複数のフレーム画像を生成する信号処理手段と、
    前記複数のフレーム画像に関して優先順位を付ける優先順位付け手段と、
    前記複数のフレーム画像に対して補正処理を行う画像補正手段と、を有し、
    前記画像補正手段は、前記優先順位に応じて前記複数のフレーム画像に対する前記補正処理を変更する、ことを特徴とする撮像装置。
16. 所定期間ごとに撮影された、撮影条件が互いに異なる複数のフレーム画像を生成するステップと、
    前記複数のフレーム画像に関して優先順位を付けるステップと、
    前記複数のフレーム画像に対して補正処理を行うステップと、を有し、
    前記補正処理を行うステップは、前記優先順位に応じて前記複数のフレーム画像に対する前記補正処理を変更するステップを含む、ことを特徴とする画像処理方法。
17. 所定期間ごとに撮影された、撮影条件が互いに異なる複数のフレーム画像を生成するステップと、
    前記複数のフレーム画像に関して優先順位を付けるステップと、
    前記複数のフレーム画像に対して補正処理を行うステップと、をコンピュータに実行させるプログラムであって、
    前記補正処理を行うステップは、前記優先順位に応じて前記複数のフレーム画像に対する前記補正処理を変更するステップを含む、ことを特徴とするプログラム。
18. 請求項１７に記載のプログラムを記憶していることを特徴とする記憶媒体。