JP2017011571A - 画像処理装置、画像処理システム、撮像装置、カメラシステム、および画像処理方法 - Google Patents

Abstract

【課題】精度よく光学特性を補正可能な画像処理装置を提供すること。
【解決手段】傾動可能な光学部材を備える光学系を通った光に基づいて取得される画像信号上に発生する光学特性を補正する補正手段と、光学部材の駆動量を、補正手段が光学特性を補正する際に用いる複数の成分に分離する分離手段と、を有し、複数の成分のうち少なくとも１つ以上の成分は、立体角または平面角の関数である。
【選択図】図１

Description

本発明は、画像処理装置、画像処理システム、撮像装置、カメラシステム、および画像処理方法に関する。

結像光学系を含むレンズと撮像素子を用いた撮像装置において、手ブレ等に起因する撮像素子上の像ブレが発生することが知られている。特許文献１では、撮像素子上の像ブレにより撮影された画像がぶれてしまう等の問題を解決するために、結像光学系を構成するレンズのうち一部のレンズを用いて像ブレを補正する技術が開示されている。

特開２００８−１３４３２９号公報

しかしながら、特許文献１の構成では、レンズを傾動させて像ブレを補正するため、レンズに入射する被写体からの光線の入射角度が変わり、周辺減光等の光学特性に起因する撮影画像上の画質劣化が発生してしまう。

このような課題に鑑みて、本発明は、精度よく光学特性を補正可能な画像処理装置を提供することを目的とする。

本発明の一側面としての画像処理装置は、傾動可能な光学部材を備える光学系を通った光に基づいて取得される画像信号上に発生する光学特性を補正する補正手段と、前記光学部材の駆動量を、前記補正手段が前記光学特性を補正する際に用いる複数の成分に分離する分離手段と、を有し、前記複数の成分のうち少なくとも１つ以上の成分は、立体角または平面角の関数であることを特徴とする。

また、本発明の他の側面としての撮像装置は、傾動可能な光学部材を備える光学系を通った光から画像信号を取得する撮像素子と、前記画像信号上に発生する光学特性を補正する補正手段と、前記光学部材の駆動量を、前記補正手段が前記光学特性を補正する際に用いる複数の成分に分離する分離手段と、を有し、前記複数の成分のうち少なくとも１つ以上の成分は、前記光学部材の駆動量に応じた立体角または平面角の関数であることを特徴とする。

また、本発明の他の側面としての画像処理方法は、傾動可能な光学部材の駆動量を、複数の成分に分離する分離工程と、前記光学部材を備える光学系を通った光に基づいて取得される画像信号上に発生する光学特性を、前記複数の成分を用いて補正する補正工程と、を有し、前記複数の成分のうち少なくとも１つ以上の成分は、立体角または平面角の関数であることを特徴とする。

本発明によれば、精度よく光学特性を補正可能な画像処理装置を提供することができる。

実施例１の画像処理装置を搭載した撮像装置のブロック図である。 実施例１のシェーディング補正値の算出方法を示すフローチャートである。 実施例１の傾動可能なレンズが傾動したときの立体角と平面角を示す図である。 実施例１の傾動可能なレンズが傾動したときのシフト成分を示す図である。 実施例１の傾動可能なレンズが傾動したときのシフト成分の細分化したときの様子を示す図である。 実施例１のデータベースに記録されている近似関数係数を示す図である。 実施例１のシェーディング補正値を示す図である。 実施例１の複数のシェーディング補正値を示す図である。 実施例２の画像処理装置を搭載した撮像装置のブロック図である。 実施例２の画像信号上に現れるシェーディングを示す図である。 実施例２のシェーディング補正値の算出方法を示すフローチャートである。 実施例２のデータベースに記録されているシェーディング補正値を示す図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

画像処理装置を搭載した撮像装置について、図１を参照して説明する。光学系１０１は、被写体から放射された光を結像する。光学系１０１は、手ブレ等による像ブレを抑制するために傾動可能なレンズ（光学部材）を備える。また、光学系１０１は、被写体にピントを合わせるためのフォーカスレンズとその制御機構、焦点距離を変更するためのズームレンズとその制御機構、または入射光量を調節するための絞り機構を備えていてもよい。光学系制御手段１０２は、制御手段１０８からの指示に応じて、光学系１０１を制御する。撮像素子１０３は、光学系１０１を通った光を電気信号に変換し、画像信号として出力する。撮像素子制御手段１０４は、制御手段１０８からの指示に応じて、撮像素子１０３に備えられている電子シャッタ機能やゲイン調整機能などを制御する。成分分離手段（分離手段）１０５は、光学系１０１が備える傾動可能なレンズの駆動量情報をあらかじめ定められた２以上の成分に分離する。シェーディング補正手段（補正手段）１０６は、撮像素子１０３から電気信号で読み出された画像信号に対して周辺減光等の光学特性を補正する。データベース（記憶手段）１０７は、シェーディング補正手段１０６がシェーディング補正値を算出する際に使用する光学系１０１の光学特性のデータベースである。制御手段１０８は、撮像装置全体の制御を司る。

本実施形態の画像処理装置は、少なくとも成分分離手段１０５とシェーディング補正手段１０６を備える。本実施形態の画像処理装置は、撮像装置に搭載されているが、独立して撮像装置等から出力された画像を補正してもよい。また、本実施形態では、データベース１０７は撮像装置内に設けられているが、画像処理装置が有してもよいし、クラウド上のサーバ等に設けられてもよい。画像処理装置とデータベースを保持する装置は、画像処理システムとして機能する。画像処理システムでは、撮像装置等から出力された画像を取得する画像処理装置がデータベースを保持する装置から補正に必要なパラメータを取得して補正処理を行う。また、本発明は、撮像装置と、撮像装置に着脱可能に取り付けられる光学系１０１を含むレンズと、を有するカメラシステムに対しても適用可能である。このとき、光学系１０１を含むレンズ内に光学系１０１の光学特性のデータベースを備えていてもよい。

シェーディング補正値の算出方法について、図２を参照して説明する。ステップＳ２０１では、成分分離手段１０５は、光学系１０１が備える傾動可能なレンズの駆動量情報を取得する。傾動可能なレンズの駆動量情報について、図３を参照して説明する。図３は、光学系１０１が備える傾動可能なレンズ３０４が傾動したときの立体角と平面角を示す図である。図３では、傾動前のレンズ３０４の傾動中心３０１を通る光学系１０１の光軸３０２をＺ軸、傾動中心３０１を通り、Ｚ軸を法線とする平面を互いに直交する２軸をそれぞれＸ軸、Ｙ軸としている。半直線３０３は、アクチュエータ（不図示）等で傾動後のレンズ３０４の中心と傾動中心３０１とを通る。レンズ３０４の駆動量情報は、どのくらいの量でどの方向に傾動させたかを示す情報のことであり、傾動方向と傾動量で表される。傾動量は、立体角ωで数値化されるか、傾動方向を含む面においてＺ軸と半直線３０３で挟まれた平面角θで数値化される。また、立体角ωと平面角θは、以下の数式１に示されるように、互いに変換可能である。

ステップＳ２０２では、成分分離手段１０５は、レンズ３０４の駆動量情報を複数の成分に分離する。図４は、レンズ３０４が傾動したときのシフト成分を示す図であり、傾動後のレンズ３０４の中心と傾動中心３０１とを通る半直線３０３と光軸Ｚを含む面を示している。図４では、傾動前のレンズ３０４の中心位置を点Ａ、傾動後のレンズ３０４の中心位置を点Ｂ、傾動中心３０１を点Ｏで示している。角度∠ＡＯＢが傾動量θを示す。点Ｂから線分ＡＯに垂直に下ろした直線と線分ＡＯとの交点を点Ｃ、線分ＢＣを点Ｂの先に延長させた半直線を半直線ＤＣとする。弧ＡＢはレンズ３０４を点Ａから点Ｂまで傾動させたときの軌跡で、点Ｂで弧ＡＢと接する線分を線分ＥＦとしている。図４の位置関係のとき、以下の関係式が成り立つ。

したがって、点Ａから点Ｂに傾動させたときの傾き成分（チルト成分）Ｔは、以下の数式４で表される。

また、レンズ３０４を点Ａから点Ｂに傾動させたときのシフト成分Ｓｒは、傾動中心Ｏとレンズ３０４の中心との距離をＲとすると、以下の数式５で表される。

シフト成分Ｓｒについては、ＸＹ座標平面上でさらに細分化する。図５は、線分ＢＣを含む平面をＸＹ座標平面で示す図である。線分ＢＣは、シフト成分Ｓｒである。点ＢからＸ軸に垂直に下ろした直線とＸ軸とが交わる点を点Ｇ、点ＢからＹ軸に垂直に下ろした直線とＹ軸とが交わる点を点Ｈとする。このとき、シフト成分Ｓｒのｘ成分であるシフト成分Ｓｘ（線分ＣＧ）とｙ成分であるシフト成分Ｓｙ（線分ＣＨ）はそれぞれ、以下の数式６，７で表される。また、ステップＳ２０２において、シェーディング補正手段１０６は、傾き成分θ、シフト成分Ｓｘ，Ｓｙを取得する。

ステップＳ２０３では、シェーディング補正手段１０６は、シェーディング補正値を生成するために必要なパラメータである近似関数係数をデータベース１０７から取得する。図６は、データベース１０７に記録されている近似関数係数を示す図である。本実施例では、撮像素子１０３から取得される画像信号上に発生しているシェーディングが光学中心を中心として同心円状に発生し、シェーディング補正値は画像信号上における光学中心位置を原点とした像高の関数で近似されるものとして説明する。例えば、シェーディング補正値Ｐは、像高ｒの関数として以下の数式８で表される。

数式８中のａ，ｂ，ｃはそれぞれ多項式の係数であり、データベース１０７は複数の係数の組み合わせを記録している。すなわち、係数の組み合わせを変えることで、像高ｒに対するシェーディング補正値Ｐをさまざまな条件で算出できる。係数ａ，ｂ，ｃは、図６において連続関数で表されているが、データベース１０７の記録容量に応じて離散的な数であってもよい。シェーディング補正手段１０６は、平面角θ（傾き成分Ｔ）における係数ａ，ｂ，ｃをデータベース１０７から参照する。図６において、平面角θｍａｘを境に右側のグラフが点線で表されているが、これはレンズ３０４の可動範囲の最大値より大きい係数をデータベース１０７に記録する必要がないからである。したがって、データベース１０７は、θ＝０からθ＝θｍａｘまでの範囲で係数を記録しておけばよい。

ステップＳ２０４では、シェーディング補正手段１０６は、像高ｒに応じてシェーディング補正値Ｐを算出する。画像信号において傾き成分Ｔ＝０のときの光学中心を原点としたときのｘ座標およびｙ座標から像高ｒは以下の式で算出される。

しかしながら、レンズ３０４が傾動した場合、傾動によるシフト成分Ｓｘ，Ｓｙを考慮する必要がある。そこで、傾動によるシフト成分Ｓｘを画像信号の画素距離に変換したものをシフト成分Ｓｘ’、傾動によるシフト成分Ｓｙを画像信号上の画素距離に変換したものをシフト成分Ｓｙ’とすると、数式９は以下の数式１０で表される。

したがって、シェーディング補正手段は、数式１０で算出される像高ｒ’でシェーディング補正値Ｐを算出する。図７は、データベース１０７から取得した多項式の係数ａ，ｂ，ｃを用いて数式８で算出したシェーディング補正値Ｐの模式図である。シェーディング補正値Ｐは、画像信号上の任意の画素について、数式１０で算出された像高ｒ’を数式８に代入することで算出される。

ステップＳ２０５では、シェーディング補正手段１０６は、画像信号中の着目画素についてシェーディング補正値Ｐを用いてシェーディングを補正する。

以上説明したように、本実施例では、まず、傾動可能なレンズ３０４を傾動させることにより手ブレ等による像ブレを抑制する撮像装置において、傾動に起因するレンズ３０４の駆動量情報をチルト成分とシフト成分に分離する。そして、得られた各々の成分に基づいて光学特性の変化を補正するための補正値を決定することで、レンズ３０４の駆動量情報に基づく光学特性の補正が実現される。

また、本実施例では、シェーディング補正値Ｐを多項式で近似したが、その多項式の係数に以下の処理を行うことで、さらなる画像信号の画質向上が実現できる。図８は、図７と同様に、シェーディング補正値Ｐを示す図である。シェーディング補正値８０３は、傾き成分Ｔ＝０のときのシャーディング補正値である。シェーディング補正値８０１，８０２はそれぞれ、傾き成分Ｔが０でない異なる値のときのシェーディング補正値である。通常、シェーディング補正値Ｐは、像高ｒ’＝０のときの補正値を１倍とし、像高中心の信号レベルになるように他の像高のシェーディング補正値を決定するが、このようにしてしまうと、異なる画像信号ごとに全体の信号レベルが変動してしまう。そのため、図８に示されるように、シェーディング補正値Ｐは、傾き成分Ｔ＝０のときの像高ｒ’＝０の信号レベルを基準に、傾き成分Ｔが０以外のシェーディング補正値Ｐを決定する。このようにすることで、連続した画像信号において、傾き成分Ｔが変化した場合でも、画像信号全体のレベル変動が発生しないため、より画質向上が実現可能となる。

本実施例は、画像信号上に現れるシェーディングが非対称である場合のシェーディング補正について説明する。

図９は、本実施例の画像処理装置を搭載した撮像装置のブロック図である。図１と同じ符号を付しているものについては説明を省略する。本実施例でも光学系１０１は、傾動可能なレンズ３０４を備える。座標変換手段９０１は、撮像素子１０３で取得された画像信号の画素位置を示す座標を、制御手段１０８から得られる光学系１０１が備える傾動可能なレンズの駆動量情報を元に座標変換（座標回転）を行う。

図１０は、撮像素子１０３で得られた画像信号上に発生するシェーディングの模式図である。中心Ｏは、画像信号のＸ軸とＹ軸との交点で、レンズ３０４が傾き成分Ｔ＝０のときの光学中心である。レンズ３０４が傾動方向φだけ傾動したとき、光学特性の中心はシフト成分Ｓｘ，Ｓｙに比例するシフト成分Ｓｘ’，Ｓｙ’だけシフトする。光学系１０１は、傾動していないときは光軸を中心とした回転対称の系であるが、傾動させるとその対称性は崩れてしまう。したがって、傾動による駆動量情報のうち傾き成分に関しては、その傾きの軸（図４の点Ｂ）を中心に非対称性が発生する可能性がある。本実施例では、そのような非対称性を持つシェーディングを補正する。

図１１を参照して、本実施例のシェーディング補正値の算出方法について説明する。ステップＳ１１０１では、成分分離手段１０５は、レンズ３０４の駆動量情報を取得する。処理の内容については、図２のステップＳ２０１と同様であるので説明は省略する。

ステップＳ１１０２では、成分分離手段１０５は、レンズ３０４の駆動量情報を複数の成分に分離する。処理の内容については、図２のステップＳ２０２と同様であるので説明は省略する。

ステップＳ１１０３では、座標変換手段９０１は、傾動方向φから画像信号の座標変換を行う。傾動によって画像信号上に発生するシェーディングは、図１０に示されるように、シフト成分Ｓｘ’，Ｓｙ’によって変化したシェーディングの中心Ｏ’を通り、傾動方向φを成すＸ’Ｙ’座標系で以下のように記述される。

ステップＳ１１０４では、シェーディング補正手段１０６は、像高ｒに応じてデータベース１０７からシェーディング補正値を参照する。座標変換手段９０１で変換された座標ｘ’、ｙ’を用いて、像高ｒ’を算出する。ただし、Ｘ’Ｙ’座標系はシフト成分Ｓｘ’、Ｓｙ’だけ変換前の座標系からシフトしているため、以下の数式１３で像高ｒ’を算出する。

ここで、Ｋｘ、Ｋｙはそれぞれ、新しい座標系におけるＸ’軸とＹ’軸の偏倍係数である。レンズ３０４の傾動によって、新しい座標系の中心で回転対称なシェーディングとはならない場合に、偏倍係数Ｋｘ、Ｋｙのうち少なくとも一方を座標ｘ’，ｙ’に応じて切り替えることで対応可能となる。例えば、Ｋｘ＝１．０、Ｋｙ＝０．５とすることで、楕円系の像高ｒ’を算出することが可能となる。また、新しい座標系のＹ’の符号で偏倍係数を変えることで、新しい座標系のＸ’軸を境界として楕円系の像高ｒ’を算出することが可能となる。これら偏倍係数によって、レンズ３０４の傾き成分θによって傾きの軸（図４の点Ｂ）を境界とした光学系１０１における入射光特性の変化に対応することが可能となる。データベース１０７は、像高ｒ’におけるシェーディング補正値Ｐを格納している。図１２は、データベース１０７に記録されているシェーディング補正値Ｐを示す図である。シェーディング補正値１２０１〜１２０３は、所定の傾き成分θにおけるシェーディング補正値Ｐである。データベース１０７は、複数のシェーディング補正値を組み合わせて格納する。シェーディング補正手段１０６は、画像信号中の着目画素について、傾き成分θ、および数式１３で算出した像高ｒ’を元に、データベース１０７からシェーディング補正値Ｐを取得する。

ステップＳ１１０５では、シェーディング補正手段１０６は、画像信号中の着目画素についてシェーディング補正値Ｐを用いてシェーディングを補正する。

以上説明したように、本実施例では、まず、傾動可能なレンズ３０４を傾動させることにより手ブレ等による像ブレを抑制する撮像装置において、傾動に起因するレンズ３０４の駆動量情報をチルト成分とシフト成分に分離する。次に、傾動方向に応じて画像信号の座標変換を行う。そして、得られた各々の成分に基づいて、座標変換後の画像信号に対して非対称に発生する光学特性の変化を補正するための補正値を決定することで、レンズ３０４の駆動量情報に基づく光学特性の補正が実現される。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ 光学系
１０５ 成分分離手段（分離手段）
１０６ シェーディング補正手段（補正手段）
３０４ レンズ（光学部材）

Claims (14)

1. 傾動可能な光学部材を備える光学系を通った光に基づいて取得される画像信号上に発生する光学特性を補正する補正手段と、
   前記光学部材の駆動量を、前記補正手段が前記光学特性を補正する際に用いる複数の成分に分離する分離手段と、を有し、
   前記複数の成分のうち少なくとも１つ以上の成分は、立体角または平面角の関数であることを特徴とする画像処理装置。
2. 前記複数の成分のうち少なくとも１つの成分に対応する前記光学特性のパラメータを記録する記録手段を更に有することを特徴とする請求項１に記載の画像処理装置。
3. 前記光学特性は、周辺減光であることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記複数の成分は、チルト成分とシフト成分であることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記補正手段は、前記シフト成分の関数を用いて前記光学特性を補正するための補正値を算出するものであって、
   前記関数は、前記チルト成分に応じた係数が用いられる多項式であることを特徴とする請求項４に記載の画像処理装置。
6. 前記画像信号に対して、前記光学部材の駆動量に基づいて座標変換を行う座標変換手段を更に有することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記座標変換手段は、座標回転を行うことを特徴とする請求項６に記載の画像処理手段。
8. 前記補正手段は、前記光学特性を補正するための補正値を、前記光学部材が傾動していないときの光学中心の光学特性を基準に決定することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 請求項１から８のいずれか１項に記載の画像処理装置と、
   前記複数の成分のうち少なくとも１つの成分に対応する前記光学特性のパラメータを記録する記録手段と、を有することを特徴とする画像処理システム。
10. 傾動可能な光学部材を備える光学系を通った光から画像信号を取得する撮像素子と、
    前記画像信号上に発生する光学特性を補正する補正手段と、
    前記光学部材の駆動量を、前記補正手段が前記光学特性を補正する際に用いる複数の成分に分離する分離手段と、を有し、
    前記複数の成分のうち少なくとも１つ以上の成分は、前記光学部材の駆動量に応じた立体角または平面角の関数であることを特徴とする撮像装置。
11. 請求項１０に記載の撮像装置と、
    傾動可能な光学部材を備え、前記撮像装置に着脱可能に取り付けられる光学系と、を有することを特徴とするカメラシステム。
12. 前記光学系は、前記複数の成分のうち少なくとも１つの成分に対応する前記光学特性のパラメータを記録する記録手段を備えることを特徴とする請求項１１に記載のカメラシステム。
13. 傾動可能な光学部材の駆動量を、複数の成分に分離する分離工程と、
    前記光学部材を備える光学系を通った光に基づいて取得される画像信号上に発生する光学特性を、前記複数の成分を用いて補正する補正工程と、を有し、
    前記複数の成分のうち少なくとも１つ以上の成分は、立体角または平面角の関数であることを特徴とする画像処理方法。
14. コンピュータを、請求項１から８のいずれか１項に記載の装置の各手段として機能させるためのプログラム。