JP2017040642A5 - - Google Patents

Claims (13)

1. ぼけ関数が非点対称に表された対象画像と、ぼけ関数が点対称に表された基準画像とを取得するセンサ制御部と、
   ぼけを付加した前記対象画像と、前記基準画像との相関に応じて、画像に写る被写体までの距離を算出する距離算出部と
   を有する画像処理装置。
2. 前記距離算出部は、前記対象画像に異なるぼけを付加する複数のぼけ補正カーネルのうち、異なるぼけを付加した前記対象画像と、前記基準画像との相関がより高くなる前記ぼけ補正カーネルを求めることで、前記被写体までの距離を算出する
   請求項１に記載の画像処理装置。
3. 前記ぼけ補正カーネルは、前記対象画像のぼけを前記基準画像のぼけに補正するための畳み込み関数であって、
   前記距離算出部は、前記対象画像のぼけ関数と、前記基準画像のぼけ関数とから、任意の距離の前記被写体のぼけを補正する複数のぼけ補正カーネルを求める
   請求項２に記載の画像処理装置。
4. 前記距離算出部は、前記対象画像にぼけを付加した補正画像と、センサ画像にぼけを付加することでぼけを補正した前記基準画像である第２の基準画像との相関に応じて、前記被写体までの距離を算出する
   請求項１に記載の画像処理装置。
5. 前記距離算出部は、
   一方向の位置、前記一方向と異なる他方向の位置、および、前記対象画像にぼけを付加した補正画像と前記基準画像との差に基づくコスト、の３次元の情報をそれぞれ含み、前記３次元のうち少なくとも１次元方向の解像度を上位階層になるほど小さくした階層数ｎ（ｎは２以上の整数）のコストボリュームを生成する生成部と、
   ｋ階層（ｋは１≦ｋ≦ｎ−１を満たす整数）のコストボリュームを、（ｋ＋１）階層のコストボリュームから求められる第１の距離と前記ｋ階層のコストボリュームから求められる第２の距離との差に基づく正則化項を含む修正コストボリュームに修正する正則化部と、を備え、
   前記修正コストボリュームに基づき、前記被写体までの距離を算出する
   請求項１に記載の画像処理装置。
6. 前記正則化部は、ｋ階層（ｋは１≦ｋ≦ｎ−１を満たす整数）のコストボリュームを、前記第１の距離と前記ｋ階層より上位の１以上の階層のコストボリュームから求められる１以上の第３の距離との差に基づく正則化項をさらに含む修正コストボリュームに修正する、
   請求項５に記載の画像処理装置。
7. 前記生成部は、前記一方向の位置および前記他方向の位置の少なくとも一方の次元の解像度を段階的に小さくした階層数ｎのコストボリュームを生成し、
   前記距離算出部は、取得された画像から、前記コストボリュームと同じ次元の解像度を段階的に小さくした階層数ｎの画像群を生成し、前記修正コストボリュームに対して、前記画像群のうち対応する階層の画像をガイドとしたフィルタリング処理を適用することにより、ｋ階層での前記被写体までの距離を算出する、
   請求項５に記載の画像処理装置。
8. 請求項１〜７の何れか一つに記載の画像処理装置と、
   少なくとも一種類以上のセンサ画像のぼけ関数を非点対称に変更するフィルタ領域を通過した光を受光し、前記フィルタ領域によりぼけ関数が非点対称に変更されたセンサ画像である前記対象画像と、該対象画像とは異なるセンサ画像である前記基準画像とを生成するイメージセンサと
   を有する撮影装置。
9. 前記対象画像のぼけ関数は、開口部の光学中心を点対称の中心として非点対称に変更される
   請求項８に記載の撮影装置。
10. 前記イメージセンサは、赤色の光を受光するセンサと、緑色の光を受光するセンサと、青色の光を受光するセンサとのうち、二以上のセンサを含み、二以上のセンサに含まれる第１のセンサが前記対象画像を生成し、二以上のセンサに含まれる前記第１のセンサ以外の第２のセンサが前記基準画像を生成する
    請求項８に記載の撮影装置。
11. 前記フィルタ領域は、任意波長帯域の透過率を変更するフィルタである原色フィルタ、補色フィルタ、色補正フィルタ、赤外線カットフィルタ、紫外線カットフィルタ、ＮＤフィルタ、又は、遮蔽板である
    請求項８〜１０の何れか一つに記載の撮影装置。
12. 前記フィルタ領域は、任意方向の偏光した光を通過する偏光板、または、任意波長帯域の集光パワーを変更するマイクロレンズである
    請求項８〜１０の何れか一つに記載の撮影装置。
13. 前記距離算出部は、前記センサ画像の各画素で算出された距離を表す距離画像を生成し、ぼけを付加した前記対象画像と前記基準画像とから、該対象画像のぼけ形状を補正した補正画像を生成し、
    前記距離画像の距離情報に基づいて、前記補正画像のぼけを除去、又は、ぼけを付加した出力画像を生成する画像生成部をさらに有する
    請求項８〜１２の何れか一つに記載の撮影装置。