JP6630173B2

JP6630173B2 - 撮像装置、撮像制御方法、及びプログラム

Info

Publication number: JP6630173B2
Application number: JP2016016170A
Authority: JP
Inventors: 周平川地
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-01-29
Filing date: 2016-01-29
Publication date: 2020-01-15
Anticipated expiration: 2036-01-29
Also published as: JP2017134344A

Description

本発明は、撮像装置、撮像制御方法、及びプログラムに関する。

現在、画像撮影後に焦点位置を変更した画像を得ることを可能にする、リフォーカス技術が知られている。特許文献１の撮像装置は、通常の光学系に加えて、撮像面付近にマイクロレンズアレイを備えている。個々のマイクロレンズは、異なる方向からの光を異なる画素に入射させるように作用することで、光の方向をサンプリングすることができる。こうして取得される情報を用いると、画像撮影後のデジタル処理（リフォーカス処理）によって、焦点位置を変更した画像を得ることができる。特許文献１は、このような構成を持つ撮像装置により撮影した動画から切り出した静止画に対してリフォーカス処理を行うことにより、ユーザが選択した被写体に合焦した静止画を生成することを開示している。また、特許文献１は、静止画生成時にリフォーカス可能な焦点距離の範囲を広げるために、動画撮影中にフォーカスブラケットを行うことを開示している。

特開２０１３−０８００９３号公報

静止画と動画とでは、高画質な画像を得るのに適したＡＦ制御が異なる。静止画の場合、被写体に正確に合焦させることが、画質の向上につながる。他方、動画の場合、時間方向の連続性が画質に影響を与える。そのため、被写体が高速に移動した場合、ＡＦの追従速度を抑制して徐々に被写体に合焦させることが、画質の向上につながる。

しかしながら、特許文献１は、静止画生成時にリフォーカス可能な焦点距離の範囲を広げるために動画撮影中にフォーカスブラケットを行うことは開示しているが、動画の画質とＡＦ制御との関係については特に考慮していない。

本発明はこのような状況に鑑みてなされたものであり、動画の画質低下を抑制しつつ、動画撮影に基づいて得られる静止画の合焦精度を向上させる技術を提供することを目的とする。

上記課題を解決するために、本発明は、複数のライトフィールドデータを順次撮像するように撮像手段を制御する撮像制御手段と、前記複数のライトフィールドデータから動画を生成する動画生成手段と、前記撮像手段のフォーカスを、前記動画に含まれる所定の被写体に閾値未満の追従速度で追従するように制御するフォーカス制御手段と、前記複数のライトフィールドデータのうちの所定のライトフィールドデータに対してリフォーカス処理を行うことにより、前記所定の被写体に合焦した静止画を生成する静止画生成手段と、を備え、前記フォーカス制御手段は、前記所定の被写体のデフォーカス量が前記リフォーカス処理により前記所定の被写体に合焦可能な範囲に収まるように前記フォーカスを制御し、前記閾値未満の追従速度では前記デフォーカス量を前記合焦可能な範囲に収めることができないと判定される場合、前記フォーカスを前記閾値以上の追従速度で制御することを特徴とする撮像装置を提供する。

なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

本発明によれば、動画の画質低下を抑制しつつ、動画撮影に基づいて得られる静止画の合焦精度を向上させることが可能となる。

撮像装置１００の構成を示すブロック図。ライトフィールドデータの生成、及びリフォーカス処理の概念図。第１の実施形態に係る動画記録処理のフローチャート。第２の実施形態に係る動画記録処理のフローチャート。

以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。

［第１の実施形態］
図１は、第１の実施形態に係る撮像装置１００の構成を示すブロック図である。撮像装置１００は、光学系１０１、マイクロレンズアレイ１０２、撮像素子１０３、ライトフィールドデータ取得部１０４、画素加算部１０５、リフォーカス演算部１０６、被写体検出部１０７、及びフォーカス制御部１０８を含む。撮像装置１００はまた、画像処理部１０９、ＤＲＡＭ１１０、ＣＰＵ１１１（中央演算処理装置）、ＣＯＤＥＣ１１２、操作・表示部１１３、及び記録部１１４を含む。

光学系１０１は、外界から被写体像を取り込むための光学系であり、被写体にピントを合わせるために移動可能なフォーカスレンズを含む。マイクロレンズアレイ１０２は、光学系１０１を通して入ってきた被写体像について瞳領域を分割し、特定の瞳領域を通った光束を後述する撮像素子１０３の特定の画素に入るように作用する。撮像素子１０３は、マイクロレンズアレイ１０２からの光束を画像データに変換する。ライトフィールドデータ取得部１０４は、撮像素子１０３が生成した画像データからリフォーカスに必要な情報（以下、「ライトフィールドデータ」と呼ぶ）を取得する。ライトフィールドデータの詳細については後述する。画素加算部１０５は、撮像素子１０３が生成した画像データの複数画素の値を加算し、瞳分割されていない画像（以下、「加算画像」と呼ぶ）を生成する。リフォーカス演算部１０６は、ライトフィールドデータ取得部１０４が取得したライトフィールドデータを用いてリフォーカス処理を行う。被写体検出部１０７は、撮像画像から被写体を検出する。フォーカス制御部１０８は、光学系１０１内のフォーカスレンズを駆動することでピント合わせを行う。画像処理部１０９は、撮像画像を記録に適した形式に変換する。ＤＲＡＭ１１０は、撮像画像などを一時的に保持する。ＣＰＵ１１１は、上述した各種処理の制御を行う。ＣＯＤＥＣ１１２は、動画や静止画を圧縮・伸張するものである。操作・表示部１１３は、ユーザからの操作を受け付けると共にユーザに対して必要な情報の表示を行う。記録部１１４は、例えばフラッシュメモリを有しており、動画データや静止画データを記録・再生する。

次に、図２を参照して、光ライトフィールドデータの生成、及びリフォーカス処理について詳細に説明する。図２では、光学系１０１を簡単のために１枚のレンズとして示しているが、図示しないフォーカスレンズを駆動することによってフォーカス位置を変えることができる。マイクロレンズアレイ１０２の背後には撮像素子１０３が近接して備え付けられており、１つのマイクロレンズに入射した光が分割された瞳領域に応じた２つの画素に入るように構成されている。例えば、図２（ａ）に示すようにフォーカスレンズのピント面がピント面２０１の位置にあるとき、ピント面２０１上の位置２０２にある被写体像は、マイクロレンズ１０２ａで結像し、瞳領域に応じて２つの画素１０３ａ及び１０３ｂに入射することになる。

ライトフィールドデータ取得部１０４が取得するライトフィールドデータとは、瞳分割されて入射した各々の画素のレベルをそのまま保持した画像データのことを指す。一方、画素加算部１０５は、１つのマイクロレンズに対応する２つの画素のレベルを加算して１画素のデータとした加算画像を生成する。加算画像は、瞳分割されていない通常の被写体像になる。このように、光学系１０１、マイクロレンズアレイ１０２、及び撮像素子１０３は、ライトフィールドデータを生成可能なように構成されており、画素加算部１０５は、ライトフィールドデータから通常の画像を生成可能なように構成されている。

図２（ｂ）は、図２（ａ）と同じフォーカスレンズ位置において、ピント面２０１よりも近い位置２０３からの光線の経路を示している。このケースでは、被写体像はマイクロレンズ１０２ａ上で結像することはなく、光学系１０１の瞳領域に応じて離れた２つの画素１０３ｃ及び１０３ｄに入射して１点に集まっていないので、像がボケており後ピンとなっていることが分かる。

図２（ｃ）は、図２（ｂ）と同じ位置２０３でピントが合うようにリフォーカス演算部１０６が行うリフォーカス処理の概念図である。画素１０３ｃ及び１０３ｄに対してピントが合った仮想の画素の位置１０３ｃ’及び１０３ｄ’を考え、画素がこれらの位置に存在したと仮定して、分割された瞳領域毎に分割方向に画素をずらす。この例では、画素１０３ｃをｐ、１０３ｄをｑだけずらすことで、ピントが合った画像を再構成することができる。ここでは後ピンの例を挙げたが、前ピンの場合も、画素をずらす方向が逆になるだけで同じ原理で対応できる。

図３は、第１の実施形態に係る動画記録処理のフローチャートである。本フローチャートの各ステップの処理は、特に断らない限り、撮像装置１００のＣＰＵ１１１がプログラムに従って撮像装置１００の各部を制御することにより実現される。撮像装置１００の電源が投入され撮影待機状態になると、本フローチャートの処理が開始する。

最初に、Ｓ３０１で、ＣＰＵ１１１は、動画記録開始指示を受信するまで待つ。ユーザは、操作・表示部１１３を操作して動画記録開始指示を行うことができる。動画記録開始指示が行われると、ＣＰＵ１１１は処理をＳ３０２に進める。

Ｓ３０２からＳ３１７に至るループは、動画記録中の毎フレームの処理を示しており、この間に動画生成が行われる。Ｓ３０２で、撮像素子１０３は、キャプチャを行う。キャプチャとは、撮像素子１０３が被写体像を画像データに変換することを意味する。Ｓ３０３で、ライトフィールドデータ取得部１０４は、Ｓ３０２で生成された画像データをライトフィールドデータとして取得し、ＤＲＡＭ１１０に格納する。

Ｓ３０４で、画素加算部１０５は、１つのマイクロレンズに対応する２つの画素のレベルを加算する処理を行い、瞳分割されていない画像（加算画像）を生成する。Ｓ３０５で、画像処理部１０９は、加算画像に対して画像処理を施すことにより、１回のキャプチャに対応する動画用の画像（フレーム）を生成する。Ｓ３０６で、被写体検出部１０７は、Ｓ３０５で生成された画像から被写体を検出する。

Ｓ３０７で、フォーカス制御部１０８は、光学系１０１に含まれるフォーカスレンズを駆動することにより、Ｓ３０６で検出された被写体に対するＡＦ追従処理を行う。このとき、フォーカス制御部１０８は、フォーカスの追従速度を閾値未満に制限する。これにより、動画において被写体の動きに敏感すぎる不自然なフォーカスの移動を防ぎ、画質低下を抑制することができる。

Ｓ３０８で、ＣＯＤＥＣ１１２は、動画用の画像を圧縮・符号化することにより、記録用の動画データを生成する。Ｓ３０９で、記録部１１４は、Ｓ３０８で生成された動画データを記録する。

Ｓ３１０で、ＣＰＵ１１１は、動画記録終了指示が行われたか否かを判定する。ユーザは、操作・表示部１１３を操作して動画記録終了指示を行うことができる。動画記録開始指示が行われた場合、ＣＰＵ１１１は処理を終了し、そうでない場合、ＣＰＵ１１１は処理をＳ３１１に進める。

Ｓ３１１で、ＣＰＵ１１１は、静止画記録指示が行われたか否かを判定する。ユーザは、操作・表示部１１３を操作して静止画記録指示を行うことができ、ＣＰＵ１１１は、操作・表示部１１３を通じて静止画記録指示を受信することができる。静止画記録指示が行われた場合、ＣＰＵ１１１は処理をＳ３１２に進め、そうでない場合、ＣＰＵ１１１はＳ３１２乃至Ｓ３１６の静止画記録処理をスキップして処理をＳ３１７に進める。

Ｓ３１２で、リフォーカス演算部１０６は、Ｓ３０３で取得したライトフィールドデータとＳ３０６の被写体検出結果とに基づき、被写体にピントが合うようにリフォーカス処理を行う。Ｓ３１３で、画素加算部１０５は、リフォーカス処理により得られたデータについて、１つのマイクロレンズに対応する２つの画素のレベルを加算する処理を行い、瞳分割されていない加算画像を生成する。Ｓ３１４で、画像処理部１０９は、Ｓ３１３で生成された加算画像に対して画像処理を施すことにより、静止画を生成する。Ｓ３１５で、ＣＯＤＥＣ１１２は、静止画を圧縮・符号化して記録用の静止画データを生成する。Ｓ３１６で、記録部１１４は、Ｓ３１５で生成された静止画データを記録する。

Ｓ３１７で、ＣＰＵ１１１は、ライトフィールドデータを破棄する。ライトフィールドデータを破棄するのは、リフォーカス処理が完了した場合や、Ｓ３１１において静止画記録指示が行われなかった場合には、ライトフィールドデータが不要となるためである。その後、ＣＰＵ１１１は処理をＳ３０２に戻し、次のキャプチャについて同様の処理を行う。即ち、撮像素子１０３は、Ｓ３１０において動画記録終了指示が行われるまで、ＣＰＵ１１１による撮像制御に従い、複数のライトフィールドデータを連続的に生成する。そして、撮像装置１００は、ライトフィールドデータの連続的な生成中に、ＡＦ追従処理や静止画記録処理などの様々な処理を行う。

ところで、上で説明した通り、フォーカス制御部１０８は、Ｓ３０７においてフォーカスの追従速度を閾値未満に制限する。そのため、フォーカスの追従速度が被写体の奥行き方向の移動速度に追いつかず、被写体にピントが合わない可能性がある。被写体のデフォーカス量がそれほど大きくない場合は、Ｓ３１２でリフォーカス処理を行うことにより、最終的には被写体に合焦した静止画をライトフィールドデータから生成することができる。しかしながら、被写体の奥行き方向の移動速度が極めて大きい場合、被写体のデフォーカス量が、リフォーカス処理により被写体に合焦可能な範囲に収まらない可能性がある。そこで、閾値未満の追従速度では被写体のデフォーカス量をリフォーカス処理により被写体に合焦可能な範囲に収めることができない場合には、閾値以上の追従速度でフォーカスを制御するようにフォーカス制御部１０８を構成してもよい。また、閾値以上の追従速度での制御を許可するか否かをユーザが選択可能なように撮像装置１００を構成してもよい。これにより、動画の画質向上と静止画の画質向上とをバランス良く達成することができる。

また、Ｓ３１７におけるライトフィールドデータの破棄は、必須ではない。ライトフィールドデータを破棄する代わりに、ライトフィールドデータを記録するように記録部１１４を構成してもよい。この場合、撮像装置１００は、動画記録終了後に、ユーザが任意に選択可能な所定のライトフィールドデータから、被写体に合焦した静止画を生成することができる。反対に、ライトフィールドデータを破棄する場合、記録容量を節約することができる。

以上説明した通り、第１の実施形態によれば、撮像装置１００は、動画記録中は、フォーカスの追従速度を閾値未満に制限し、静止画記録指示が行われると、動画とは別に、リフォーカス処理により被写体に合焦した静止画を生成する。これにより、動画の画質低下を抑制しつつ、動画撮影に基づいて得られる静止画の合焦精度を向上させることが可能となる。

［第２の実施形態］
第２の実施形態では、第１の実施形態とは異なるタイミングで静止画の生成を行う構成について説明する。本実施形態において、撮像装置１００の基本的な構成は第１の実施形態と同様である。以下、主に第１の実施形態と異なる点について説明する。

図４は、第２の実施形態に係る動画記録処理のフローチャートである。図４において、図３と同一又は同様の処理が行われるステップには図３と同一の符号を付す。本フローチャートの各ステップの処理は、特に断らない限り、撮像装置１００のＣＰＵ１１１がプログラムに従って撮像装置１００の各部を制御することにより実現される。撮像装置１００の電源が投入され撮影待機状態になると、本フローチャートの処理が開始する。

図３と図４との比較により理解できるように、本実施形態においては、Ｓ３１１において静止画記録指示が行われた場合、ＣＰＵ１１１はＳ３１２ではなくＳ４０１に処理を進める。Ｓ４０１で、記録部１１４は、Ｓ３０３で取得されたライトフィールドデータを記録する。その後、ＣＰＵ１１１は処理をＳ３０２に戻す。

Ｓ３１０において動画記録終了指示が行われた場合、ＣＰＵ１１１は処理をＳ３１２に進める。Ｓ３１２乃至Ｓ３１６では、第１の実施形態と同様、静止画の生成が行われる。この時、Ｓ４０１において記録されたライトフィールドデータが用いられる。このように、第２の実施形態では、動画記録の終了後（複数のライトフィールドデータの生成が完了した後）に静止画の生成が行われる。その後、Ｓ４０２で、ＣＰＵ１１１は、Ｓ４０１において記録されたライトフィールドデータを破棄するように記録部１１４を制御する。

ところで、図４の場合、Ｓ３１０において動画記録終了指示が行われたタイミングで静止画の生成が行われる。しかしながら、静止画生成のタイミングはこれに限定されない。例えば、Ｓ３１０において動画記録終了指示が行われた場合に処理を終了するように図４のフローチャートを変更してもよい。この場合、図４のフローチャートの処理終了後の任意のタイミングで行われるユーザ指示に従ってＳ３１２乃至Ｓ３１６及びＳ４０２の処理を行うように、撮像装置１００を構成してもよい。

また、Ｓ４０２におけるライトフィールドデータの破棄は、必須ではない。但し、ライトフィールドデータを破棄することにより、記録部１１４の記録容量を節約することができる。

以上説明した通り、第２の実施形態によれば、撮像装置１００は、動画記録終了指示が行われた後に、ライトフィールドデータから静止画を生成する。これにより、処理負荷の高い動画記録と計算量の多いリフォーカス処理とを並行して実行する必要が無くなり、動画記録中の処理負荷が軽減される。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…撮像装置、１０１…光学系、１０２…マイクロレンズアレイ、１０３…撮像素子、１０４…ライトフィールドデータ取得部、１０５…画素加算部、１０６…リフォーカス演算部、１０８…フォーカス制御部、１０９…画像処理部、１１１…ＣＰＵ

Claims

複数のライトフィールドデータを順次撮像するように撮像手段を制御する撮像制御手段と、
前記複数のライトフィールドデータから動画を生成する動画生成手段と、
前記撮像手段のフォーカスを、前記動画に含まれる所定の被写体に閾値未満の追従速度で追従するように制御するフォーカス制御手段と、
前記複数のライトフィールドデータのうちの所定のライトフィールドデータに対してリフォーカス処理を行うことにより、前記所定の被写体に合焦した静止画を生成する静止画生成手段と、
を備え、
前記フォーカス制御手段は、前記所定の被写体のデフォーカス量が前記リフォーカス処理により前記所定の被写体に合焦可能な範囲に収まるように前記フォーカスを制御し、前記閾値未満の追従速度では前記デフォーカス量を前記合焦可能な範囲に収めることができないと判定される場合、前記フォーカスを前記閾値以上の追従速度で制御することを特徴とする撮像装置。
前記複数のライトフィールドデータの撮像中に、静止画記録指示を受信する受信手段を更に備え、
前記静止画生成手段は、前記静止画記録指示の受信に対応するタイミングに撮像されたライトフィールドデータを前記所定のライトフィールドデータとして用いる
ことを特徴とする請求項１に記載の撮像装置。
前記動画生成手段は、前記複数のライトフィールドデータの各々から前記動画の生成に用いる画像を生成し、
前記撮像装置は、前記静止画記録指示の受信に対応しないタイミングに撮像されたライトフィールドデータについて、前記動画の生成に用いる前記画像が生成された後に当該ライトフィールドデータを破棄する破棄手段を更に備える
ことを特徴とする請求項２に記載の撮像装置。
前記破棄手段は、前記所定のライトフィールドデータに対応する前記動画の生成に用いる前記画像と前記静止画とが生成された後に、前記所定のライトフィールドデータを破棄する
ことを特徴とする請求項３に記載の撮像装置。
前記静止画生成手段は、前記複数のライトフィールドデータの撮像中に、前記静止画を生成する
ことを特徴とする請求項２乃至４のいずれか１項に記載の撮像装置。
前記静止画生成手段は、前記複数のライトフィールドデータの撮像が完了した後に、前記静止画を生成する
ことを特徴とする請求項２乃至４のいずれか１項に記載の撮像装置。
前記動画生成手段は、前記複数のライトフィールドデータの撮像中に新たなライトフィールドデータが撮像されたことに応じて、前記動画の生成に用いる画像を前記新たなライトフィールドデータから生成し、
前記フォーカス制御手段は、前記動画の生成に用いる前記画像に基づいて、前記所定の被写体を検出する
ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
撮像装置が実行する撮像制御方法であって、
複数のライトフィールドデータを順次撮像するように撮像手段を制御する撮像制御工程と、
前記複数のライトフィールドデータから動画を生成する動画生成工程と、
前記撮像手段のフォーカスを、前記動画に含まれる所定の被写体に閾値未満の追従速度で追従するように制御するフォーカス制御工程と、
前記複数のライトフィールドデータのうちの所定のライトフィールドデータに対してリフォーカス処理を行うことにより、前記所定の被写体に合焦した静止画を生成する静止画生成工程と、
を備え、
前記フォーカス制御工程では、前記所定の被写体のデフォーカス量が前記リフォーカス処理により前記所定の被写体に合焦可能な範囲に収まるように前記フォーカスを制御し、前記閾値未満の追従速度では前記デフォーカス量を前記合焦可能な範囲に収めることができないと判定される場合、前記フォーカスを前記閾値以上の追従速度で制御することを特徴とする撮像制御方法。
コンピュータを、請求項１乃至７のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。