JP2019080261A - 撮像装置 - Google Patents

Abstract

【課題】簡略化した画像処理を用いて低遅延の表示画像を生成する際に、画質劣化を抑えることを可能にした撮像装置を提供する。【解決手段】撮像した映像を電気信号に変換する撮像素子１０１と、電気信号に簡易的に現像処理を施して簡易現像データを出力する簡易現像部１０２と、電気信号に簡易現像手段よりも高度な現像処理を施して通常現像データおよび評価値を出力する通常現像部１０６と、通常現像データに画像処理を施して画像データを生成する画像処理部１０７と、画像データを記録する記録部１０８と、評価値を元に簡易現像用調整パラメータを生成するパラメータ生成部１０５と、簡易現像データに簡易現像用調整パラメータの情報を反映させて表示画像データを生成する画像調整部１０３と、表示画像データを表示する表示部１０４を有する。【選択図】図１

Description

本発明は、撮影している画像を表示する表示部を備えた撮像装置に関する。

コンパクトデジタルカメラやミラーレスカメラは一眼レフカメラとは異なり、レンズを通して直接被写体を視認することができない。ＣＣＤやＣＭＯＳ等の光電変換素子に入力された被写体の光情報を電気信号に変え、その信号に画像処理を施して小型の電子ビューファインダー（ＥＶＦ）やディスプレイに表示して視認する。ＥＶＦを採用することでミラーボックスが不要となって小型・軽量化が図られるが、ＥＶＦに表示するための画像処理には時間が必要である。そのため、表示画像と実際に撮影される被写体との時間的な差が生じ、撮影者が意図した瞬間の被写体を撮影することが困難であった。

コンパクトデジタルカメラは使用者の多くがプロカメラマンではなかったため、表示遅延は大きな課題ではなかったが、近年、高級コンパクトカメラやミラーレスカメラなど、ハイアマチュア、プロ向けの製品が増え、表示遅延の課題は無視できなくなってきている。

表示遅延の問題を解決するため、近年、画像処理の処理内容の一部を省略、あるいは簡略化することで表示画像と撮影される画像との時間差を少なくする手法（以下、時短手法）がとられることがある。しかしながら、時短手法を用いることで表示画像と撮像画像の時間的な差は少なくなるが、画像処理の省略あるいは簡略化による画質劣化は避けられない。そのため、被写体に大きな動きがなく表示遅延が問題とならないような構図の場合でも、時短手法により画質が劣化するときがある。

上記の対策として、条件に応じて画像処理内容を切り替える方法が特許文献１で提案されている。

特開２０１４−１５４９９９号公報

しかしながら、上述の特許文献１に開示された従来技術は、時短手法を選択している場合の画質劣化に対する解決にはならず、あくまで表示遅延が許容できない状況で画質劣化と引き換えに時間差を少なくするためのものである。

そこで、本発明の目的は、時短手法を用いつつ、画質劣化を抑えることを可能にした撮像装置を提供することである。

上記目的を達成するために、本発明は、
撮像した映像を電気信号に変換する撮像手段と、
前記電気信号に簡易的に現像処理を施して簡易現像データを出力する簡易現像手段と、
前記電気信号に前記簡易現像手段よりも高度な現像処理を施して通常現像データおよび評価値を出力する通常現像手段と、
前記通常現像データに画像処理を施して画像データを生成する画像処理手段と、
前期画像データを記録する記録手段と、
前記評価値を元に簡易現像用調整パラメータを生成するパラメータ生成手段と、
前記簡易現像データに前記簡易現像用調整パラメータの情報を反映させて表示画像データを生成する画像調整手段と、
前記表示画像データを表示する表示手段
を有することを特徴とする。

本発明によれば、低遅延でありながら、通常の現像処理パラメータを適応することで画質の劣化が少ない画像が得られる撮像装置を提供することができる。

本発明の第１の構成を示したブロック図である 本発明の第２の構成を示したブロック図である 本発明の第３の構成を示したブロック図である 表示画像を適応的に切り替えるフローを示した図である 設定するパラメータとの時間差を説明する図である

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

［実施例１］
以下、図１を参照して、本発明の第1の実施例について説明する。１００は被写体像を光として取り込むレンズである。１０１は光信号を電気信号に変換する撮像素子である。１０２は電気信号を簡易的に表示できるような簡易画像に変換する簡易現像部である。１０３は簡易画像にデータ補正を施す画像調整部である。１０４は画像を表示する画像表示部である。１０５は表示画像に対するパラメータを生成するパラメータ生成部である。１０６は電気信号に現像処理を施す通常現像部である。１０７は通常現像データに対する補正や画像処理を施す画像処理部である。１０８は画像データを記録する記録部である。

図１のブロック図を用いて信号の流れを説明する。被写体像を光としてレンズ１００から取り込み、光は撮像素子１０１にて電気信号に変換される。この電気信号は、撮像素子に取り込まれた撮像データそのものであり、例えばベイヤーＲＡＷといったデータ形式で取り出され、表示形式と異なっている。そのまま画像表示部１０４に表示することは困難で、表示するためのデータ処理（いわゆる現像処理）が必要となる。記録系の処理として、撮像素子１０１から取り出された電気信号は通常現像部１０６にて、ＲＧＢ変換、ホワイトバランス、ガンマ補正といった画素に対する処理が施される。

現像処理されたデータは画像処理部１０７にてレンズの歪み補正などの処理が施される。レンズの歪み補正等は、画像データ自体の修正が必要となる。画像処理部１０７で処理された画像データはＪＰＥＧなど圧縮処理（あるいはそのまま）されて不揮発性メモリといった記録部１０８にて記録される。

一方、表示系の処理として、撮像素子１０１から取り出された電気信号は簡易現像部１０２にて簡易的な現像を施される。通常現像処理部１０８では画質を重視してより多くのデータを内部にためてフィルタ処理や補正処理を行うが、この簡易現像部１０２では画質よりも処理速度を重視し、できるだけ処理を簡略化する。簡易現像部１０２ではデータをためる時間を少なくし、かつ処理を簡略化することで表示遅延が短くなる。例えば、１画面分のデータを保持して画面全体に対して処理する場合、画面内の相関を利用した処理が可能な分、１画面の遅延が発生する。

記録系での遅延は記録が完了する時間が後ろにずれるだけだが、表示系の遅延は撮像装置を通さない素の映像と撮像装置を通った映像と時間的にずれたものとなる。この時間が大きければ大きいほど、撮影者の意図とずれたものとなり、違和感が出てしまう。従って、表示遅延削減のため、簡易現像部１０２では通常現像部１０８ほどの時間がかかる処理は行わない。簡易現像部１０２にて簡易現像を施された画像データは画像調整部１０３において画質を調整し、ＥＶＦ等の表示部１０４にて表示される。

パラメータ生成部１０５は簡易現像された画像データに対して通常現像部１０６にて算出された画質向上のためのパラメータ（例えばホワイトバランスやガンマ補正等）を表示系のデータに合わせて生成し、画像調整部１０３へと渡す。画像調整部１０３が表示部１０４へと送る画像データは、通常現像部１０５にて補正されたデータ、つまり簡易現像部１０２よりも高度な補正データを反映された画像データということになる。前述したように画像処理部１０７にて補正されるデータは、画像データ自体の修正が必要なので、簡易現像部１０２への適用は行わない。

図５を用いて画像調整部１０３に適用されるパラメータと通常画像部１０５にて処理される時間関係について説明する。図５は表示系処理と記録系処理の処理時間の差を表した図である。図５の左から右へと進むにしたがって時間が流れていく様子を表している。図５内の四角のブロックは、全て１画面の期間を表している。

５００は撮像素子１０１から撮像データが出力開始される時間である。５０１は撮像素子１０１から出力された撮像データを表示用データに変換するために必要な期間である。５０２は撮像データ出力開始時間５００から表示系の簡易現像処理が完了するまでの期間である。５０３は撮像データ出力開始時間５００から出力された撮像データが画像処理部１０７にて画像処理開始されるまでの期間である。５０４は撮像データ出力開始時間５００から記録系処理の通常現像処理が完了するまでの期間である。

表示系処理において、撮像データはある程度簡易現像処理部１０２でバッファリングされた後、簡易的に現像処理される。前述したように、データを多くバッファリングした後に処理を行ったほうが画質的に有利だが、表示遅延を考慮すると多くのデータをバッファリングするわけにはいかない。図５では、１画面以内のバッファリング容量で簡易現像処理が開始される場合を示している。簡易現像処理部１０２にて現像して表示用データを出力開始するのは期間５０１後となる。１画面目の簡易現像処理は５０２の期間で終了し、次の画面の現像処理を続けて開始する。

記録系処理において、撮像データは数画面分バッファリングされた後、通常現像処理部１０６にて現像処理が開始される。図５では２画面分のバッファリング容量で通常現像処理が開始される場合を示している。通常現像処理が完了すると、画像補正パラメータが生成され、パラメータ生成部１０５にてホワイトバランス、ガンマ補正といったパラメータが取得可能である。パラメータ生成部１０５は図５の通常現像処理(frame1)にて取得されたパラメータを表示系処理に反映させることになるが、図５に示しているように、パラメータの取得は通常現像処理(frame1)が完了した期間５０４後になる。従って記録系処理にて生成されるパラメータの適用は表示系処理では簡易現像処理(frame4)からということになる。

パラメータが適用される画面（簡易現像処理(frame4)）に対して時間的に異なる画面（通常現像処理(frame1)）の補正データを用いることで、表示系処理に遅延を発生させることなく補正をかけることが可能となる。時間的差異がある補正データを用いることで画質に問題が出る可能性があるが、ホワイトバランスやガンマ補正など、頻繁に変更する必要がない、あるいは、頻繁に変わることによって逆に影響を及ぼす可能性のある補正に対しては有効である。

また、図５の例で示すタイミングの場合、表示系処理の最初の３画面の表示用データ(frame1-3)に関しては何も補正がかけられないが、表示用データの画質の劣化はあるものの、遅延量が少ない表示用データであり、画角の確認は可能である。４画面目以降の画像に関しては常に補正がかけられた状態のデータが得られる。

図５では説明のために通常画像処理が開始される遅延量を２画面分としているが、説明簡略化のためであり、遅延量を２画面に限定するものではない。

以上のように動作することで、表示遅延が少なく、かつ画質劣化が抑えられた表示が可能となる。

［実施例２］
以下、図２を参照して、本発明の第２の実施例について説明する。２００は第１の画像調整処理部である。２０１は第２の画像調整処理部である。２０３は表示部１０４で表示する画像を選択する選択部である。２０４は撮像装置の状態を判定するカメラ状態判定部である。２０５は撮像装置の状況を検出するカメラ状況検出部である。その他の既出の番号は、実施例１にて説明した処理内容と同じである。

実施例１で示した表示系処理の遅延を少なくする方法は、それでも画像調整を行うことで遅延は必ず発生してしまう。実施例２ではある程度以下の遅延ならば許容範囲である場合ならば問題とはならないが、さらに遅延量を少なくしたい場合の方法について説明する。

実施例２では、画像調整部１０３の内部で補正データをかける処理ごとに分けて出力する。画像調整部１０３はパラメータ生成部１０５で生成される補正データを個別に受け取る。図２ではホワイトバランス補正データとガンマ補正データを画像調整部１０３内部の調整処理部２００と調整処理部２０１のそれぞれで処理する。調整処理部２０１は調整処理部２００にてホワイトバランス調整されたデータに対してガンマ補正をかけるので、調整処理部２００に対して必ず遅延が発生する。画像調整部１０３は、ホワイトバランス調整のみ施されたデータ、ホワイトバランスとガンマ補正の両方が施されたデータの２種類を選択部２０３へと出力する。

選択部２０３は上記以外に、簡易現像部１０２のデータと画像処理部１０７のデータも選択データとして入力する。簡易現像部１０２のデータはパラメータ生成部１０５の補正が反映されていないので最も低画質、逆に画像処理部１０７のデータは記録系のデータ補正がなされているので、最も高画質となる。遅延量の少ない順に並べると、簡易現像部１０２のデータ、調整処理２００のデータ、調整処理２０１のデータ、画像処理部１０７のデータの順になる。画質の点からみると逆に、画像処理部１０７のデータ、調整処理２０１のデータ、調整処理２００のデータ、簡易現像部１０２のデータとなる。

カメラ状況検出部２０５では撮像装置の状況を検出し、検出データとしてカメラ状態判定部２０４へと出力する。カメラ状況検出部２０５が検出する検出データは、例えば、手振れ補正機能による角速度センサの状況、モードダイヤル等により指定されたモード等が考えられる。カメラ状態判定部２０４はこれらの検出データから表示部１０４に表示する最適な画像を入力から選択し、表示部１０４へと出力する。例えば、カメラのモードが風景モードの場合、被写体自体の動きは少ないので、画像処理部１０７の画像が選択されやすいような選択に用いる値の閾値を下げる。

逆にスポーツモードの場合は、激しい被写体の動きに対応するために、低表示遅延の表示画像が選択されやすいように閾値を下げる。上記のように動作することで、撮像装置の状態、設定に適応した画像を表示部１０４にて表示することが可能となる。カメラ状態判定部２０４の具体的動作は実施例３とともに詳細に説明する。

［実施例３］
以下、図３を参照して、本発明の第３の実施例について説明する。３００は簡易現像部１０２と通常現像部１０６のデータの差分値を出力するデータ差分抽出部である。その他の既出の番号は、実施例１、２にて説明した処理内容と同じである。カメラ状態判定部２０４は実施例２で示した撮像装置の状況に加えて、現像処理や画像処理等で画像から得られる被写体状況も加味して表示部１０４にて表示する画像を選択する。判定条件として追加されるのは、データ差分抽出部３００の出力と、記録するために時間をかけて画像処理された画像処理部１０７のデータそのものとなる。

データ差分抽出部３００は、簡易現像部１０２と通常現像部１０６の出力の差分を抽出するのだが、その際、処理内容の差に対する補正を行って差分とする。簡易現像部１０２と通常現像部１０６の現像後の画像は、時間的に異なるものなので、データ差分抽出部３００で被写体の動き等が検出可能である。以上のように検出された情報をカメラ状態判定部２０４の判定条件とする。

また、カメラ状態判定部２０４に追加された画像処理部１０７の入力は、被写体認識や画像自体の情報を抽出するのに用いられる。子供やペットが写っているのか、静物や風景が写っているのか、といった情報は画像から抽出可能である。

これらの情報を元に、カメラ情報判定部２０４は各場面で最適な表示画像を適応的に選択するように選択部２０３へ指示する。

次に、図４のフローチャートを用いてカメラ状態判定部２０４の動作フローを説明する。Ｓ４００にて電源がＯＮされた直後、撮像装置はＳ４０１にて最も表示遅延が少ない低表示遅延モードで起動される。本実施例では簡易現像部１０２の出力がせんたくされることになる。

Ｓ４０２にてカメラ状況検出部２０５の検出状況をチェックする。撮像装置自体が動いている場合、なんかしらの被写体を追っている可能性があるので、Ｓ４０３の判定へと遷移する。動きがない場合はＳ４０６へと遷移する。

Ｓ４０６では被写体の動き自体を判定する。被写体の動きを検出する手段がない撮像装置では本判定は省略される。被写体の動きがある程度以上の場合、追従性を高める必要がある、と判断してＳ４０５にて低表示遅延モード（簡易現像部１０２の出力）に変える。すでに低表示遅延である簡易現像部１０２の出力が選択されている場合はそのままのモードとする。

Ｓ４０６にて被写体の動きがない、と判定されたときは、遅延モードを高画質方向に１段階上げる。例えば、現在のモードが簡易現像部１０２の出力が選択されていた場合は、調整処理部２００のホワイトバランスの調整されたデータを選択するモードにする。モードを高画質方向に上げる際は１段階ずつ行う。すでに最も高画質である現像処理部１０７の出力が選択されている場合は、そのままのモードとする。

Ｓ４０２にてカメラの動きが検出された場合、Ｓ４０３にて大きさを判定する。動きが大きいときは、Ｓ４０４へ遷移する。カメラの動きが小さいときはＳ４０６へと遷移する。Ｓ４０４では動きの種類を判別する。同一方向に均一に動いている場合、パンもしくはチルトと判断し、ユーザーが被写体を追っているとしてＳ４０５へと遷移する。それ以外の動きの場合は、被写体を追ってカメラを動かしているのか判断できないとしてＳ４０６へと遷移する。

これらの判定は毎フレームで行うとモードの切り替わりが頻繁になり、逆に見にくくなるので、カメラや被写体の動きを検出した際に行う。カメラ状態判定部２０４の動作は、被写体を追尾する必要がある場合は素早く低表示遅延モードへ遷移、そうでないときは次第に高画質方向のモードに遷移することで違和感の少ない表示画像が得られる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

本発明では、撮像装置に関し、特にＥＶＦなど使用した機器に利用可能である。

１００ レンズ
１０１ 撮像素子
１０２ 簡易現像部
１０３ 画像調整部
１０４ 表示部
１０５ パラメータ生成部
１０６ 通常現像部
１０７ 画像処理部
１０８ 記録部

Claims (8)

1. 被写体を撮像する撮像装置において、
   撮像した映像を電気信号に変換する撮像手段と、
   前記電気信号に簡易的に現像処理を施して簡易現像データを出力する簡易現像手段と、
   前記電気信号に前記簡易現像手段よりも高度な現像処理を施して通常現像データおよび評価値を出力する通常現像手段と、
   前記通常現像データに画像処理を施して画像データを生成する画像処理手段と、
   前期画像データを記録する記録手段と、
   前記評価値を元に簡易現像用調整パラメータを生成するパラメータ生成手段と、
   前記簡易現像データに前記簡易現像用調整パラメータの情報を反映させて表示画像データを生成する画像調整手段と、
   前記表示画像データを表示する表示手段
   を有することを特徴とする撮像装置。
2. 被写体を撮像する撮像装置において、
   撮像した映像を電気信号に変換する撮像手段と、
   前記電気信号に簡易的に現像処理を施して簡易現像データを出力する簡易現像手段と、
   前記電気信号に前記簡易現像手段よりも高度な現像処理を施して通常現像データおよび評価値を出力する通常現像手段と、
   前記通常現像データに画像処理を施して画像データを生成する画像処理手段と、
   前期画像データを記録する記録手段と、
   前記評価値を元に簡易現像用調整パラメータを生成するパラメータ生成手段と、
   前記簡易現像データに前記簡易現像用調整パラメータの情報を反映させて処理内容を変えた複数の調整画像データを生成する画像調整手段と、
   前記簡易現像データと前記複数の表示画像データと前記調整画像データから表示画像データを選択する表示画像データ選択手段と、
   前記表示画像データを表示する表示手段
   を有することを特徴とする撮像装置。
3. 請求項２に記載の撮像装置において、
   外部からの指示に応じて適応的にデータ選択信号を生成する状態判定手段を有し、
   前記データ選択信号によって前記表示画像データ選択手段は前記表示画像をデータを選択すること
   を特徴とする撮像装置。
4. 前記請求項３に記載の撮像装置において、
   前記状態判定手段に入力される前記外部からの指示は、撮像装置自体の動きを検出する状態検出手段より出力される動き情報であること
   を特徴とする撮像装置。
5. 前記請求項２乃至４のいずれか１項に記載の撮像装置において、
   前記簡易現像データと前記通常現像データの差分を抽出して差分評価値データを生成する差分抽出手段を有し、
   前記状態判定手段は判定条件として前記差分評価値データを用いること
   を特徴とする撮像装置。
6. 請求項４乃至５のいずれか１項に記載の撮像装置において、
   前記状態判定手段は前記撮像装置の動作モードおよび被写体の状態に応じて判定条件の閾値を適応的に変更すること
   を特徴とする撮像装置。
7. 請求項１乃至６のいずれか１項に記載の撮像装置において、
   前記パラメータ生成手段にて生成される簡易現像用調整パラメータは、前記簡易現像手段にて処理されるデータよりも時間的に前のデータであること
   を特徴とする撮像装置。
8. 請求項１乃至７のいずれか１項に記載の撮像装置において、
   前記パラメータ生成手段が生成する簡易現像用調整パラメータは、画像のホワイトバランス情報またはガンマ補正情報であること
   を特徴とする撮像装置。