JP2015115789A - 撮像装置、撮像信号処理回路、及び、撮像信号処理方法、並びに、表示装置、画像信号処理回路、及び、画像信号処理方法 - Google Patents

Abstract

【課題】映像ゴーストの発生を抑え、ＨＤＲ動画表示を低コストにて実現可能な撮像装置、撮像信号処理回路、及び、撮像信号処理方法、並びに、表示装置、画像信号処理回路、及び、画像信号処理方法を提供する。【解決手段】本開示の撮像装置は、撮像エリア部内の任意の画素群に対して２種類以上の露出条件を個別に設定可能な撮像デバイスと、露出条件が個別に設定された画素群から得られる撮像信号に対して、１撮像フレーム単位で読み出し、露出条件毎に信号分離を行うとともに、露出条件との対応付けを行う撮像信号処理部と、を備える。【選択図】 図３

Description

本開示は、撮像装置、撮像信号処理回路、及び、撮像信号処理方法、並びに、表示装置、画像信号処理回路、及び、画像信号処理方法に関する。

ハイダイナミックレンジ（High Dynamic Range：ＨＤＲ）技術として、露出を変えて撮影した複数枚の画像（明るめの画像、普通の画像、暗めの画像等）を合成処理し、しかる後、通常のモニタで表現できる情報量に圧縮して表示する手法がある（例えば、特許文献１，２参照）。

一方で、ＨＤＲ映像をビデオカメラ等の撮像装置で撮影しながら、カメラのビューモニタでリアルタイムに表示することが、動画撮影時は重要となる。そのような場合に、簡易な表示を実現する手法の一つとして、階調表現範囲を分割した複数枚の画像をサブフレーム単位で時系列に出力し、倍速表示することによって簡易的にＨＤＲ映像を表示する手法も提案されている（例えば、特許文献３参照）。

特開平７−１３１７９６号公報 特開平７−１３５５９９号公報 特開２０１０−２７６９６８号公報

しかし、特許文献１，２に記載の手法では、静止画の撮影にはある程度効果を発揮できるものの、動画等を撮影する場合には、撮影時の時間差の影響により、動きのある被写体に関して合成を行うと、映像ゴーストが発生する。撮像デバイスの内部に感度の異なる受光素子（フォトセンサ）を配置して複数の露出画像を一括して取得する手法も考えられるが、受光素子の位置が固定されているため、取得時の映像の精細度が低下してしまう。

一方、特許文献３に記載の手法にあっては、表示パネルに倍速表示以上の性能が要求されることから、表示パネルの駆動周波数やデータ転送周波数を、当該手法を採らない場合よりも上げる必要があるためシステムのコストが増加する。

そこで、本開示は、映像ゴーストの発生を抑え、ＨＤＲ動画表示を低コストにて実現可能な撮像装置、撮像信号処理回路、及び、撮像信号処理方法、並びに、表示装置、画像信号処理回路、及び、画像信号処理方法を提供することを目的とする。

上記の目的を達成するための本開示の撮像装置は、
撮像エリア部内の任意の画素群に対して２種類以上の露出条件を個別に設定可能で、露出条件が個別に設定された画素群から得られる撮像信号を１撮像フレーム単位で読み出すな撮像デバイスと、
撮像デバイスから出力される撮像信号に対し、露出条件毎に信号分離を行うとともに、露出条件との対応付けを行う撮像信号処理部と、
を備える。

上記の目的を達成するための本開示の撮像信号処理回路は、
撮像エリア部内の任意の画素群に対して２種類以上の露出条件を個別に設定可能な撮像デバイスにおいて、露出条件が個別に設定された画素群から得られ、１撮像フレーム単位で読み出される撮像信号に対して、
露出条件毎に信号分離を行うとともに、露出条件との対応付けを行う信号処理部を有する。

上記の目的を達成するための本開示の撮像信号処理方法は、
撮像エリア部内の任意の画素群に対して２種類以上の露出条件を個別に設定可能な撮像デバイスにおいて、露出条件が個別に設定された画素群から得られ、１撮像フレーム単位で読み出される撮像信号に対して、
露出条件毎に信号分離を行うとともに、露出条件との対応付けを行う。

上記の目的を達成するための本開示の表示装置は、
１表示フレームの映像を構成する複数のサブフレームの映像信号を生成するサブフレーム信号生成部と、
サブフレーム信号生成部で生成された複数のサブフレームの映像信号を基に、表示パネルに対してサブフレーム単位で表示を行う駆動部と、
を備え、
サブフレーム信号生成部は、
撮像エリア部内の任意の画素群に対して２種類以上の露出条件を個別に設定可能な撮像デバイスにおいて、露出条件が個別に設定された画素群から得られ、露出条件毎に信号分離され、露出条件との対応付けされた撮像信号を、処理対象の画像信号として１表示フレーム単位で入力し、
対応付けされた露出条件に応じてサブフレーム毎に発光素子の発光時間を制御してサブフレームの映像信号を生成する。

上記の目的を達成するための本開示の画像信号処理回路は、
１表示フレームの映像を構成する複数のサブフレームの映像信号を生成するサブフレーム信号生成部を備え、
サブフレーム信号生成部は、
撮像エリア部内の任意の画素群に対して２種類以上の露出条件を個別に設定可能な撮像デバイスにおいて、露出条件が個別に設定された画素群から得られ、露出条件毎に信号分離され、露出条件との対応付けされた撮像信号を、処理対象の画像信号として１表示フレーム単位で入力し、
対応付けされた露出条件に応じてサブフレーム毎に発光素子の発光時間を制御してサブフレームの映像信号を生成する。

上記の目的を達成するための本開示の画像信号処理方法は、
１表示フレームの映像を構成する複数のサブフレームの映像信号を生成するに当たり、
撮像エリア部内の任意の画素群に対して２種類以上の露出条件を個別に設定可能な撮像デバイスにおいて、露出条件が個別に設定された画素群から得られ、露出条件毎に信号分離され、露出条件との対応付けされた撮像信号を、処理対象の画像信号として１表示フレーム単位で入力し、
対応付けされた露出条件に応じてサブフレーム毎に発光素子の発光時間を制御してサブフレームの映像信号を生成する。

本開示によれば、任意の画素群に対して２種類以上の露出条件を設定し、露出条件毎に信号分離を行うことで、取得する露出画像（個別の露出条件で撮影された画像）間に時間差が発生しないため、映像ゴーストの発生を抑えることができる。また、ＨＤＲ動画表示を低コストにて実現できる。
尚、ここに記載された効果に必ずしも限定されるものではなく、本明細書中に記載されたいずれかの効果であってもよい。また、本明細書に記載された効果はあくまで例示であって、これに限定されるものではなく、また付加的な効果があってもよい。

図１は、本開示の技術が適用されるアクティブマトリクス型表示装置の基本的な構成の概略を示すシステム構成図である。 図２は、画素（画素回路）の具体的な回路構成の一例を示す回路図である。 図３は、本開示の撮像装置の構成の一例を示すブロック図である。 図４Ａは、撮像デバイスの市松パターン状の画素配列を示す図であり、図４Ｂは、撮像信号処理部におけるカメラ信号処理部の構成の一例を示すブロック図である。 図５Ａは、撮像デバイスから１撮像フレーム単位で一括して読み出しされる画素情報を示す図であり、図５Ｂは、長時間蓄積の露出条件が適用されたサブフレーム１の画素情報を示す図であり、図５Ｃは、短時間蓄積の露出条件が適用されたサブフレーム２の画素情報を示す図である。 図６は、実施例１に係る画像信号処理回路の構成を示すブロック図である。 図７は、実施例１のサブフレーム信号のデータ生成例の概要について説明する図であり、図７Ａに被写体反射率−入力映像階調値の特性を示し、図７Ｂに被写体反射率−出力映像階調値の特性を示している。 図８は、サブフレーム表示の動作を行う場合の表示パネルの駆動タイミングを示す図である。 図９Ａは、サブフレーム１の２ライン同時スキャン動作の説明に供する図であり、図９Ｂは、サブフレーム２の２ライン同時スキャン動作の説明に供する図である。 図１０は、実施例２に係る画像信号処理回路の構成を示すブロック図である。 図１１は、実施例２のサブフレーム信号のデータ生成例の概要について説明する図であり、図１１Ａに被写体反射率−画像情報の特性を示し、図１１Ｂに被写体反射率−出力映像階調値の特性を示している。 図１２は、ライン単位で露光条件を設定し、且つ、撮像フレーム単位で露出条件を切り替える場合の読み出し例を示す図である。 図１３は、画素又は画素群単位で露光条件を設定し、且つ、撮像フレーム単位で露出条件を切り替える場合の読み出し例を示す図である。 図１４は、実施例３に係る撮像奇数フレームの撮像データの読み出し及び表示の動作例を示す図である。 図１５は、実施例３に係る撮像偶数フレームの撮像データの読み出し及び表示の動作例を示す図である。 図１６は、露出条件識別タグデータの一例を示す図である。 図１７は、実施例４に係る撮像奇数フレームの撮像データの読み出し及び表示の動作例（その１）を示す図である。 図１８は、実施例４に係る撮像偶数フレームの撮像データの読み出し及び表示の動作例（その２）を示す図である。 図１９は、実施例４に係る撮像奇数フレームの撮像データの読み出し及び表示の動作例（その１）を示す図である。 図２０は、実施例４に係る撮像偶数フレームの撮像データの読み出し及び表示の動作例（その２）を示す図である。 図２１は、実施例５に係る画像信号処理回路の構成を示すブロック図である。 図２２は、実施例５に係る画像信号処理回路におけるスキャンモードの切り替えタイミングを示す図である。 図２３は、実施例５に係る表示パネルの駆動の実現例を示す図である。

以下、本開示の技術を実施するための形態（以下、「実施形態」と記述する）について図面を用いて詳細に説明する。本開示の技術は実施形態に限定されるものではなく、実施形態における種々の数値などは例示である。以下の説明において、同一要素又は同一機能を有する要素には同一符号を用いることとし、重複する説明は省略する。尚、説明は以下の順序で行う。
１．本開示の撮像装置、撮像信号処理回路、及び、撮像信号処理方法、全般に関する説明
２．本開示の表示装置、画像信号処理回路、及び、画像信号処理方法、全般に関する説明
３．本開示の表示装置（本開示の技術が適用される表示装置）
２−１．システム構成
２−２．画素回路
４．実施形態の説明
４−１．本開示の撮像装置（本開示の技術が適用される撮像装置）
４−２．実施例１
４−３．実施例２
４−４．実施例３
４−５．実施例４
４−６．実施例５

＜本開示の撮像装置、撮像信号処理回路、及び、撮像信号処理方法、全般に関する説明＞
本開示の撮像装置、撮像信号処理回路、及び、撮像信号処理方法にあっては、撮像デバイスについて、露出条件の設定を撮像フレーム単位で切り替え可能な構成とすることができる。

上述した好ましい構成を含む本開示の撮像装置、撮像信号処理回路、及び、撮像信号処理方法にあっては、撮像エリア部内の任意の画素群について、奇数ラインの画素群、及び、偶数ラインの画素群から成る構成とすることができる。このとき、撮像デバイスについて、奇数ラインの画素群に対する露出条件の設定と、偶数ラインの画素群に対する露出条件の設定とを、撮像フレーム単位で交互に切り替え可能な構成とすることができる。

あるいは又、上述した好ましい構成を含む本開示の撮像装置、撮像信号処理回路、及び、撮像信号処理方法にあっては、撮像エリア部内の任意の画素群について、異なる露出条件が設定された第１の画素群と第２の画素群とから成り、第１の画素群及び第２の画素群が市松パターン状に配置されている構成とすることができる。このとき、撮像デバイスについて、第１の画素群に対する露出条件の設定と、第２の画素群に対する露出条件の設定とを、撮像フレーム単位で交互に切り替え可能な構成とすることができる。

＜本開示の表示装置、画像信号処理回路、及び、画像信号処理方法、全般に関する説明＞
本開示の表示装置、画像信号処理回路、及び、画像信号処理方法にあっては、駆動部について、複数のサブフレームの映像信号に応じてサブフレーム毎に発光素子の単位時間当たりの発光輝度を制御する構成とすることができる。

上述した好ましい構成を含む本開示の表示装置、画像信号処理回路、及び、画像信号処理方法にあっては、撮像エリア部内の任意の画素群が、奇数ラインの画素群、及び、偶数ラインの画素群から成るものとする。このとき、サブフレーム信号生成部について、奇数ラインの画素群から得られる撮像信号と、偶数ラインの画素群から得られる撮像信号とに基づいて複数のサブフレームの映像信号を生成する構成とすることができる。また、駆動部について、複数のサブフレームの映像信号を基に、表示パネルに対して２ライン（２行）単位で走査を行う、所謂、２ライン同時スキャン駆動を行う構成とすることができる。

上述した好ましい構成を含む本開示の表示装置、画像信号処理回路、及び、画像信号処理方法にあっては、駆動部について、奇数ライン及び偶数ラインの読み出し情報を基に、表示画像の書き出し位置をサブフレーム単位で制御する構成とすることができる。

あるいは又、上述した好ましい構成を含む本開示の表示装置、画像信号処理回路、及び、画像信号処理方法にあっては、サブフレーム信号生成部について、露出条件に応じてサブフレーム毎に発光素子のデューティを制御する構成とすることができる。このとき、サブフレーム信号生成部は、発光素子のデューティ制御を、各露出条件の画像間における露出時間の比率の逆数倍した値を用いて行うようにするのが好ましい。

また、上述した好ましい構成を含む本開示の表示装置、画像信号処理回路、及び、画像信号処理方法にあっては、サブフレーム信号生成部について、低輝度階調情報成分と高輝度階調情報成分とに分離したサブフレームの映像信号を生成する構成とすることができる。

あるいは又、上述した好ましい構成を含む本開示の表示装置、画像信号処理回路、及び、画像信号処理方法にあっては、サブフレーム信号生成部について、露出条件に加えて、撮像デバイスで取得可能な最大階調値を用いてサブフレームの映像信号を生成する構成とすることができる。その際、サブフレーム信号生成部は、１サブフレーム内に低輝度階調情報成分と高輝度階調情報成分とを混在させるようにするのが好ましい。

また、上述した好ましい構成を含む本開示の表示装置、画像信号処理回路、及び、画像信号処理方法にあっては、サブフレーム信号生成部について、撮像デバイスから、奇数ラインの画素群に対する露出条件の設定と、偶数ラインの画素群に対する露出条件の設定とが、撮像フレーム単位で交互に切り替えられて出力される撮像信号に基づいて、サブフレームの映像信号を生成する構成とすることができる。

＜本開示の表示装置＞
本開示の撮像装置、撮像信号処理回路（撮像信号処理方法）、及び、画像信号処理回路（画像信号処理方法）について説明する前に、本開示の技術が適用される表示部（表示装置）について説明する。以下に説明する表示部（表示パネル／表示装置）と、後述する本開示の画像信号処理回路とによって、本開示の表示装置が構成されることになる。

［システム構成］
図１は、本開示の技術が適用される表示装置、例えば、アクティブマトリクス型表示装置の基本的な構成の概略を示すシステム構成図である。

アクティブマトリクス型表示装置は、電気光学素子（発光素子）に流れる電流を、当該電気光学素子と同じ画素内に設けた能動素子、例えば絶縁ゲート型電界効果トランジスタによって制御する表示装置である。絶縁ゲート型電界効果トランジスタとしては、典型的には、ＴＦＴ（Thin Film Transistor；薄膜トランジスタ）を用いることができる。

ここでは、一例として、画素（画素回路）の発光素子として有機ＥＬ素子を用いるアクティブマトリクス型有機ＥＬ表示装置の場合を例に挙げて説明するものとする。有機ＥＬ素子は、デバイスに流れる電流値に応じて発光輝度が変化する電流駆動型の電気光学素子の一例である。以下では、「画素回路」を単に「画素」と記述する場合もある。

図１に示すように、本開示の技術が適用される有機ＥＬ表示装置１は、有機ＥＬ素子を含む複数の画素２０が行列状（マトリクス状）に２次元配置されて成る画素アレイ部３０と、当該画素アレイ部３０の周辺に配置される駆動回路部（駆動部）とを有する構成となっている。駆動回路部は、例えば、画素アレイ部３０と同じ表示パネル１０上に搭載された書込み走査部４１、駆動走査部４２、及び、信号出力部４３等から成り、画素アレイ部３０の各画素２０を駆動する。尚、書込み走査部４１、駆動走査部４２、及び、信号出力部４３のいくつか、あるいは全部を表示パネル１０外に設ける構成を採ることも可能である。

ここで、有機ＥＬ表示装置１がカラー表示対応の場合は、カラー画像を形成する単位となる１つの画素（単位画素／ピクセル）は複数の副画素（サブピクセル）から構成される。このとき、副画素の各々が図１の画素２０に相当することになる。より具体的には、カラー表示対応の表示装置では、１つの画素は、例えば、赤色（Ｒｅｄ；Ｒ）光を発光する副画素、緑色（Ｇｒｅｅｎ；Ｇ）光を発光する副画素、青色（Ｂｌｕｅ；Ｂ）光を発光する副画素の３つの副画素から構成される。

但し、１つの画素としては、ＲＧＢの３原色の副画素の組み合わせに限られるものではなく、３原色の副画素に更に１色あるいは複数色の副画素を加えて１つの画素を構成することも可能である。より具体的には、例えば、輝度向上のために白色（Ｗｈｉｔｅ；Ｗ）光を発光する副画素を加えて１つの画素を構成したり、色再現範囲を拡大するために補色光を発光する少なくとも１つの副画素を加えて１つの画素を構成したりすることも可能である。

画素アレイ部３０には、ｍ行ｎ列の画素２０の配列に対して、行方向（画素行の画素の配列方向／水平方向）に沿って走査線３１（３１₁〜３１_m）と電源供給線３２（３２₁〜３２_m）とが画素行毎に配線されている。更に、ｍ行ｎ列の画素２０の配列に対して、列方向（画素列の画素の配列方向／垂直方向）に沿って信号線３３（３３₁〜３３_n）が画素列毎に配線されている。

走査線３１₁〜３１_mは、書込み走査部４１の対応する行の出力端にそれぞれ接続されている。電源供給線３２₁〜３２_mは、駆動走査部４２の対応する行の出力端にそれぞれ接続されている。信号線３３₁〜３３_nは、信号出力部４３の対応する列の出力端にそれぞれ接続されている。

書込み走査部４１は、シフトレジスタ回路等によって構成されている。この書込み走査部４１は、画素アレイ部３０の各画素２０への映像信号の信号電圧の書込みに際して、走査線３１（３１₁〜３１_m）に対して書込み走査信号ＷＳ（ＷＳ₁〜ＷＳ_m）を順次供給することによって画素アレイ部３０の各画素２０を行単位で順番に走査する、所謂、線順次走査を行う。

駆動走査部４２は、書込み走査部４１と同様に、シフトレジスタ回路等によって構成されている。この駆動走査部４２は、書込み走査部４１による線順次走査に同期して、第１電源電位Ｖ_{cc_H}と当該第１電源電位Ｖ_{cc_H}よりも低い第２電源電位Ｖ_{cc_L}とで切り替わることが可能な電源電位ＤＳ（ＤＳ₁〜ＤＳ_m）を電源供給線３２（３２₁〜３２_m）に供給する。後述するように、駆動走査部４２による電源電位ＤＳのＶ_{cc_H}／Ｖ_{cc_L}の切替えによって、画素２０の発光／非発光（消光）の制御が行なわれる。

信号出力部４３は、信号供給源（図示せず）から供給される輝度情報に応じた映像信号の信号電圧（以下、単に「信号電圧」と記述する場合もある）Ｖ_sigと基準電圧Ｖ_ofsとを選択的に出力する。ここで、基準電圧Ｖ_ofsは、映像信号の信号電圧Ｖ_sigの基準となる電圧（例えば、映像信号の黒レベルに相当する電圧）であり、後述する閾値補正処理の際に用いられる。

信号出力部４３から出力される信号電圧Ｖ_sig／基準電圧Ｖ_ofsは、信号線３３（３３₁〜３３_n）を介して画素アレイ部３０の各画素２０に対して、書込み走査部４１による走査によって選択された画素行の単位で書き込まれる。すなわち、信号出力部４３は、信号電圧Ｖ_sigを行（ライン）単位で書き込む線順次書込みの駆動形態を採っている。

［画素回路］
図２は、画素（画素回路）２０の具体的な回路構成の一例を示す回路図である。画素２０の発光部は、デバイスに流れる電流値に応じて発光輝度が変化する電流駆動型の電気光学素子である有機ＥＬ素子２１から成る。

図２に示すように、画素２０は、有機ＥＬ素子２１と、有機ＥＬ素子２１に電流を流すことによって当該有機ＥＬ素子２１を駆動する駆動回路とによって構成されている。有機ＥＬ素子２１は、全ての画素２０に対して共通に配線された共通電源線３４にカソード電極が接続されている。

有機ＥＬ素子２１を駆動する駆動回路は、駆動トランジスタ２２、サンプリングトランジスタ２３、保持容量２４、及び、補助容量２５を有する構成となっている。駆動トランジスタ２２及びサンプリングトランジスタ２３として、例えば、Ｎチャネル型のＴＦＴを用いることができる。

但し、ここで示した、駆動トランジスタ２２及びサンプリングトランジスタ２３の導電型の組み合わせは一例に過ぎず、これらの組み合わせに限られるものではない。すなわち、駆動トランジスタ２２及びサンプリングトランジスタ２３の一方又は両方として、Ｐチャネル型のＴＦＴを用いることができる。

駆動トランジスタ２２は、一方の電極（ソース／ドレイン電極）が有機ＥＬ素子２１のアノード電極に接続され、他方の電極（ソース／ドレイン電極）が電源供給線３２（３２₁〜３２_m）に接続されている。

サンプリングトランジスタ２３は、一方の電極（ソース／ドレイン電極）が信号線３３（３３₁〜３３_n）に接続され、他方の電極（ソース／ドレイン電極）が駆動トランジスタ２２のゲート電極に接続されている。また、サンプリングトランジスタ２３のゲート電極は、走査線３１（３１₁〜３１_m）に接続されている。

駆動トランジスタ２２及びサンプリングトランジスタ２３において、一方の電極とは、一方のソース／ドレイン領域に電気的に接続された金属配線を言い、他方の電極とは、他方のソース／ドレイン領域に電気的に接続された金属配線を言う。また、一方の電極と他方の電極との電位関係によって一方の電極がソース電極ともなればドレイン電極ともなり、他方の電極がドレイン電極ともなればソース電極ともなる。

保持容量２４は、一方の電極が駆動トランジスタ２２のゲート電極に接続され、他方の電極が駆動トランジスタ２２の他方の電極、及び、有機ＥＬ素子２１のアノード電極に接続されている。

補助容量２５は、一方の電極が有機ＥＬ素子２１のアノード電極に接続され、他方の電極が固定電位のノード（本例では、共通電源線３４／有機ＥＬ素子２１のカソード電極）に接続されている。補助容量２５は、例えば、有機ＥＬ素子２１の容量不足分を補い、保持容量２４に対する映像信号の書込みゲインを高めるために設けられている。但し、補助容量２５は、必須の構成要素ではない。すなわち、有機ＥＬ素子２１の容量不足分を補う必要がない場合には、補助容量２５は不要となる。

上記構成の画素２０において、サンプリングトランジスタ２３は、書込み走査部４１から走査線３１を通してゲート電極に印加される、高電圧の状態がアクティブ状態となる書込み走査信号ＷＳに応答して導通状態となる。これにより、サンプリングトランジスタ２３は、信号線３３を通して信号出力部４３から異なるタイミングで供給される、輝度情報に応じた映像信号の信号電圧Ｖ_sigまたは基準電圧Ｖ_ofsをサンプリングして画素２０内に書き込む。サンプリングトランジスタ２３によって書き込まれた信号電圧Ｖ_sigまたは基準電圧Ｖ_ofsは、駆動トランジスタ２２のゲート電極に印加されるとともに保持容量２４に保持される。

駆動トランジスタ２２は、電源供給線３２（３２₁〜３２_m）の電源電位ＤＳが第１電源電位Ｖ_{cc_H}にあるときには、一方の電極がドレイン電極、他方の電極がソース電極となって飽和領域で動作する。これにより、駆動トランジスタ２２は、電源供給線３２から電流の供給を受けて有機ＥＬ素子２１を電流駆動にて発光駆動する。より具体的には、駆動トランジスタ２２は、飽和領域で動作することにより、保持容量２４に保持された信号電圧Ｖ_sigの電圧値に応じた電流値の駆動電流を有機ＥＬ素子２１に供給し、当該有機ＥＬ素子２１を電流駆動することによって発光させる。

駆動トランジスタ２２は更に、電源電位ＤＳが第１電源電位Ｖ_{cc_H}から第２電源電位Ｖ_{cc_L}に切り替わったときには、一方の電極がソース電極、他方の電極がドレイン電極となってスイッチングトランジスタとして動作する。これにより、駆動トランジスタ２２は、有機ＥＬ素子２１への駆動電流の供給を停止し、有機ＥＬ素子２１を非発光状態にする。すなわち、駆動トランジスタ２２は、電源電位ＤＳ（Ｖ_{cc_H}／Ｖ_{cc_L}）の切替えの下に、有機ＥＬ素子２１の発光／非発光を制御するトランジスタとしての機能をも併せ持っている。

この駆動トランジスタ２２のスイッチング動作により、有機ＥＬ素子２１が非発光状態となる期間（非発光期間）を設け、有機ＥＬ素子２１の発光期間と非発光期間の割合（デューティ）を制御することができる。このデューティ制御により、１表示フレーム期間に亘って画素が発光することに伴う残像ボケを低減できるために、特に、動画の画品位をより優れたものとすることができる。

駆動走査部４２から電源供給線３２を通して選択的に供給される第１，第２電源電位Ｖ_{cc_H}，Ｖ_{cc_L}のうち、第１電源電位Ｖ_{cc_H}は有機ＥＬ素子２１を発光駆動する駆動電流を駆動トランジスタ２２に供給するための電源電位である。また、第２電源電位Ｖ_{cc_L}は、有機ＥＬ素子２１に対して逆バイアスを掛けるための電源電位である。この第２電源電位Ｖ_{cc_L}は、基準電圧Ｖ_ofsよりも低い電位、例えば、駆動トランジスタ２２の閾値電圧をＶ_thとするとき、Ｖ_ofs−Ｖ_thよりも低い電位、好ましくは、Ｖ_ofs−Ｖ_thよりも十分に低い電位に設定される。

上述した有機ＥＬ表示装置１において、画素アレイ部３０の各画素２０は、駆動トランジスタ２２の特性のばらつきに起因する駆動電流のばらつきを補正する機能を有している。ここで、駆動トランジスタ２２の特性としては、例えば、駆動トランジスタ２２の閾値電圧Ｖ_thや、駆動トランジスタ２２のチャネルを構成する半導体薄膜の移動度ｕ（以下、単に「駆動トランジスタ２２の移動度ｕ」と記述する）を例示することができる。

駆動トランジスタ２２の閾値電圧Ｖ_thのばらつきに起因する駆動電流のばらつきの補正（以下、「閾値補正」と記述する）は、駆動トランジスタ２２のゲート電圧Ｖ_gを基準電圧Ｖ_ofsに初期化することによって行なわれる。具体的には、駆動トランジスタ２２のゲート電圧Ｖ_gの初期化電圧（基準電圧Ｖ_ofs）を基準として当該初期化電圧から駆動トランジスタ２２の閾値電圧Ｖ_thを減じた電位に向けて、駆動トランジスタ２２のソース電圧Ｖ_sを変化させる処理が閾値補正処理である。

一方、駆動トランジスタ２２の移動度ｕのばらつきに起因する駆動電流のばらつきの補正（以下、「移動度補正」と記述する）は、サンプリングトランジスタ２３が導通状態となり、映像信号の信号電圧Ｖ_sigを書き込んでいる状態で、駆動トランジスタ２２を介した電流を保持容量２４に流すことによって行なわれる。換言すれば、駆動トランジスタ２２に流れる電流Ｉ_dsに応じた帰還量（補正量）で保持容量２４に負帰還をかける処理が移動度補正処理である。上記の閾値補正処理により、映像信号の信号電圧Ｖ_sigを書き込んだときには既にドレイン−ソース間電流Ｉ_dsの閾値電圧Ｖ_thに対する依存性が打ち消されており、当該ドレイン−ソース間電流Ｉ_dsは、駆動トランジスタ２２の移動度ｕに依存したものとなっている。

従って、駆動トランジスタ２２に流れるドレイン−ソース間電流Ｉ_dsに応じた帰還量で駆動トランジスタ２２のドレイン−ソース間電圧Ｖ_dsに負帰還をかける移動度補正処理を実行することで、駆動トランジスタ２２に流れるドレイン−ソース間電流Ｉ_dsの移動度ｕに対する依存性を抑えることができる。すなわち、閾値補正や移動度補正等の補正処理を実行することにより、駆動トランジスタ２２のトランジスタ特性（閾値電圧Ｖ_thや移動度ｕ）の経時変化等の影響を抑えつつ、有機ＥＬ素子２１の発光輝度を一定に維持することができる。その結果、良好な画質の表示画像を得ることができる。

以上に説明した、本開示の技術が適用される有機ＥＬ表示装置（本開示の表示装置）１は、以下に説明する本開示の画像信号処理装置を有する（あるいは、本開示の画像信号処理方法を用いる）。そして、本開示の画像信号処理装置（画像信号処理方法）で処理された映像信号が、先述した表示パネル１０上の信号出力部４３に供給され、画素アレイ部３０の各画素２０の駆動に用いられる。以下に、本開示の画像信号処理装置（画像信号処理方法）の実施形態について説明する。

＜実施形態の説明＞
本実施形態にあっては、撮像部で異なる露出条件（露光条件）の複数の画像情報群を一括して取得したハイダイナミックレンジ（ＨＤＲ）の信号を基に、表示部に対してサブフレーム単位で表示する、所謂、サブフレーム表示を行うための駆動が行われる。一般的には、露出条件を変更することにより、撮影可能な被写体反射率の範囲が制御可能となるために、撮像デバイスのハイダイナミックレンジ（ＨＤＲ）を有効に活用することができるようになる。

通常、ハイダイナミックレンジ（ＨＤＲ）と定義されるデジタルカメラでは、上記のような画像情報群を取得した後に、内蔵するプロセッサによる制御の下に、ダイナミックレンジを拡張（ハイダイナミックレンジ化）するための画像情報の合成処理が行われる。そして、所定の階調再現範囲に圧縮処理された１枚のＨＤＲ画像情報への変換処理が行われる。これに対して、本実施形態で使用する画像情報は、ＨＤＲ信号合成前の画像情報群である。

本実施形態にあっては、撮像エリア部内の任意の画素群に対して２種類以上の露出条件を個別に設定可能な撮像デバイスにおいて、露出条件が個別に設定された画素群から得られる撮像信号を１撮像フレーム単位で読み出す。そして、撮像デバイスから１撮像フレーム単位で読み出された撮像信号に対して、露出条件毎に信号分離を行うとともに、露出条件との対応付けを行う。

一方、表示部側では、撮像部側で露出条件毎に信号分離され、露出条件との対応付けされて出力される撮像信号を、処理対象の画像信号として１表示フレーム単位で入力する。そして、対応付けされた露出条件に応じてサブフレーム毎に発光素子の発光時間を制御してサブフレームの映像信号を生成する。その際に、好ましくは、複数の画像情報に応じてサブフレーム毎に発光素子の単位時間当たりの発光輝度を制御するようにする。

本実施形態にあっては、画像情報の合成処理を行わず、複数の画像をサブフレーム単位でそのまま表示するサブフレーム表示を行う手法を採っている。そして、サブフレーム表示では、入力される複数の画像情報を光学的に加算することになるため、撮影時の階調情報を無駄なく再現できる。しかも、露出条件に応じてサブフレーム毎に発光素子の発光条件、即ち、発光時間を制御することで、表示条件に被写体の露出条件が反映されるため、サブフレーム表現時の画面表示輝度が撮影画像の被写体反射率を正しく表現できる。

［本開示の撮像装置］
図３に、本開示の撮像装置（撮像部）の構成の一例を示す。撮像部（撮像装置）２は、撮像デバイス５０及び撮像信号処理部６０から成る構成となっている。撮像デバイス５０は、例えば、ＣＣＤ型撮像素子やＣＭＯＳ型の撮像素子等の固体撮像素子から成り、図４Ａに示すように、受光素子（例えば、フォトセンサ）を含む画素（副画素）５１が行列状に２次元配置されて成る撮像エリア部（画素アレイ部）５２を有する。

撮像デバイス５０にあっても、有機ＥＬ表示装置１と同様に、カラー対応の場合、カラー画像を形成する単位となる１つの画素５１は複数の副画素（サブピクセル）から構成される。具体的には、１つの画素５１は、例えば、上下左右に隣接して配置されるＲ（赤）Ｇ（緑）Ｂ（青）を含む４つの副画素から構成される。本例にあっては、Ｇの２つの副画素が対角線上に配置され、Ｒの副画素とＢの副画素が対角線上に配置されて成る市松パターン状の画素配列となっている。

市松パターン状の画素配列では、副画素の配列の隣接する２つの行が、カラー画像を形成する単位となる１つの画素５１の配列の１つの行（以下、「ライン」と記述する場合もある）となる。この市松パターン状の画素配列の撮像デバイス５０に対して、本実施形態にあっては、奇数ラインと偶数ラインとに個別の露出条件を設定可能な構成を採っている。個別の露出条件の設定は、撮像エリア部５２の画素（副画素）５１内の受光素子に対する露光時間などを制御することによって実現できる。感度に影響する画素５１の受光面積については全ての画素５１に共通となっている。

本実施形態にあっては、図４Ａに示す画素配列において、図の上から１ライン、２ライン、３ライン、・・・とした場合、例えば、光電変換した信号電荷を相対的に長い時間蓄積する長時間蓄積（長時間露光）の露出条件を奇数ラインに適用するものとする。また、光電変換した信号電荷を相対的に短い時間蓄積する短時間蓄積（短時間露光）の露出条件を偶数ラインに適用するものとする。そして、同一のタイミングにて、露出条件の異なる画素情報を１撮像フレーム単位で一括して読み出すようにする。

撮像デバイス５０から出力されるアナログの撮像信号は、撮像信号処理部６０に供給される。図３に示すように、撮像信号処理部６０は、ＡＤＣ（アナログ／デジタル変換）処理部６１、露出映像分離処理部６２、カメラ信号処理部６３、映像データ出力処理部６４、及び、センサ露出制御部６５から成る構成となっている。

この撮像信号処理部６０において、入力されたアナログの撮像信号は、ＡＤＣ処理部６１でデジタルデータに変換された後、露出映像分離処理部６２に供給される。露出映像分離処理部６２は、入力データを露出条件毎の画素情報単位に分離する。本実施形態にあっては、長時間蓄積の露出条件が適用された奇数ラインの画素情報（サブフレーム１）と、短時間蓄積の露出条件が適用された偶数ラインの画素情報（サブフレーム２）とに分離する。カメラ信号処理部６３での処理の詳細については後述する。映像データ出力処理部６４は、露出映像分離処理部６２で分離された露出条件毎の画素情報に対して、露出設定画素情報及び露出条件等の情報を付加し、各露出条件画像と共に出力映像データとして出力する。

ここで、露出設定画素情報とは、例えば、画素領域と露出条件とを対応付けした情報である。この露出設定画素情報は、本実施形態にあっては、奇数ラインに長時間蓄積の露出条件を設定し、偶数ラインに短時間蓄積の露出条件を設定していることを、以降の信号処理に反映させるための情報となる。すなわち、奇数ライン及び偶数ラインが画素領域となる。画素領域毎の露出条件の制御や、露出設定画素情報の管理は、センサ露出制御部６５にて実行される。

図４Ｂに、撮像信号処理部６０におけるカメラ信号処理部６３の構成の一例を示す。本例に係るカメラ信号処理部６３は、画素補正処理部６３１、デモザイク処理部６３２、ホワイトバランス（ＷＢ）補正処理部６３３、色変換処理部６３４、及び、階調補正処理部６３５から成る構成となっている。

上記構成のカメラ信号処理部６３において、画素補正処理部６３１は、露出映像分離処理部６２で分離された露出条件毎の画素情報に対して、撮像デバイス５０の画素欠陥や感度ばらつきの補正処理を行う。デモザイク処理部６３２は、市松パターン等の画素配列パターンを基にＲＧＢ値を算出するデモザイク処理を行う。ＷＢ補正処理部６３３は、白に対するＲＧＢ値のバランスをとるホワイトバランス調整の処理を行う。このホワイトバランス調整後の信号に対して、色変換処理部６３４で色変換の処理が行われ、階調補正の処理部６３５で階調補正処理が行われる。

図５Ａは、撮像デバイス５０から１撮像フレーム単位で一括して読み出される画素情報を示す図である。図５Ｂに、長時間蓄積の露出条件が適用されたサブフレーム１の画素情報を示し、図５Ｃに、短時間蓄積の露出条件が適用されたサブフレーム２の画素情報を示す。撮像デバイス５０の垂直解像度を２ｍライン（ｍは自然数）とすると、露出条件毎の画素情報は、ｍラインの垂直解像度のデータとなる。また、１撮像フレームの画素情報の垂直データ数をＨとすると、サブフレーム１，２の各画素情報の垂直データ数はＨ／２となる。

上述したように、撮像部（撮像装置）２からは、個別の露出条件と画像情報とをパッキングした映像データ、即ち、異なる露出条件の複数の画像を一括して取得したハイダイナミックレンジ（ＨＤＲ）の映像データが出力される。この映像データは、本開示の画像信号処理回路に供給され、サブフレーム表示を行うための信号処理が行われる。以下に、本開示の画像信号処理回路の具体的な実施例について説明する。

［実施例１］
図６は、実施例１に係る画像信号処理回路の構成を示すブロック図である。図６に示すように、実施例１に係る画像信号処理回路８０は、露出画像分離部８１、サブフレーム信号生成部８２、サブフレーム補正部８３、基準発光時間選択部８４、及び、ガンマ回路部８５を有する構成となっている。この画像信号処理回路８０は、１フレーム映像情報及びユーザ輝度制御情報を入力とする。

１フレーム映像情報は、先述したように、個別の露出条件と画像情報とがパッキングされた映像情報、即ち、異なる露出条件の複数の画像を一括して取得したハイダイナミックレンジ（ＨＤＲ）の映像情報である。ユーザ輝度制御情報は、ユーザが画面表示輝度を任意に設定するための制御情報であり、基準発光時間選択部８４に入力される。基準発光時間選択部８４は、ユーザ輝度制御情報を受けて、発光素子の基準となる発光時間として、初期発光時間ＩＤＲ(Initial Duty Ratio)を選択し、設定する。

上記構成の画像信号処理回路８０において、露出画像分離部８１は、個別の露出条件と画像情報とがパッキングされた映像情報が入力されると、当該映像情報を個別の露出条件で撮影された画像（以下、「露出画像」と記述する）に分離する。より具体的には、露出画像分離部８１は、個別の露出条件と画像情報とがパッキングされた映像情報を、例えば、２つの露出条件で撮影された２つの露出画像、即ち、奇数ラインの画素情報ＥＶ１と偶数ラインの画素情報ＥＶ２とに分離する。

露出画像分離部８１は更に、露出比率ＥＶＲの算出を行う。ここで、露出比率ＥＶＲとは、露出画像間における露出時間（シャッタースピード）の比率である。奇数ラインの露出時間をＴＥＶ１とし、偶数ラインの露出時間をＴＥＶ２とし、奇数ラインの画素情報ＥＶ１の露出比率ＥＶＲ１を基準とした場合、各ラインの露出比率ＥＶＲ１，ＥＶＲ２は、次式を基に算出することができる。
ＥＶＲ１＝１
ＥＶＲ２＝ＴＥＶ２／ＴＥＶ１

露出時間は、画像データ内のタグ等に記録される露出条件（露出情報／露出関連情報）の一例である。露出条件としては、露出時間に限られるものではなく、例えば、センサ個別のゲイン情報を用いることもできる。ここで言う「センサ」とは、撮像デバイスの受光素子（フォトセンサ）を意味し、「ゲイン」とは、受光素子の出力を増幅するアンプ部のゲインを意味している。この画像データ内のタグ等に記録される露出関連情報については直接用いることもできるし、タグ情報を基に何らかの変換テーブル等で翻訳処理した結果を用いることもできる。

露出画像分離部８１で分離された露出画像ＥＶ（ＥＶ１，ＥＶ２）、及び、露出画像分離部８１で算出された露出比率ＥＶＲ（ＥＶＲ１，ＥＶＲ２）はサブフレーム信号生成部８２に供給される。サブフレーム信号生成部８２は、露出画像ＥＶ及び露出比率ＥＶＲに基づいて、最適なダイナミックレンジを実現するためのサブフレームの映像信号（以下、「サブフレーム信号」と記述する場合もある）を生成する。

ここで、サブフレーム信号生成部８２において、２種類の露出画像ＥＶ１，ＥＶ２と、画像情報ＥＶ１を基準として算出された露出比率ＥＶＲ１，ＥＶＲ２とを入力とするときのサブフレーム信号のデータ生成例の概要について、図７に基づいて説明する。ここで説明するデータ生成例は、露出比率ＥＶＲが２倍（×２）の場合である。図７Ａに被写体反射率−入力映像階調値の特性を示し、図７Ｂに被写体反射率−出力映像階調値の特性を示している。

露出画像ＥＶ１は、被写体反射率１００［％］以上は飽和し、１００［％］未満で被写体輝度を忠実に再現できる信号値を持つ、所謂、相対的に明るい画像である。従って、被写体反射率１００［％］未満の情報を表示するサブフレーム１には、露出画像ＥＶ１をそのまま割り当てる処理が行われる。露出画像ＥＶ２は、被写体反射率２００［％］まで飽和することなく再現できる信号値を持つ、所謂、相対的に暗い画像である。従って、サブフレーム２にて被写体反射率１００［％］以上、２００［％］未満の情報を表示するために、露出画像ＥＶ２を選択して割り当てるように制御が行われる。

但し、露出画像ＥＶ２には、被写体反射率１００［％］未満の情報も含まれるため、そのまま表示データとして使用した場合、被写体反射率１００［％］未満の情報を余計に追加してしまうことになる。従って、サブフレーム信号のデータ（以下、「サブフレームデータ」と記述する場合もある）として割り当てるために、被写体反射率１００［％］の情報を差し引いて、１００［％］以上の情報のみを抽出する処理を行う。具体的には、サブフレームデータについては、下記の定義式の演算によって求めることができる。
サブフレームデータ１＝ＥＶ１
サブフレームデータ２＝ＥＶ２−ＥＶＲ２×ＥＶ１

ここで、サブフレームデータの算出の際に、露出比率ＥＶＲを大きい順番で処理することにより、データを算出するための待ち時間（演算遅延時間）を低減できるメリットがある。露出比率ＥＶＲとサブフレームデータの関係は下記のようになる。
露出比率ＥＶＲが大きい−高輝度成分が飽和しているデータ（ＬＤＲ）
露出比率ＥＶＲが大きい−高輝度成分が飽和していないデータ（ＬＤＲ＋ＨＤＲ）
ＬＤＲはローダイナミックレンジであり、ＨＤＲはハイダイナミックレンジである。

上記のことから明らかなように、露出画像ＥＶ２（ＬＤＲ＋ＨＤＲ）が先に入力される場合、サブフレームデータ２を算出するためには、露出画像ＥＶ１（ＬＤＲ）の入力が必要となる。従って、時系列でデータが入力される場合、２つのデータが揃うまで演算を待つ必要があるため、演算遅延時間が発生する。これに対して、露出画像ＥＶ１より入力を行うと、露出画像ＥＶ１自体のデータをサブフレームデータとして使用可能となり、上記の演算待ちが必要なくなるため、演算遅延時間を低減することが可能になる。

サブフレーム信号生成部８２は、例えば図６に示すように、階調再現差分データ演算部８２１、サブフレームバッファ部８２２、露出条件検出部８２３、及び、乗算器８２４を有する構成となっている。階調再現差分データ演算部８２１及びサブフレームバッファ部８２２には、露出画像分離部８１で分離された露出画像ＥＶが入力される。露出条件検出部８２３は、露出画像分離部８１で算出された露出比率ＥＶＲを入力とし、当該露出比率ＥＶＲで決まるゲインを出力する。

ここで、ｉ番目（本例では、ｉ＝２）のサブフレームの露出画像ＥＶをＥＶ_{_i}とすると、サブフレームバッファ部８２２からは、１サブフレーム前のサブフレームの露出画像ＥＶ_{_i-1}が出力される。そして、露出画像ＥＶ_{_i-1}に対して、露出条件検出部８２３から出力される、ｉ番目のサブフレームの露出画像ＥＶ_{_i}についてのゲインＥＶＲ_{_i}が乗算器８２４で乗算される。乗算器８２４の乗算結果（＝ＥＶ_{_i-1}×ＥＶＲ_{_i}）は、階調再現差分データ演算部８２１に供給される。

階調再現差分データ演算部８２１では、被写体反射率１００［％］の情報を差し引いて１００［％］以上の情報のみを抽出する処理、即ち、サブフレーム階調再現差分データを算出する処理が行われる。具体的には、階調再現差分データ演算部８２１は、露出画像ＥＶ_{_i}から乗算器８２４の乗算結果（＝ＥＶ_{_i-1}×ＥＶＲ_{_i}）を減算する処理を行う。この減算処理により、階調再現差分データ演算部８２１からは、サブフレームｉ（ｉはサブフレームの番号）のデータ（以下、「サブフレームデータｉ」と記述する）として、ＥＶ_{_i}−ＥＶ_{_i-1}×ＥＶＲ_{_i}が出力される。

このように、上記の定義式の演算によってサブフレームデータｉを求める処理に関しては、減算機能を持つ階調再現差分データ演算部８２１や、１サブフレームに相当する時間の遅延機能を持つサブフレームバッファ部８２２を用いることで、時系列で処理することが可能である。最初のサブフレームデータ１の生成処理時にサブフレームバッファ部８２２が必ず０にリセットされる前提の場合には、上記の定義式を下記のように表現することが可能である。
サブフレームデータ１＝ＥＶ１−ＥＶＲ１×ＡＬＬ０
サブフレームデータ２＝ＥＶ２−ＥＶＲ２×ＥＶ１

画像信号処理回路８０では、サブフレーム信号生成部８２にてサブフレームデータｉが生成されるのと並行して、サブフレーム発光時間の補正値（補正ゲイン）を算出する処理がサブフレーム補正部８３で行われる。

図７からわかるように、入力の被写体反射率とパネル表示輝度が線形の関係を維持するためには、被写体反射率１００［％］未満の表示を担うサブフレーム１の輝度と被写体反射率１００［％］以上、２００［％］未満の表示を担うサブフレーム２の輝度はほぼ同じ値になる必要がある。生成されたサブフレーム信号の値にて発光時間を同一にした場合、サブフレーム２の輝度≒１／２サブフレーム１の輝度の関係になって、サブフレーム表示動作時に入力の被写体反射率とパネル表示輝度の線形性が満たせないことがわかる。

そこで、本実施例では、サブフレーム表示動作の輝度再現の線形性を維持するために、サブフレーム補正部８３において、露出比率ＥＶＲの値に基づいてサブフレーム毎に発光時間ＳＤＲ(Subframe Duty Ratio)の補正を行う。サブフレーム補正部８３は、補正ゲイン算出部８３１及び乗算器８３２，８３３から成る構成となっている。

このサブフレーム補正部８３において、補正ゲイン算出部８３１は、露出比率ＥＶＲを入力とし、当該露出比率ＥＶＲに基づいて補正ゲイン（補正係数）Ｃ_gainをサブフレーム毎に算出する。具体的には、補正ゲイン算出部８３１は、補正ゲインＣ_gainを露出比率ＥＶＲの逆数にて算出し（Ｃ_gain＝１／ＥＶＲ）、その値をサブフレーム発光時間ＳＤＲの補正ゲインＤ_gainに割り振る処理を行う。

先述したデータ生成例の場合において、サブフレーム１では、Ｃ_gain＝１のために補正は実施されない。サブフレーム２では、Ｃ_gain＝１／ＥＶＲ２となるためにサブフレーム発光時間ＳＤＲをＣ_gain倍する補正処理が実施される。

ここで、サブフレーム１の輝度をＬ１、サブフレーム２の輝度をＬ２、サブフレーム１のデューティをＤｕｔｙ１、サブフレーム２のデューティをＤｕｔｙ２とすると、
Ｌ１∝サブフレームデータ１×Ｄｕｔｙ１
Ｌ２∝サブフレームデータ２×Ｄｕｔｙ１×Ｃ_gain
∝１／２サブフレームデータ１×Ｄｕｔｙ１×Ｃ_gain＝Ｌ１
となる。但し、サブフレーム発光時間ＳＤＲの補正に関して、制御可能な発光時間の範囲が有限であるため、基準発光時間選択部８４で設定される初期発光時間ＩＤＲの値によっては補正限界が発生する。

以上のようにして、サブフレーム補正部８３では、補正ゲイン算出部８３１において算出された補正ゲインＶ_gain，Ｄ_gainを加味したサブフレームデータｉ及びサブフレーム発光時間ＳＤＲに基づいて表示パネルの発光制御が行われる。具体的には、サブフレームデータｉに対して乗算器８３２で補正ゲインＶ_gainが乗算されることによって補正が行われる。そして、補正後のサブフレームデータｉがガンマ回路部８５を介してパネル駆動回路部９０に供給される。パネル駆動回路部９０は、サブフレームデータｉに応じた発光輝度（単位時間当たりの発光輝度）で表示パネルの各画素の発光素子を発光駆動する駆動部である。

また、基準発光時間選択部８４で設定された初期発光時間ＩＤＲに対して乗算器８７で補正ゲインＤ_gainが乗算されることにより、サブフレーム表示動作の輝度再現の線形性を維持するための補正が行われる。そして、補正後のサブフレーム発光時間ＳＤＲがパネル駆動回路部９０に供給される。パネル駆動回路部９０は、サブフレーム発光時間ＳＤＲを基にサブフレーム毎の発光時間（サブフレーム発光時間）を決めて、発光素子の発光時間と非発光時間の割合、即ち、デューティを制御する。すなわち、露出条件に応じて発光素子のデューティを制御する。サブフレーム毎に先述した有機ＥＬ表示装置１０にあっては、電源電位ＤＳのＶ_{cc_H}／Ｖ_{cc_L}の切替えタイミングによって、有機ＥＬ素子２１のデューティを制御することができる。

ここで、表示パネルの発光特性は、一般的に、入力信号に対して発光輝度（表示輝度）が非線形特性を示すことが知られている。そのため、入力信号に対する発光輝度の特性（即ち、表示パネルの発光特性）が線形になるように補正する処理が必要がある。この補正処理は、ガンマ回路部８５において実行される。

ガンマ回路部８５は、入力信号に対する発光輝度の特性を線形に補正するためのガンマ補正テーブルを備えている。そして、ガンマ回路部８５において、ガンマ補正テーブルに基づいてガンマ補正を行うことにより、サブフレーム表示を行っても、入力信号に対する発光輝度の線形性が維持されることになる。

サブフレーム表示の動作での輝度は下記の式で定義され、各サブフレームの輝度Ｌｉ（ｉはサブフレームの番号）の総和がフレーム輝度Ｌとなる。ここで、ｉ＝２のとき、サブフレーム１の発光時間をＤＲ１、サブフレーム２の発光時間をＤＲ２、サブフレーム１の信号レベルをＶ_sig1、サブフレーム２の信号レベルをＶ_sig2とすると、
Ｌ＝Ｌ１＋Ｌ２
＝ＤＲ１×Ｖ_sig1＋ＤＲ２×Ｖ_sig2
と定義される。

以上説明したように、実施例１に係る画像信号処理回路（画像信号処理方法）にあっては、画像情報の合成処理を行わず、階調表現範囲を分割した複数枚の画像をサブフレーム単位でそのまま表示するサブフレーム表示を行う手法を採っている。そして、サブフレーム表示では、入力される複数の画像情報を光学的に加算することになるため、撮影時の階調情報を無駄なく再現できる。

また、高価な多ビットの駆動ドライバ等を使用しなくても、低階調の表現力を維持しながら、被写体反射率が２００［％］まで線形に表現が可能となる。従って、低ビットの駆動ドライバを使用できるため、システムコストの低減が可能になる。また、表示条件に被写体の露出条件が反映され、被写体反射率と表示輝度との関係を線形にできるため、サブフレーム表現時の画面表示輝度が撮影画像の被写体反射率を正しく表現でき、見た目に近い再現が可能になる。

また、実施例１に係る画像信号処理回路（画像信号処理方法）にあっては、任意の画素群に対して２種類以上の露出条件を設定し、露出条件毎に信号分離を行っているため、取得する露出画像間に時間差が発生しない。従って、取得する画像間の時間差に起因する映像ゴーストの発生を抑えることができる。また、ＨＤＲ動画表示を低コストにて実現できる。

サブフレーム表示の動作を行う場合の表示パネルの駆動タイミングに関しては、図８に示すタイミング例のように動作させることが望ましい。本実施例では、撮像部２より出力される画像情報の垂直解像度が１／２となるため、そのままのタイミングで画像表示を行うと、垂直方向のみサイズが圧縮された画像になる。この問題を回避するには、垂直方向における画像補間処理等を行い、フルサイズのデータにてサブフレーム動作を実施する駆動法を採るようにすればよい。

しかし、当該駆動法を採ると、表示パネルの駆動周波数等が高くなることによって、消費電力のアップや、有機ＥＬ素子などの発光デバイスで必要となる補正時間（例えば、先述した閾値補正の補正時間）の確保が難しくなる。これらの問題を回避するために、本実施例にあっては、表示パネルに対する書き込み＆スキャンを２ライン同時に行うことによって表示映像を行う駆動法を採る。

図９Ａにサブフレーム１の２ライン同時スキャン動作を示す。サブフレーム１にあっては、長時間蓄積（長時間露光）の露出条件が適用された奇数ラインの画素情報についての２ライン同時スキャン動作となる。図９Ｂにサブフレーム２の２ライン同時スキャン動作を示す。サブフレーム２にあっては、短時間蓄積（短時間露光）の露出条件が適用された偶数ラインの画素情報についての２ライン同時スキャン動作となる。このような２ライン同時スキャン動作の駆動法を採ることで、垂直方向の解像度感に関しては、画像補間等を用いてフルサイズの画像を生成した場合よりも若干劣るものの、動画表示には十分耐え得る画質を実現することが可能となる。

［実施例２］
実施例２は、実施例１の変形例である。実施例１の場合、原理的に、画素情報ＥＶ１と画素情報ＥＶ２とは、垂直方向に１ライン分だけ画像がずれたデータとなる。そのため、隣接するライン間において、相関性の高い画像に関しては問題ないが、相関性の低い画像の場合には画質破綻が発生する可能性がある。この画質破綻の発生を回避するために為されたのが実施例２である。

図１０は、実施例２に係る画像信号処理回路の構成を示すブロック図である。実施例１の問題点、即ち、相関性の低い画像の場合には画質の破綻が発生する可能性があるという問題点を解消するために、実施例２に係る画像信号処理回路８０にあっては、サブフレーム生成に隣接ラインの情報を使用しない方式を採用している。

具体的には、図１０に示すように、サブフレーム信号生成部８２は、撮像デバイス５０で取得可能な最大階調値、即ち、撮像側データのビットＤ（ダイナミック）レンジを検出するＤレンジ検出部８２５を有する。そして、サブフレーム信号生成部８２は、露出条件等に加えて、Ｄレンジ検出部８２５が検出するビットＤレンジを用いてサブフレームデータを算出する。

実施例２に係る画像信号処理回路８０の具体的な動作について、以下に説明する。上述したように、実施例１と実施例２との違いは、サブフレームデータの生成方法にある。具体的には、実施例１では、サブフレームバッファ部８２２から出力される、１サブフレーム前のサブフレームの露出画像ＥＶ_{_i-1}を乗算器８２４に与える構成を採っていた。これに対して、実施例２では、１サブフレーム前のサブフレームの露出画像ＥＶ_{_i-1}に代えて、Ｄレンジ検出部８２５にて検出した露出画像ＥＶ_{_i}の最大ＤレンジＤＥＶ_{_i}を乗算器８２４に与える構成を採っている。

そして、露出画像ＥＶ_{_i}の最大ＤレンジＤＥＶ_{_i}と露出条件ＥＶＲ_{_i}とを基に、露出画像ＥＶ_{_i}より、下記の条件式に従ってサブフレームデータを生成する。
サブフレームデータｉ＝if(MAX(ＥＶ_{_i})＞ＤＥＶ_{_i}){ＥＶ_{_i}−ＤＥＶ_{_i}×ＥＶＲ_{_i}}
else{ＥＶ_{_i}}

具体的な演算例を図１１に示す。図１１Ａに被写体反射率−画像情報の特性を示し、図１１Ｂに被写体反射率−出力映像階調値の特性を示している。露出画像ＥＶ１と露出画像ＥＶ２との最大ＤレンジＤＥＶがＤレンジ検出部８２５にて検出され、ＤレンジＤＥＶ_{_i}として２５６値が得られる。一般的に、最大Ｄレンジは、使用するデータフォーマット等で規定されることが多い。従って、本実施例のように検出値を用いる以外に、固定値を用いることも可能である。

以上のようにして決定されたＤレンジＤＥＶ_{_i}の値と露出条件とを基にして、上記の条件式に従ってサブフレームデータの生成が行われる。サブフレーム１では、ＤＥＶ１×ＥＶＲ１が２５６となり、露出画像ＥＶ１の最大値２５５よりも大きい。従って、上記の式のelse条件に当てはまるために、サブフレームデータ１＝露出画像ＥＶ１となる。サブフレーム２では、ＤＥＶ２×ＥＶＲ２が１２８となり、露出画像ＥＶ２の最大値２５５よりも小さいために、上記の式の条件より、サブフレームデータ２＝露出画像ＥＶ２−１２８となる。

上述したように、実施例２に係る画像信号処理回路８０では、上記の条件式に従ってサブフレームデータを生成する、即ち、露出条件等に加えて、撮像デバイス５０で取得可能な最大階調値を用いてサブフレームデータするようにしている。これにより、実施例１の問題点、即ち、実施例１のデータ生成方式の場合に発生する、垂直方向に１ライン分画像がずれるような画質破綻を回避することが可能となる。

［実施例３］
実施例３では、撮像部（撮像装置）２の露出制御を動的に実施し、この動的な露出制御の下に取得される画像情報に基づいてサブフレーム表示を行う例である。図１２及び図１３に、撮像部２からの画素情報の読み出し例を示す。

図１２は、ライン単位で露光条件を設定し、且つ、撮像フレーム単位で露出条件を切り替える場合の読み出し例を示す図である。図１２に示すように、撮像デバイス５０の撮像エリア部５２（図４Ａ参照）内の任意の画素群について、奇数ラインの画素群と偶数ラインの画素群とから成る構成とする。そして、奇数ラインの画素群に対する露出条件の設定と、偶数ラインの画素群に対する露出条件の設定とを、撮像フレーム単位で交互に切り替え可能とする。

図１３は、画素又は画素群単位で露光条件を設定し、且つ、撮像フレーム単位で露出条件を切り替える場合の読み出し例を示す図である。図１３に示すように、撮像デバイス５０の撮像エリア部５２内の任意の画素群について、異なる露出条件が設定された第１の画素群（例えば、実線で示す４つの副画素ＧＲＢＧ）と第２の画素群（例えば、破線で示す４つの副画素ＧＲＢＧ）とから成り、第１の画素群及び第２の画素群が市松パターン状に配置された構成とする。そして、第１の画素群に対する露出条件の設定と、第２の画素群に対する露出条件の設定とを、撮像フレーム単位で交互に切り替え可能とする。

実施例３では、例えば、図１２に示す読み出し例のように、撮像デバイス５０の露出条件を奇数ラインと偶数ラインとで個別に２種類設定する。そして、奇数ラインと偶数ラインとの露出条件設定を撮像フレーム単位で交互に入れ替える制御を、撮像部２のセンサ露出制御部６５（図３参照）にて行う。図１４及び図１５に、実施例３に係る撮像データの読み出し及び表示の動作例を示す。図１４は、撮像奇数フレームの撮像データの読み出し及び表示の動作例を示す図である。図１５は、撮像偶数フレームの撮像データの読み出し及び表示の動作例を示す図である。いずれの読み出し例の場合にも、長時間露光／短時間露光で露光設定が異なり、撮像フレーム周期で露出条件が切り替わる。

撮像部２からの撮像画像データの出力時には、露出設定画素情報と露出条件と画像データとの対応関係について、後段の処理の際に識別可能とするタグデータ（露出条件識別タグデータ）等の識別情報が、撮像画像データに付加されて出力される。図１６に、露出条件識別タグデータの一例を示す。例えば、露出条件識別タグデータは、露出制御タグデータと露出設定タグデータとから成る。

そして、例えば、１バイト（８ｂｉｔ）の露出制御タグデータにおいて、ｂｉｔ０〜ｂｉｔ３の４ｂｉｔを露出条件配置パターン情報とし、ｂｉｔ５の１ｂｉｔを交互制御ＯＮ／ＯＦＦ情報とし、ｂｉｔ７の１ｂｉｔを読み出し情報（０：ＯＤＤ／ＥＶＥＮ、１：ＥＶＥＮ／ＯＤＤ）とする。露出条件配置パターン情報については、例えば、パターン設定値が“００００”で露出設定選択パターンをラインパターンとし、“０００１”で市松パターン１とし、“０００２”で市松パターン２とする。また、１バイト（８ｂｉｔ）の露出設定タグデータにおいて、ｂｉｔ０〜ｂｉｔ３の４ｂｉｔを露出条件設定１とし、ｂｉｔ４〜ｂｉｔ７の４ｂｉｔを露出条件設定２とする。露出条件設定については、例えば、露出条件設定値が“００００”で露出設定選択値を１、“０００１”で１／２、“０００２”で１／４、“０００３”で１／８とする。

一方、表示部（有機ＥＬ表示装置）側では、撮像部２からの撮像画像データを基にサブフレーム表示が行われる。このサブフレーム表示のための処理については、実施例１又は実施例２の場合と同様にして行われる。すなわち、図６に示す実施例１に係る画像信号処理回路、又は、図１０に示す実施例２に係る画像信号処理回路において、撮像部２からの撮像画像データを基に、先述したサブフレーム表示のための処理が行われる。

例えば、実施例２に係る画像信号処理回路にあっては、露出条件情報を使用した処理にについて、先述したタグデータを基に処理を行う。これにより、奇数ラインと偶数ラインとの露出条件設定に関して、撮像フレーム単位で交互に切り替えてサブフレーム表示を行うことになるため、露出条件を奇数ラインと偶数ラインとで固定した場合よりも垂直方向の解像度感に優れている。

［実施例４］
実施例４は、実施例１乃至実施例３の変形例である。実施例１乃至実施例３では、撮像部２からの画像情報を低輝度階調情報成分（被写体反射率１００［％］未満）と高輝度階調情報成分（被写体反射率１００［％］以上）とに分割してサブフレーム表示を行うようにしている。このようなサブフレーム表示では、特定の露出条件や映像情報によって階調情報が１つのサブフレームに集中し（偏り）、他のサブフレームの階調情報がほとんどない場合が発生することがある。その場合、フリッカとして認識され、画質低下を招くことがある。

このサブフレーム表現時の階調情報の偏りに起因する画質低下を回避するために為されたのが実施例４である。実施例４においても、実施例３と同様に、撮像部（撮像装置）２の露出制御を動的に実施し、この動的な露出制御の下に取得される画像情報に基づいてサブフレーム表示を行う。図１７及び図１８に、実施例４に係る撮像データの読み出し及び表示の動作例（その１）を示す。図１７は、撮像奇数フレームの撮像データの読み出し及び表示の動作例を示す図である。図１８は、撮像偶数フレームの撮像データの読み出し及び表示の動作例を示す図である。

実施例４では、図１７及び図１８の下段に示すような市松パターンにて２種類の露出条件を設定し、奇数ラインと偶数ライン毎に読み出しを行うとともに、撮像フレーム単位で市松パターンの位置を交互に切り替える制御を、撮像部２のセンサ露出制御部６５（図３参照）にて行う。そして、表示部（有機ＥＬ表示装置）側では、撮像部２からの撮像画像データを基にサブフレーム表示を行う。

この実施例４に係るサブフレーム表示によれば、１サブフレーム内に低輝度階調情報成分（被写体反射率１００［％］未満）と高輝度階調情報成分（被写体反射率１００［％］以上）とを混在させることができる。これにより、空間的に低階調成分と高階調成分とが縦縞のライン状に交互に並ぶデータ構造となるために、サブフレームによる階調情報の偏りを抑えることができ、面フリッカのような現象を低減できる。

尚、図１７及び図１８の下段に示すような市松パターンでは、縦縞のライン構造の影響で、ラインフリッカが認識される可能性が否定できない。そこで、更なるフリッカ改善を実施するための、撮像データの読み出し及び表示の動作例（その２）を図１９及び図２０に示す。図１９は、撮像奇数フレームの撮像データの読み出し及び表示の動作例を示す図である。図２０は、撮像偶数フレームの撮像データの読み出し及び表示の動作例を示す図である。

図１９及び図２０に示すような露出条件設定が可能な市松パターンを使用し、撮像フレーム単位で交互に露出条件設定の位置を制御する。このようなパターン構造を導入することによって、サブフレーム自体が市松パターンとなるため、ラインフリッカを低減することが可能である。実施例４の場合、実施例１で説明したサブフレーム補正に関して、面単位でのデューティ補正を適用することができない。従って、実施例４にあっては、映像信号の信号電圧Ｖ_sigを補正する、所謂、Ｖ_sig補正にて対応するようにすればよい。

［実施例５］
実施例５は、上記の各実施例の変形例である。上記の各実施例においては、表示パネル１０の駆動として２ライン同時書き込み駆動を実施している。この２ライン同時書き込み駆動にあっては、撮像デバイス５０の奇数ラインの開始点である１ライン目と、偶数ラインの開始点である２ライン目とが、パネル表示上、同じ書き出し位置となってしまうために、所謂、画像の位置ずれとして認識される懸念がある。この１ライン目と２ライン目とが同じ書き出し位置になることに起因する画像の位置ずれを回避するために為されたのが実施例５である。

図２１は、実施例５に係る画像信号処理回路の構成を示すブロック図である。実施例５では、１ライン目と２ライン目とが同じ書き出し位置になることに起因する画像の位置ずれを回避するために、撮像部２の奇数ライン、偶数ラインの各読み出し情報に合わせて表示画像の書き出し位置を制御するようにする。具体的には、図２１に示すように、実施例５に係る画像信号処理回路８０は、表示パネル１０の駆動モードを制御する駆動モード書き込み制御部８６を有する構成となっている。

以下に、駆動モード書き込み制御部８６による具体的な制御の動作について、図１６に示す露出条件識別タグデータ等を用いて説明する。図２２に、実施例５に係る画像信号処理回路におけるスキャンモードの切り替えタイミングを示す。実施例５に係る画像信号処理回路８０では、駆動モード書き込み制御部８６による制御の下に、図２２に示すようなサブフレーム制御に同期して、奇数ライン及び偶数ラインの読み出し情報を基に、サブフレーム表示時に表示画像の書き出し位置をサブフレーム単位で制御する、書き込みスキャンモードの制御が行われる。

実施例５に係る表示パネルの駆動の実現例を図２３に示す。表示パネルとしては、例えば図１に示す表示パネル１０を例示することができる。上記の書き込みスキャンモードの制御に応じて、図２３に示すように、書込みパルス（図２のサンプリングトランジスタ２３のゲート電極に印加される書込み走査信号ＷＳに相当）のタイミングを制御する、即ち、ゲート駆動モードをモード１／モード２でサブフレーム単位で切り替える。ここで、モード１はサブフレーム１の駆動モードであり、モード２はサブフレーム２の駆動モードである。

このように、奇数ライン及び偶数ラインの読み出し情報を基に、サブフレーム表示時に表示画像の書き出し位置をサブフレーム単位で制御することで、撮像デバイス５０の読み出し位置と、表示パネル１０の駆動時の書き出し位置との関係を一致させることが可能となる。これにより、撮像デバイス５０の１ライン目と２ライン目とが、パネル表示上、同じ書き出し位置になることに起因する画像の位置ずれを回避することができる。

因みに、特許文献３に記載の手法にあっては、単純なサブフレーム表示（サブフレーム単位での表示）の場合、特定の露出条件や映像情報によって階調情報が１サブフレームに集中し、他のサブフレームの階調情報がほとんどない場合（例えば、黒画面）が発生することがある。このような階調情報の偏りが発生した場合、表示上は１／２のフレーム周波数で、且つ、デューティ（発光素子の発光時間と非発光時間の割合）が５０％以下になってしまうためフリッカとして認識され、画質の低下を招く場合がある。

［変形例］
上記の各実施例にあっては、露出比率ＥＶＲを算出する処理を、１フレーム映像情報を個別の露出条件で撮影された露出画像に分離する露出画像分離部８１で行う構成を採っているが、これに限られるものではない。例えば、露出画像分離部８１とは別に露出比率算出部を設け、当該露出比率算出部において露出比率ＥＶＲを算出する構成を採ることも可能である。

尚、本開示は以下のような構成をとることもできる。
［１］撮像エリア部内の任意の画素群に対して２種類以上の露出条件を個別に設定可能で、露出条件が個別に設定された画素群から得られる撮像信号を１撮像フレーム単位で読み出すな撮像デバイスと、
撮像デバイスから出力される撮像信号に対し、露出条件毎に信号分離を行うとともに、露出条件との対応付けを行う撮像信号処理部と、
を備える撮像装置。
［２］撮像デバイスは、露出条件の設定を撮像フレーム単位で切り替え可能である、
上記［１］に記載の撮像装置。
［３］撮像エリア部内の任意の画素群は、奇数ラインの画素群、及び、偶数ラインの画素群とから成る、
上記［１］又は［２］に記載の撮像装置。
［４］撮像デバイスは、奇数ラインの画素群に対する露出条件の設定と、偶数ラインの画素群に対する露出条件の設定とを、撮像フレーム単位で交互に切り替え可能である、
上記［３］に記載の撮像装置。
［５］撮像エリア部内の任意の画素群は、異なる露出条件が設定された第１の画素群と第２の画素群とから成り、第１の画素群及び第２の画素群が市松パターン状に配置されている、
上記［１］又は［２］に記載の撮像装置。
［６］撮像デバイスは、第１の画素群に対する露出条件の設定と、第２の画素群に対する露出条件の設定とを、撮像フレーム単位で交互に切り替え可能である、
上記［５］に記載の撮像装置。
［７］撮像エリア部内の任意の画素群に対して２種類以上の露出条件を個別に設定可能な撮像デバイスにおいて、露出条件が個別に設定された画素群から得られ、１撮像フレーム単位で読み出される撮像信号に対して、
露出条件毎に信号分離を行うとともに、露出条件との対応付けを行う信号処理部を有する、
撮像信号処理回路。
［８］撮像エリア部内の任意の画素群に対して２種類以上の露出条件を個別に設定可能な撮像デバイスにおいて、露出条件が個別に設定された画素群から得られ、１撮像フレーム単位で読み出される撮像信号に対して、
露出条件毎に信号分離を行うとともに、露出条件との対応付けを行う、
撮像信号処理方法。
［９］１表示フレームの映像を構成する複数のサブフレームの映像信号を生成するサブフレーム信号生成部と、
サブフレーム信号生成部で生成された複数のサブフレームの映像信号を基に、表示パネルに対してサブフレーム単位で表示を行う駆動部と、
を備え、
サブフレーム信号生成部は、
撮像エリア部内の任意の画素群に対して２種類以上の露出条件を個別に設定可能な撮像デバイスにおいて、露出条件が個別に設定された画素群から得られ、露出条件毎に信号分離され、露出条件との対応付けされた撮像信号を、処理対象の画像信号として１表示フレーム単位で入力し、
対応付けされた露出条件に応じてサブフレーム毎に発光素子の発光時間を制御してサブフレームの映像信号を生成する、
表示装置。
［１０］駆動部は、複数のサブフレームの映像信号に応じてサブフレーム毎に発光素子の単位時間当たりの発光輝度を制御する、
上記［９］に記載の表示装置。
［１１］撮像エリア部内の任意の画素群が、奇数ラインの画素群、及び、偶数ラインの画素群から成るとき、
サブフレーム信号生成部は、奇数ラインの画素群から得られる撮像信号と、偶数ラインの画素群から得られる撮像信号とに基づいて複数のサブフレームの映像信号を生成し、
駆動部は、複数のサブフレームの映像信号を基に、表示パネルに対して２ライン同時スキャン駆動を行う、
上記［９］又は［１０］に記載の表示装置。
［１２］駆動部は、奇数ライン及び偶数ラインの読み出し情報を基に、表示画像の書き出し位置をサブフレーム単位で制御する、
上記［１１］に記載の表示装置。
［１３］サブフレーム信号生成部は、露出条件に応じてサブフレーム毎に発光素子のデューティを制御する、
上記［９］に記載の表示装置。
［１４］サブフレーム信号生成部は、発光素子のデューティ制御を、各露出条件の画像間における露出時間の比率の逆数倍した値を用いて行う、
上記［１３］に記載の表示装置。
［１５］サブフレーム信号生成部は、低輝度階調情報成分と高輝度階調情報成分とに分離したサブフレームの映像信号を生成する、
上記［９］から［１４］のいずれかに記載の表示装置。
［１６］サブフレーム信号生成部は、露出条件に加えて、撮像デバイスで取得可能な最大階調値を用いてサブフレームの映像信号を生成する、
上記［９］に記載の表示装置。
［１７］サブフレーム信号生成部は、１サブフレーム内に低輝度階調情報成分と高輝度階調情報成分とを混在させる、
上記［１６］に記載の表示装置。
［１８］サブフレーム信号生成部は、撮像デバイスから、奇数ラインの画素群に対する露出条件の設定と、偶数ラインの画素群に対する露出条件の設定とが、撮像フレーム単位で交互に切り替えられて出力される撮像信号に基づいて、サブフレームの映像信号を生成する、
上記［９］に記載の表示装置。
［１９］１表示フレームの映像を構成する複数のサブフレームの映像信号を生成するサブフレーム信号生成部を備え、
サブフレーム信号生成部は、
撮像エリア部内の任意の画素群に対して２種類以上の露出条件を個別に設定可能な撮像デバイスにおいて、露出条件が個別に設定された画素群から得られ、露出条件毎に信号分離され、露出条件との対応付けされた撮像信号を、処理対象の画像信号として１表示フレーム単位で入力し、
対応付けされた露出条件に応じてサブフレーム毎に発光素子の発光時間を制御してサブフレームの映像信号を生成する、
画像信号処理回路。
［２０］１表示フレームの映像を構成する複数のサブフレームの映像信号を生成するに当たり、
撮像エリア部内の任意の画素群に対して２種類以上の露出条件を個別に設定可能な撮像デバイスにおいて、露出条件が個別に設定された画素群から得られ、露出条件毎に信号分離され、露出条件との対応付けされた撮像信号を、処理対象の画像信号として１表示フレーム単位で入力し、
対応付けされた露出条件に応じてサブフレーム毎に発光素子の発光時間を制御してサブフレームの映像信号を生成する、
画像信号処理方法。

１・・・有機ＥＬ表示装置、２・・・撮像部（撮像装置）、１０・・・表示パネル、２０・・・画素、２１・・・有機ＥＬ素子、２２・・・駆動トランジスタ、２３・・・サンプリングトランジスタ、２４・・・保持容量、２５・・・補助容量、３０・・・画素アレイ部、３１（３１₁〜３１_m）・・・走査線、３２（３２₁〜３２_m）・・・電源供給線、３３（３３₁〜３３_n）・・・信号線、４１・・・書込み走査部、４２・・・駆動走査部、４３・・・信号出力部、５０・・・撮像デバイス、５１・・・画素（副画素）、５２・・・撮像エリア部（画素アレイ部）、６０・・・撮像信号処理部、と８０・・・画像信号処理回路、８１・・・露出画像分離部、８２・・・サブフレーム信号生成部、８３・・・サブフレーム補正部、８４・・・基準発光時間選択部、８５・・・ガンマ回路部、８６・・・駆動モード書き込み制御部、９０・・・パネル駆動回路部、８２１・・・階調再現差分データ演算部、８２２・・・サブフレームバッファ部、８２３・・・露出条件検出部、８２４・・・乗算器、８２５・・・Ｄレンジ検出部、８３１・・・補正ゲイン算出部、８３２，８３３・・・乗算器

Claims (20)

1. 撮像エリア部内の任意の画素群に対して２種類以上の露出条件を個別に設定可能で、露出条件が個別に設定された画素群から得られる撮像信号を１撮像フレーム単位で読み出すな撮像デバイスと、
   撮像デバイスから出力される撮像信号に対し、露出条件毎に信号分離を行うとともに、露出条件との対応付けを行う撮像信号処理部と、
   を備える撮像装置。
2. 撮像デバイスは、露出条件の設定を撮像フレーム単位で切り替え可能である、
   請求項１に記載の撮像装置。
3. 撮像エリア部内の任意の画素群は、奇数ラインの画素群、及び、偶数ラインの画素群から成る、
   請求項１に記載の撮像装置。
4. 撮像デバイスは、奇数ラインの画素群に対する露出条件の設定と、偶数ラインの画素群に対する露出条件の設定とを、撮像フレーム単位で交互に切り替え可能である、
   請求項３に記載の撮像装置。
5. 撮像エリア部内の任意の画素群は、異なる露出条件が設定された第１の画素群と第２の画素群とから成り、第１の画素群及び第２の画素群が市松パターン状に配置されている、
   請求項１に記載の撮像装置。
6. 撮像デバイスは、第１の画素群に対する露出条件の設定と、第２の画素群に対する露出条件の設定とを、撮像フレーム単位で交互に切り替え可能である、
   請求項５に記載の撮像装置。
7. 撮像エリア部内の任意の画素群に対して２種類以上の露出条件を個別に設定可能な撮像デバイスにおいて、露出条件が個別に設定された画素群から得られ、１撮像フレーム単位で読み出される撮像信号に対して、
   露出条件毎に信号分離を行うとともに、露出条件との対応付けを行う信号処理部を有する、
   撮像信号処理回路。
8. 撮像エリア部内の任意の画素群に対して２種類以上の露出条件を個別に設定可能な撮像デバイスにおいて、露出条件が個別に設定された画素群から得られ、１撮像フレーム単位で読み出される撮像信号に対して、
   露出条件毎に信号分離を行うとともに、露出条件との対応付けを行う、
   撮像信号処理方法。
9. １表示フレームの映像を構成する複数のサブフレームの映像信号を生成するサブフレーム信号生成部と、
   サブフレーム信号生成部で生成された複数のサブフレームの映像信号を基に、表示パネルに対してサブフレーム単位で表示を行う駆動部と、
   を備え、
   サブフレーム信号生成部は、
   撮像エリア部内の任意の画素群に対して２種類以上の露出条件を個別に設定可能な撮像デバイスにおいて、露出条件が個別に設定された画素群から得られ、露出条件毎に信号分離され、露出条件との対応付けされた撮像信号を、処理対象の画像信号として１表示フレーム単位で入力し、
   対応付けされた露出条件に応じてサブフレーム毎に発光素子の発光時間を制御してサブフレームの映像信号を生成する、
   表示装置。
10. 駆動部は、複数のサブフレームの映像信号に応じてサブフレーム毎に発光素子の単位時間当たりの発光輝度を制御する、
    請求項９に記載の表示装置。
11. 撮像エリア部内の任意の画素群が、奇数ラインの画素群、及び、偶数ラインの画素群から成るとき、
    サブフレーム信号生成部は、奇数ラインの画素群から得られる撮像信号と、偶数ラインの画素群から得られる撮像信号とに基づいて複数のサブフレームの映像信号を生成し、
    駆動部は、複数のサブフレームの映像信号を基に、表示パネルに対して２ライン同時スキャン駆動を行う、
    請求項９に記載の表示装置。
12. 駆動部は、奇数ライン及び偶数ラインの読み出し情報を基に、表示画像の書き出し位置をサブフレーム単位で制御する、
    請求項１１に記載の表示装置。
13. サブフレーム信号生成部は、露出条件に応じてサブフレーム毎に発光素子のデューティを制御する、
    請求項９に記載の表示装置。
14. サブフレーム信号生成部は、発光素子のデューティ制御を、各露出条件の画像間における露出時間の比率の逆数倍した値を用いて行う、
    請求項１３に記載の表示装置。
15. サブフレーム信号生成部は、低輝度階調情報成分と高輝度階調情報成分とに分離したサブフレームの映像信号を生成する、
    請求項９に記載の表示装置。
16. サブフレーム信号生成部は、露出条件に加えて、撮像デバイスで取得可能な最大階調値を用いてサブフレームの映像信号を生成する、
    請求項９に記載の表示装置。
17. サブフレーム信号生成部は、１サブフレーム内に低輝度階調情報成分と高輝度階調情報成分とを混在させる、
    請求項１６に記載の表示装置。
18. サブフレーム信号生成部は、撮像デバイスから、奇数ラインの画素群に対する露出条件の設定と、偶数ラインの画素群に対する露出条件の設定とが、撮像フレーム単位で交互に切り替えられて出力される撮像信号に基づいて、サブフレームの映像信号を生成する、
    請求項９に記載の表示装置。
19. １表示フレームの映像を構成する複数のサブフレームの映像信号を生成するサブフレーム信号生成部を備え、
    サブフレーム信号生成部は、
    撮像エリア部内の任意の画素群に対して２種類以上の露出条件を個別に設定可能な撮像デバイスにおいて、露出条件が個別に設定された画素群から得られ、露出条件毎に信号分離され、露出条件との対応付けされた撮像信号を、処理対象の画像信号として１表示フレーム単位で入力し、
    対応付けされた露出条件に応じてサブフレーム毎に発光素子の発光時間を制御してサブフレームの映像信号を生成する、
    画像信号処理回路。
20. １表示フレームの映像を構成する複数のサブフレームの映像信号を生成するに当たり、
    撮像エリア部内の任意の画素群に対して２種類以上の露出条件を個別に設定可能な撮像デバイスにおいて、露出条件が個別に設定された画素群から得られ、露出条件毎に信号分離され、露出条件との対応付けされた撮像信号を、処理対象の画像信号として１表示フレーム単位で入力し、
    対応付けされた露出条件に応じてサブフレーム毎に発光素子の発光時間を制御してサブフレームの映像信号を生成する、
    画像信号処理方法。

Images