本発明にかかる表示装置は、複数の走査線と、前記走査線に交わるように配置された複数の信号線と、前記走査線および前記信号線の各交点付近に、表示素子を含む画素を備える表示装置であって、前記画素のうち少なくとも一部に対応して設けられ、前記画素に対応する範囲の入射光を受光して電気信号に変換する変換部と、前記変換部に対応して設けられ、調整電極と検出電極を有し、前記変換部で変換された電気信号に応じた電荷を、前記調整電極と前記検出電極の間に蓄積するコンデンサと、前記調整電極における電位を、段階的に増加または減少させる電位制御回路と、前記調整電極における電位が段階的に増加または減少される際の各段階において、前記検出電極における電位が、所定の閾値以上か否かを表す2値データを検出する検出回路と、前記各段階における前記2値データに基づいて、前記変換部が受光した入射光に応じた階調を決定する信号処理回路とを備える。
前記コンデンサ部には、前記変換部の受光量に応じた電荷が蓄積される。前記電位制御回路は、前記コンデンサ部の前記調整電極における電位を、段階的に増加または減少させる。前記検出回路は、段階的に変化する前記調整電極の電位の各段階における前記検出電極の電位について、閾値以上か否かを示す2値データを検出する。前記検出電極の電位が、前記調整電極の電位が段階的に変化する過程で、前記閾値をまたぐと、検出される前記2値データの論理が変化する。前記信号処理回路は、前記2値データが変化したときの、前記調整電極の段階に基づいて、階調を決定することができる。したがって、信号処理回路は、前記調整電極の電位が変化する段階の数に対応する数の階調を決定することができる。すなわち、前記信号処理回路は、多階調で表される画像データを生成することができる。その結果、多階調で表される画像を得ることができる画像取込み機能を備えた表示装置が得られる。
本発明にかかる表示装置は、前記各画素におけるコンデンサが、前記変換部で変換された電気信号に応じた電荷が蓄積された状態で、かつ前記電位制御回路による前記調整電極の電位の増加または減少がなされる前の状態のときに、前記検出電極の電位が、前記閾値を超えているコンデンサの数が所定の範囲にない場合に、前記変換部に再度入射光を電気信号に変換させ、前記コンデンサに前記電気信号に応じた電荷を蓄積させる撮影制御回路をさらに備えることが好ましい。
前記電位制御回路による前記調整電極の電位の段階的な増加がなされる前に、前記検出電極の電位が閾値以上になっている場合、段階的に前記調整電極の電位を増加させても、前記検出電極の電位が閾値をまたぐことはない。また、前記調整電極の電位の段階的な減少がなされる前に、前記検出電極の電位が閾値以下である場合には、段階的に前記調整電極の電位を減少させても前記検出電極の電位が閾値をまたぐことはない。前記検出電極の電位が閾値をまたがなければ、階調が決定されない。閾値をまたぐことがない前記検出電極の電位を有するコンデンサの数が多いと階調が決定できない画素の数が多くなることになる。したがって、前記撮影制御回路が、閾値をまたぐことがない前記検出電極の電位を有するコンデンサの数が所定の範囲にない場合に再度変換部に入射光を電気信号に変換させ、前記コンデンサに電荷を蓄積させる。これにより、階調を決定できる画素の数を確保することができる。
本発明にかかる表示装置において、前記検出電極の電位が前記閾値以上になっているコンデンサの数が所定の範囲を超えた場合に、前記電位制御回路は、段階的な前記調整電位の増加または減少を終了することが好ましい。
前記電位制御回路によって前記調整電極の電位が段階的に増加または減少させられると、前記検出電極の電位が閾値をまたいで閾値以上または以下になる。前記検出電極の電位が閾値をまたぐことにより階調が得られる。このように、階調が得られた画素の数が一定の数に達すると全体の画像が得られるので、前記電位制御回路は、段階的な前記調整電極の電位の増加または減少を終了する。これにより、無駄な動作を省くことができる。
本発明にかかる表示装置において、前記電位制御回路は、複数段階分をまとめて前記調整電極の電位を増加または減少させ、その結果、前記コンデンサのうちいずれかの前記検出電極における電位から前記検出回路によって検出される前記2値データの論理が変化した場合には、前記調整電極の電位を、前記複数段階分よりも少ない段階分だけ減少または増加させることが好ましい。
前記電位制御回路が複数の段階分まとめて前記調整電極の電位を増加または減少させることによって、検出時間が短縮される。
また、前記電位制御回路が複数段階分まとめて前記調整電極の電位を増加させることによって、前記検出電極の電位から前記検出回路によって検出される前記2値データの論理が変化するコンデンサがある場合には、前記電位制御回路は、前記調整電極の電位を前記複数段階分より少ない段階分減少させる。そのため、ここで減少させられた段階における前記2値データが、検出回路により検出される。すなわち、前記複数段階分の前記調整電極の電位の増加過程において、前記2値データの論理が変化する段階が特定される。これにより、複数段階まとめて前記前記調整電極の電位を増加させることによる検出もれを防ぐことができる。
また、前記電位制御回路が複数段階分まとめて前記調整電極の電位を減少させることによって、前記検出電極の電位から前記検出回路によって検出される前記2値データの論理が変化するコンデンサがある場合には、前記電位制御回路は、前記調整電極の電位を前記複数段階分より少ない段階分の増加させる。そのため、ここで増加させられた段階における前記2値データが、検出回路により検出される。すなわち、前記複数段階分の前記調整電極の電位の減少過程において、前記2値データの論理が変化する段階が特定される。これにより、複数段階まとめて前記前記調整電極の電位を減少させることによる検出もれを防ぐことができる。
本発明にかかる表示装置において、前記電位制御回路は、前記コンデンサに、前記変換部の1回の変換による電気信号に応じた電荷が蓄積されている状態で、前記調整電極の電位を複数の段階にわたって段階的に増加または減少させることが好ましい。
これにより、前記検出回路は、前記変換部の1回の受光および変換による電気信号に応じた電荷を基に、複数の段階の2値データを検出することができる。そのため、前記信号処理回路は、前記電位制御回路が前記複数電極の電位を変化させる段階の数に応じた数の階調を、1回の前記変換部による変換で得ることができる。すなわち、変換部の1回の受光ごとに、多階調で表される画像データが生成される。その結果、1回の撮影で画像の階調を反映したデータを得ることができる。ひいては、画像の取り込みにかかる時間および消費電力が少なくなる。
本発明にかかる表示装置において、前記変換部に入射光を電気信号に変換させ、前記コンデンサに前記電気信号に応じた電荷を蓄積させる動作を複数回行わせる撮影制御回路をさらに備え、前記電位制御回路は、前記変換部が1回電荷を蓄積するごとに、前記コンデンサの前記調整電極における電位を、1段階増加または減少させることが好ましい。
前記変換部により蓄積された電荷は、例えば、前記駆動素子を流れる電流等の撮像部以外の要因によってリークする場合がある。そこで、前記電位制御回路は、前記変換部の1回の受光および変換による電気信号に応じた電荷が蓄積されている前記コンデンサに対して、前記調整電極の電位を1段階増加または減少を行う。前記信号処理回路は、1回の撮影で、画素毎の1階調分のデータを検出し、複数回の画像検出で、1つの多階調画像を構成する。これにより、蓄積された電荷が前記変換部以外の要因でリークすることによる電荷のばらつきを抑えることができる。その結果、前記変換部の受光量を正確に反映した階調を求めることができる。
また、1回の受光において、複数の段階分ではなく1段階分の2値データが検出されるので、1回の受光に伴う検出の時間が短縮される。その結果、受光検出動作が、表示動作の妨げになることを防ぐことができる。
本発明にかかる表示装置において、前記変換部に入射光を電気信号に変換させ、前記コンデンサに前記電気信号に応じた電荷を蓄積させる動作を複数回行わせる撮影制御回路をさらに備え、前記電位制御回路は、前記変換部が1回電荷を蓄積するごとに、前記コンデンサの前記調整電極における電位を、複数の段階にわたって段階的に増加または減少させることが好ましい。
前記変換部の1回の受光ごとに、複数の段階にわたって前記電荷を増加または減少させるので、1回の受光ごとに前記電荷を1段階ずつ増加または減少させる場合に比べて、受光回数を減らすことができる。すなわち、多階調で表される画像データを、画像の階調数/n回(n=画像の階調数を割り切れる2以上の整数)の撮影で得る事ができる。
本発明にかかる表示装置において、前記変換部は、2つの端子を有する光電変換素子であり、前記光電変換素子の前記2つの端子のうちいずれか一方は、前記検出電極に接続されており、前記光電変換素子の前記2つの端子のうち他方が、前記電位制御回路に接続されている態様とすることができる。
本発明にかかる表示装置において、前記変換部は、2つの端子を有する光電変換素子であり、前記光電変換素子の前記2つの端子のうちいずれか一方は、前記検出電極に接続されており、前記光電変換素子の前記2つの端子のうち他方が、固定電位に接続されている態様とすることができる。
以下、本発明の実施の形態について、図面を参照しながら説明する。
(実施の形態1)
本実施の形態は、画像取込み機能を備えた表示装置に関する。図1(a)は、本実施の形態における表示装置の構成を示すブロック図である。
図1(a)に示すように、表示装置1は、コントロール部2、信号線駆動回路3、走査線駆動回路4、パネル5、バックライト6および検出回路7を備える。
パネル5は、例えば、アクティブマトリクス型液晶表示パネルである。パネル5は、アクティブマトリクス基板と、対向基板と、前記アクティブマトリクス基板および対向基板に挟まれた液晶層を有する。
図2は、パネル5における表示領域の一部を詳細に示す回路図である。図2に示すように、パネル5の表示領域には、信号線8と走査線9の交点ごとにTFT12が設けられる。TFT12のドレイン電極とCS線との間には、液晶容量13および補助容量14が形成される。これらのTFT12、液晶容量13および補助容量14で構成される表示素子が1つの画素Gを形成する。なお、図2においては、4つの画素G1、G2、G3、G4が図示されている。
パネル5中のそれぞれの画素Gについて、撮像部21が設けられる。撮像部21は、リセット線17(RST線)、SPOLA線18、調整線19、信号線8および検出線31に接続されている。撮像部21の詳細については後述する。なお、表示装置の構成は、1つ画素につき、1つの撮像部21が設けられる構成に限られない。例えば、1画素につき複数の撮像部21が設けられてもよいし、2画素につき1つの割合で撮像部21が設けられてもよい。
図1(a)に示す信号線駆動回路3は、パネル5に設けられた信号線8を駆動する。走査線駆動回路4は、パネル5に設けられた走査線9、リセット線17、SPOLA線18および調整線19を駆動する。コントロール部2は、信号線駆動回路3および走査線駆動回路4を制御することによって、パネル5の表示動作および画像取り込み動作をコントロールする。
コントロール部2は、表示制御回路41、電位制御回路42、撮影制御回路43、信号処理回路44を備える。
表示制御回路41は、信号線駆動回路3および走査線駆動回路4に表示画像データや制御信号を送る。信号線駆動回路3および走査線駆動回路4は、受け取った表示画像データまたは制御信号をD/A変換してアナログ信号として信号線8および走査線9に送ることでこれらを駆動する。
撮影制御回路43は、走査線駆動回路4および検出回路7を制御することによって、パネル5が受光した画像の取込み動作を制御する。例えば、撮影制御回路43は、走査線駆動回路4に制御信号を送ってリセット線17やSPOLA線18を駆動させることで、撮像部21の撮影動作を制御する。例えば、撮影制御回路43は、撮像部21が光を受光する時間を制御することができる。
電位制御回路42は、走査線駆動回路4を制御することによって、パネル5が受光した画像の取込み動作を制御する。例えば、電位制御回路42は、走査線駆動回路4に制御信号を送って、調整線19を駆動させることで、撮像部21の撮影動作を制御する(動作の詳細は後述する)。
撮像部21が受光した光は、電気信号に変換されて検出線31に出力される。検出線31は、検出回路7に接続されているので、電気信号は、検出回路7で検出される。検出回路7で検出された電気信号は、信号処理回路44に送られる。信号処理回路44は、検出回路7から送られる電気信号を解析して、画像データを生成する。すなわち、信号処理回路44は、撮像部21で撮像された画像に対応するデジタル画像データを生成する。
さらに、コントロール部2は、バックライト6を制御することによって、パネル5の表示画像の明るさや撮像部21が受光する光の強度を調節することができる。
表示装置1は、通常の表示動作、すなわち、外部から与えられる画像データ信号に基づく表示を行うこともできるし、スキャナと同様の画像取込み動作を行うこともできる。図1(b)は、表示装置1の画像取込み時における画像取込み対象物の配置の一例を示す図である。画像取込みの場合は、例えば、図1(b)に示すように、パネル5の表示面側に紙などの対象物11が配置される。バックライト6からの光が、パネル5を介して対象物11に照射され、反射する。対象物11で反射した光は、パネル5の撮像部で受光される。これにより、対象物11の表面の画像を読み取ることができる。
次に、図2を参照して、撮像部21の詳細を説明する。
撮像部21は、リセットトランジスタ22、書き込み制御トランジスタ23、バッファ24、フォトダイオード26、コンデンサ25を備える。
リセットトランジスタ22のゲート端子はリセット線17に、ソース端子は信号線8に、ドレイン端子はコンデンサ25に接続されている。リセット線17の信号がハイレベルのとき、リセットトランジスタ22がONになり、コンデンサ25の電荷がリセットされる。このリセット動作により、コンデンサ25に所定の量の電荷が蓄積される。同時に、コンデンサ25の両端の電極のそれぞれの電位も所定の電位に保持される。すなわち、リセット動作により両端の電極は、初期状態になる。
フォトダイオード26は、画素G1の入射光を受光して電気信号に変換する。すなわち、フォトダイオード26が受光した光量に応じた電流が流れる。フォトダイオード26は、コンデンサ25と並列に接続されているので、フォトダイオード26に流れる電流に応じて、コンデンサ25に蓄積されていた電荷がリークする。このとき、フォトダイオード26が受光した光量に応じた量の電荷がコンデンサ25からリークされる。そのため、コンデンサ25の電圧は、撮像部21が受光した光の光量に応じて降圧する。
コンデンサ25は、検出電極25aと調整電極25bを備える。検出電極25aは、フォトダイオード26のカソードに接続されており、調整電極25bは、フォトダイオード26のアノードに接続されている。
コンデンサ25の調整電極25bは、調整線19に接続されている。D/A回路27は、調整線19に印加する電圧を段階的に変化させることにより、調整電極25bの電位を段階的に変化させる。ここで、D/A回路27は、走査線駆動回路4に含まれる回路か、または電位制御回路42により制御される別の回路(図示せず)である。D/A回路27は、電位制御回路42からのデジタル信号をアナログ電圧に変換する回路である。
書き込み制御トランジスタ23は、バッファ24へのデータの書き込みを制御する。書き込み制御トランジスタ23のゲート端子はSPOLA線18に、ソース端子は、コンデンサ25の検出電極25aに、ドレイン端子はバッファ24に接続されている。SPOLA線18の信号がハイレベルのとき、書き込み制御トランジスタ23がONになり、バッファ24に検出電極25aからの電気信号が入力される。
バッファ24では、検出電極25aの電位に応じた2値データが生成され、保持される。すなわち、バッファ24は2値データ生成回路として動作する。図3は、バッファ24の構成の一例を示す回路図である。図3に示すバッファ24は、スタティックRAM(SRAM)で構成される。バッファ24は、直列接続された2つのインバータ32a、32bを備える。インバータ32aの入力端子とインバータ32bの出力端子の間にはトランジスタ33が配置される。インバータ32bの出力端子にはトランジスタ34が接続される。
バッファ24は、Vinが、インバータ32aの閾値電圧(Vth)以上であれば、Voutは、「ハイレベル(1)」となり、Vinが、閾値未満であれば「ローレベル(0)」となる。すなわち、Vinが2値データ化されて、Voutに出力される。本実施の形態においては、入力電圧Vinは、コンデンサ25の検出電極25aの電位となる。
バッファ24では、トランジスタ33がONのとき、2つのインバータ32a、32bは、保持動作を行う。トランジスタ34がONのとき、保持している2値データが出力される。
バッファ24から出力された2値データは、検出線31を介して、検出回路7に検出される。
なお、本実施の形態では、画素ごとに設けられたバッファ24によって、コンデンサ25の検出電極25aの電位が2値データ化されているが、2値データ化するための回路は、これに限られない。例えば、検出線31ごとに、コンデンサ25の検出電極25aの電位を2値データ化するための2値データ化回路を設ける構成とすることができる。これにより、検出線31に出力された検出電極25aの電位を、前記2値データ化回路が2値データ化して検出回路7へ供給することができる。
また、2値をデータ生成する機能を、コントロール部2に設けることもできる。例えば、段階的に変化するコンデンサ25の検出電極25aの電位を入力して、画像データを出力するデータ生成回路(図示せず)を、コントロール部2に設けることもできる。
コントロール部2を構成する回路の少なくとも一部は、例えば、1つまたは複数の半導体集積回路(IC)で実現されてもよい。
なお、表示装置1が、通常の表示動作を行う場合には、書き込み制御トランジスタ23は、OFFに設定される。そのため、バッファ24には有効なデータは格納されない。
次に、表示装置1の画像取込み動作の詳細について図2および図5を参照しながら説明する。図5は、表示装置1が、1フレーム分の表示および画像検出を行う際の動作(S1〜8)およびリセット線17、SPOLA線18、トランジスタ33における信号を示す図である。
表示装置1は、図5に示す動作を、全ての画素について連続して行うことにより、動画の表示および画像の取り込みを同時に行うことができる。図5に示す動作においては、1フレームの表示(ステップS1)の後、撮像部21が受光した光の階調を検出する動作(ステップS2〜8)が行われる。階調の検出動作においては、ステップS4とステップS5の動作の繰り返し数nに対応した数の階調、すなわちn階調の画像データが求められる。
まず、表示制御回路41が、信号線駆動回路3および走査線駆動回路4に1フレーム分の画像データと制御信号を送ることにより、パネル5に1フレーム分の画像を表示させる(ステップS1)。
次に、撮影制御回路43は、リセット線17をハイレベルに設定する。これにより、リセットトランジスタ22がONになるので、コンデンサ25の電荷がリセットされ、初期値が設定される(ステップS2)。このとき、SPOLA線18の信号もハイレベルであり、バッファ24のトランジスタ33もONになっているので、バッファ24でも初期値が設定され、保持される。
バッファ24とコンデンサ25がリセットされると、撮影制御回路43は、リセット線17およびSPOLA線18の信号をローレベルに設定する。リセット線17およびSPOLA線18の信号がローレベルになると、撮像部21が画像取込みを開始する(ステップS3)。フォトダイオード26が画素Gへの入射光を受光すると、受光量に応じた量の電荷が、コンデンサ25からリークする。これによりコンデンサ25に蓄積された電荷が、受光量に応じて減少する。
撮影制御回路43は、SPOLA線18の信号をハイレベルにするとともに、バッファ24のトランジスタ33(図3参照)をOFFにする。これにより、コンデンサ25の検出電極25aにおける電位がバッファ24で2値データ化される。すなわち、バッファ24は、コンデンサ25の検出電極25aにおける電位が、閾値電圧Vth以上であればハイレベルを、そうでなければローレベルを検出線31に出力する(図3参照)。バッファ24で生成された2値データは、検出線31を介して、検出回路7が検出する(ステップS4)。検出回路7が検出した2値データは、信号処理回路44へ送られる。
コンデンサ25に受光量に応じた量の電荷が蓄積されている状態で、電位制御回路42は、D/A回路27を介して、調整線19の電圧をΔVだけ降圧する。これにより、コンデンサ25の調整電極25bの電位がΔVだけ下がる(ステップS5)。これに伴い、コンデンサ25の検出電極25aの電位もΔV下がる。
上記ステップS4およびステップS5の動作と同様の動作がn回繰り返される。すなわち、電位制御回路42は、コンデンサ25の調整電極25bの電位をΔVずつn段階にわたって連続して降下させる。検出回路7は、コンデンサ25の調整電極25bの電位がΔV段降下するたびに2値データを検出する。
ステップS4およびステップS5の動作と同様の動作がn回繰り返される間、バッファ24のトランジスタ33(図3参照)は、OFFのままである。コンデンサ25に蓄積された電荷をそのままの状態にしておくためである。
信号処理回路44は、段階的に調整電極25bの電位が変化する場合の各段階における、2値データを検出回路7から受け取って、そのデータを基に階調を判別する(ステップS8)。すなわち、信号処理回路44は、n段階にわたる調整電極25bの電位降下における各段階で得られた検出電極25aの2値データに基づいて、n階調のデータを生成する。
パネル5の全ての画素について、図5に示す駆動セットが駆動されることによって、全ての画素の階調が得られる。信号処理回路44は、全ての画素の階調を基に画像データを生成する。
以下、コンデンサ25の調整電極25bの電位を段階的に降圧することにより、各画素の階調を求める方法の例を、図を用いて説明する。
図6(a)、(b)は、複数の画素のコンデンサにおける検出電極25aの電位を模式的に表す図である。以下の図において、v1、v2、v3、v4は、例えば、図2に示す画素G1、G2、G3、G4におけるコンデンサ25のそれぞれの検出電極(以下、25a(G1)、25a(G2)、25a(G3)、25a(G4)と記載する。)における電位をそれぞれ表すものとする。また、SVDDは電源電圧、SVSSは基準電圧、Vthは閾値電圧を表す。
図6(a)は、4つの画素G1〜4におけるリセット動作(ステップS2)直後、すなわち、撮像部21が光を受光する前の検出電極25a(G1)、25a(G2)、25a(G3)、25a(G4)の電位v1〜4を表す図である。リセット動作により、画素G1〜4のコンデンサ25の検出電極25a(G1)、25a(G2)、25a(G3)、25a(G4)の電位は、SVDDに統一される。したがって、v1〜4の2値データは、全てハイレベルである。
図6(b)は、光を受光した後の画素G1〜4におけるコンデンサ25の検出電極25a(G1)、25a(G2)、25a(G3)、25a(G4)の電位v1〜4を表す図である。それぞれの画素G1〜4が受光した光量に応じて、検出電極25a(G1)、25a(G2)、25a(G3)、25a(G4)の電位v1〜4が下がっている。v1〜4は全て、閾値電圧Vthより大きいので、これらの2値データは、全てハイレベルとなる。
図7は、電位制御回路42によって、画素G1〜4におけるコンデンサ25の調整電極(以下、25b(G1)、25b(G2)、25b(G3)、25b(G4)と記載する。)の電位Vsが段階的に降圧された場合の、画素G1〜4のコンデンサ25における検出電極25a(G1)、25a(G2)、25a(G3)、25a(G4)の電位v1〜4を示す図である。検出電極25a(G1)、25a(G2)、25a(G3)、25a(G4)の電位v1〜4は、電位Vsの降圧に伴って、同じだけ、降下する。
図7の左部分に示すように、階調「1」の画素の検出は、電位Vsが初期状態から1段階すなわちΔV降圧された状態での画素G1〜4における検出電極25a(G1)、25a(G2)、25a(G3)、25a(G4)の電位v1〜4に基づいて行われる。すなわち、電位Vsが初期状態からΔV降圧された状態での電位v1〜4の2値データの論理が、電位VsがΔV降圧される前から変化した画素は、階調「1」の画素として認識される。図7の左部分において、位Vsが初期状態からΔV降圧された状態での電位v1〜4の2値データは、全てハイレベルである。電位VsがΔV降圧される前も、電位v1〜4はハイレベルであるので(図6(b)参照)、電位VsがΔV降圧されることによって、2値データの論理が変化する画素は、画素G1〜4中に存在しない。この場合、階調「1」の画素は検出されない。
図7の中央部分に示すように、階調「4」の検出は、電位Vsが初期状態から4段階すなわち4×ΔV降圧された状態での電位v1〜4に基づいて行われる。すなわち、電位Vsが初期状態から4×ΔV降圧された状態での電位v1〜4の2値データの論理が、電位Vsが3×ΔV降圧された状態での電位v1〜4から変化した画素は、階調「4」の画素として認識される。v4は、閾値電圧Vthを下回っている。従って、v4の2値データはローレベル、v1〜3の2値データはハイレベルとなる。これにより、画素G4は、4段階目の降圧で2値データが変化したことになるので、信号処理回路44は、画素G4の階調を「4」と判断することができる。信号処理回路44は、このようにして、他の画素G1〜3についても、2値データが変化する段階に基づいて階調を決定することができる。例えば、画素G3におけるコンデンサ25の検出電極25a(G3)の電位v3の2値データが、5段階目の降圧でLowに変化した場合、画素G3の階調を「5」とすることができる。
図7の右部分に示すように、階調「8」の検出は、電位Vsが初期状態から8段階降圧された状態での電位v1〜4に基づいて行われる。このとき、v1〜4は全て閾値電圧Vthを下回っているので、これらの2値データは全てローレベルとなる。このように、全ての画素G1〜4における電位v1〜4の2値データがローレベルになった時点で、電位制御回路42は、電圧の段階的降下を終了する。その結果、検出動作も終了する。なお、本実施の形態においては、説明をわかりやすくするため、4つの画素について説明を行っているが、実際は、撮像部21を有する画素全てについて上記の動作が行われる。
[撮影動作の第1の変形例]
図8は、撮影動作の変形例を模式的に示す図である。
図8(a)は、リセット動作(ステップS2)直後の画素G1〜4のコンデンサ25の検出電極25a(G1)、25a(G2)、25a(G3)、25a(G4)における電位v1〜4を表す図である。v1〜4は、SVDDでリセットされている。
図8(b)は、入射光を受光した後の画素G1〜4におけるコンデンサ25の検出電極25a(G1)、25a(G2)、25a(G3)、25a(G4)の電位v1〜4を表す図である。v4は、すでにVthを下回っている。したがって、v4の2値データはローレベルである。この後、電位制御回路42により電位Vsが段階的に降下されても、v4の2値データはローレベルのままで変化しない。その結果、信号処理回路44は、画素G4の階調を判別することができない。
この画素G4のように、受光した後であって、電位制御回路42が電位Vsを段階的に降下する前に、すでに、コンデンサ25の検出電極25aの電位が、閾値Vthを下回っている画素が多数存在すると、階調を判別できる画素が少なくなる。そのため、全画素中のうち所定の数以上の画素において、光受光後のコンデンサの検出電極25aにおける電位がVthを下回る場合には、再度、撮影条件を変えて撮像処理を行うことが好ましい。前記所定の数は、例えば、全画素中の50%または80%の画素の数とすることができる。
撮影条件として、例えば、バックライトによる光の照射時間、照射される光の強度等が挙げられる。図8(b)に示す状態の場合は、照射される光の強度を弱めるか、照射時間を短縮して再度、光を照射することにより、図8(c)に示すように、電位v1〜4がVthを下回らない状態にすることができる。なお、前記50%または80%という値は一例であってこれに限定されるものではない。
このように、撮影制御回路43が、表示装置1の全画素のうち、閾値以上を示す画素の個数により、再度撮影を行う事を決定し、再撮影時の撮影条件を変更して、もう一度一連の動作をやり直すことによって、階調が得られる画素の数を確保することができる。
[撮影動作の第2の変形例]
図9は、電位制御回路42による電位の段階的変化の、変形例を模式的に示す図である。
図9の左部分に示すように、階調「0」の検出は、光を受光した後の画素G1〜4におけるコンデンサ25の検出電極25a(G1)、25a(G2)、25a(G3)、25a(G4)における電位v1〜4に基づいて行われる。受光後の画素G1〜4における電位v1〜4の2値データは、全てハイレベルである。したがって、階調「0」の画素は検出されない。
ここで、電位制御回路42は、図9の中央部分に示すように、画素G1〜4のコンデンサ25の調整電極25b(G1)、25b(G2)、25b(G3)、25b(G4)における電位Vsを4段階分すなわち4×ΔV分まとめて降圧する。電位制御回路42が4×ΔVまとめて降圧した分、ΔVずつ降圧する場合に比べて、検出にかかる時間が短縮される。
電位Vsが一気に4×ΔV降圧された状態での、検出電極25a(G1)、25a(G2)、25a(G3)、25a(G4)の電位v1〜4の2値データは全てVthより高い。すなわち、電位v1〜4の2値データは全てハイレベルのままである。4×ΔV分の電位Vs降圧過程において2値データの論理が変化する画素は検出されない。その後、電位制御回路42は、ΔVずつVsを降下させ、検出回路7は、各段階で各画素の2値データを検出する。
図9の右部分に示すように、階調「5」の画素の検出は、Vsが4×ΔVまとめて降圧された後、さらにΔV降下された場合の電位v1〜4の2値データに基づいて行われる。画素G4のコンデンサ25の検出電極25a(G4)の電位v4がVthを下回っている。したがって、画素G4の階調は、「5」とすることができる。このようにして、以後ΔV階ずつVsを降圧することによって、全ての画素の階調が得られる。
なお、本実施の形態においては、電位制御回路42は、まとめて4段階Vsを降圧させているが、4段階に限られるものではない。まとめて降圧させる段階の数は予め設定することができる。例えば、Vthが2.5Vであった場合、その半分の1.25Vに相当する段階数をまとめて降圧させるように設定することができる。
[撮影動作の第3の変形例]
図10は、電位制御回路42による電位の段階的変化の、さらに他の変形例を模式的に示す図である。
図10の左部分に示すように、階調「0」の画素の検出は、光を受光した後の画素G1〜4におけるコンデンサ25の検出電極25a(G1)、25a(G2)、25a(G3)、25a(G4)の電位v1〜4に基づいて行われる。撮像部21が光を受光した後、電位制御回路42は、コンデンサ25の調整電極25b(G1)、25b(G2)、25b(G3)、25b(G4)の電位Vsを4段階分すなわち4×ΔVまとめて降圧する。
図10の中央部分に示すように、階調「1」〜「4」の画素の検出は、Vsが一気に4×ΔV降圧された状態での、検出電極の電位v1〜4に基づいて行われる。この時点で、v3、v4はVthを下回っている。すなわち、4段階分の降圧中に2値データが変化する画素G3、G4が検出される。すなわち、画素G3、G4の階調は「1」〜「4」のいずれかである。電位制御回路42は、画素G3、G4の階調を特定するために、Vsを2段階すなわち2×ΔV昇圧させる。
図10の右部分に示すように、階調「2」の画素の検出は、Vsが2×ΔV昇圧された状態での、電位v1〜4に基づいて検出される。Vsが2×ΔV昇圧されることにより、v1〜4は全てVthより大きくなっている。すなわち、画素G1〜4全ての2値データがハイレベルとなっている。この後、電位制御回路42がΔVずつVsを降圧することによって、検出回路7で、各段階における画素G1〜4の2値データが検出される。その結果、画素G1〜4の階調が得られる。
すなわち、電位制御回路42は、数〜数十段まとめて電位Vsを変化させたときに、検出される2値データの論理が変化した場合には、その電位変化の過程で階調を検出すべき画素がある事を認識する。その場合、電位制御回路42は、数〜数十段まとめて変化させた電位Vsの少なくとも一部を元に戻す。その後、電位制御回路42は、まとめて変化させる電位の段数を前回より小さくするかまたは、1段ずつ電位Vsを変化させることで、画素の階調が得られる。また、電位制御回路42は、数〜数十段まとめて電位Vsを変化させたときに、検出される2値データの論理が変化しない場合には、その電位変化の過程で階調を検出すべき画素がない事を認識する。その場合、電位制御回路42は、再度電位Vsを1〜複数段変化させて、検出動作を行うことができる。
図10に示す例においては、検出回数は、初めから1段階ずつVsを降圧させた場合と同じとなる。しかし、例えば、階調数が多い場合等は、1段ずつの検出を行う前に、全階調に相当する電圧を複数の区間に分割し、各区間において、2値データが変化する画素が存在するかどうかを調べることによって、検出時間が短縮される可能性が大きくなる。
なお、本実施の形態においては、電位制御回路42は、まとめて4段階Vsを降圧させた後、2段階昇圧させているが、ここでの降圧段階数および昇圧段階数は、それぞれ4段階および2段階に限られるものではない。状況に応じて適度な降圧段階数および昇圧段階数を予め設定しておくことが好ましい。
以上、コンデンサ25の調整電極25bの電位を段階的に降圧することにより、各画素の階調を求める方法の例を説明した。
[表示区間の検出区間の関係]
次に、表示区間と検出区間の関係について説明する。図5に示す駆動セットは、表示区間(ステップS1)と検出区間(ステップS〜6)を有する。表示区間において、1フレーム分の表示(ステップS1)が行われるのに対応して、検出区間において、階調データ検出処理(ステップS2〜6)が行われる。すなわち、1フレームを表示された後、次のフレームの表示までに、検出処理(S2〜6)が行われる。そのため、検出処理は高速に行う必要がある。特に、表示フレームのフレームレートが速い場合や、検出する階調数が多い場合には、検出処理にかかる時間が長くなる。
そこで、検出処理に時間がかかる場合には、表示区間と検出区間を分けることができる。図11は、表示区間と検出区間を分ける場合の動作の例を模式的に示す図である。図11において、Vsyncは、垂直同期信号を示す。垂直同期信号によって区切られる区間t1、t2の間にそれぞれ1フレーム分の表示が行われる。例えば、区間t2で、検出要求があった場合、区間t3は、検出区間となる。区間t3では、表示動作は行われない。検出動作が終わった後の区間t4は、再び表示区間となる。このように表示区間と検出区間を分けることによって、検出に時間がかかって表示のフレームレートの妨げにならないようにすることができる。
なお、前記検出要求のタイミングは、例えば、ユーザによるスキャン開始ボタンオンのタイミング等とすることができる。
[画像取込みを行う領域]
次に、表示装置1のパネル5において、画像取込みを行う領域について説明する。パネル5において、画像取込みを行う領域は、パネル5全体でもよいし、パネル5の一部でもよい。図12は、パネル5の一部が画像取込み領域(すなわち、スキャンエリア)になっている場合の例を示す図である。パネル5において、一部の行Hにおいて、さらに一部の領域がスキャンエリア51となる。例えば、画像取込みの対象が指紋である場合等は、スキャンエリアが狭くてもよいので、パネル5中の一部をスキャンエリア51、すなわち指紋センサとすることができる。このような小面積のスキャンであれば、1フレームをスキャンする時間が短くなる。そのため、スキャン中に、コンデンサ25に蓄積された電荷が、画素内のTFT12を流れる電流等によってリークする量が小さくなる。その結果、より正確な階調データが得られる。
以上に説明した本実施の形態によれば、1回の受光量に応じた電荷を蓄積するコンデンサ25の調整電極25bの電位を、電位制御回路42が段階的に変化させることにより階調が得られる。そのため、1回の撮影で、画像の複数の階調を得ることができる。これに対し、従来の表示装置のように、撮影条件の異なる複数の撮影によって、各撮影データから階調を得る場合には、撮影にかかる時間および消費電力が増える。したがって、本実施の形態によれば、撮影にかかる時間および消費電力を抑えつつも、多段階の階調で表された画像データを得ることができる。
なお、本発明における表示装置の構成は、図1(a)および図2に示す構成に限られるものではない。例えば、撮像部21の内部構成は、フォトダイオード26に電流が流れることによってコンデンサ25から電荷がリークする構成となっているが、逆に、フォトダイオード26に電流が流れることによってコンデンサ25に電荷が蓄積される構成としてもよい。
また、本実施の形態においては、電位制御回路42が、コンデンサ25の一方の電極における電圧Vsを段階的に降圧させる場合を説明した。これと同様に、電位制御回路42が電圧Vsを段階的に昇圧させることで、多段階の階調で表された画像データを得ることができる。
また、図4は、表示装置の構成の変形例を示す回路図である。図4に示すように、フォトダイオード26をGND15に接続することもできる。これにより、D/A回路27等からのノイズ電流がフォトダイオード26の順方向へ流れることを防ぐことができる。
(実施の形態2)
実施の形態2は、実施の形態1にかかる表示装置1の画像取込み動作の変形例である。実施の形態2における表示装置の構成は、実施の形態1にかかる表示装置1の構成と同様であるので、その説明を省略する。
図13は、実施の形態2にかかる表示装置が、表示および画像検出を行う際の動作を示す図である。
本実施の形態にかかる表示装置は、図13に示す処理を全ての画素について行うことにより、動画の表示および画像の取り込みを同時に行うことができる。
表示制御回路41が、パネル5に1フレーム分の画像を表示させる(ステップS11)。撮影制御回路43は、コンデンサ25およびバッファ24の電荷をリセットする(ステップS12)。撮影制御回路43は、撮像部21が光を受光する(ステップS13)。コンデンサ25の電荷は、撮像部21が受光した光量に応じてリークされる。
撮影制御回路43は、コンデンサ25の検出電極25aの電位を、バッファ24で2値化させて保持させる。このとき、バッファ24のトランジスタ33をONにすることで、コンデンサ25の検出電極25aの電位が、2値データとして保持される。これにより、TFT12に流れる電流等によってコンデンサ25の電荷がリークすることを防ぐことができる。検出回路7は、バッファ24で保持された2値データを検出する(ステップS14)。
表示制御回路41が、ステップS11で表示したフレームの次のフレームの画像をパネル5に表示させる(ステップS21)。撮影制御回路43は、コンデンサ25およびバッファ24の電荷をリセットする(ステップS22)。撮影制御回路43は、撮像部21が光を受光する(ステップS23)。コンデンサ25の電荷は、撮像部21が受光した光量に応じてリークされる。
電位制御回路42は、コンデンサ25の調整電極25bの電位を、前回の2値データ検出時(ステップS14)時における調整電極25bの電位より1段階下げる(ステップS24)。撮影制御回路43は、コンデンサ25の検出電極25aの電位を、バッファ24で2値化させて保持させる。検出回路7は、バッファ24で保持された2値データを検出する(ステップS25)。
ステップS21〜25の動作は、全階調分のデータが検出されるまで(n−1回)繰り返される。例えば、128階調の画像データを得るためには、n=128となり、表示装置は、ステップS21〜25の動作を127回繰り返す必要がある。すなわち、ステップS11〜S14またはステップS21〜25の動作が1回行われると、1フレーム分の表示および1階調分のデータ検出が行われることになる。
信号処理回路44は、段階的に調整電極25bの電位が降下する場合の各段階における検出電極の電位から得られる2値データを検出回路7から受け取って、そのデータを基に階調を判別する(ステップS26)。
撮影制御回路43は、光照射(例えば、ステップS13またはS23)による撮影動作を全階調分繰り返す必要があるが、各撮影で撮影条件は同じでよい。撮影制御回路43は、撮影ごとに撮影条件の設定を行う必要はない。固定された撮影条件での複数回撮影により階調データが検出されるので、各階調データ間の相関が得られやすい。
本実施の形態においては、コンデンサ25の調整電極25bにおける電位を段階状に昇圧または降圧する駆動および2値データ化が、光の照射ごとに1回ずつ行われる。これにより、1回の光照射につき1階調分の画像データが検出される。光の照射ごとに、調整電極25bの電位を前回光照射における調整電極25bの電位より1段降圧して検出動作を繰り返すことにより、多階調の画像が得られる。
本実施の形態によれば、1回の撮影で1階調分の2値データが検出されるので、1回の検出時間が短縮される。そのため、フレームレートが速い場合や、検出する階調数が多い場合等でも、検出動作が表示動作の妨げになることを防ぐことができる。
また、1回の光照射でコンデンサ25に蓄積された電荷は、バッファ24によって、2値データ化され保持される。そのため、コンデンサ25の電荷が、光の照射以外の原因でリークすることによって2値データが変化することを防ぐことができる。
(実施の形態3)
実施の形態3は、実施の形態1にかかる表示装置1の画像取込み動作の変形例である。実施の形態3における表示装置の構成は、実施の形態1にかかる表示装置1の構成と同様であるので、その説明を省略する。
図14は、実施の形態3にかかる表示装置が、表示および画像検出を行う際の動作を示す図である。
表示装置は、図14に示す処理を全ての画素について行うことにより、動画の表示および画像の取り込みを同時に行うことができる。
表示制御回路41が、パネル5に1フレーム分の画像を表示させる(ステップS31)。撮影制御回路43は、コンデンサ25およびバッファ24の電荷をリセットする(ステップS32)。撮影制御回路43は、撮像部21が光を受光する(ステップS33)。コンデンサ25の電荷は、撮像部21が受光した光量に応じてリークされる。
電位制御回路42は、コンデンサ25の調整電極25bの電位Vsを1段階から8段階まで1段ずつ下げ、それぞれの段階で、コンデンサ25の検出電極25aの電位がバッファ24で2値データ化される。検出回路7は、それぞれの段階での2値データ化を検出する(ステップS34)。
これにより、1回の撮影で8階調分の2値データが検出される。同様にして、次の撮影においては、9〜16段階での2値データが検出される(S41〜44)。その次に撮影においては、17〜24段階での2値データが検出される(S51〜54)。このようにして、前回の調整電極25bの電位より1段降下した電位から、8段階分について2値データの検出を行う動作を繰り返す。8段階分の2値データ検出を16回繰り返すことにより、128段階分の2値データが検出される。したがって、128階調の画像データが得られる。
信号処理回路44は、段階的に調整電極25bの電位が降下する場合の各段階における、検出電極25aの電位から得られる2値データを検出回路7から受け取って、そのデータを基に階調を判別する(ステップS65)。
撮影制御回路43は、光照射による撮影動作を全階調分繰り返す必要があるが、各撮影で撮影条件は同じでよい。
本実施の形態によれば、1回の撮影により、8階調分のデータが得られるので、撮影処理および検出駆動の繰り返し回数を減らすことができる。