JP2023045100A - 電子機器 - Google Patents

Abstract

【課題】本開示の一態様では、ベゼルの幅を削減しつつ、距離画像の画質低下も抑制可能となる電子機器を提供する。【解決手段】電子機器は、表示部と、表示部の表示面とは反対側に配置される赤外撮像部を備え、赤外撮像部は、表示部を介して入射された赤外光を光電変換する複数の光電変換部を、有する。【選択図】図２Ａ

Description

本開示は、電子機器に関する。

最近のスマートフォンや携帯電話、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などの電子機器では、赤外光を使用者に照射し、距離情報を有する距離画像を生成するための赤外撮像部を搭載し、認識処理などを行うことが検討されている。

また、スマートフォンや携帯電話は、ポケットや鞄に入れて持ち歩くことが多いため、外形サイズをできるだけコンパクトにする必要がある。その一方で、表示画面のサイズが小さいと、表示解像度が高いほど、表示される文字サイズが小さくなって視認しにくくなる。このため、表示画面の周囲にある表示部の額縁（ベゼル）幅を小さくすることで、電子機器の外形サイズを大きくせずに、表示画面のサイズをできるだけ大きくすることが検討されている。

特開２０２１－９７３１２号公報

ところが、表示部の額縁（ベゼル）に赤外光を照射するレーザ照射部、及びレーザ光を撮像する赤外撮像部を搭載すると、表示部の額縁（ベゼル）幅が大きくなってしまう。

本開示の一態様では、ベゼルの幅を削減しつつ、距離画像の画質低下も抑制可能となる電子機器を提供するものである。

上記の課題を解決するために、本開示では、表示部と、
前記表示部の表示面とは反対側に配置される赤外撮像部を備え、
前記赤外撮像部は、
前記表示部を介して入射された赤外光を光電変換する複数の光電変換部を、
有する、電子機器が提供される。

前記表示部の表示面とは反対側に赤外光を照射する照射部を、更に備えてもよい。

前記赤外撮像部と、前記照射部とは、前記照射部が照射した赤外光による前記表示部内の内部反射光が所定レベルまで低減される距離に配置されてもよい。

前記赤外撮像部と、前記照射部とが隣接する場合の前記内部反射光の光量が８分の１以下になる距離に、前記赤外撮像部と、前記照射部とは配置されてもよい。

前記表示部における内部構造の光伝搬性に異方性がある場合に、前記照射部から所定距離離れた位置での内部反射光の光量以下になる距離に、前記赤外撮像部と、前記照射部とは配置されてもよい。

前記赤外撮像部と前記照射部の高さを揃え、前記表示部の表示面とは反対側の裏面に接するように配置してもよい。

前記赤外撮像部と前記照射部の高さを揃え、
前記赤外撮像部と前記照射部との間に配置される遮光板を更に備えてもよい。

前記赤外撮像部と前記照射部との画角が重なるように、前記赤外撮像部と前記照射部との光軸の向きが設定されてもよい。

前記表示部の表示面とは反対側に配置される可視撮像部を更に備えてもよい。

前記前記赤外撮像部と前記照射部と前記可視撮像部とは、それぞれの重心部が正三角形となるように、前記表示部の表示面とは反対側に配置されてもよい。

前記前記赤外撮像部と前記照射部と前記可視撮像部とは直線状に、前記表示部の表示面とは反対側に配置されてもよい。

前記赤外撮像部と前記照射部と前記可視撮像部との中間部に、前記可視撮像部が配置されてもよい。

前記赤外撮像部と前記照射部は、前記前記表示部の表示面の短辺と平行になるよう配置されてもよい。

前記赤外撮像部と前記照射部は、前記前記表示部の表示面の長辺と平行になるよう配置されてもよい。

前記表示部における内部構造の光伝搬性に異方性がある場合に、前記赤外撮像部と前記照射部は、光伝搬の少ない向きに配置されてもよい。

前記赤外撮像部の生成する距離信号に基づき、２次元の距離画像を生成する第１信号処理部を更に備えてもよい。

前記可視撮像部は、２次元の可視画像を生成する第２信号処理部を更に有してもよい。

前記制御部は、前記２次元の距離画像と、前記２次元の可視画像を並べて前記表示部に表示させてもよい。

前記第２信号処理部は、前記２次元の可視画像として、前記２次元の距離画像の座標に対応する画像を前記２次元の可視画像として生成してもよい。

前記表示部は、有機発光ダイオードを用いた表示パネルを含んでもよい。

（ａ）は図１の電子機器の模式的な外観図、（ｂ）は（ａ）のＡ－Ａ線方向の断面図。 図１（ａ）のＢ－Ｂ線方向の断面の一部を模式的に示す図。 センサ部の構成例を示すブロック図。 距離計測部の構成例を示すブロック図。 不要光を説明する図。 レーザ照射部と赤外撮像部との間の距離と、不要光の量との関係を示す図。 レーザ照射部と赤外撮像部との間の距離を図６で示す閾値ｔｈ以下にした例を示す図。 第２実施形態に係る電子機器の構成の一部を示す図。 図７のレーザ照射部と赤外撮像部の間の距離と、不要光の量との関係を示す図。 有機発光ダイオードを用いた表示パネルの構成例を模式的に示す平面図。 光の伝搬性に異方性がある場合の距離の設定を説明する図。 レーザ照射部と赤外撮像部との間の光軸の例を示している図。 第４実施形態に係るレーザ照射部と赤外撮像部との間の光軸の例を示している図。 第１変形例による電子機器の模式的な構成例を示す図。 第２変形例による電子機器の模式的な構成例を示す図。 第３変形例による電子機器の模式的な構成例を示す図。 第４実施形態に係る電子機器のカメラモジュールと全体システム構成例を示す図。 本実施形態に係る処理例を示すフローチャート。 表示パネルに表示される距離画像と可視画像との例を示す図。

以下、図面を参照して、電子機器の実施形態について説明する。以下では、電子機器の主要な構成部分を中心に説明するが、電子機器には、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。

（第１実施形態）
図１は第１実施形態による電子機器１の模式的な構成例を示す図である。図１の電子機器１は、スマートフォンや携帯電話、タブレット、ＰＣなど、表示機能と撮影機能を兼ね備えた任意の電子機器である。図１（ａ）は電子機器１の模式的な外観図、図１（ｂ）は図１（ａ）のＡ－Ａ線方向の断面図である。

図１の電子機器１は、表示部２の表示面とは反対側に配置されるカメラモジュール（可視撮像部）３と、レーザ照射部８、及び赤外撮像部９を備えている。このように、図１の電子機器１は、表示部２の表示面の裏側にカメラモジュール３、レーザ照射部８、及び赤外撮像部９を設けている。したがって、カメラモジュール３、及び赤外撮像部９は、表示部２を通して撮影を行うことになる。

図１（ａ）の例では、電子機器１の外形サイズの近くまで表示画面１ａが広がっており、表示画面１ａの周囲にあるベゼル１ｂの幅を数ｍｍ以下にしている。通常、ベゼル１ｂには、フロントカメラが搭載されることが多いが、図１（ａ）では、破線で示すように、表示画面１ａの略中央部の裏面側にカメラモジュール３、レーザ照射部８、及び赤外撮像部９を配置している。

また、本実施形態では、カメラモジュール３とレーザ照射部８との距離、カメラモジュール３と赤外撮像部９ｄとの距離、レーザ照射部８と赤外撮像部９ｄとの距離、の距離がほぼ同等となるように配置している。すなわち、カメラモジュール３、レーザ照射部８、及び赤外撮像部９の重心部が正三角形を構成する。このように、カメラモジュール３、レーザ照射部８、及び赤外撮像部９を表示画面１ａの裏面側に設けることで、ベゼル１ｂにカメラモジュール３、レーザ照射部８、及び赤外撮像部９を配置する必要がなくなり、ベゼル１ｂの幅を狭めることができる。
図１に示すように、表示部２は、表示パネル４、円偏光板５、タッチパネル６、及びカバーガラス７を順に積層した構造体である。表示パネル４は、例えばＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｏｄｅ ： 有機発光ダイオード）を用いた有機ＥＬディスプレイでもよいし、液晶表示部でもよいし、ＭｉｃｒｏＬＥＤでもよいし、その他の表示原理に基づくディスプレイでもよい。円偏光板５における透過率が低い部材には、レーザ照射部８、及び赤外撮像部９の配置場所に合わせて、貫通孔を形成してもよい。貫通孔を通ったレ－ザ光が赤外撮像部９に入射されるようにすれば赤外撮像部９で撮像される画像の画質を向上できる。

円偏光板５は、ギラツキを低減したり、明るい環境下でも表示画面１ａの視認性を高めたり、するために設けられている。タッチパネル６には、タッチセンサが組み込まれている。タッチセンサには、静電容量型や抵抗膜型など、種々の方式があるが、いずれの方式を用いてもよい。また、タッチパネル６と表示パネル４を一体化してもよい。カバーガラス７は、表示パネル４等を保護するために設けられている。

図２Ａは、図１（ａ）のＢ－Ｂ線方向の断面の一部を模式的に示す図である。図２Ａに示すように、レーザ照射部８は、表示部２を介して例えば微弱な赤外レーザ光を撮像物体に照射する。この、レーザ照射部８は、ビームディフューザー８０と、レーザ８１とを基板８２上に構成する。

ビームディフューザー８０は、レーザ８１のビームを安全に終端させるホルダとしての機能を有する。レーザ８１は、例えば赤外レーザダイオードであり、微弱な赤外光をパルス状に照射可能である。なお、本実施形態に係るレーザ８１は、例えば赤外レーザダイオードであるが、これに限定されない。例えば、赤外光を照射出来るレーザであればよい。

赤外撮像部９は、表示部２を介して撮像物体から反射された光を距離信号に変換する。この赤外撮像部９は、対物レンズ９１と、レンズバレル９２と、赤外透過フィルタ(IRBPF)９３と、センサ部９４と備える。対物レンズ９１は、撮像物体から反射された光をセンサ部９４の受光面に集光する。レンズバレル９２は、対物レンズ９１を保持する。

図２Ｂは、センサ部９４の構成例を示すブロック図である。図２Ｂに示すように、センサ部９４は、センサ９４ａと、読み出し回路９４ｂとを有する。センサ９４ａは、２次元状に配列されたｉＴＯＦ画素で構成される。ｉＴＯＦ画素は、入射光の光量に応じた光電流を発生させる光電変換部としてのフォトダイオードを有する。読み出し回路９４ｂは、各ｉＴＯＦ画素の出力する光電流に基づいて物体までの距離情報を示す距離信号を生成する。より具体的には、距離信号は、レーザ８１がパルス状のレーザを照射したタイミングからの経過時間に応じた受光量を示す信号である。すなわち、後述する不要光や環境光などのノイズ光が無い場合には、撮像物体から反射光が戻ってきたタイミングで信号値が最大値（ピ－ク）を示す。

図３は、本実施形態に係る距離計測部２０の構成例を示すブロック図である。図３に示すように電子機器１は、距離計測部２０を有する。距離計測部２０は、所謂ライダー（ＬＩＤＡＲ：Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ、Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）である。すなわち、この距離計測部２０は、例えばＩＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式により距離画像を生成する装置であり、レーザ照射部８（図１、図２Ａ参照）と、赤外撮像部９（図１、図２Ａ、図２Ｂ参照）と、制御部１０と、処理部１１とを備える。

制御部１０は、例えばＣＰＵを含んで構成され、レーザ照射部８と、赤外撮像部９と、処理部１１とを制御する。この制御部１０は、レーザ照射部８のパルス状のレーザ光の照射タイミングと、赤外撮像部９の信号生成タイミングを同期させる。

処理部１１は、赤外撮像部９が出力する距離信号を信号処理する。この処理部１１は、ＡＤ変換部１１ａと、メモリ部１１ｂと、信号処理部１１ｃと、出力部１１ｄとを有する。ＡＤ変換部１１ａは、赤外撮像部９が出力する距離信号をデジタル信号に変換し、メモリ部１１ｂに記憶させる。すなわち、メモリ部１１ｂは、デジタルの距離信号を記憶する。

信号処理部１１ｃは、デジタルの距離信号の最大値（ピーク）を求め、レーザを照射したタイミングから最大値（ピーク）が発生するまでの経過時間に応じた距離値を生成する。すなわち、信号処理部１１ｃは、撮像物体から反射光が戻ってきたタイミングに光速Ｃを乗算して、２で除算した値を撮像物体までの距離値として生成する。そして、信号処理部１１ｃは、２次元状に光電変換部が配列されたセンサに基づく距離情報により、撮像物体の２次元の距離画像データを生成し、メモリ部１１ｂに記憶させる。また、信号処理部１１ｃは、２次元距離画像データの認識処理を行うことが可能である。例えば、信号処理部１１ｃは、２次元の距離画像データを用いて顔認証を行うことが可能である。出力部１１ｄは、２次元の距離画像データなどを表示パネル４などに出力する。

図４は、本実施形態に係る不要光を説明する図である。図４に示すように、レーザ照射部８がレーザ光を表示部２の裏側から照射すると、例えばレーザ照射部８の直上にある表示パネル４の表面反射光と、表示パネル４内の構造物（図４参照）を伝搬する内部反射光が生じる。これらの、表示部２の表側からの入射光以外の光のうち、赤外撮像部９に入射する光を本実施形態では不要光と称する。

図５は、レーザ照射部８と赤外撮像部９との間の距離と、不要光の量との関係を示す図である。横軸はレーザ照射部８と赤外撮像部９との間の距離を示し、縦軸は不要光の量を示す。図５に示すように、レーザ照射部８と赤外撮像部９との間の距離が長くなるに従い、不要光の量が低減する。そこで本実施形態では、不要光が例えば閾値ｔｈ以下となるレベルまで、レーザ照射部８と赤外撮像部９との間の距離を開けることとする。この閾値ｔｈは、距離信号の距離を示す信号レベルが不要光のレベルに埋もれない範囲に実験的に設定されている。例えば閾値ｔｈは、不要光の最大値、すなわち、レーザ照射部８と赤外撮像部９とを隣接させた場合の８分の１に設定される。

図６は、レーザ照射部８と赤外撮像部９との間の距離を図６で示す閾値ｔｈ以下にした例を示す図である。図６に示すように、レーザ照射部８と赤外撮像部９との間の距離は、図５で示す閾値ｔｈ以下に不要光の量がなる範囲に設定されている。また、レーザ照射部８、及び赤外撮像部９の表示パネル４までの高さを揃え、表面反射光が赤外撮像部９に入ることを抑制している。なお、図１を再び参照すると、レーザ照射部８と赤外撮像部９との間の距離は、図５で示す閾値ｔｈ以下に不要光の量がなる範囲に設定されている。

以上のように本実施形態によれば、表示部２の表示面とは反対側にレーザ照射部８と赤外撮像部９とを配置し、表示部２を介して入射された光を赤外撮像部９により撮像することとした。これにより、表示部２の額縁（ベゼル）幅をより小さくすることが可能となる。また、レーザ照射部８と赤外撮像部９との距離を不要光の影響が抑制される距離に配置する。これにより、表示部２の内部反射光、及び表面反射光が赤外撮像部９に入射することが抑制される。

（第２実施形態）
第２実施形態に係る電子機器１は、レーザ照射部８と赤外撮像部９との間に遮光板１５を設ける点で第１実施形態に係る電子機器１と相違する。以下では、第１実施形態に係る電子機器１と相違する点を説明する。

図７は、第２実施形態に係る電子機器１の構成の一部を示す図である。図７に示すように、第２実施形態に係る電子機器１は、レーザ照射部８と赤外撮像部９との間に遮光板１５を備えている。また、レーザ照射部８、赤外撮像部９、及び遮光板１５それぞれと表示パネル４までの高さを揃え、遮光板１５により遮光板１５により、表面反射光が赤外撮像部９に入ることを抑制している。

図８は、図７の構成の場合におけるレーザ照射部８と赤外撮像部９との間の距離と、不要光の量との関係を示す図である。横軸はレーザ照射部８と赤外撮像部９との間の距離を示し、縦軸は不要光の量を示す。図８に示すように、レーザ照射部８と赤外撮像部９との間の距離が長くなるに従い、不要光の量が低減する。また、図５の不要光の例と比較すると、閾値ｔｈ以下となる距離がより短くなることを示している。

以上のように本実施形態によれば、レーザ照射部８と赤外撮像部９との間に遮光板１５を設けることとした。これにより、表示部２の裏面側の表面反射光が赤外撮像部９に入射することが抑制され、レーザ照射部８と赤外撮像部９との間の距離をより短くすることが可能である。

（第３実施形態）
第３実施形態に係る電子機器１は、表示パネル４の光伝搬性に異方性がある場合に、表示パネル４の光伝搬特性も考慮して、レーザ照射部８と赤外撮像部９との間の距離を設定する点で、第１実施形態に係る電子機器１と相違する。以下では、第１実施形態に係る電子機器１と相違する点を説明する。

図９は、有機発光ダイオードを用いた表示パネル４の構成例を模式的に示す平面図である。図９に示すように、表示パネル４は、例えばシリコン基板上に画素部３８、垂直走査回路４０、及び水平走査回路４２を形成している。画素部３８に対して垂直走査回路４０からの複数の走査線が水平方向に延長され、水平走査回路４２からの複数のデータ線が垂直方向に延長されている。垂直方向に延びるデータ線と水平方向に延びる走査線に対して画素部３８がマトリクス状に接続されている。また、図９には、表示パネル４を制御する制御部３０も図示されている。

マトリクス状の画素部３８の配列に対して、行方向（画素行の画素の配列方向）に沿って３つの走査線が画素行ごとに配線されている。また、行列状の画素部３８の配列に対して、列方向（画素列の画素の配列方向）に沿ってデータ線が画素列毎に配線されている。なお、表示パネル４には、Ｒ（赤）、Ｂ（青）、Ｇ（緑）で示すように、三原色の画素に対応する画素回路が設けられている。これら３画素がカラー画像の１ドットを表現する。また、１単位（１ドット）を表現する画素の組み合わせはこれに限らず、輝度向上のためのＷ（白）画素を加えて構成したり、色再現範囲拡大のための補色画素を加えたり、して構成してもよい。図９に示すように、Ｒ（赤）、Ｂ（青）、Ｇ（緑）で示すように、三原色の画素のＸ方向と、Ｙ方向の構造及び回路層の構造が異なる。これにより、表示パネル４のＸ方向と、Ｙ方向とに、光伝搬性の異方性があることが知られている。

図１０は、図９で示す表示パネル４に光の伝搬性に異方性がある場合の距離の設定を説明する図である。図１０では、上述のように、ｘ方向とｙ方向とで、光の透過性に異方性があり、ｘ方向の光の伝搬領域Ａ１０がｙ方向よりも高い例を示す。すなわち、レーザ照射部８に対してｘ方向の内部反射光が、ｙ方向の内部反射光よりも高くなる。このような場合、レーザ照射部８からｙ方向に所定の距離を離した領域Ａ１２の内部反射光の強度と、ｘ方向に距離を変更する領域Ａ１４の内部反射光の強度を比較することにより、距離の設定をより正確に行うことが可能となる。例えば、領域Ａ１２の内部反射光の強度と領域Ａ１４の内部反射光の強度とがほぼ等しくなると、光の透過性の高いｘ方向における内部反射が領域Ａ１４の内部反射光と同等レベルまで収束していることを示す。

そこで、第３実施形態に係る電子機器１では、レーザ照射部８と赤外撮像部９との間の過性の高いｘ方向の距離を透過性の低いｙ方向の比較領域Ａ１４の内部反射光に基づき設定することとする。これにより、光伝搬性の高い方向にレーザ照射部８と赤外撮像部９とを配置する場合にも、内部反射光の影響が抑制される距離に配置可能となる。

（第４実施形態）
第４実施形態に係る電子機器１は、レーザ照射部８と赤外撮像部９との間の光軸Ｏ８、Ｏ９間の角度を狭める点で第１実施形態に係る電子機器１と相違する。以下では、第１実施形態に係る電子機器１と相違する点を説明する。

図１１は、第１実施形態に係る電子機器１のレーザ照射部８と赤外撮像部９との間の光軸Ｏ８、Ｏ９の例を示している図である。不要光が強い表示部２を用いる場合に、レーザ照射部８と赤外撮像部９との間の距離が長くなると、レーザ照射部８と赤外撮像部９と間の画角に重なりがなくなり、撮像物体１００の撮像が困難となってしまう。

図１２は、第４実施形態に係る電子機器１のレーザ照射部８と赤外撮像部９との間の光軸Ｏ８、Ｏ９の例を示している図である。不要光が強い表示部２を用いる場合に、レーザ照射部８と赤外撮像部９との間の光軸Ｏ８、Ｏ９の角度をより狭める。これにより、レーザ照射部８と赤外撮像部９と間の画角に重なりが生じ、撮像物体１００の撮像精度がより向上する。

（第１乃至第３実施形態の第１変形例）
第１乃至第３実施形態に係る電子機器１は、カメラモジュール３と、レーザ照射部８及び赤外撮像部９とが表示部２の長辺方向に離れて配置されていたのに対し、第１変形例に係る電子機器１は、表示部２の長辺方向に、カメラモジュール（可視撮像部）３と並べて配置する点で相違する。以下では、第１乃至第３実施形態に係る電子機器１と相違する点を説明する。

図１３は第１変形例による電子機器１の模式的な構成例を示す図である。図１３の電子機器１は、スマートフォンや携帯電話、タブレット、ＰＣなど、表示機能と撮影機能を兼ね備えた任意の電子機器である。図１３（ａ）は電子機器１の模式的な外観図、図１３（ｂ）は図１３（ａ）のＡ－Ａ線方向の断面図である。図１３に示すように、表示部２の長辺方向に、カメラモジュール（可視撮像部）３とレーザ照射部８と赤外撮像部９とが直線状に並んで配置される。また、カメラモジュール（可視撮像部）３が真ん中に配置される。すなわち、レーザ照射部８と赤外撮像部９とは、カメラモジュール（可視撮像部）３の上下に配置される。

これにより、表示部２の長辺方向の不要光が短辺方向の不要光よりも少ない場合に不要光をより低減できるので、レーザ照射部８と赤外撮像部９との距離をより短縮できる。また、カメラモジュール３とレーザ照射部８と赤外撮像部９とが長辺方向に直線状に並んで配置されるので、短辺方向に対してカメラモジュール３の画像と左右対称な距離画像を撮像可能となる。

（第１乃至第３実施形態の第２変形例）
第１乃至第３実施形態に係る電子機器１は、カメラモジュール３と、レーザ照射部８及び赤外撮像部９とが表示部２の長辺方向に離れて配置されていたのに対し、第２変形例に係る電子機器１は、表示部２の短辺方向に、カメラモジュール（可視撮像部）３と並べて配置する点で相違する。以下では、第１乃至第３実施形態に係る電子機器１と相違する点を説明する。

図１４は第２変形例による電子機器１の模式的な構成例を示す図である。図１４の電子機器１は、スマートフォンや携帯電話、タブレット、ＰＣなど、表示機能と撮影機能を兼ね備えた任意の電子機器である。図１４（ａ）は電子機器１の模式的な外観図、図１４（ｂ）は図１４（ａ）のＡ－Ａ線方向の断面図である。図１４に示すように、表示部２の短辺方向に、カメラモジュール（可視撮像部）３とレーザ照射部８と赤外撮像部９とが直線状に並んで配置される。また、カメラモジュール（可視撮像部）３が真ん中に配置される。すなわち、レーザ照射部８と赤外撮像部９とは、カメラモジュール（可視撮像部）３の左右に配置される。

これにより、表示部２の短辺方向の不要光が長辺方向の不要光よりも少ない場合に不要光をより低減できるので、レーザ照射部８と赤外撮像部９との距離をより短縮できる。また、カメラモジュール３とレーザ照射部８と赤外撮像部９とが短辺方向に直線状に並んで配置されるので、長辺方向に対してカメラモジュール３の画像と左右対象な距離画像を撮像可能となる。

（第１乃至第３実施形態の第３変形例）
第１乃至第３実施形態に係る電子機器１は、カメラモジュール３と、レーザ照射部８及び赤外撮像部９とが表示３部２の長辺方向に離れて配置されていたのに対し、第３変形例に係る電子機器１は、表示部２の長方向に対して斜め方向に、カメラモジュール（可視撮像部）３と、レーザ照射部８及び赤外撮像部９とを並べて配置する点で相違する。以下では、第１乃至第３実施形態に係る電子機器１と相違する点を説明する。

図１５は第３変形例による電子機器１の模式的な構成例を示す図である。図１５の電子機器１は、スマートフォンや携帯電話、タブレット、ＰＣなど、表示機能と撮影機能を兼ね備えた任意の電子機器である。図１５（ａ）は電子機器１の模式的な外観図、図１５（ｂ）は図１５（ａ）のＡ－Ａ線方向の断面図である。図１５に示すように、表示部２の長方向に対して斜め方向に、カメラモジュール（可視撮像部）３とレーザ照射部８と赤外撮像部９とが直線状に並んで配置される。また、カメラモジュール（可視撮像部）３が真ん中に配置される。すなわち、レーザ照射部８と赤外撮像部９とは、カメラモジュール（可視撮像部）３の斜めの離れた位置に配置される。

これにより、表示部２の斜め方向の不要光が短辺方向又は長辺方向の不要光よりも少ない場合に不要光をより低減できるので、レーザ照射部８と赤外撮像部９との距離をより短縮できる。

（第４実施形態）
第４実施形態に係る電子機器１は、カメラモジュール３の撮像画像と、距離計測部２０の距離画像とを関連づけて表示することが、更に可能である点で第１乃至第３実施形態に係る電子機器１と相違する。以下では、第１乃至第３実施形態に係る電子機器１と相違する点を説明する。

図１６は、第４実施形態に係る電子機器１のカメラモジュール３と全体システム構成例を示す図である。第４実施形態に係る電子機器１のカメラモジュール３は、画素部８０と、垂直駆動部１３０、アナログデジタル変換（以下、「ＡＤ変換」と記述する）部１４０、１５０と、カラム処理部１６０、１７０と、メモリ部１８０と、システム制御部１９０と、信号処理部５１と、インターフェース部５２とを備える。図１６は、更にカメラモジュール３と、制御部１０（図３参照）と、制御部３０（図９参照）を制御する中央制御部３００が図示されている。中央制御部３００は、電子機器１の全体を制御する。なお、制御部１０と、制御部３０と、中央制御部３００とは、制御処理部１０００として一体的に構成されてもよい。

図１６に示すように、画素部８０には、画素が行列状に配置される。この画素配列に対して、画素行毎に画素駆動線が行方向に沿って配線され、画素列毎に例えば２本の垂直信号線３１０、３２０が列方向に沿って配線されている。画素駆動線は、画素部８０の画素から信号を読み出す際の駆動を行うための駆動信号を伝送する。画素駆動線の一端は、垂直駆動部１３０の各行に対応した出力端に接続されている。

垂直駆動部１３０は、シフトレジスタやアドレスデコーダなどによって構成され、画素部８０の各画素を全画素同時あるいは行単位等で駆動する。この垂直駆動部１３０は、一般的に、読出し走査系と掃出し走査系の２つの走査系を有する構成となっている。読出し走査系は、各画素を行単位で順に選択走査する。各画素から読み出される信号はアナログ信号である。掃出し走査系は、読出し走査系によって読出し走査が行われる読出し行に対し、その読出し走査よりもシャッタスピードの時間分だけ先行して掃出し走査を行う。

この掃出し走査系による掃出し走査により、読出し行の各画素の光電変換部から不要な電荷が掃き出されることによって当該光電変換部がリセットされる。そして、この掃出し走査系による不要電荷の掃き出す（リセットする）ことにより、所謂、電子シャッタ動作が行われる。ここで、電子シャッタ動作とは、光電変換部の光電荷を捨てて、新たに露光を開始する（光電荷の蓄積を開始する）動作のことを言う。

読出し走査系による読出し動作によって読み出される信号は、その直前の読出し動作又は電子シャッタ動作以降に受光した光量に対応するものである。そして、直前の読出し動作による読出しタイミング又は電子シャッタ動作による掃出しタイミングから、今回の読出し動作による読出しタイミングまでの期間が、単位画素における光電荷の露光期間となる。

垂直駆動部１３０によって選択された画素行の各画素から出力される画素信号は、２系統の垂直信号線３１０、３２０を通してＡＤ変換部１４０、１５０に入力される。ここで、一方の系統の垂直信号線３１０は、選択行の各画素８０、８２、８０ａ、８２ａかから出力される画素信号を、画素列毎に第１の方向（画素列方向における一方側／図の上方向）に伝送する信号線群（第１の信号線群）から成る。他方の系統の垂直信号線３２０は、選択行の各画素から出力される画素信号を、第１の方向と反対方向の第２の方向（画素列方向における他方側／図の下方向）に伝送する信号線群（第２の信号線群）から成る。

ＡＤ変換部１４０、１５０はそれぞれ入力される画素信号をＡＤ変換するＡＤ変換器１４１の集合から成る。ＡＤ変換部１４０、１５０でＡＤ変換後の画素データ（デジタルデータ）は、カラム処理部１６０、１７０を介してメモリ部１８０に供給される。信号処理部８１は、画素データに対してノイズ低減処理などの信号処理を行い、インターフェース部５２を介して可視画像データを表示パネル４に供給する。

図１７は、本実施形態に係る処理例を示すフローチャートである。図１７に示すように、中央制御部３００の制御に従い撮像物の可視画像がカメラモジュール３により撮像される（ステップＳ１００）。続けて、中央制御部３００の制御に従い撮像物の距離画像が距離計測部２０により撮像される（ステップＳ１０２）。そして、中央制御部３００の制御に従い表示パネル４は、距離画像と可視画像を関連づけて表示する。例えば、距離画像と可視画像の座標位置が対応するように、中央制御部３００は、信号処理部１１ｃと信号処理部５１とを制御する。例えば、撮像部の同じ位置が距離画像のｇ１（ｘ、ｙ）と、可視画像ｇ２（ｘ、ｙ）とに配置されるように、関連づけられる。つまり、距離画像の座標（ｘ、ｙ）と、可視画像の座標（ｘ、ｙ）とは、撮像物の同じ場所を指すように構成される。例えば信号処理部５１では、距離画像の距離値と可視画像の光学系の情報を用いて、距離画像のｇ１（ｘ、ｙ）と、可視画像ｇ２（ｘ、ｙ）とを対応づける処理が行われる。カメラモジュール３と、赤外撮像部９とは表示部２の裏面に近接して配置されるので、このような処理がより簡易に行うことが可能となる。

図１８は、表示パネル４に表示される距離画像と可視画像との例を示す図である。図１８では、距離画像と可視画像との座標位置が対応するように生成されており、並べて配置される。これにより、距離画像と可視画像との比較が容易となる。

以上説明したように、本実施形態によれば、表示部２が有する表示パネル４は、距離計測部２０が撮像した距離画像と、カメラモジュール３が撮像した可視画像とを関連づけて表示することとした。これにより、距離画像と可視画像との比較が容易となる。

なお、本技術は以下のような構成を取ることができる。

（１）
表示部と、
前記表示部の表示面とは反対側に配置される赤外撮像部を備え、
前記赤外撮像部は、
前記表示部を介して入射された赤外光を光電変換する複数の光電変換部を、
有する、電子機器。

（２）
前記表示部の表示面とは反対側に赤外光を照射する照射部を、更に備える、（１）に記載の電子機器。

（３）
前記赤外撮像部と、前記照射部とは、前記照射部が照射した赤外光による前記表示部内の内部反射光が所定レベルまで低減される距離に配置される、（２）に記載の電子機器。

（４）
前記赤外撮像部と、前記照射部とが隣接する場合の前記内部反射光の光量が８分の１以下になる距離に、前記赤外撮像部と、前記照射部とは配置される、（３）に記載の電子機器。

（５）
前記表示部における内部構造の光伝搬性に異方性がある場合に、前記照射部から所定距離離れた位置での内部反射光の光量以下になる距離に、前記赤外撮像部と、前記照射部とは配置される、（２）に記載の電子機器。

（６）
前記赤外撮像部と前記照射部の高さを揃え、前記表示部の表示面とは反対側の裏面に接するように配置する、（２）に記載の電子機器。

（７）
前記赤外撮像部と前記照射部の高さを揃え、
前記赤外撮像部と前記照射部との間に配置される遮光板を更に備える、（２）に記載の電子機器。

（８）
前記赤外撮像部と前記照射部との画角が重なるように、前記赤外撮像部と前記照射部との光軸の向きが設定される、（２）に記載の電子機器。

（９）
前記表示部の表示面とは反対側に配置される可視撮像部を更に備える、（２）に記載の電子機器。

（１０）
前記前記赤外撮像部と前記照射部と前記可視撮像部とは、それぞれの重心部が正三角形となるように、前記表示部の表示面とは反対側に配置される、（９）に記載の電子機器。

（１１）
前記前記赤外撮像部と前記照射部と前記可視撮像部とは直線状に、前記表示部の表示面とは反対側に配置される、（９）に記載の電子機器。

（１２）
前記赤外撮像部と前記照射部と前記可視撮像部との中間部に、前記可視撮像部が配置される、（９）に記載の電子機器。

（１３）
前記赤外撮像部と前記照射部は、前記前記表示部の表示面の短辺と平行になるよう配置される、（９）に記載の電子機器。

（１４）
前記赤外撮像部と前記照射部は、前記前記表示部の表示面の長辺と平行になるよう配置される、（９）に記載の電子機器。

（１５）
前記表示部における内部構造の光伝搬性に異方性がある場合に、前記赤外撮像部と前記照射部は、光伝搬の少ない向きに配置される、（２）に記載の電子機器。

（１６）
前記赤外撮像部の生成する距離信号に基づき、２次元の距離画像を生成する第１信号処理部を更に備える、（９）に記載の電子機器。

（１７）
前記可視撮像部は、２次元の可視画像を生成する第２信号処理部を更に有する、（１６）に記載の電子機器。

（１８）
前記表示部を制御する制御部を更に備え、
前記制御部は、前記２次元の距離画像と、前記２次元の可視画像を並べて前記表示部に表示させる、（１７）に記載の電子機器。

（１９）
前記第２信号処理部は、前記２次元の可視画像として、前記２次元の距離画像の座標に対応する画像を前記２次元の可視画像として生成する、（１８）に記載の電子機器。

（２０）
前記表示部は、有機発光ダイオードを用いた表示パネルを含む、（５）に記載の電子機器。

本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。

１：電子機器、１ａ：表示画面、１ｂ：ベゼル、２：表示部、３：カメラモジュール（可視撮像部）、４：表示パネル、：８：レーザ照射部、９：赤外撮像部、１０：制御部、１１ｃ：信号処理部、３０:制御部、３８：画素部、５１：信号処理部、９４a:センサ、２００：中央制御部。

Claims (20)

1. 表示部と、
   前記表示部の表示面とは反対側に配置される赤外撮像部を備え、
   前記赤外撮像部は、
   前記表示部を介して入射された赤外光を光電変換する複数の光電変換部を、
   有する、電子機器。
2. 前記表示部の表示面とは反対側に赤外光を照射する照射部を、更に備える、請求項１に記載の電子機器。
3. 前記赤外撮像部と、前記照射部とは、前記照射部が照射した赤外光による前記表示部内の内部反射光が所定レベルまで低減される距離に配置される、請求項２に記載の電子機器。
4. 前記赤外撮像部と、前記照射部とが隣接する場合の前記内部反射光の光量が８分の１以下になる距離に、前記赤外撮像部と、前記照射部とは配置される、請求項３に記載の電子機器。
5. 前記表示部における内部構造の光伝搬性に異方性がある場合に、前記照射部から所定距離離れた位置での内部反射光の光量以下になる距離に、前記赤外撮像部と、前記照射部とは配置される、請求項２に記載の電子機器。
6. 前記赤外撮像部と前記照射部の高さを揃え、前記表示部の表示面とは反対側の裏面に接するように配置する、請求項２に記載の電子機器。
7. 前記赤外撮像部と前記照射部の高さを揃え、
   前記赤外撮像部と前記照射部との間に配置される遮光板を更に備える、請求項２に記載の電子機器。
8. 前記赤外撮像部と前記照射部との画角が重なるように、前記赤外撮像部と前記照射部との光軸の向きが設定される、請求項２に記載の電子機器。
9. 前記表示部の表示面とは反対側に配置される可視撮像部を更に備える、請求項２に記載の電子機器。
10. 前記前記赤外撮像部と前記照射部と前記可視撮像部とは、それぞれの重心部が正三角形となるように、前記表示部の表示面とは反対側に配置される、請求項９に記載の電子機器。
11. 前記前記赤外撮像部と前記照射部と前記可視撮像部とは直線状に、前記表示部の表示面とは反対側に配置される、請求項９に記載の電子機器。
12. 前記赤外撮像部と前記照射部と前記可視撮像部との中間部に、前記可視撮像部が配置される、請求項９に記載の電子機器。
13. 前記赤外撮像部と前記照射部は、前記前記表示部の表示面の短辺と平行になるよう配置される、請求項９に記載の電子機器。
14. 前記赤外撮像部と前記照射部は、前記前記表示部の表示面の長辺と平行になるよう配置される、請求項９に記載の電子機器。
15. 前記表示部における内部構造の光伝搬性に異方性がある場合に、前記赤外撮像部と前記照射部は、光伝搬の少ない向きに配置される、請求項２に記載の電子機器。
16. 前記赤外撮像部の生成する距離信号に基づき、２次元の距離画像を生成する第１信号処理部を更に備える、請求項９に記載の電子機器。
17. 前記可視撮像部は、２次元の可視画像を生成する第２信号処理部を更に有する、請求項１６に記載の電子機器。
18. 前記表示部を制御する制御部を更に備え、
    前記制御部は、前記２次元の距離画像と、前記２次元の可視画像を並べて前記表示部に表示させる、請求項１７に記載の電子機器。
19. 前記第２信号処理部は、前記２次元の可視画像として、前記２次元の距離画像の座標に対応する画像を前記２次元の可視画像として生成する、請求項１８に記載の電子機器。
20. 前記表示部は、有機発光ダイオードを用いた表示パネルを含む、請求項５に記載の電子機器。

Images