JP2022076290A - 電子機器の制御方法 - Google Patents

Abstract

【課題】対象物を照明して生成した影を撮像することが可能な電子機器の制御方法を提供する。【解決手段】複数の発光素子を同時に点灯して形成した発光領域を移動させながら対象物を照明し、前記複数の発光素子と同一基板上の複数の撮像素子により、前記対象物によって生成される影を撮像し、影画像に基づいて前記対象物の外形の三次元データを作成する、電子機器の制御方法。【選択図】 図３

Description

本発明の実施形態は、電子機器の制御方法に関する。

一般に、自発光素子である発光ダイオード（ＬＥＤ：Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）を用いたＬＥＤ表示装置が知られているが、近年では、より高精細化した表示装置として、マイクロＬＥＤと称される微小なダイオード素子を用いた表示装置が開発されている。このマイクロＬＥＤ表示装置は、従来の液晶表示装置や有機ＥＬ表示装置とは異なり、表示領域にチップ状の多数のマイクロＬＥＤが実装されて形成されるため、高精細化と大型化の両立が容易であり、次世代の表示装置として注目されている。
また、表示領域に撮像素子が配置された表示装置が開発されている。このような表示装置では、表示面に対向する対象物を撮像することができる。

特開２００５－１７６１５１号公報 特開平７－１１５５７４号公報 特開２０００－１５２２０５号公報 特開平８―４６１６２号公報

本実施形態の目的は、対象物を照明して生成した影を撮像することが可能な電子機器の制御方法を提供することにある。

本実施形態によれば、複数の発光素子を同時に点灯して形成した発光領域を移動させながら対象物を照明し、前記複数の発光素子と同一基板上の複数の撮像素子により、前記対象物によって生成される影を撮像し、影画像に基づいて前記対象物の外形の三次元データを作成する、電子機器の制御方法が提供される。

図１は、本実施形態に係る電子機器を概略的に示す平面図である。 図２Ａは、図１に示した電子機器の等価回路を示す図である。 図２Ｂは、図１に示した電子機器の等価回路を示す図である。 図３は、発光領域が有効領域の辺側に位置する状態を示す斜視図である。 図４は、発光領域が有効領域の辺と辺との中間に位置する状態を示す斜視図である。 図５は、発光領域が有効領域の辺側に位置する状態を示す斜視図である。 図６は、発光領域と撮像領域との位置関係を示す平面図である。 図７は、発光領域が有効領域内をスキャンする動作を示す平面図である。 図８は、図７に示した発光領域の移動について、第１期間及び第２期間の発光領域を模式的に示す図である。 図９は、発光領域が有効領域内をスキャンする動作の他の例を示す平面図である。 図１０は、図９に示した発光領域の移動について、第１期間及び第２期間の発光領域を模式的に示す図である。 図１１は、発光領域が有効領域内を２方向にスキャンする動作を示す平面図である。 図１２は、発光領域が有効領域内を２方向にスキャンする動作の他の例を示す平面図である。 図１３は、発光領域が有効領域内をスキャンする動作の他の例を示す平面図である。 図１４は、図１３に示した発光領域の移動について、第１期間及び第２期間の発光領域を模式的に示す図である。 図１５は、発光領域が有効領域内をスキャンする動作の他の例を示す平面図である。 図１６は、本実施形態に係る電子機器の他の例を概略的に示す平面図である。

以下、本実施形態について、図面を参照しながら説明する。なお、開示はあくまで一例に過ぎず、当業者において、発明の主旨を保っての適宜変更について容易に想到し得るものについては、当然に本発明の範囲に含有されるものである。また、図面は、説明をより明確にするため、実際の態様に比べて、各部の幅、厚さ、形状等について模式的に表される場合があるが、あくまで一例であって、本発明の解釈を限定するものではない。また、本明細書と各図において、既出の図に関して前述したものと同一又は類似した機能を発揮する構成要素には同一の参照符号を付し、重複する詳細な説明を適宜省略することがある。

まず、図１及び図２を参照して、電子機器１００の構成について説明する。

図１は、本実施形態に係る電子機器１００を概略的に示す平面図である。本実施形態の電子機器１００は、例えば、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）表示装置である。
図に示す第１方向Ｘ、第２方向Ｙ、及び、第３方向Ｚは、互いに直交している。なお、第１方向Ｘ、第２方向Ｙ、及び、第３方向Ｚは、９０度以外の角度で交差していてもよい。本明細書において、第３方向Ｚを示す矢印の先端に向かう方向を「上」と称し、矢印の先端から逆に向かう方向を「下」と称する。また、第３方向Ｚを示す矢印の先端側に電子機器１００を観察する観察位置があるものとし、この観察位置から、第１方向Ｘ及び第２方向Ｙで規定されるＸ－Ｙ平面に向かって見ることを平面視という。

電子機器１００は、絶縁基板１０、複数の発光素子Ｌ、複数の撮像素子ＩＳ、制御部ＣＮＴを備えている。絶縁基板１０は、ガラス、又は樹脂等によって形成されている。

複数の発光素子Ｌは、絶縁基板１０に実装されている。発光素子Ｌは、第１方向Ｘ及び第２方向Ｙにマトリクス状に配置されている。発光素子Ｌは、例えば、ミニＬＥＤやマイクロＬＥＤといった１００μｍ前後の大きさ、あるいは１００μｍよりも小さい大きさを有するＬＥＤである。複数の発光素子Ｌには、赤色（Ｒ）を発光する発光素子Ｌ１、緑色（Ｇ）を発光する発光素子Ｌ２、青色（Ｂ）を発光する発光素子Ｌ３が含まれている。

複数の撮像素子ＩＳは、絶縁基板１０に実装されている。すなわち、複数の撮像素子ＩＳは、複数の発光素子Ｌと同一基板上に位置している。撮像素子ＩＳは、第１方向Ｘ及び第２方向Ｙにマトリクス状に配置されている。

電子機器１００は、有効領域ＡＡと、有効領域ＡＡの外側の非有効領域ＮＡＡと、を有している。図示した例では、非有効領域ＮＡＡは、有効領域ＡＡを囲んでいる。複数の発光素子Ｌ及び複数の撮像素子ＩＳは、有効領域ＡＡに配置され、有効領域ＡＡは、発光可能な領域、及び、撮像可能な領域に相当する。また、有効領域ＡＡは、電子機器１００が表示装置である場合には、画像を表示する領域に相当する。

有効領域ＡＡは、第１方向Ｘ及び第２方向Ｙにマトリクス状に配置された複数の単位領域ＵＩを備えている。単位領域ＵＩは、３つの発光素子Ｌ１、Ｌ２、Ｌ３と、１つの撮像素子ＩＳと、によって構成されている。単位領域ＵＩ内において、発光素子Ｌ２は、発光素子Ｌ１の第１方向Ｘに並んでいる。発光素子Ｌ３は、発光素子Ｌ１の第２方向Ｙに並んでいる。撮像素子ＩＳは、発光素子Ｌ３の第１方向Ｘ、且つ、発光素子Ｌ２の第２方向Ｙに並んでいる。単位領域ＵＩは、電子機器１００が表示装置である場合には、画素と称することもできる。

有効領域ＡＡ全体では、奇数行目においては発光素子Ｌが第１方向Ｘに並び、偶数行目においては発光素子Ｌ及び撮像素子ＩＳが第１方向Ｘに交互に並んでいる。また、奇数列目においては発光素子Ｌが第２方向Ｙに並び、偶数列目においては発光素子Ｌ及び撮像素子ＩＳが第２方向Ｙに交互に並んでいる。

制御部ＣＮＴは、第１制御部１１及び第２制御部１２を備えている。第１制御部１１は、発光素子Ｌの駆動を制御する。第２制御部１２は、撮像素子ＩＳの駆動を制御する。

電子機器１００は、図示した例では、矩形状に形成されている。電子機器１００は、第１方向Ｘに延出する側縁ＳＥ１及びＳＥ２と、第２方向に延出する側縁ＳＥ３及びＳＥ４と、を有している。側縁ＳＥ１及びＳＥ２が短辺であり、側縁ＳＥ３及びＳＥ４が長辺である。また、有効領域ＡＡは、図示した例では、矩形状に形成されている。有効領域ＡＡは、第１方向Ｘに延出する辺Ｅ１及びＥ２と、第２方向に延出する辺Ｅ３及びＥ４と、を有している。辺Ｅ１及びＥ２が短辺であり、辺Ｅ３及びＥ４が長辺である。辺Ｅ１は側縁ＳＥ１側に位置し、辺Ｅ２は側縁ＳＥ２側に位置し、辺Ｅ３は側縁ＳＥ３側に位置し、辺Ｅ４は側縁ＳＥ４側に位置している。有効領域ＡＡは、辺Ｅ１と辺Ｅ３とが交差する位置に角部ＣＮ１と、辺Ｅ２と辺Ｅ４とが交差する位置に角部ＣＮ２と、辺Ｅ１と辺Ｅ４とが交差する位置に角部ＣＮ３と、辺Ｅ２と辺Ｅ３とが交差する位置に角部ＣＮ４と、を有している。

本実施形態の電子機器１００は、発光素子Ｌを部分的に発光させて対象物を照明し、対象物の周囲に生成される影を撮像素子ＩＳによって撮像する。電子機器１００は、発光素子Ｌを発光させる領域を随時変更し、生成される影の変化を読み取ることで対象物の立体構造について三次元データを作成する。

なお、上記した例では、電子機器１００は表示装置であったが、電子機器１００は、表示機能を有していなくてもよく、発光素子Ｌが対象物を照明する機能のみを有していてもよい。電子機器１００が表示装置ではない場合には、発光素子Ｌは、すべて同色を発光するものであってもよい。また、全ての単位領域ＵＩに撮像素子ＩＳが配置されていなくてもよく、複数の単位領域ＵＩごとに１つの撮像素子ＩＳが配置されていてもよい。また、発光素子Ｌ及び撮像素子ＩＳは、実線で示しているが、絶縁基板１０の下側（第３方向Ｚを示す矢印の先端から逆に向かう方向）に実装されているものとする。

図２Ａは、図１に示した電子機器１００の等価回路を示す図である。図２Ａは、２種類の薄膜トランジスタ（スイッチングトランジスタ及び駆動トランジスタ）を用いた、発光素子Ｌを駆動する代表的な回路図である。なお、図２Ａは、発光素子Ｌについての等価回路を示しており、撮像素子ＩＳの回路部については図示を省略している。

電子機器１００は、ゲート線Ｇ（走査線ともいう）、ソース線Ｓ(映像信号線ともいう)、第１薄膜トランジスタＴＲ１、第２薄膜トランジスタＴＲ２、発光素子Ｌ、容量素子ＣＳ１、第１電源線５１、第２電源線５２、ゲートドライバＧＤ、ソースドライバＳＤを備えている。

複数のゲート線Ｇは、第１方向Ｘに延出し、第２方向Ｙに間隔を置いて並んでいる。複数のソース線Ｓは、第２方向Ｙに延出し、第１方向Ｘに間隔を置いて並んでいる。隣り合うソース線Ｓと隣り合うゲート線Ｇとで区画された領域には、第１薄膜トランジスタＴＲ１（スイッチングトランジスタ）、第２薄膜トランジスタＴＲ２（駆動トランジスタ）、発光素子Ｌ、容量素子ＣＳ１などが配置されている。

第２薄膜トランジスタＴＲ２は、第１電源線５１と接続されている。第１電源線５１は、発光素子Ｌに電流を供給する給電線である。発光素子Ｌはアノードとカソードとを備えている。第１電源線５１は、第２薄膜トランジスタＴＲ２を介して発光素子Ｌの一方の電極に、例えばアノードに、接続している。第２電源線５２は、発光素子Ｌの他方の電極に、例えばカソードに、接続している。第２電源線５２は、例えば接地電位である定電位に維持されている。

第１薄膜トランジスタＴＲ１のソース電極は、ソース線Ｓと電気的に接続されている。第１薄膜トランジスタＴＲ１のゲート電極は、ゲート線Ｇと電気的に接続されている。第１薄膜トランジスタＴＲ１のドレイン電極は、第２薄膜トランジスタＴＲ２のゲート電極と電気的に接続されている。第２薄膜トランジスタＴＲ２のドレイン電極は、第１電源線５１と電気的に接続されている。第２薄膜トランジスタＴＲ２のソース電極は、発光素子Ｌの一方の電極と、例えばアノードと、電気的に接続されている。第２薄膜トランジスタＴＲ２のゲート電極に、第１薄膜トランジスタＴＲ１を介してソース線Ｓからの映像信号が入力され、第２薄膜トランジスタＴＲ２は発光素子Ｌを駆動する。

容量素子ＣＳ１は、第２薄膜トランジスタＴＲ２のドレイン電極とゲート電極との間に、換言すると、第１電源線５１と第２薄膜トランジスタＴＲ２のゲート電極との間に、設けられる。第１電源線５１には一定電位が印加されているので、容量素子ＣＳ１によって第２薄膜トランジスタＴＲ２のゲート電極の電位は、所定の期間保持される。容量素子ＣＳ１は、例えば第２薄膜トランジスタＴＲ２のソース電極とゲート電極との間に設けても良い。

ゲート線Ｇはシフトレジスタを含むゲートドライバＧＤに接続され、ソース線Ｓはシフトレジスタ、ビデオライン、アナログスイッチを含むソースドライバＳＤに接続されている。すなわち、ゲートドライバＧＤ及びソースドライバＳＤは、発光素子Ｌを制御する制御部として機能し、上記した第１制御部１１に含まれる。

ゲート線Ｇからのゲート信号を受けて第１薄膜トランジスタＴＲ１がオンとなると、ソース線Ｓからの映像信号が第１薄膜トランジスタＴＲ１を介して第２薄膜トランジスタＴＲ２のゲート電極に入力される。それに伴い、第２薄膜トランジスタＴＲ２のチャネル層を介して第１電源線５１から発光素子Ｌに映像信号の大きさに応じた電流が供給され、電流量に応じて発光素子Ｌが発光する。

図２Ｂは、図１に示した電子機器１００の等価回路を示す図である。図２Ｂは、図２Ａにおいて図示を省略した撮像素子ＩＳの回路部を示している。なお、発光素子Ｌの回路部については、図２Ａで示したため、その図示を省略している。

図２Ｂ（ａ）は、撮像素子ＩＳに接続される各種配線と、行選択回路４１及び読出し回路４２との接続関係を示している。
図２Ｂ（ａ）に示すように、リセット信号走査線ＲＧ、選択走査線ＳＧ、バイアス電圧供給信号線ＶＢ、基準電位線ＶＳＳ、第１駆動電源線ＶＰＰ１は、それぞれ行選択回路４１から引き出され第２方向Ｙに間隔を置いて並んでいる。また、出力信号線ＯＵＴ、及び、第２駆動電源線ＶＰＰ２は、それぞれ読出し回路４２から引き出され第１方向Ｘに間隔を置いて並んでいる。行選択回路４１及び読出し回路４２に接続された各種配線は、撮像素子ＩＳの検出回路４３に接続されている。行選択回路４１及び読出し回路４２は、撮像素子ＩＳを制御する制御部として機能し、上記した第２制御部１２に含まれる。

図２Ｂ（ｂ）は、撮像素子ＩＳの検出回路４３を示している。
検出回路４３は、リセットトランジスタＴＲ３、駆動トランジスタＴＲ４、選択トランジスタＴＲ５、負荷トランジスタＴＲ６、光電変換素子ＯＥ、容量素子ＣＳ２を有している。図２Ｂ（ｂ）に示す等価回路は一例であるが、このように撮像素子ＩＳの等価回路は、複数のトランジスタと、容量素子と、光電変換素子とを有している。

駆動トランジスタＴＲ４、選択トランジスタＴＲ５、及び、負荷トランジスタＴＲ６は、ソースフォロアを構成する。ソースフォロアは、第２駆動電源線ＶＰＰ２から基準電位線ＶＳＳに電流を流し、駆動トランジスタＴＲ４のゲート電極に供給された電圧に対応した出力信号を出力信号線ＯＵＴに出力する。

撮像素子ＩＳを駆動する電源として、第１駆動電源線ＶＰＰ１から第１駆動電位が供給され、第２駆動電源線ＶＰＰ２から第２駆動電位が供給され、基準電位線ＶＳＳから基準電位が供給され、コモン電位線ＣＯＭからコモン電位が供給される。

リセットトランジスタＴＲ３は、リセット信号走査線ＲＧから供給されるリセット信号に基づき、第１駆動電源線ＶＰＰ１の第１駆動電位をノードＮに供給し、撮像素子ＩＳの電位をリセット状態又は初期化状態にする。ノードＮは駆動トランジスタＴＲ４のゲート電極、光電変換素子ＯＥのアノード、容量素子ＣＳ２の一端に接続する。

駆動トランジスタＴＲ４は、入力された第１駆動電位を用いて、リセット状態又は初期化状態における撮像素子ＩＳのソースフォロアに流す電流を調整する。また、駆動トランジスタＴＲ４は、撮像素子ＩＳが露光した際に、光電変換素子ＯＥの受光に基づき発生する光起電力を用いてソースフォロアに流す電流を調整する。

選択トランジスタＴＲ５は、選択走査線ＳＧから供給される選択走査信号に基づき、ソースフォロアを駆動するか否かを制御する。
負荷トランジスタＴＲ６は、バイアス電圧供給信号線ＶＢから供給されるバイアス電圧供給信号に基づき、第２駆動電位線ＶＰＰ２から基準電位線ＶＳＳに定電流を流し、負荷トランジスタＴＲ６は定電流源となる。

容量素子ＣＳ２は、ノードＮに供給される第１駆動電圧に相当する電荷を保持する。また、容量素子ＣＳ２は、光電変換素子ＯＥの受光に基づき発生する光起電力に相当する電荷を保持する。

撮像素子ＩＳは、リセット期間及び撮像期間におけるノードＮの電位を出力信号線ＯＵＴへ出力し、電子機器１００はその出力電圧の変化量を測ることで、撮像データを作成する。
なお、本発明の撮像素子ＩＳの等価回路については本開示に限るものではなく、公知の撮像素子の等価回路を適用することができる。

次に、図３乃至図５を参照して、発光素子Ｌによって対象物２００を照明し、対象物２００の周囲に影を生成する動作を説明する。以下、複数の発光素子Ｌが同時に発光して形成する領域を発光領域ＬＡとする。

図３は、発光領域ＬＡが有効領域ＡＡの辺Ｅ１側に位置する状態を示す斜視図である。
対象物２００は、ステージＳＴの面ＳＴＡ上に配置されている。対象物２００は、面ＳＴＡに接する第１部分２０１と、第１部分２０１の上に位置する第２部分２０２と、を有している。第２部分２０２は、第１部分２０１から突出している。なお、ステージＳＴは、机、床、地面などであってもよく、特に限定されない。また、対象物２００の形状は、一例であって、この形状に限定されない。

電子機器１００は、対象物２００の上に配置されている。電子機器１００は、ステージＳＴの面ＳＴＡと略平行になるように配置されている。電子機器１００は、発光面１００Ａを有している。上記した発光素子Ｌ及び撮像素子ＩＳは、絶縁基板１０に対して発光面１００Ａ側に配置されている。発光素子Ｌから発光された光は、発光面１００Ａから出射される。電子機器１００は、発光面１００Ａが対象物２００と対向するように配置される。

第１制御部１１は、複数の発光素子Ｌを同時に点灯して発光領域ＬＡを形成する。発光素子Ｌは有効領域ＡＡ内に位置しているため、発光領域ＬＡは有効領域ＡＡ内に形成される。発光領域ＬＡは、有効領域ＡＡの辺Ｅ１側に位置している。つまり、発光領域ＬＡは、電子機器１００の側縁ＳＥ１側に位置している。また、発光領域ＬＡは、辺Ｅ３から辺Ｅ４まで延出している。

図に示すように、側縁ＳＥ１側から対象物２００に光を照射すると、対象物２００に対して側縁ＳＥ２側に影ＳＨが生成される。図示した例では、第１部分２０１の影ＳＨ１１が第１部分２０１よりも側縁ＳＥ２側に生成され、第２部分２０２の影ＳＨ２１が第２部分２０２よりも側縁ＳＥ２側に生成されている。このように、側縁ＳＥ１側に発光領域ＬＡが位置している場合に、側縁ＳＥ２側に影ＳＨが生成されることで、影ＳＨよりも側縁ＳＥ１側に対象物２００の立体構造が存在していることがわかる。

電子機器１００は、上述した発光領域ＬＡを移動させながら対象物２００を照明する。
対象物２００によって生成された影ＳＨは、後述するように、影ＳＨと対向する位置の撮像素子によって撮像される。電子機器１００は、発光領域ＬＡの位置に応じた影ＳＨの位置や形状を記憶する。

図４は、発光領域ＬＡが有効領域ＡＡの辺Ｅ１と辺Ｅ２との中間に位置する状態を示す斜視図である。図４に示す構成は、図３に示した構成と比較して、発光領域ＬＡの位置が異なっている。
発光領域ＬＡは、有効領域ＡＡの辺Ｅ１と辺Ｅ２との中間に位置している。つまり、発光領域ＬＡは、電子機器１００の側縁ＳＥ１と側縁ＳＥ２との中間に位置している。また、発光領域ＬＡは、辺Ｅ３から辺Ｅ４まで延出している。

図に示すように、側縁ＳＥ１と側縁ＳＥ２との中間から対象物２００に光を照射すると、対象物２００に対して側縁ＳＥ１側及び側縁ＳＥ２側に影ＳＨが生成される。図示した例では、第１部分２０１の影ＳＨ１１が第１部分２０１よりも側縁ＳＥ２側に生成され、第２部分２０２の影ＳＨ２１が第２部分２０２よりも側縁ＳＥ２側に生成されている。また、第１部分２０１の影ＳＨ１２が第１部分２０１よりも側縁ＳＥ１側に生成され、第２部分２０２の影ＳＨ２２が第２部分２０２よりも側縁ＳＥ１側に生成されている。このように、側縁ＳＥ１と側縁ＳＥ２との中間に発光領域ＬＡが位置している場合に、対象物２００の両側に影ＳＨが生成されることで、発光領域ＬＡの直下付近に対象物２００の立体構造が存在していることがわかる。

図５は、発光領域ＬＡが有効領域ＡＡの辺Ｅ２側に位置する状態を示す斜視図である。図５に示す構成は、図３に示した構成と比較して、発光領域ＬＡの位置が異なっている。
発光領域ＬＡは、有効領域ＡＡの辺Ｅ２側に位置している。つまり、発光領域ＬＡは、電子機器１００の側縁ＳＥ２側に位置している。また、発光領域ＬＡは、辺Ｅ３から辺Ｅ４まで延出している。

図に示すように、側縁ＳＥ２側から対象物２００に光を照射すると、対象物２００に対して側縁ＳＥ１側に影ＳＨが生成される。図示した例では、第１部分２０１の影ＳＨ１２が第１部分２０１よりも側縁ＳＥ１側に生成され、第２部分２０２の影ＳＨ２２が第２部分２０２よりも側縁ＳＥ１側に生成されている。このように、側縁ＳＥ２側に発光領域ＬＡが位置している場合に、側縁ＳＥ１側に影ＳＨが生成されることで、影ＳＨよりも側縁ＳＥ２側に対象物２００の立体構造が存在していることがわかる。

上記の図３乃至図５を用いて説明したように、影に対して発光領域ＬＡ側に対象物２００の立体構造が存在していることが解析される。また、影の形状、幅などから対象物２００の詳細な外形について三次元データが作成される。

図６は、発光領域ＬＡと撮像領域ＩＡとの位置関係を示す平面図である。
図６（ａ）は、発光領域ＬＡが有効領域ＡＡの辺Ｅ１側に位置する状態を示している。第１制御部１１が複数の発光素子Ｌを同時に点灯して発光領域ＬＡを形成する際に、第２制御部１２は、複数の撮像素子ＩＳを同時に駆動して撮像領域ＩＡを形成する。撮像素子ＩＳは有効領域ＡＡ内に位置しているため、撮像領域ＩＡは有効領域ＡＡ内に形成される。撮像領域ＩＡは、対象物によって生成される影を撮像する。電子機器１００は、撮像領域ＩＡが撮像した影画像に基づいて対象物の外形の三次元データを作成する。

撮像領域ＩＡは、発光領域ＬＡより辺Ｅ２側に形成されている。つまり、撮像領域ＩＡは、発光領域ＬＡより側縁ＳＥ２側に形成されている。また、撮像領域ＩＡは、辺Ｅ３から辺Ｅ４まで延出している。なお、図示した例では、撮像領域ＩＡは、発光領域ＬＡから離間しているが、発光領域ＬＡから離間していなくてもよい。すなわち、発光領域ＬＡの外側に位置する撮像素子ＩＳがすべて駆動されていてもよい。また、発光領域ＬＡと重なる位置の撮像素子ＩＳは、駆動されない。

図６（ｂ）は、発光領域ＬＡが有効領域ＡＡの辺Ｅ１と辺Ｅ２との中間に位置する状態を示している。
撮像領域ＩＡ１は、発光領域ＬＡより辺Ｅ１側に形成されている。つまり、撮像領域ＩＡ１は、発光領域ＬＡより側縁ＳＥ１側に形成されている。また、撮像領域ＩＡ１は、辺Ｅ３から辺Ｅ４まで延出している。撮像領域ＩＡ２は、発光領域ＬＡより辺Ｅ２側に形成されている。つまり、撮像領域ＩＡ２は、発光領域ＬＡより側縁ＳＥ２側に形成されている。また、撮像領域ＩＡ２は、辺Ｅ３から辺Ｅ４まで延出している。なお、図示した例では、撮像領域ＩＡ１及びＩＡ２は、発光領域ＬＡから離間しているが、発光領域ＬＡから離間していなくてもよい。すなわち、発光領域ＬＡの外側に位置する撮像素子ＩＳがすべて駆動されていてもよい。また、発光領域ＬＡと重なる位置の撮像素子ＩＳは、駆動されない。

図６（ｃ）は、発光領域ＬＡが有効領域ＡＡの辺Ｅ２側に位置する状態を示している。
撮像領域ＩＡは、発光領域ＬＡより辺Ｅ１側に形成されている。つまり、撮像領域ＩＡは、発光領域ＬＡより側縁ＳＥ１側に形成されている。また、撮像領域ＩＡは、辺Ｅ３から辺Ｅ４まで延出している。なお、図示した例では、撮像領域ＩＡは、発光領域ＬＡから離間しているが、発光領域ＬＡから離間していなくてもよい。すなわち、発光領域ＬＡの外側に位置する撮像素子ＩＳがすべて駆動されていてもよい。また、発光領域ＬＡと重なる位置の撮像素子ＩＳは、駆動されない。

以上のように、複数の撮像素子ＩＳのうち、発光領域ＬＡに重なる撮像素子ＩＳは非駆動であり、発光領域ＬＡとは異なる領域の撮像素子ＩＳが影を撮像する。また、電子機器１００は、発光領域ＬＡの移動に応じて、撮像領域ＩＡを移動させる。

本実施形態によれば、発光領域ＬＡの位置を移動させながら対象物によって生成される影を撮像することで、対象物の立体構造について三次元データを得ることができる。また、発光させる発光素子Ｌを自由に選択することができるので、対象物の構造に応じて光の当て方を調整することができる。例えば、対象物がより単純な構造である場合には、発光領域ＬＡを大まかに移動させ撮像回数を減らすことで、撮像に要する時間を短縮することができる。一方、対象物がより複雑な構造である場合には、発光領域ＬＡを細かく移動させ撮像回数を増やすことで、対象物の詳細な三次元データを得ることができる。

また、表示装置の表示面側に撮像素子ＩＳを搭載することで、日常的に所持することが可能なスマートフォンなどの携帯端末である表示装置に上記の機能を組み込むことができる。つまり、３Ｄカメラを内蔵した表示装置を得ることができる。また、発光素子Ｌと撮像素子ＩＳの位置関係が予め固定されているため、操作者による困難な操作が不要である。

図７は、発光領域ＬＡが有効領域ＡＡ内をスキャンする動作を示す平面図である。
発光領域ＬＡは、線状に形成されている。発光領域ＬＡは、有効領域ＡＡの辺Ｅ１の長さと同等の幅Ｗ１を有している。第１制御部１１は、発光領域ＬＡを有効領域ＡＡの一端から他端まで第２方向Ｙに沿って移動させることで対象物を照明する。換言すると、発光領域ＬＡは、辺Ｅ１から辺Ｅ２にかけて対象物をスキャンする。発光領域ＬＡが有効領域ＡＡの全体をスキャンすることで、対象物を全方位から照明することができ、詳細な三次元データを得ることができる。

図８は、図７に示した発光領域ＬＡの移動について、第１期間及び第２期間の発光領域ＬＡを模式的に示す図である。図８においては、単位領域ＵＩを１つの四角で示している。また、発光素子Ｌが発光している単位領域ＵＩは、斜線で示されている。
図８（ａ）は、第１期間における発光領域ＬＡの位置を示している。発光領域ＬＡに相当する単位領域ＵＩに配置された撮像素子ＩＳは、駆動されていない。発光領域ＬＡは、１乃至３行目の単位領域ＵＩに形成されている。発光領域ＬＡは、第１期間の位置から第２期間の位置へ移動する。

図８（ｂ）、図８（ｃ）、及び、図８（ｄ）は、第２期間における発光領域ＬＡの位置を示している。
図８（ｂ）に示す発光領域ＬＡは、２乃至４行目の単位領域ＵＩに形成されている。第１期間と比較して第２期間の発光領域ＬＡは、単位領域ＵＩの１行分だけ移動している。つまり、第２期間の発光領域ＬＡは、第１期間の発光領域ＬＡと２及び３行目の単位領域ＵＩが共通である。このように、前後の期間で発光領域ＬＡが共通である場合には、より高精細に対象物をスキャンすることができる。

図８（ｃ）に示す発光領域ＬＡは、４乃至６行目の単位領域ＵＩに形成されている。第１期間と比較して第２期間の発光領域ＬＡは、単位領域ＵＩの３行分だけ移動している。つまり、第１期間の発光領域ＬＡが形成された１乃至３行目の単位領域ＩＵに対して、次の４行目から第２期間の発光領域ＬＡが形成されている。このように、前後の期間で発光領域ＬＡが連続しているが共通でない場合には、図８（ｂ）の例と比較して時間を短縮して高精細に対象物をスキャンすることができる。

図８（ｄ）に示す発光領域ＬＡは、６乃至８行目の単位領域ＵＩに形成されている。第１期間と比較して第２期間の発光領域ＬＡは、単位領域ＵＩの５行分だけ移動している。つまり、第１期間の発光領域ＬＡが形成された１乃至３行目の単位領域ＩＵに対して、２行分の単位領域ＵＩを飛ばした６行目から第２期間の発光領域ＬＡが形成されている。このように、前後の期間で発光領域ＬＡが離れている場合には、図８（ｃ）の例と比較して時間をさらに短縮して対象物をスキャンすることができる。また、対象物の構造から高精細なスキャンが不要であると判断された場合にも、発光領域ＬＡは、前後の期間で連続していなくてよい。

図９は、発光領域ＬＡが有効領域ＡＡ内をスキャンする動作の他の例を示す平面図である。図９に示す例は、図７に示した例と比較して、発光領域ＬＡの進行方向が異なっている。ここで、第１方向Ｘ及び第２方向Ｙの両方に交差する方向を方向ａとする。方向ａは、第２方向Ｙに対して半時計周りに第１角度θ１で傾斜している。
発光領域ＬＡは、角部ＣＮ１から角部ＣＮ２にかけて方向ａに沿って対象物をスキャンする。つまり、発光領域ＬＡは、有効領域ＡＡの辺Ｅ１及びＥ３に対して斜めに進行する。

図１０は、図９に示した発光領域ＬＡの移動について、第１期間及び第２期間の発光領域ＬＡを模式的に示す図である。
図１０（ａ）は、第１期間における発光領域ＬＡの位置を示している。発光領域ＬＡは、１行目の２乃至４列目、２行目の１乃至３列目、３行目の１及び２列目、４行目の１列目の単位領域ＵＩに形成されている。発光領域ＬＡは、第１期間の位置から第２期間の位置へ移動する。

図１０（ｂ）、図１０（ｃ）、及び、図１０（ｄ）は、第２期間における発光領域ＬＡの位置を示している。
図１０（ｂ）に示す発光領域ＬＡは、１行目の３乃至５列目、２行目の２乃至４列目、３行目の１乃至３列目、４行目の１及び２列目、５行目の１列目の単位領域ＵＩに形成されている。第１期間と比較して第２期間の発光領域ＬＡは、単位領域ＵＩの１行分だけ移動している。つまり、第２期間の発光領域ＬＡは、第１期間の発光領域ＬＡと一部の単位領域ＵＩが共通である。このように、前後の期間で発光領域ＬＡが共通である場合には、より高精細に対象物をスキャンすることができる。

図１０（ｃ）に示す発光領域ＬＡは、１行目の５列目、２行目の４及び５列目、３行目の３乃至５列目、４行目の２乃至４列目、５行目の１乃至３列目、６行目の１及び２列目、７行目の１列目の単位領域ＵＩに形成されている。第１期間と比較して第２期間の発光領域ＬＡは、単位領域ＵＩの３行分だけ移動している。つまり、第１期間の発光領域ＬＡが形成された単位領域ＩＵに対して、次の行から第２期間の発光領域ＬＡが形成されている。このように、前後の期間で発光領域ＬＡが連続しているが共通でない場合には、図１０（ｂ）の例と比較して時間を短縮して高精細に対象物をスキャンすることができる。

図１０（ｄ）に示す発光領域ＬＡは、３行目の５列目、４行目の４及び５列目、５行目の３乃至５列目、６行目の２乃至４列目、７行目の１乃至３列目、８行目の１及び２列目の単位領域ＵＩに形成されている。第１期間と比較して第２期間の発光領域ＬＡは、単位領域ＵＩの５行分だけ移動している。つまり、第１期間の発光領域ＬＡが形成された単位領域ＩＵに対して、２行分の単位領域ＵＩを飛ばして第２期間の発光領域ＬＡが形成されている。このように、前後の期間で発光領域ＬＡが離れている場合には、図１０（ｃ）の例と比較して時間をさらに短縮して対象物をスキャンすることができる。

図１１は、発光領域ＬＡが有効領域ＡＡ内を２方向にスキャンする動作を示す平面図である。
図１１（ａ）に示す動作は、図７に示した動作と同様である。第１制御部１１は、発光領域ＬＡを有効領域ＡＡの一端から他端まで第２方向Ｙに沿って移動させることで対象物を照明する。換言すると、発光領域ＬＡは、辺Ｅ１から辺Ｅ２にかけて対象物をスキャンする。

次に、図１１（ｂ）に示すようにスキャンを行う。発光領域ＬＡは、線状に形成されている。発光領域ＬＡは、有効領域ＡＡの辺Ｅ３の長さと同等の幅Ｗ２を有している。第１制御部１１は、発光領域ＬＡを有効領域ＡＡの一端から他端まで第１方向Ｘに沿って移動させることで対象物を照明する。換言すると、発光領域ＬＡは、辺Ｅ３から辺Ｅ４にかけて対象物をスキャンする。
このように異なる２方向から対象物をスキャンすることで、対象物のより詳細な３次元データを得ることができる。

図１２は、発光領域ＬＡが有効領域ＡＡ内を２方向にスキャンする動作の他の例を示す平面図である。
図１２（ａ）に示す動作は、図９に示した動作と同様である。発光領域ＬＡは、角部ＣＮ１から角部ＣＮ２にかけて方向ａに沿って対象物をスキャンする。

次に、図１２（ｂ）に示すようにスキャンを行う。ここで、第１方向Ｘ及び第２方向Ｙの両方に交差する方向を方向ｂとする。方向ｂは、第２方向Ｙに対して時計周りに第２角度θ２で傾斜している。第１角度θ１と第２角度θ２とは、例えば、互いに等しい。発光領域ＬＡは、角部ＣＮ３から角部ＣＮ４にかけて方向ｂに沿って対象物をスキャンする。
このように異なる２方向から対象物をスキャンすることで、対象物のより詳細な３次元データを得ることができる。

図１３は、発光領域ＬＡが有効領域ＡＡ内をスキャンする動作の他の例を示す平面図である。図１３に示す例は、図７に示した例と比較して、発光領域ＬＡの形状が異なっている。図７に示した発光領域ＬＡが線状に形成されていたのに対して、図１３に示す発光領域ＬＡは、点状に形成されている。
発光領域ＬＡの第１方向Ｘに沿った幅Ｗ１１は、有効領域ＡＡの辺Ｅ１の長さより小さく形成されている。また、発光領域ＬＡの第２方向Ｙに沿った幅Ｗ２１は、有効領域ＡＡの辺Ｅ３の長さより小さく形成されている。

発光領域ＬＡは、角部ＣＮ１から移動を開始する。発光領域ＬＡは、第１方向Ｘと平行に移動し、辺Ｅ４に突き当たった後、第２方向Ｙの次の行へ移動する。そして、発光領域ＬＡは、第１方向Ｘと平行に反対側へ移動し、辺Ｅ３に突き当たった後、第２方向Ｙの次の行へ移動する。発光領域ＬＡは、この動作を辺Ｅ１から辺Ｅ２まで繰り返し行って有効領域ＡＡの全体を移動することで対象物を照明する。

図１４は、図１３に示した発光領域ＬＡの移動について、第１期間及び第２期間の発光領域ＬＡを模式的に示す図である。
図１４（ａ）は、第１期間における発光領域ＬＡの位置を示している。発光領域ＬＡは、１乃至３行目かつ１乃至３列目の単位領域ＵＩに形成されている。発光領域ＬＡは、第１期間の位置から第２期間の位置へ移動する。

図１４（ｂ）、図１４（ｃ）、及び、図１４（ｄ）は、第２期間における発光領域ＬＡの位置を示している。
図１４（ｂ）に示す発光領域ＬＡは、１乃至３行目かつ２乃至４列目の単位領域ＵＩに形成されている。第１期間と比較して第２期間の発光領域ＬＡは、単位領域ＵＩの１列分だけ移動している。つまり、第２期間の発光領域ＬＡは、第１期間の発光領域ＬＡと２及び３列目の単位領域ＵＩが共通である。このように、前後の期間で発光領域ＬＡが共通である場合には、より高精細に対象物をスキャンすることができる。

図１４（ｃ）に示す発光領域ＬＡは、１乃至３行目かつ４乃至６列目の単位領域ＵＩに形成されている。第１期間と比較して第２期間の発光領域ＬＡは、単位領域ＵＩの３列分だけ移動している。つまり、第１期間の発光領域ＬＡが形成された１乃至３列目の単位領域ＩＵに対して、次の４列目から第２期間の発光領域ＬＡが形成されている。このように、前後の期間で発光領域ＬＡが連続しているが共通でない場合には、図１４（ｂ）の例と比較して時間を短縮して高精細に対象物をスキャンすることができる。

図１４（ｄ）に示す発光領域ＬＡは、１乃至３行目かつ６乃至８列目の単位領域ＵＩに形成されている。第１期間と比較して第２期間の発光領域ＬＡは、単位領域ＵＩの５列分だけ移動している。つまり、第１期間の発光領域ＬＡが形成された１乃至３列目の単位領域ＩＵに対して、２列分の単位領域ＵＩを飛ばした６列目から第２期間の発光領域ＬＡが形成されている。このように、前後の期間で発光領域ＬＡが離れている場合には、図１４（ｃ）の例と比較して時間をさらに短縮して対象物をスキャンすることができる。

図１５は、発光領域ＬＡが有効領域ＡＡ内をスキャンする動作の他の例を示す平面図である。図１５に示す例は、図１３に示した例と比較して、発光領域ＬＡの移動方法が異なっている。
発光領域ＬＡは、角部ＣＮ１から移動を開始する。発光領域ＬＡは、辺Ｅ１に沿って移動し、辺Ｅ４に沿って移動し、辺Ｅ２に沿って移動し、辺Ｅ３に沿って移動する。そして、発光領域ＬＡは、既に周回した領域よりも内側で再び同様に移動する。発光領域ＬＡは、この動作を角部ＣＮ１から電子機器１００の中央部まで繰り返し行って有効領域ＡＡの全体を移動することで対象物を照明する。

なお、図７、９、１１、１２、１３、１５に示した例では、発光領域ＬＡは有効領域ＡＡの全体をスキャンしていたが、例えば、電子機器１００は、撮像素子ＩＳが対象物を一度撮像した後に対象物のおおよその面積を判断し、発光領域ＬＡが必要な領域のみをスキャンしてもよい。すなわち、対象物から一定以上離れた位置の発光素子Ｌを発光させなくてもよい。

図１６は、本実施形態に係る電子機器１００の他の例を概略的に示す平面図である。図１６に示す構成は、図１に示した構成と比較して、電子機器１００が３つの撮像素子ＩＳ１、ＩＳ２、ＩＳ３を備えている点で相違している。
撮像素子ＩＳ１は、例えば、発光素子Ｌ１が発光する赤色（Ｒ）の光を感知する。撮像素子ＩＳ２は、例えば、発光素子Ｌ２が発光する緑色（Ｇ）の光を感知する。撮像素子ＩＳ３は、例えば、発光素子Ｌ３が発光する青色（Ｂ）の光を感知する。このような構成では、例えば、画像の表示などによって有効領域ＡＡ内の各所で異なる色の発光素子Ｌを発光させたとしても、各色の発光素子Ｌ１、Ｌ２、Ｌ３によって形成された影を撮像素子ＩＳ１、ＩＳ２、ＩＳ３で同時に撮像することができる。

以上説明したように、本実施形態によれば、対象物を照明して生成した影を撮像することが可能な電子機器の制御方法を得ることができる。

なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００…電子機器、Ｌ…発光素子、ＬＡ…発光領域、
ＩＳ…撮像素子、ＩＡ…撮像領域、
ＳＨ…影、２００…対象物、ＡＡ…有効領域。

Claims (5)

1. 複数の発光素子を同時に点灯して形成した発光領域を移動させながら対象物を照明し、
   前記複数の発光素子と同一基板上の複数の撮像素子により、前記対象物によって生成される影を撮像し、
   影画像に基づいて前記対象物の外形の三次元データを作成する、電子機器の制御方法。
2. 前記発光領域は、線状に形成され、有効領域の一端から他端まで第１方向に沿って移動することで前記対象物を照明する、請求項１に記載の電子機器の制御方法。
3. 前記発光領域は、前記有効領域の一端から他端まで前記第１方向と交差する第２方向に沿って移動することで前記対象物を照明する、請求項２に記載の電子機器の制御方法。
4. 前記発光領域は、点状に形成され、第１方向と、前記第１方向と交差する第２方向に移動し、前記有効領域の全体を移動することで前記対象物を照明する、請求項１に記載の電子機器の制御方法。
5. 前記複数の撮像素子のうち、前記発光領域に重なる前記撮像素子は非駆動であり、前記発光領域とは異なる領域の前記撮像素子が影を撮像する、請求項１乃至４の何れか１項に記載の電子機器の制御方法。

Images