JP7167022B2 - 表示システム、および表示システムの動作方法 - Google Patents

Description

本発明の一態様は、表示システム、および表示システムの動作方法に関する。

なお、本発明の一態様は、上記の技術分野に限定されない。本明細書等で開示する発明の一態様の技術分野は、物、方法、または、製造方法に関するものである。または、本発明の一態様は、プロセス、マシン、マニュファクチャ、または、組成物（コンポジション・オブ・マター）に関するものである。そのため、より具体的に本明細書で開示する本発明の一態様の技術分野としては、半導体装置、表示装置、液晶表示装置、発光装置、照明装置、蓄電装置、記憶装置、撮像装置、それらの駆動方法、または、それらの製造方法、を一例として挙げることができる。

なお、本明細書等において半導体装置とは、半導体特性を利用することで機能しうる装置全般を指す。トランジスタ、半導体回路は半導体装置の一態様である。また、記憶装置、表示装置、撮像装置、電子機器は、半導体装置を有する場合がある。

車両周辺の情報を撮像するための撮像装置、および撮像で得られた情報を表示するための表示装置を備えた車両が普及している（例えば特許文献１）。

特開２０１７－５６７８号公報

車両周辺の情報を撮像するための撮像装置では、明暗差が大きい被写体を撮像する必要がある。例えば、トンネルの出口付近では、トンネル内部の照度は低く、トンネル外部の照度は高いため、撮像装置が取得する撮像データは、明暗差の大きい撮像データとなる。したがって、車両周辺の情報を撮像するための撮像装置は、高ダイナミックレンジであることが求められる。ここで、撮像で得られた情報を表示するための表示装置のダイナミックレンジが、撮像装置のダイナミックレンジよりも低い場合は、撮像データの階調を、表示装置で表現可能な階調に変換することにより、ダイナミックレンジ圧縮を行う必要がある。しかし、ダイナミックレンジ圧縮により、表示される画像が不鮮明となり、場合によっては黒つぶれおよび白とびが発生する。

本発明の一態様は、表示される画像が不鮮明となることを抑制しつつ、ダイナミックレンジ圧縮を行うことができる表示システムを提供することを課題の一とする。または、本発明の一態様は、黒つぶれおよび白とびの発生を抑制しつつ、ダイナミックレンジ圧縮を行うことができる表示システムを提供することを課題の一とする。または、本発明の一態様は、視認性の向上を図ることができる表示システムを提供することを課題の一とする。または、本発明の一態様は、高速に動作する表示システムを提供することを課題の一とする。または、本発明の一態様は、新規な表示システムを提供することを課題の一とする。

本発明の一態様は、表示される画像が不鮮明となることを抑制しつつ、ダイナミックレンジ圧縮を行うことができる表示システムの動作方法を提供することを課題の一とする。または、本発明の一態様は、黒つぶれおよび白とびの発生を抑制しつつ、ダイナミックレンジ圧縮を行うことができる表示システムの動作方法を提供することを課題の一とする。または、本発明の一態様は、視認性の向上を図ることができる表示システムの動作方法を提供することを課題の一とする。または、本発明の一態様は、高速に動作する表示システムの動作方法を提供することを課題の一とする。または、本発明の一態様は、新規な表示システムの動作方法を提供することを課題の一とする。

なお、これらの課題の記載は、他の課題の存在を妨げるものではない。なお、本発明の一態様は、これらの課題の全てを解決する必要はないものとする。なお、これら以外の課題は、明細書、図面、請求項等の記載から、自ずと明らかとなるものであり、明細書、図面、請求項等の記載から、これら以外の課題を抽出することが可能である。

本発明の一態様は、撮像装置と、制御装置と、表示装置と、を有する表示システムであって、撮像装置は、マトリクス状に配置された第１の画素を有し、表示装置は、マトリクス状に配置された第２の画素を有し、撮像装置は、第１の画素に照射された光の照度を基にして、第１の画像データを生成する機能を有し、制御装置は、第１の画像データを基に、ヒストグラム作成する機能を有し、制御装置は、ヒストグラムを、二以上の照度域に分割する機能を有し、制御装置は、第１の画像データが情報として有する、第１の画素に照射された光の照度に対応する階調を変換することにより、第１の画像データに対してダイナミックレンジ圧縮を行った第２の画像データを生成する機能を有し、制御装置は、それぞれの照度域におけるヒストグラムの積分値を基に、ダイナミックレンジ圧縮における圧縮率を、照度域ごとに計算する機能を有する表示システムである。

または、上記態様において、積分値が大きい照度域における圧縮率は、積分値が小さい照度域における圧縮率より小さくてもよい。

または、上記態様において、制御装置は、ニューラルネットワークを有し、ニューラルネットワークは、第１の画像データを基にして、第１の画像データが取得されたフレーム期間より後のフレーム期間において撮像装置が取得する第３の画像データを予測する機能を有してもよい。

または、上記態様において、制御装置は、第３の画像データを基にして、圧縮率を更新するか否かを判定する機能を有してもよい。

または、本発明の一態様は、第１の画素がマトリクス状に配列された撮像装置と、制御装置と、第２の画素がマトリクス状に配列された表示装置と、を有する表示システムの動作方法であって、撮像装置が、第１の画素に照射された光の照度を基にして、第１の画像データを生成し、制御装置が、第１の画像データを基に、ヒストグラムを作成し、制御装置が、ヒストグラムを、二以上の照度域に分割し、制御装置が、第１の画像データが情報として有する、第１の画素に照射された光の照度に対応する階調を変換することにより、それぞれの照度域におけるヒストグラムの積分値を基に照度域ごとに計算した圧縮率で、第１の画像データに対してダイナミックレンジ圧縮を行った第２の画像データを生成する機能を有する表示システムの動作方法である。

または、上記態様において、積分値が大きい照度域における圧縮率が、積分値が小さい照度域における圧縮率より小さくなるように、第１の画像データに対してダイナミックレンジ圧縮を行ってもよい。

または、上記態様において、制御装置は、ニューラルネットワークを有し、ニューラルネットワークにより、第１の画像データを基にして、第１の画像データが取得されたフレーム期間より後のフレーム期間において撮像装置が取得する第３の画像データを予測し、第３の画像データを基に、圧縮率を更新するか否かを判定してもよい。

本発明の一態様により、表示される画像が不鮮明となることを抑制しつつ、ダイナミックレンジ圧縮を行うことができる表示システムを提供することができる。または、本発明の一態様により、黒つぶれおよび白とびの発生を抑制しつつ、ダイナミックレンジ圧縮を行うことができる表示システムを提供することができる。または、本発明の一態様により、視認性の向上を図ることができる表示システムを提供することができる。または、本発明の一態様により、高速に動作する表示システムを提供することができる。または、本発明の一態様により、新規な表示システムを提供することができる。

本発明の一態様により、表示される画像が不鮮明となることを抑制しつつ、ダイナミックレンジ圧縮を行うことができる表示システムの動作方法を提供することができる。または、本発明の一態様により、黒つぶれおよび白とびの発生を抑制しつつ、ダイナミックレンジ圧縮を行うことができる表示システムの動作方法を提供することができる。または、本発明の一態様により、視認性の向上を図ることができる表示システムの動作方法を提供することができる。または、本発明の一態様により、高速に動作する表示システムの動作方法を提供することができる。または、本発明の一態様により、新規な表示システムの動作方法を提供することができる。

なお、本発明の一態様はこれらの効果に限定されるものではない。例えば、本発明の一態様は、場合によっては、または、状況に応じて、これらの効果以外の効果を有する場合もある。または、例えば、本発明の一態様は、場合によっては、または、状況に応じて、これらの効果を有さない場合もある。

表示システムの構成例を説明するブロック図。 表示システムを説明する図。 表示システムを説明する図。 表示システムを説明する図。 表示システムの構成例を説明するブロック図。 表示システムの動作方法の一例を説明するフローチャート。 表示システムの動作方法の一例を説明するフローチャート。 画素回路の構成例を説明する図、および撮像の動作方法の一例を説明するタイミングチャート。 撮像装置の画素の構成例を説明する図。 撮像装置の画素の構成例を説明する図。 撮像装置の画素の構成例を説明する図。 撮像装置の画素の構成例を説明する図。 撮像装置の画素の構成例を説明する図。 撮像装置を収めたパッケージ、モジュールの斜視図。 表示装置の構成例を説明する回路図。 表示装置の構成例を説明する図。 表示装置の構成例を説明する図。 記憶回路の構成例を説明するブロック図。 記憶回路の構成例を説明する図。 ニューラルネットワークの構成例を示す図。 半導体装置の構成例を説明する図。 メモリセルの構成例を説明する図。 オフセット回路の構成例を説明する図。 半導体装置の動作方法の一例を説明するタイミングチャート。 移動体の一例を説明する図。

以下では、本発明の実施の形態について図面を用いて詳細に説明する。ただし、本発明は以下の説明に限定されず、本発明の趣旨およびその範囲から逸脱することなくその形態および詳細を様々に変更し得ることは、当業者であれば容易に理解される。したがって、本発明は、以下に示す実施の形態の記載内容に限定して解釈されるものではない。

図面において、大きさ、層の厚さ、または領域は、明瞭化のために誇張されている場合がある。よって、必ずしもそのスケールに限定されない。なお図面は、理想的な例を模式的に示したものであり、図面に示す形状または値等に限定されない。例えば、ノイズによる信号、電圧、若しくは電流のばらつき、または、タイミングのずれによる信号、電圧、若しくは電流のばらつき等を含むことが可能である。

本明細書等において、「上に」、「下に」等の配置を示す語句は、構成同士の位置関係を、図面を参照して説明するために、便宜上用いている場合がある。また、構成同士の位置関係は、各構成を描写する方向に応じて適宜変化するものである。従って、明細書で説明した語句に限定されず、状況に応じて適切に言い換えることができる。

図面に記載したブロック図の各回路ブロックの配置は、説明のため位置関係を特定するものであり、異なる回路ブロックで別々の機能を実現するよう示していても、実際の回路ブロックにおいては同じ回路ブロック内で別々の機能を実現しうるように設けられている場合もある。また各回路ブロックの機能は、説明のため機能を特定するものであり、一つの回路ブロックとして示していても、実際の回路ブロックにおいては一つの回路ブロックで行う処理を、複数の回路ブロックで行うよう設けられている場合もある。

本明細書等において、半導体装置とは、半導体特性を利用した装置であり、半導体素子（トランジスタ、ダイオード等）を含む回路、同回路を有する装置等をいう。また、半導体特性を利用することで機能しうる装置全般をいう。例えば、集積回路（ＩＣ：Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、及びＩＣを備えたチップは、半導体装置の一例である。また、記憶装置、表示装置、発光装置、照明装置、および電子機器等は、それ自体が半導体装置である場合があり、または半導体装置を有している場合がある。

また、本明細書等において、ＸとＹとが接続されている、と明示的に記載されている場合は、ＸとＹとが電気的に接続されている場合と、ＸとＹとが機能的に接続されている場合と、ＸとＹとが直接接続されている場合とが、本明細書等に開示されているものとする。したがって、所定の接続関係、例えば、図または文章に示された接続関係に限定されず、図または文章に示された接続関係以外のものも、図または文章に記載されているものとする。Ｘ、Ｙは、対象物（例えば、装置、素子、回路、配線、電極、端子、導電膜、層、等）であるとする。

トランジスタは、ゲート、ソース、およびドレインと呼ばれる３つの端子を有する。ゲートは、トランジスタの導通状態を制御する制御ノードとして機能するノードである。ソースまたはドレインとして機能する２つの入出力ノードは、トランジスタの型および各端子に与えられる電位の高低によって、一方がソースとなり他方がドレインとなる。このため、本明細書等においては、ソースやドレインの用語は、入れ替えて用いることができるものとする。

ノードは、回路構成やデバイス構造等に応じて、端子、配線、電極、導電層、導電体、不純物領域等と言い換えることが可能である。また、端子、配線等をノードと言い換えることが可能である。

電圧は、ある電位と、基準の電位（例えば接地電位（ＧＮＤ）またはソース電位）との電位差のことを示す場合が多い。よって、電圧を電位と言い換えることが可能である。なお、電位とは、相対的なものである。よって、接地電位と記載されていても、必ずしも、０Ｖを意味しない場合もある。

本明細書等において、「膜」という言葉と「層」という言葉とは、場合によっては、または、状況に応じて、互いに入れ替えることが可能である。例えば、「導電層」という用語を「導電膜」という用語に変更することが可能な場合がある。例えば、「絶縁膜」という用語を、「絶縁層」という用語に変更することが可能な場合がある。

本明細書等において、“第１”、“第２”、“第３”という序数詞は構成要素の混同を避けるために付す場合があり、その場合は数的に限定するものではなく、また順序を限定するものでもない。

本明細書等において、人工ニューラルネットワーク（ＡＮＮ、以後、ニューラルネットワークと呼称する。）とは、生物の神経回路網を模したモデル全般を指す。一般的には、ニューラルネットワークは、ニューロンを模したユニットが、シナプスを模したユニットを介して、互いに結合された構成となっている。

シナプスの結合（ニューロン同士の結合）の強度（重み係数ともいう。）は、ニューラルネットワークに既存の情報を与えることによって、変化することができる。このように、ニューラルネットワークに既存の情報を与えて、結合強度を決める処理を「学習」という場合がある。

また、「学習」を行った（結合強度を定めた）ニューラルネットワークに対して、何らかの情報を与えることにより、その結合強度に基づいて新たな情報を出力することができる。このように、ニューラルネットワークにおいて、与えられた情報と結合強度に基づいて新たな情報を出力する処理を「推論」または「認知」という場合がある。

ニューラルネットワークのモデルとしては、例えば、ホップフィールド型、階層型等が挙げられる。特に、多層構造としたニューラルネットワークを「ディープニューラルネットワーク」（ＤＮＮ）と呼称し、ディープニューラルネットワークによる機械学習を「ディープラーニング」と呼称する。

本明細書等において、金属酸化物（ｍｅｔａｌ ｏｘｉｄｅ）とは、広い表現での金属の酸化物である。金属酸化物は、酸化物絶縁体、酸化物導電体（透明酸化物導電体を含む）、酸化物半導体（Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒまたは単にＯＳともいう）等に分類される。例えば、トランジスタの活性層に金属酸化物を用いた場合、当該金属酸化物を酸化物半導体と呼称する場合がある。つまり、金属酸化物が増幅作用、整流作用、およびスイッチング作用の少なくとも１つを有するトランジスタのチャネル形成領域を構成し得る場合、当該金属酸化物を、金属酸化物半導体（ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、略してＯＳということができる。また、ＯＳ ＦＥＴ（またはＯＳトランジスタ）と記載する場合においては、金属酸化物または酸化物半導体を有するトランジスタと換言することができる。

また、本明細書等において、ＣＡＡＣ（ｃ－ａｘｉｓ ａｌｉｇｎｅｄ ｃｒｙｓｔａｌ）、およびＣＡＣ（Ｃｌｏｕｄ－Ａｌｉｇｎｅｄ Ｃｏｍｐｏｓｉｔｅ）と記載する場合がある。なお、ＣＡＡＣは結晶構造の一例を表し、ＣＡＣは機能、または材料の構成の一例を表す。

また、本明細書等において、ＣＡＣ－ＯＳまたはＣＡＣ－ｍｅｔａｌ ｏｘｉｄｅとは、材料の一部では導電性の機能と、材料の一部では絶縁性の機能とを有し、材料の全体では半導体としての機能を有する。なお、ＣＡＣ－ＯＳまたはＣＡＣ－ｍｅｔａｌ ｏｘｉｄｅを、トランジスタの活性層に用いる場合、導電性の機能は、キャリアとなる電子（またはホール）を流す機能であり、絶縁性の機能は、キャリアとなる電子を流さない機能である。導電性の機能と、絶縁性の機能とを、それぞれ相補的に作用させることで、スイッチングさせる機能（Ｏｎ／Ｏｆｆさせる機能）をＣＡＣ－ＯＳまたはＣＡＣ－ｍｅｔａｌ ｏｘｉｄｅに付与することができる。ＣＡＣ－ＯＳまたはＣＡＣ－ｍｅｔａｌ ｏｘｉｄｅにおいて、それぞれの機能を分離させることで、双方の機能を最大限に高めることができる。

また、本明細書等において、ＣＡＣ－ＯＳまたはＣＡＣ－ｍｅｔａｌ ｏｘｉｄｅは、導電性領域、および絶縁性領域を有する。導電性領域は、上述の導電性の機能を有し、絶縁性領域は、上述の絶縁性の機能を有する。また、材料中において、導電性領域と、絶縁性領域とは、ナノ粒子レベルで分離している場合がある。また、導電性領域と、絶縁性領域とは、それぞれ材料中に偏在する場合がある。また、導電性領域は、周辺がぼけてクラウド状に連結して観察される場合がある。

また、ＣＡＣ－ＯＳまたはＣＡＣ－ｍｅｔａｌ ｏｘｉｄｅにおいて、導電性領域と、絶縁性領域とは、それぞれ０．５ｎｍ以上１０ｎｍ以下、好ましくは０．５ｎｍ以上３ｎｍ以下のサイズで材料中に分散している場合がある。

また、ＣＡＣ－ＯＳまたはＣＡＣ－ｍｅｔａｌ ｏｘｉｄｅは、異なるバンドギャップを有する成分により構成される。例えば、ＣＡＣ－ＯＳまたはＣＡＣ－ｍｅｔａｌ ｏｘｉｄｅは、絶縁性領域に起因するワイドギャップを有する成分と、導電性領域に起因するナローギャップを有する成分と、により構成される。当該構成の場合、キャリアを流す際に、ナローギャップを有する成分において、主にキャリアが流れる。また、ナローギャップを有する成分が、ワイドギャップを有する成分に相補的に作用し、ナローギャップを有する成分に連動してワイドギャップを有する成分にもキャリアが流れる。このため、上記ＣＡＣ－ＯＳまたはＣＡＣ－ｍｅｔａｌ ｏｘｉｄｅをトランジスタのチャネル領域に用いる場合、トランジスタのオン状態において高い電流駆動力、つまり大きなオン電流、および高い電界効果移動度を得ることができる。

すなわち、ＣＡＣ－ＯＳまたはＣＡＣ－ｍｅｔａｌ ｏｘｉｄｅは、マトリックス複合材（ｍａｔｒｉｘ ｃｏｍｐｏｓｉｔｅ）、または金属マトリックス複合材（ｍｅｔａｌ ｍａｔｒｉｘ ｃｏｍｐｏｓｉｔｅ）と呼称することもできる。

（実施の形態１）
本実施の形態では、本発明の一態様である表示システムについて、図面を参照して説明する。

本発明の一態様は、撮像装置と、制御装置と、表示装置と、を有する表示システム、およびその動作方法に関する。撮像装置および表示装置には、画素がマトリクス状に配置される。また、撮像装置にはＡ／Ｄ変換回路が設けられ、表示装置にはＤ／Ａ変換回路が設けられる。

撮像装置が有する画素によりアナログの撮像データが取得され、撮像装置に設けられたＡ／Ｄ変換回路により当該撮像データがデジタルの画像データに変換される。当該画像データは、制御装置によりダイナミックレンジ圧縮が行われる。ダイナミックレンジ圧縮後の画像データは、表示装置が有するＤ／Ａ変換回路によりアナログの表示データに変換される。これにより、表示装置のダイナミックレンジが撮像装置のダイナミックレンジより低い場合においても、表示装置が撮像データに対応する画像を表示することができる。

本明細書等において、ダイナミックレンジ圧縮前の画像データを、第１の画像データと言う場合がある。また、ダイナミックレンジ圧縮後の画像データを、第２の画像データと言う場合がある。

本発明の一態様では、第１の画像データのダイナミックレンジ圧縮率を、照度域ごとに異ならせる。具体的には、撮像装置が有する画素に照射された光のうち、多数の画素に照射された照度域においては、ダイナミックレンジ圧縮率を低くし、少数の画素にしか照射されていない照度域においては、ダイナミックレンジ圧縮率を高くする。これにより、ダイナミックレンジ圧縮を行った場合でも、表示装置により表示される画像が不鮮明となることを抑制することができる。また、黒つぶれおよび白とびが発生することを抑制することができる。以上により、表示装置により表示される画像の視認性を高めることができる。

また、制御装置は、ニューラルネットワークを有してもよい。ニューラルネットワークは、第１の画像データを基にして、後のフレームにおける第１の画像データを予測することができる。制御装置は、予測結果に応じて、例えばダイナミックレンジ圧縮率の更新頻度を決定することができる。例えば、第１の画像データの照度変化が小さいと予測された場合は、ダイナミックレンジ圧縮率の更新頻度を低くし、第１の画像データの照度変化が大きいと予測された場合は、ダイナミックレンジ圧縮率の更新頻度を高くすることができる。または、黒つぶれまたは白とびが発生すると予想された場合に、ダイナミックレンジ圧縮率を更新することができる。以上により、ダイナミックレンジ圧縮率を例えば毎フレーム期間ごとに更新する必要がなくなり、表示システムの動作を高速化することができる。また、適切なタイミングでダイナミックレンジ圧縮率を更新することができるので、ダイナミックレンジ圧縮率の更新頻度を低下させつつ、表示装置により表示される画像の視認性低下を抑制することができる。

撮像装置を自動車等の移動体に搭載する場合、当該撮像装置は高ダイナミックレンジであることが求められる。したがって、本発明の一態様の表示システムは、自動車等の移動体へ適用することが特に好ましい。

＜表示システムの構成例１＞
図１は、本発明の一態様の表示システムである表示システム１０の構成例を示すブロック図である。表示システム１０は、撮像装置２０、制御装置３０、および表示装置４０を有する。

撮像装置２０は、マトリクス状に配列された画素２１を有する画素アレイ２２と、ロードライバ２３と、Ａ／Ｄ変換回路２５と、カラムドライバ２６と、を有する。なお、ＣＤＳ回路等を設けてもよい。

撮像装置２０には、画素アレイ２２の行ごとに配線１７８が設けられ、１本の配線１７８は、１行分の画素２１の他、ロードライバ２３と電気的に接続されている。また、撮像装置２０には、画素アレイ２２の列ごとに配線１７４が設けられ、１本の配線１７４は、１列分の画素２１の他、Ａ／Ｄ変換回路２５およびカラムドライバ２６と電気的に接続されている。

撮像装置２０は、画素２１に照射された光の照度に応じた、アナログの撮像データを取得する機能を有する。また、図１に示す構成の撮像装置２０において、ロードライバ２３は、画素アレイ２２の行を選択する機能を有する。カラムドライバ２６は、画素アレイ２２の列を選択する機能を有する。Ａ／Ｄ変換回路２５は、撮像データをデジタルの画像データＩＭＧ１に変換し、カラムドライバ２６により選択された列に対応する画像データＩＭＧ１を、制御装置３０に出力する機能を有する。画像データＩＭＧ１では、画素２１に照射された光の照度を階調として表現している。

撮像装置２０は、具体的には、例えば自動車等の移動体に取り付けられるカメラモジュールである。このため、撮像装置２０は、高ダイナミックレンジの撮像素子を有することが好ましい。例えば、セレンを有する撮像素子を画素２１に設けることで、明暗差の大きい被写体を撮像する際に、撮像データの不鮮明な部分を減らすことができる。

制御装置３０は、解析回路３１および階調決定回路３２を有する。制御装置３０は、画像データＩＭＧ１が情報として有する、画素２１に照射された光の照度に対応する階調を、表示装置４０が有する画素４１によって表現可能な階調に変換する機能を有する。ここで、制御装置３０により階調が変換された後の画像データを、画像データＩＭＧ２とする。画像データＩＭＧ１を画像データＩＭＧ２に変換することにより、ダイナミックレンジ圧縮を行うことができる。

図１に示す構成の制御装置３０において、解析回路３１は、画像データＩＭＧ１を基にして、照射された光の照度ごとに画素２１の個数をカウントし、ヒストグラムを作成する機能を有する。

階調決定回路３２は、ヒストグラムを基にして、画像データＩＭＧ１のダイナミックレンジ圧縮率を決定する機能を有する。詳細は後述するが、例えばヒストグラムを二以上の照度域に分割し、照度域ごとにダイナミックレンジ圧縮率を異ならせる。具体的には、多数の画素２１に照射された照度域については、ダイナミックレンジ圧縮率を低くし、少数の画素２１にしか照射されていない照度域については、ダイナミックレンジ圧縮率を高くする。

階調決定回路３２は、画像データＩＭＧ１のダイナミックレンジ圧縮率を決定後、決定したダイナミックレンジ圧縮率に従って画像データＩＭＧ１の階調を変換することにより、画像データＩＭＧ２を生成する機能を有する。

表示装置４０は、マトリクス状に配列された画素４１を有する画素アレイ４２と、ロードライバ４３と、カラムドライバ４６と、を有する。ここで、カラムドライバ４６にはＤ／Ａ変換回路が設けられる。

表示装置４０には、画素アレイ４２の行ごとに配線３１７８が設けられ、１本の配線３１７８は、１行分の画素４１の他、ロードライバ４３と電気的に接続されている。また、表示装置４０には、画素アレイ４２の列ごとに配線３１７４が設けられ、１本の配線３１７４は、１列分の画素４１の他、カラムドライバ４６と電気的に接続されている。

表示装置４０は、画素４１から射出される光の照度を制御することで、画像を表示する機能を有する。また、図１に示す構成の表示装置４０において、ロードライバ４３は、画素アレイ４２の行を選択する機能を有する。カラムドライバ４６は、デジタルの画像データＩＭＧ２に対してＤ／Ａ変換を行うことにより、アナログの表示データを生成する機能を有する。また、カラムドライバ４６は、生成した表示データを画素４１に書き込む機能を有する。これにより、表示装置４０は、表示データに対応する画像を表示することができる。

表示システム１０では、撮像装置２０が生成した画像データＩＭＧ１に対して、制御装置３０がダイナミックレンジ圧縮を行うことにより、表示装置４０が有する画素４１から射出される光の照度を階調として表現した画像データＩＭＧ２を生成する。表示装置４０は、画像データＩＭＧ２に対応する画像を表示する。前述のように、撮像装置２０は高ダイナミックレンジであることが好ましい。したがって、ダイナミックレンジ圧縮を行うことにより、表示装置４０のダイナミックレンジが撮像装置２０のダイナミックレンジより低い場合であっても、表示装置４０が画像を表示することができる。

制御装置３０の機能について、図２乃至図４を用いて詳細に説明する。図２は、画像データＩＭＧ１から画像データＩＭＧ２への変換を説明する図である。図２では、画像データＩＭＧ２により表現可能な照度範囲が、画像データＩＭＧ１により表現可能な照度より範囲より狭い、つまり表示装置４０のダイナミックレンジが、撮像装置２０のダイナミックレンジより狭い場合を示す。また、図２では、一例として、画像データＩＭＧ１が３２階調を表現可能で、画像データＩＭＧ２が８階調を表現可能である場合を示す。なお、画像データＩＭＧ２が表現可能な階調を、照度が低い側から順に、階調４７［１］乃至階調４７［８］とする。

本明細書等において、高照度を表現する階調は、低照度を表現する階調より階調値が大きいと言う。例えば、図２に示す階調４７［１］乃至階調４７［８］の中では、階調４７［１］が最も階調値が小さく、階調４７［８］が最も階調値が大きい。

図２に示すように、例えば画像データＩＭＧ１における６階調分を、階調４７［１］としている。つまり、６階調分のダイナミックレンジを１階調に圧縮するということができる。一方、階調４７［２］は、画像データＩＭＧ１における２階調分としている。つまり、２階調分のダイナミックレンジを１階調に圧縮している。ここで、ダイナミックレンジ圧縮率は、“画像データＩＭＧ２の階調数／画像データＩＭＧ１の階調数”で表すことができ、この値が小さいほど、ダイナミックレンジ圧縮率が高いということができる。図２に示す場合では、画像データＩＭＧ１の階調を階調４７［１］に変換する際のダイナミックレンジ圧縮率は１／６であり、画像データＩＭＧ２の階調を階調４７［２］に変換する際のダイナミックレンジ圧縮率は１／２である。よって、撮像データの階調を階調４７［１］に変換する際のダイナミックレンジ圧縮率は、撮像データの階調を階調４７［２］に変換する際のダイナミックレンジ圧縮率より高いと言うことができる。

本発明の一態様では、ダイナミックレンジ圧縮を行うために画像データＩＭＧ１を画像データＩＭＧ２に変換する際に、図２に示すように照度域ごとにダイナミックレンジ圧縮率を変えることができる。

なお、図２では、画像データＩＭＧ２により表現可能な照度の下限が、画像データＩＭＧ１により表現可能な照度の下限より高く、画像データＩＭＧ２により表現可能な照度の上限が、画像データＩＭＧ１により表現可能な照度の上限より低い場合を示しているが、本発明の一態様はこれに限らない。例えば、画像データＩＭＧ２により表現可能な照度の下限が、画像データＩＭＧ１により表現可能な照度の下限以下であってもよい。または、画像データＩＭＧ２により表現可能な照度の上限が、画像データＩＭＧ１により表現可能な照度の上限以上であってもよい。

また、図２では、画像データＩＭＧ２により表現可能な階調数が、画像データＩＭＧ１により表現可能な階調数より少ない場合を示しているが、本発明の一態様はこれに限らない。例えば、画像データＩＭＧ２により表現可能な階調数と、画像データＩＭＧ１により表現可能な階調数とが同数であってもよい。

図３上段は、解析回路３１により取得されるヒストグラムであり、縦軸は画素２１の個数を、横軸は画素２１に照射された光の照度を示す。図３下段は、表示装置４０が表示する画像に対応する画像データＩＭＧ２が表現する階調と、撮像装置２０が有する画素２１に照射された光の照度との関係を示すグラフである。つまり、図３下段のグラフの縦軸は、表示装置４０が有する画素４１から射出される光の照度を表しており、上に行くほど照度が高いことを意味する。

また、図３下段において、実線で示すグラフは、階調決定回路３２が、図３上段に示すヒストグラムを用いてダイナミックレンジ圧縮率を決定した場合を示し、破線で示すグラフは、画素２１に照射された光の照度によらず、ダイナミックレンジ圧縮率を一定とした場合を示している。

図３では、画素２１に照射された光の照度を、照度域５０［１］乃至照度域５０［８］に分割している。なお、図３上段に示すヒストグラムと図３下段に示すグラフにおいて、横軸は同一であり、横軸左端は、画素２１が検出することができる光の照度の下限を、横軸右端は上限をそれぞれ示す。

図３下段の実線のグラフで示すように、照度域５０［１］乃至照度域５０［８］のうち、少数の画素２１にしか照射されていない照度域５０、つまり図３上段に示すヒストグラムにおいて積分値が小さい照度域５０においては、画素２１に照射される光の照度が増加しても、画像データＩＭＧ２により表現される階調値の増加幅が小さい。つまり、図２に示す階調４７［１］への変換と同様に、画像データＩＭＧ１から画像データＩＭＧ２へ変換する際のダイナミックレンジ圧縮率が高いといえる。一方、多数の画素２１に照射された照度域５０、つまり図３上段に示すヒストグラムにおいて積分値が大きい照度域５０においては、画素２１に照射される光の照度が増加すると、表示データの階調値が大きく増加する。つまり、図２に示す階調４７［２］への変換と同様に、画像データＩＭＧ１から画像データＩＭＧ２へ変換する際のダイナミックレンジ圧縮率が低いといえる。以上より、図３下段に示すグラフにおいて、画像データＩＭＧ１から画像データＩＭＧ２へ変換する際のダイナミックレンジ圧縮率は傾きで表され、傾きが急であるほど撮像データから表示データへ変換する際のダイナミックレンジ圧縮率が低いということができる。

階調決定回路３２は、画像データＩＭＧ１に対して、照度域５０ごとに図３下段に示される圧縮率でダイナミックレンジ圧縮を行うことにより、画像データＩＭＧ２を生成することができる。

ダイナミックレンジ圧縮率の算出方法の一例を、図３を用いて説明する。なお、表示装置４０が有する画素４１は、１００階調分の階調を表現可能とする。

まず、すべての画素２１に対する、照度域５０［１］乃至照度域５０［８］に対応する照度の光が照射された画素２１の割合を、照度域５０［１］乃至照度域５０［８］のそれぞれについて算出する。次に、算出した割合に応じて、照度域５０［１］乃至照度域５０［８］のそれぞれに割り当てる、画像データＩＭＧ２の階調数を決定する。例えば、２％の画素２１に、照度域５０［１］に対応する照度の光が照射された場合は、画像データＩＭＧ２の階調を、照度域５０［１］に対して２階調分割り当てる。例えば、２４％の画素２１に、照度域５０［２］に対応する照度の光が照射された場合は、画像データＩＭＧ２の階調を、照度域５０［２］に対して２４階調分割り当てる。以上を照度域５０［１］乃至照度域５０［８］の全てについて行うことで、照度域５０［１］乃至照度域５０［８］のそれぞれについて、ダイナミックレンジ圧縮率を算出することができる。

図４（Ａ１）は、図３下段の破線のグラフで示すように、撮像装置２０が有する画素２１に照射された光の照度によらず、ダイナミックレンジ圧縮率を一定とした場合に、表示装置４０により表示される画像を示している。図４（Ａ２）は、表示装置４０が図４（Ａ１）に示す画像を表示する場合におけるヒストグラムであり、縦軸は表示装置４０が有する画素４１の個数を、横軸は画素４１から射出される光の照度を示す。

図４（Ｂ１）は、図３下段の実線のグラフで示すように、ダイナミックレンジ圧縮率を図３上段に示すようなヒストグラムを用いて照度域ごとに決定した場合に、表示装置４０により表示される画像を示している。図４（Ｂ２）は、表示装置４０が図４（Ｂ１）に示す画像を表示する場合におけるヒストグラムである。

なお、図４（Ａ２）、（Ｂ２）において、横軸左端は、画素４１が射出することができる光の照度の下限を、横軸右端は上限をそれぞれ示す。

図４（Ａ１）、（Ａ２）に示す場合では、下限付近の照度の光を射出する画素４１の個数と、上限付近の照度の光を射出する画素４１の個数が多い。これにより、黒つぶれおよび白とびが発生し、表示装置４０により表示される画像が不鮮明となる。一方、図４（Ｂ１）、（Ｂ２）に示す場合では、図４（Ａ１）、（Ａ２）に示す場合と比べて、照度域ごとの画素４１の個数が平準化されている。したがって、図４（Ａ１）、（Ａ２）に示す場合と比べて、黒つぶれおよび白とびが発生せず、表示装置４０により表示される画像を鮮明なものとすることができるため、画像の視認性を高めることができる。

＜表示システムの構成例２＞
図５は、図１に示す表示システム１０の変形例を示すブロック図である。図５に示す構成の表示システム１０は、解析回路３１および階調決定回路３２の他、記憶回路３３および予測回路３４を有する点が、図４に示す構成の表示システム１０と異なる。

記憶回路３３は、撮像装置２０により生成された画像データＩＭＧ１、解析回路３１により作成されたヒストグラム、階調決定回路３２により計算されたダイナミックレンジ圧縮率等を保持する機能を有する。予測回路３４は、受信した画像データＩＭＧ１の、次以降のフレームの画像データＩＭＧ１を予測する機能を有する。例えば、受信した画像データＩＭＧ１の、１フレーム後の画像データＩＭＧ１、または２フレーム以上後の画像データＩＭＧ１を予測する機能を有する。

予測回路３４は、例えば記憶回路３３に保持された画像データＩＭＧ１、ヒストグラム、およびダイナミックレンジ圧縮率、サーバ５２に保存された情報、ならびに機器５３により取得された情報等を基にして、画像データＩＭＧ１を予測する機能を有する。なお、サーバ５２は、ネットワーク５１を介して予測回路３４と接続されている。

予測回路３４は、例えば記憶回路３３に保持された画像データＩＭＧ１について画像認識を行い、先行車および対向車、ならびに歩行者等の位置、太陽光、街灯、およびヘッドライト等の照度、その他の外部環境に関するデータを取得する機能を有する。また、予測回路３４は、例えばサーバ５２から現在時刻等に関する情報を取得する機能を有する。また、機器５３は、例えばＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）とすることができ、撮像装置２０が搭載されている移動体の位置および方向等に関する情報を取得し、当該情報を予測回路３４に出力する機能を有する。以上示した情報等を基に、予測回路３４は、画像データＩＭＧ１を予測することができる。なお、機器５３は、二以上の機器から構成されていてもよい。

予測回路３４は、上記予測結果に応じて、ダイナミックレンジ圧縮率の更新タイミング、頻度等を決定することができる。例えば、黒つぶれまたは白とびが発生すると予想された場合に、ダイナミックレンジ圧縮率を更新することができる。または、画像データＩＭＧ１の照度変化が小さいと予測された場合は、ダイナミックレンジ圧縮率の更新頻度を低くし、画像データＩＭＧ１の照度変化が大きいと予測された場合は、ダイナミックレンジ圧縮率の更新頻度を高くすることができる。以上により、ダイナミックレンジ圧縮率を例えば毎フレーム期間ごとに更新する必要がなくなり、表示システム１０の動作を高速化することができる。また、適切なタイミングでダイナミックレンジ圧縮率を更新することができるので、ダイナミックレンジ圧縮率の更新頻度を低下させつつ、表示装置４０により表示される画像の視認性低下を抑制することができる。

ここで、予測回路３４は、ニューラルネットワークを有する回路とすることができる。予測回路３４を当該構成とすることにより、画像データＩＭＧ１を高精度で予測することができる。

ニューラルネットワークは、学習を行うことにより、上記機能を有するようになる。学習の際は、まず、ニューラルネットワークに画像データＩＭＧ１、ならびにサーバ５２および機器５３から取得した情報等を入力する。その後、入力した画像データＩＭＧ１の１フレーム後の画像データＩＭＧ１、または２フレーム以上後の画像データＩＭＧ１を教師データとして、ニューラルネットワークに学習を行わせる。具体的には、例えばニューラルネットワークの重み係数を更新する。当該動作を繰り返すことにより、ニューラルネットワークは画像データＩＭＧ１を高精度で予測することができるようになる。

＜表示システムの動作方法例＞
次に、図５に示す構成の表示システム１０の動作方法の一例について、図６および図７を用いて説明する。図６は、当該動作方法の一例を示すフローチャートである。

まず、撮像装置２０が、画素２１に照射された光の照度に応じた、アナログの撮像データを取得する（ステップＳ０１）。次に、撮像装置２０に設けられたＡ／Ｄ変換回路２５が、ステップＳ０１で取得した撮像データをデジタルの画像データＩＭＧ１に変換する（ステップＳ０２）。その後、画像データＩＭＧ１を制御装置３０が有する各回路、具体的には解析回路３１、階調決定回路３２、および記憶回路３３等に送信する。

次に、解析回路３１が、Ａ／Ｄ変換回路２５から受信した画像データＩＭＧ１を基にして、照射された光の照度ごとに画素２１の個数をカウントし、図３上段に示すようなヒストグラムを作成する（ステップＳ０３）。作成されたヒストグラムは、階調決定回路３２および記憶回路３３等に送信される。

その後、階調決定回路３２が、解析回路３１から受信したヒストグラムを基にして、画像データＩＭＧ１のダイナミックレンジ圧縮率を決定する。具体的には、図３上段に示すように、ヒストグラムを二以上の照度域に分割し、照度域ごとにダイナミックレンジ圧縮率を異ならせる（ステップＳ０４）。図３下段のグラフに示すように、多数の画素２１に照射された照度域、つまりヒストグラムにおいて積分値が大きい照度域については、ダイナミックレンジ圧縮率を低くする。一方、少数の画素２１にしか照射されていない照度域、つまりヒストグラムにおいて積分値が小さい照度域については、ダイナミックレンジ圧縮率を高くする。

次に、階調決定回路３２が、決定したダイナミックレンジ圧縮率に従って、画像データＩＭＧ１の階調を図２に示すように変換することにより、ダイナミックレンジを圧縮した画像データＩＭＧ２を生成する（ステップＳ０５）。

次に、表示装置４０が有するカラムドライバ４６に設けられたＤ／Ａ変換回路が、デジタルの画像データＩＭＧ２をアナログの表示データに変換する（ステップＳ０６）。その後、カラムドライバ４６が画素４１に表示データを書き込むことにより、表示装置４０が表示データに対応する画像を表示する（ステップＳ０７）。

次に、予測回路３４が、記憶回路３３に保持された画像データＩＭＧ１、ヒストグラム、およびダイナミックレンジ圧縮率等のうち、必要な情報を読み出す。また、サーバ５２から必要な情報を、ネットワーク５１を介して取得する。さらに、機器５３が必要な情報を取得し、取得した情報を予測回路３４に送信する。以上取得した情報により、予測回路３４が、記憶回路３３から読み出した画像データＩＭＧ１の次以降のフレームの画像データＩＭＧ１を予測する（ステップＳ０８）。例えば、記憶回路３３から読み出した画像データＩＭＧ１より、１フレーム後の画像データＩＭＧ１、または２フレーム以上後の画像データＩＭＧ１を予測する。

次に、予測回路３４による予測結果に応じて、ダイナミックレンジ圧縮率の更新が必要か否かを判定する（ステップＳ０９）。例えば、予測された画像データＩＭＧ１と、予測回路３４が読み出したダイナミックレンジ圧縮率と、を基にして、当該予測された画像データＩＭＧ１を画像データＩＭＧ２に変換した場合に、黒つぶれまたは白とびが発生するか否かを予測回路３４が予測する。黒つぶれまたは白とびが発生すると予測された場合は、ダイナミックレンジ圧縮率の更新が必要と判断し、ステップＳ０１に戻る。黒つぶれまたは白とびが発生しないと予測された場合は、ダイナミックレンジ圧縮率の更新は必要でないと判断する。この場合、ステップＳ０１と同様に撮像装置２０が撮像データを取得した後（ステップＳ１０）、ステップＳ０２と同様にＡ／Ｄ変換回路２５が、ステップＳ１０で取得した撮像データを画像データＩＭＧ１に変換し（ステップＳ１１）、画像データＩＭＧ１を制御装置３０が有する各回路に送信する。その後、ステップＳ０３およびステップＳ０４を省略し、ステップＳ０５に戻る。以上が図５に示す構成の表示システム１０の動作方法の一例である。

ここで、ステップＳ０９でダイナミックレンジ圧縮率の更新は必要でないと判断された場合は、ステップＳ０５において、記憶回路３３に保持されたダイナミックレンジ圧縮率を読み出し、読み出したダイナミックレンジ圧縮率を用いて画像データＩＭＧ１の階調を変換する。

なお、ステップＳ０９による判定結果に関する情報は、予測回路３４から、例えば解析回路３１および階調決定回路３２に伝達する。例えば、ダイナミックレンジ圧縮率の更新が必要であると判定された場合は高電位となり、ダイナミックレンジ圧縮率の更新が必要でないと判定された場合は低電位となる信号を、解析回路３１および階調決定回路３２等に送信することにより、判定結果に関する情報を伝達することができる。上記信号の論理は逆でもよい。

図７は、図６に示す動作方法の変形例であり、階調決定回路３２がダイナミックレンジ圧縮率を決定した後、ｎフレーム期間経過後（ｎは１以上の整数）にダイナミックレンジ圧縮率を更新する場合の動作方法の一例である。

図７において、ステップＳ０１乃至ステップＳ０８は、図６に示す場合と同様である。ステップＳ０８の後、予測した画像データＩＭＧ１等を基にして、ｎの値を予測回路３４が決定する（ステップＳ２１）。例えば、画像データＩＭＧ１の照度変化が小さいと予測された場合はｎを大きくし、画像データＩＭＧ２の照度変化が大きいと予測された場合はｎを小さくする。

次に、ステップＳ０１からｎフレーム期間が経過したか否かを判定する（ステップＳ２２）。ｎフレーム期間経過した場合は、ダイナミックレンジ圧縮率の更新が必要と判断し、ステップＳ０１に戻る。

ｎフレーム期間が経過していない場合は、まず、ステップＳ０１と同様に撮像装置２０が撮像データを取得する（ステップＳ２３）。次に、ステップＳ０２と同様にＡ／Ｄ変換回路２５が、ステップＳ２３で取得した撮像データを画像データＩＭＧ１に変換する（ステップＳ２４）。その後、画像データＩＭＧ１を制御装置３０が有する各回路に送信する。

次に、階調決定回路３２が、ステップＳ０４で決定したダイナミックレンジ圧縮率を記憶回路３３から読み出し、当該ダイナミックレンジ圧縮率に従って画像データＩＭＧ１の階調を変換する。これにより、画像データＩＭＧ２を生成する（ステップＳ２５）。

次に、ステップＳ０６と同様に、表示装置４０が有するカラムドライバ４６に設けられたＤ／Ａ変換回路が、デジタルの画像データＩＭＧ２をアナログの表示データに変換する（ステップＳ２６）。その後、ステップＳ０７と同様に、カラムドライバ４６が画素４１に表示データを書き込むことにより、表示装置４０が表示データに対応する画像を表示する（ステップＳ２７）。

次に、ステップＳ２２に戻り、ステップＳ０１からｎフレーム期間が経過したか否かを再び判定する。以上が図５に示す構成の表示システム１０の動作方法の一例である。

なお、ステップＳ２２による判定結果に関する情報は、予測回路３４から、例えば解析回路３１および階調決定回路３２に伝達する。例えば、ｎの値を表す信号を、解析回路３１および階調決定回路３２等に送信することにより、判定結果に関する情報を伝達することができる。当該信号は、２ビット以上の信号とすることができる。

図６または図７に示す方法で表示システム１０を動作させることにより、ダイナミックレンジ圧縮率を例えば毎フレーム期間ごとに更新する必要がなくなり、表示システム１０の動作を高速化することができる。また、適切なタイミングでダイナミックレンジ圧縮率を更新することができるので、ダイナミックレンジ圧縮率の更新頻度を低下させつつ、表示装置４０により表示される画像の視認性低下を抑制することができる。

なお、図６および図７に示すように、ダイナミックレンジ圧縮率の更新を行わない場合、ステップＳ０３を行わない。このため、解析回路３１をスタンバイ状態とすることにより解析回路３１の消費電力を低減することができる。また、ステップＳ０４を行わないので、ダイナミックレンジ圧縮率の計算を行わない。よって、階調決定回路３２の動作負荷を軽減することができ、階調決定回路３２の消費電力を低減することができる。

＜撮像装置の構成例＞
次に、撮像装置２０の詳細な構成例について、図８乃至図１４を用いて詳細に説明する。

［画素回路の構成および動作方法の一例］
図８（Ａ）は、画素２１の回路構成例を説明する図である。つまり、図８（Ａ）は、撮像装置２０が有する画素回路の構成例を説明する図である。図８（Ａ）に示す構成の画素２１は、光電変換素子１５０と、トランジスタ１５１と、トランジスタ１５２と、トランジスタ１５３と、トランジスタ１５４と、容量素子１５５と、を有する。

光電変換素子１５０の一方の電極は、トランジスタ１５１のソースまたはドレインの一方と電気的に接続される。トランジスタ１５１のソースまたはドレイン一方は、トランジスタ１５２のソースまたはドレインの一方と電気的に接続される。トランジスタ１５１のソースまたはドレインの他方は、トランジスタ１５３のゲートと電気的に接続される。トランジスタ１５３のゲートは、容量素子１５５の一方の電極と電気的に接続される。トランジスタ１５３のソースまたはドレインの一方は、トランジスタ１５４のソースまたはドレインの一方と電気的に接続される。なお、容量素子１５５が設けられない構成であってもよい。

光電変換素子１５０の他方の電極は、配線１７１と電気的に接続される。トランジスタ１５１のゲートは、配線１７６と電気的に接続される。トランジスタ１５２のゲートは、配線１７７と電気的に接続される。トランジスタ１５２のソースまたはドレインの他方は、配線１７２と電気的に接続される。トランジスタ１５３のソースまたはドレインの他方は、配線１７３に電気的に接続される。トランジスタ１５４のソースまたはドレインの他方は、配線１７４と電気的に接続される。トランジスタ１５４のゲートは、配線１７８と電気的に接続される。容量素子１５５の他方の電極は、配線１７５と電気的に接続される。

配線１７１、配線１７２、配線１７３、および配線１７５は、電源線としての機能を有する。例えば、配線１７１および配線１７３は高電位電源線、配線１７２および配線１７５は低電位電源線とすることができる。配線１７６、配線１７７、および配線１７８は、各トランジスタの導通を制御する信号線としての機能を有する。また、配線１７４は、画素２１から信号を出力する出力線としての機能を有する。

なお、光電変換素子１５０の一方の電極、トランジスタ１５１のソースまたはドレインの一方、およびトランジスタ１５２のソースまたはドレインの一方が接続される配線を電荷蓄積部ＮＲとする。また、トランジスタ１５１のソースまたはドレインの他方、トランジスタ１５３のゲート、および容量素子１５５の一方の電極が接続される配線を電荷検出部ＮＤとする。

トランジスタ１５１は、光電変換素子１５０の動作に応じて変化する電荷蓄積部ＮＲの電位を電荷検出部ＮＤに転送する機能を有する。トランジスタ１５２は、電荷蓄積部ＮＲおよび電荷検出部ＮＤの電位を初期化する機能を有する。トランジスタ１５３は、電荷検出部ＮＤの電位に応じた信号を出力する機能を有する。トランジスタ１５４は、信号を読み出す画素２１を選択する機能を有する。

光電変換素子１５０には、光検出感度を高めるためアバランシェフォトダイオードを用いてもよい。アバランシェフォトダイオードを用いる場合は、比較的高い電位を配線１７１に供給する必要がある。

このとき、光電変換素子１５０と接続されるトランジスタには、高電圧を印加できる高耐圧のトランジスタを用いることが好ましい。当該トランジスタには、例えば、金属酸化物をチャネル形成領域に用いたトランジスタであるＯＳトランジスタ等を用いることができる。具体的には、トランジスタ１５１およびトランジスタ１５２にＯＳトランジスタを適用することが好ましい。

また、トランジスタ１５１およびトランジスタ１５２をＯＳトランジスタとすることで、その低いオフ電流特性によって、電荷検出部ＮＤおよび電荷蓄積部ＮＲで電荷を保持できる期間を極めて長くすることができる。そのため、回路構成や動作方法を複雑にすることなく、全画素で同時に電荷の蓄積動作を行い、順次読み出し動作を行うグローバルシャッタ方式を適用することができる。

一方、トランジスタ１５３は増幅特性が優れていることが望まれるため、オン電流が高いトランジスタであることが好ましい。したがって、トランジスタ１５３およびトランジスタ１５４には、シリコンをチャネル形成領域に用いたトランジスタ（以下、Ｓｉトランジスタ）を適用することが好ましい。

光電変換素子１５０にアバランシェフォトダイオードを用い、トランジスタ１５１乃至トランジスタ１５４を上述した構成とすることで、低照度における光の検出感度が高く、ノイズの少ない信号を出力することのできる撮像装置を作製することができる。また、光の検出感度が高いため、光の取り込み時間を短くすることができ、撮像を高速に行うことができる。

なお、上記構成に限らず、光電変換素子１５０はアバランシェ増倍が生じない素子であってもよい。また、アバランシェフォトダイオードにアバランシェ増倍が生じない電位を印加して使用してもよい。

また、トランジスタ１５３およびトランジスタ１５４にＯＳトランジスタを適用してもよい。または、トランジスタ１５１およびトランジスタ１５２にＳｉトランジスタを適用してもよい。いずれの場合においても画素２１を動作させることができる。

次に、図８（Ｂ）のタイミングチャートを用いて、画素２１の動作方法の一例を説明する。なお、以下に説明する一例の動作において、各配線に供給される電位は下記の通りとする。配線１７６、配線１７７、および配線１７８には、高電位としてＶＤＤ、低電位としてＧＮＤの電位が供給される。配線１７１および配線１７３には、ＶＤＤの電位が供給される。配線１７２および配線１７５には、ＧＮＤの電位が供給される。なお、配線１７１にＶＤＤより高い電位ＨＶＤＤを供給する等、各配線に上記以外の電位を供給してもよい。

時刻Ｔ１に配線１７６を高電位、配線１７７を高電位とし、電荷蓄積部ＮＲおよび電荷検出部ＮＤの電位をリセット電位（ＧＮＤ）に設定する（リセット動作）。

時刻Ｔ２に配線１７６を低電位、配線１７７を低電位とすることで、電荷蓄積部ＮＲの電位が変化し始める（蓄積動作）。電荷蓄積部ＮＲの電位は、光電変換素子１５０に入射した光の強度に応じて、ＧＮＤ近傍からＶＤＤ近傍まで変化する。

時刻Ｔ３に配線１７６を高電位、配線１７７を低電位とし、電荷蓄積部ＮＲの電荷を電荷検出部ＮＤに転送する（転送動作）。

時刻Ｔ４に配線１７６を低電位、配線１７７を低電位とし、転送動作を終了させる。この時点で電荷検出部ＮＤの電位が確定する。

時刻Ｔ５乃至Ｔ６の期間に配線１７６を低電位、配線１７７を低電位、配線１７８を高電位とし、電荷検出部ＮＤの電位に応じた信号を配線１７４に出力する。すなわち、蓄積動作を行う期間において光電変換素子１５０に入射した光の強度に応じた出力信号を得ることができる。

［画素の構成例］
図９（Ａ）に、上述した画素回路を有する画素２１の構成例を示す。図９（Ａ）に示す画素は、層１６１および層１６２の積層構成を有する例である。

層１６１は、光電変換素子１５０を有する。光電変換素子１５０は、図９（Ｃ）に示すように層１６５ａと、層１６５ｂと、層１６５ｃとの積層とすることができる。

図９（Ｃ）に示す光電変換素子１５０はｐｎ接合型フォトダイオードであり、例えば、層１６５ａにｐ^＋型半導体、層１６５ｂにｎ型半導体、層１６５ｃにｎ^＋型半導体を用いることができる。または、層１６５ａにｎ^＋型半導体、層１６５ｂにｐ型半導体、層１６５ｃにｐ^＋型半導体を用いてもよい。または、層１６５ｂをｉ型半導体としたｐｉｎ接合型フォトダイオードであってもよい。

上記ｐｎ接合型フォトダイオードまたはｐｉｎ接合型フォトダイオードは、単結晶シリコンを用いて形成することができる。また、ｐｉｎ接合型フォトダイオードとしては、非晶質シリコン、微結晶シリコン、多結晶シリコン等の薄膜を用いて形成することもできる。

また、層１６１が有する光電変換素子１５０は、図９（Ｄ）に示すように、層１６６ａと、層１６６ｂと、層１６６ｃと、層１６６ｄとの積層としてもよい。図９（Ｄ）に示す光電変換素子１５０はアバランシェフォトダイオードの一例であり、層１６６ａおよび層１６６ｄは電極に相当し、層１６６ｂおよび層１６６ｃは光電変換部に相当する。

層１６６ａは、低抵抗の金属層等とすることが好ましい。例えば、アルミニウム、チタン、タングステン、タンタル、銀、またはそれらの積層を用いることができる。

層１６６ｄは、可視光に対して高い透光性を有する導電層を用いることが好ましい。例えば、インジウム酸化物、錫酸化物、亜鉛酸化物、インジウム－錫酸化物、ガリウム－亜鉛酸化物、インジウム－ガリウム－亜鉛酸化物、またはグラフェン等を用いることができる。なお、層１６６ｄを省く構成とすることもできる。

光電変換部の層１６６ｂおよび層１６６ｃは、例えばセレン系材料を光電変換層としたｐｎ接合型フォトダイオードの構成とすることができる。層１６６ｂとしてはｐ型半導体であるセレン系材料を用い、層１６６ｃとしてはｎ型半導体であるガリウム酸化物等を用いることが好ましい。

セレン系材料を用いた光電変換素子は、可視光に対する外部量子効率が高いという特性を有する。当該光電変換素子では、アバランシェ増倍を利用することにより、入射される光量に対するキャリアの増幅を大きくすることができる。また、セレン系材料は光吸収係数が高いため、光電変換層を薄膜で作製できる等の生産上の利点を有する。セレン系材料の薄膜は、真空蒸着法またはスパッタ法等を用いて形成することができる。

セレン系材料としては、単結晶セレンや多結晶セレン等の結晶性セレン、非晶質セレン、銅、インジウム、セレンの化合物（ＣＩＳ）、または、銅、インジウム、ガリウム、セレンの化合物（ＣＩＧＳ）等を用いることができる。

ｎ型半導体は、バンドギャップが広く、可視光に対して透光性を有する材料で形成することが好ましい。例えば、亜鉛酸化物、ガリウム酸化物、インジウム酸化物、錫酸化物、またはそれらが混在した酸化物等を用いることができる。また、これらの材料は正孔注入阻止層としての機能も有し、暗電流を小さくすることもできる。

図９（Ａ）に示す層１６２としては、例えばシリコン基板を用いることができる。当該シリコン基板には、Ｓｉトランジスタ等が設けられ、前述した画素回路の他、当該画素回路を駆動する回路、画像信号の読み出し向路、画像処理回路等を設けることができる。

また、画素は、図９（Ｂ）に示すように層１６１、層１６３、および層１６２の積層構成を有していてもよい。

層１６３は、ＯＳトランジスタ（例えば、画素回路のトランジスタ１５１およびトランジスタ１５２）を有することができる。このとき、層１６２は、Ｓｉトランジスタ（例えば、画素回路のトランジスタ１５３およびトランジスタ１５４）を有することが好ましい。

当該構成とすることで、画素回路を構成する要素を複数の層に分散させ、かつ当該要素を重ねて設けることができるため、撮像装置の面積を小さくすることができる。なお、図９（Ｂ）の構成において、層１６２を支持基板とし、層１６１および層１６３に画素回路を設けてもよい。

図１０（Ａ）は、図９（Ａ）に示す画素の断面の一例を説明する図である。層１６１は光電変換素子１５０として、シリコンを光電変換層とするｐｎ接合型フォトダイオードを有する。層１６２は、画素回路を構成するＳｉトランジスタ等を有する。

光電変換素子１５０において、層１６５ａはｐ^＋型領域、層１６５ｂはｎ型領域、層１６５ｃはｎ^＋型領域とすることができる。また、層１６５ｂには、電源線と層１６５ｃとを接続するための領域１３６が設けられる。例えば、領域１３６はｐ^＋型領域とすることができる。

図１０（Ａ）において、Ｓｉトランジスタはシリコン基板１４０にチャネル形成領域を有するプレーナー型の構成を示しているが、図１２（Ａ）、（Ｂ）に示すように、シリコン基板１４０にフィン型の半導体層を有する構成であってもよい。図１２（Ａ）はチャネル長方向の断面、図１２（Ｂ）はチャネル幅方向の断面に相当する。

または、図１２（Ｃ）に示すように、シリコン薄膜の半導体層１４５を有するトランジスタであってもよい。半導体層１４５は、例えば、シリコン基板１４０上の絶縁層１４６上に形成された単結晶シリコン（ＳＯＩ（Ｓｉｌｉｃｏｎ ｏｎ Ｉｎｓｕｌａｔｏｒ））とすることができる。

ここで、図１０（Ａ）では、層１６１が有する要素と層１６２が有する要素との電気的な接続を貼り合わせ技術で得る構成例を示している。

層１６１には、絶縁層１４２、導電層１３３および導電層１３４が設けられる。導電層１３３および導電層１３４は、絶縁層１４２に埋設された領域を有する。導電層１３３は、層１６５ａと電気的に接続される。導電層１３４は、領域１３６と電気的に接続される。また、絶縁層１４２、導電層１３３および導電層１３４の表面は、それぞれ高さが一致するように平坦化されている。

層１６２には、絶縁層１４１、導電層１３１および導電層１３２が設けられる。導電層１３１および導電層１３２は、絶縁層１４１に埋設された領域を有する。導電層１３２は、電源線と電気的に接続される。導電層１３１は、トランジスタ１５１のソースまたはドレインと電気的に接続される。また、絶縁層１４１、導電層１３１および導電層１３２の表面は、それぞれ高さが一致するように平坦化されている。

ここで、導電層１３１および導電層１３３は、主成分が同一の金属元素であることが好ましい。導電層１３２および導電層１３４は、主成分が同一の金属元素であることが好ましい。また、絶縁層１４１および絶縁層１４２は、同一の成分で構成されていることが好ましい。

例えば、導電層１３１、導電層１３２、導電層１３３、および導電層１３４には、Ｃｕ、Ａｌ、Ｓｎ、Ｚｎ、Ｗ、Ａｇ、Ｐｔ、またはＡｕ等を用いることができる。接合のしやすさから、好ましくはＣｕ、Ａｌ、Ｗ、またはＡｕを用いる。また、絶縁層１４１および絶縁層１４２には、酸化シリコン、酸化窒化シリコン、窒化酸化シリコン、窒化シリコン、窒化チタン等を用いることができる。

つまり、導電層１３１および導電層１３３の組み合わせと、導電層１３２および導電層１３４の組み合わせのそれぞれに、上記に示す同一の金属材料を用いることが好ましい。また、絶縁層１４１および絶縁層１４２のそれぞれに、上記に示す同一の絶縁材料を用いることが好ましい。当該構成とすることで、層１６１と層１６２の境を接合位置とする、貼り合わせを行うことができる。

当該貼り合わせによって、導電層１３１および導電層１３３の組み合わせと、導電層１３２および導電層１３４の組み合わせのそれぞれの電気的な接続を得ることができる。また、絶縁層１４１および絶縁層１４２の機械的な強度を有する接続を得ることができる。

金属層同士の接合には、表面の酸化膜および不純物の吸着層等をスパッタリング処理等で除去し、清浄化および活性化した表面同士を接触させて接合する表面活性化接合法を用いることができる。または、温度と圧力を併用して表面同士を接合する拡散接合法等を用いることができる。どちらも原子レベルでの結合が起こるため、電気的だけでなく機械的にも優れた接合を得ることができる。

また、絶縁層同士の接合には、研磨等によって高い平坦性を得たのち、酸素プラズマ等で親水性処理をした表面同士を接触させて仮接合し、熱処理による脱水で本接合を行う親水性接合法等を用いることができる。親水性接合法も原子レベルでの結合が起こるため、機械的に優れた接合を得ることができる。

層１６１と、層１６２を貼り合わせる場合、それぞれの接合面には絶縁層と金属層が混在するため、例えば、表面活性化接合法および親水性接合法を組み合わせて行えばよい。

例えば、研磨後に表面を清浄化し、金属層の表面に酸化防止処理を行ったのちに親水性処理を行って接合する方法等を用いることができる。また、金属層の表面をＡｕ等の難酸化性金属とし、親水性処理を行ってもよい。なお、上述した方法以外の接合方法を用いてもよい。

図１０（Ｂ）は、図９（Ａ）に示す画素の層１６１にセレン系材料を光電変換層とするｐｎ接合型フォトダイオードを用いた場合の断面図である。一方の電極として層１６６ａと、光電変換層として層１６６ｂおよび層１６６ｃと、他方の電極として層１６６ｄを有する。

この場合、層１６１は、層１６２上に直接形成することができる。層１６６ａは、トランジスタ１５１のソースまたはドレインと電気的に接続される。層１６６ｄは、導電層１３７を介して電源線と電気的に接続される。

図１１（Ａ）は、図９（Ｂ）に示す画素の断面の一例を説明する図である。層１６１は光電変換素子１５０として、シリコンを光電変換層とするｐｎ接合型フォトダイオードを有する。層１６２はＳｉトランジスタ等を有する。層１６３はＯＳトランジスタ等を有する。層１６１と層１６３とは、貼り合わせで電気的な接続を得る構成例を示している。

図１１（Ａ）において、ＯＳトランジスタはセルフアライン型の構成を示しているが、図１２（Ｄ）に示すように、ノンセルフアライン型のトップゲート型トランジスタであってもよい。

トランジスタ１５１はバックゲート１３５を有する構成を示しているが、バックゲートを有さない形態であってもよい。バックゲート１３５は、図１２（Ｅ）に示すように、対向して設けられるトランジスタのフロントゲートと電気的に接続する場合がある。または、バックゲート１３５にフロントゲートとは異なる固定電位を供給することができる構成であってもよい。

ＯＳトランジスタが形成される領域とＳｉトランジスタが形成される領域との間には、水素の拡散を防止する機能を有する絶縁層１４３が設けられる。トランジスタ１５３およびトランジスタ１５４のチャネル形成領域近傍に設けられる絶縁層中の水素は、シリコンのダングリングボンドを終端する。一方、トランジスタ１５１のチャネル形成領域の近傍に設けられる絶縁層中の水素は、酸化物半導体層中にキャリアを生成する要因の一つとなる。

絶縁層１４３により、一方の層に水素を閉じ込めることでトランジスタ１５３およびトランジスタ１５４の信頼性を向上させることができる。また、一方の層から他方の層への水素の拡散が抑制されることでトランジスタ１５１の信頼性も向上させることができる。

絶縁層１４３としては、例えば、酸化アルミニウム、酸化窒化アルミニウム、酸化ガリウム、酸化窒化ガリウム、酸化イットリウム、酸化窒化イットリウム、酸化ハフニウム、酸化窒化ハフニウム、イットリア安定化ジルコニア（ＹＳＺ）等を用いることができる。

図１１（Ｂ）は、図９（Ｂ）に示す画素の層１６１にセレン系材料を光電変換層とするｐｎ接合型フォトダイオードを用いた場合の断面図である。層１６１は、層１６３上に直接形成することができる。層１６１、層１６２、および層１６３の詳細は、前述の説明を参照できる。

［その他の画素の構成要素］
図１３（Ａ）は、本発明の一態様の撮像装置の画素にカラーフィルタ等を付加した例を示す斜視図である。当該斜視図では、複数の画素の断面もあわせて図示している。光電変換素子１５０が形成される層１６１上には、絶縁層１８０が形成される。絶縁層１８０は可視光に対して透光性の高い酸化シリコン膜等を用いることができる。また、パッシベーション層として窒化シリコン膜を積層してもよい。また、反射防止層として、酸化ハフニウム等の誘電体膜を積層してもよい。

絶縁層１８０上には、遮光層１８１が形成されてもよい。遮光層１８１は、上部のカラーフィルタを通る光の混色を防止する機能を有する。遮光層１８１には、アルミニウム、タングステン等の金属膜を用いることができる。また、当該金属膜と反射防止層としての機能を有する誘電体膜を積層してもよい。

絶縁層１８０および遮光層１８１上には、平坦化膜として有機樹脂層１８２を設けることができる。また、画素別にカラーフィルタ１８３（カラーフィルタ１８３ａ、カラーフィルタ１８３ｂ、およびカラーフィルタ１８３ｃ）が形成される。例えば、カラーフィルタ１８３ａ、カラーフィルタ１８３ｂ、カラーフィルタ１８３ｃに、Ｒ（赤）、Ｇ（緑）、Ｂ（青）、Ｙ（黄）、Ｃ（シアン）、Ｍ（マゼンタ）等の色を割り当てることにより、カラー画像を得ることができる。

カラーフィルタ１８３上には、可視光に対して透光性を有する絶縁層１８６等を設けることができる。

また、図１３（Ｂ）に示すように、カラーフィルタ１８３の代わりに光学変換層１８５を用いてもよい。このような構成とすることで、様々な波長領域における画像が得られる撮像装置とすることができる。

例えば、光学変換層１８５に可視光線の波長以下の光を遮るフィルタを用いれば、赤外線撮像装置とすることができる。また、光学変換層１８５に近赤外線の波長以下の光を遮るフィルタを用いれば、遠赤外線撮像装置とすることができる。また、光学変換層１８５に可視光線の波長以上の光を遮るフィルタを用いれば、紫外線撮像装置とすることができる。可視光のカラーフィルタと赤外線若しくは紫外線のフィルタを組み合わせてもよい。

また、光学変換層１８５にシンチレータを用いれば、Ｘ線撮像装置等に用いる放射線の強弱を可視化した画像を得る撮像装置とすることができる。被写体を透過したＸ線等の放射線がシンチレータに入射されると、フォトルミネッセンス現象により可視光線や紫外光線等の光（蛍光）に変換される。そして、当該光を光電変換素子１５０で検知することにより画像データを取得する。また、放射線検出器等に当該構成の撮像装置を用いてもよい。

シンチレータは、Ｘ線やガンマ線等の放射線が照射されると、そのエネルギーを吸収して可視光や紫外光を発する物質を含む。例えば、Ｇｄ_２Ｏ_２Ｓ：Ｔｂ、Ｇｄ_２Ｏ_２Ｓ：Ｐｒ、Ｇｄ_２Ｏ_２Ｓ：Ｅｕ、ＢａＦＣｌ：Ｅｕ、ＮａＩ、ＣｓＩ、ＣａＦ_２、ＢａＦ_２、ＣｅＦ_３、ＬｉＦ、ＬｉＩ、ＺｎＯ等を樹脂やセラミクスに分散させたものを用いることができる。

なお、セレン系材料を用いた光電変換素子１５０においては、Ｘ線等の放射線を電荷に直接変換することができるため、シンチレータを不要とする構成とすることもできる。

また、図１３（Ｃ）に示すように、カラーフィルタ１８３上にマイクロレンズアレイ１８４を設けてもよい。マイクロレンズアレイ１８４が有する個々のレンズを通る光が直下のカラーフィルタ１８３を通り、光電変換素子１５０に照射されるようになる。また、図１３（Ｂ）に示す光学変換層１８５上にマイクロレンズアレイ１８４を設けてもよい。

［パッケージ、モジュールの構成例］
以下では、イメージセンサチップを収めたパッケージおよびカメラモジュールの一例について説明する。当該イメージセンサチップには、上記撮像装置の構成を用いることができる。

図１４（Ａ１）は、イメージセンサチップを収めたパッケージの上面側の外観斜視図である。当該パッケージは、イメージセンサチップ４５０を固定するパッケージ基板４１０、カバーガラス４２０および両者を接着する接着剤４３０等を有する。

図１４（Ａ２）は、当該パッケージの下面側の外観斜視図である。パッケージの下面には、半田ボールをバンプ４４０としたＢＧＡ（Ｂａｌｌ ｇｒｉｄ ａｒｒａｙ）を有する。なお、ＢＧＡに限らず、ＬＧＡ（Ｌａｎｄ ｇｒｉｄ ａｒｒａｙ）やＰＧＡ（Ｐｉｎ Ｇｒｉｄ Ａｒｒａｙ）等を有していてもよい。

図１４（Ａ３）は、カバーガラス４２０および接着剤４３０の一部を省いて図示したパッケージの斜視図である。パッケージ基板４１０上には電極パッド４６０が形成され、電極パッド４６０およびバンプ４４０はスルーホールを介して電気的に接続されている。電極パッド４６０は、イメージセンサチップ４５０とワイヤ４７０によって電気的に接続されている。

また、図１４（Ｂ１）は、イメージセンサチップをレンズ一体型のパッケージに収めたカメラモジュールの上面側の外観斜視図である。当該カメラモジュールは、イメージセンサチップ４５１を固定するパッケージ基板４１１、レンズカバー４２１、およびレンズ４３５等を有する。また、パッケージ基板４１１およびイメージセンサチップ４５１の間には撮像装置の駆動回路および信号変換回路等の機能を有するＩＣチップ４９０も設けられており、ＳｉＰ（Ｓｙｓｔｅｍ ｉｎ ｐａｃｋａｇｅ）としての構成を有している。

図１４（Ｂ２）は、当該カメラモジュールの下面側の外観斜視図である。パッケージ基板４１１の下面および側面には、実装用のランド４４１が設けられたＱＦＮ（Ｑｕａｄ ｆｌａｔ ｎｏ－ｌｅａｄ ｐａｃｋａｇｅ）の構成を有する。なお、当該構成は一例であり、ＱＦＰ（Ｑｕａｄ ｆｌａｔ ｐａｃｋａｇｅ）や前述したＢＧＡが設けられていてもよい。

図１４（Ｂ３）は、レンズカバー４２１およびレンズ４３５の一部を省いて図示したモジュールの斜視図である。ランド４４１は電極パッド４６１と電気的に接続され、電極パッド４６１はイメージセンサチップ４５１またはＩＣチップ４９０とワイヤ４７１によって電気的に接続されている。

イメージセンサチップを上述したような形態のパッケージに収めることでプリント基板等への実装が容易になり、イメージセンサチップを様々な半導体装置、電子機器に組み込むことができる。

＜表示装置の構成例＞
次に、表示装置４０の詳細な構成例について、図１５乃至図１７を用いて説明する。

［画素回路の構成例］
図１５（Ａ）は、画素４１の回路構成例を説明する図である。つまり、図１５（Ａ）は、表示装置４０が有する画素回路の構成例を説明する図である。図１５（Ａ）に示す構成の画素４１は、トランジスタ３４３１と、容量素子３２３３と、液晶素子３４３２と、を有する。

トランジスタ３４３１のソースまたはドレインの一方は、配線３１７４と電気的に接続される。トランジスタ３４３１のゲートは、配線３１７８と電気的に接続される。

容量素子３２３３の一方の電極は、容量線ＣＬと電気的に接続される。容量素子３２３３の他方の電極は、トランジスタ３４３１のソースまたはドレインの他方と電気的に接続される。容量線ＣＬには、例えば定電位を印加することができる。

液晶素子３４３２の一方の電極には、共通の電位（コモン電位）が印加される。液晶素子３４３２の他方の電極は、トランジスタ３４３１のソースまたはドレインの他方と電気的に接続される。

なお、トランジスタ３４３１のソースまたはドレインの他方、容量素子３２３３の他方の電極、および液晶素子３４３２の他方の電極が接続されるノードをノード３４３６とする。

トランジスタ３４３１は、ノード３４３６へのデータ信号の書き込みを制御する機能を有する。容量素子３２３３は、ノード３４３６に書き込まれたデータを保持する機能を有する。また、液晶素子３４３２に含まれる液晶は、ノード３４３６に書き込まれる電位により配向状態が決定される。

ここで、液晶素子３４３２のモードとしては、例えば、ＴＮモード、ＳＴＮモード、ＶＡモード、ＡＳＭ（Ａｘｉａｌｌｙ Ｓｙｍｍｅｔｒｉｃ Ａｌｉｇｎｅｄ Ｍｉｃｒｏ－ｃｅｌｌ）モード、ＯＣＢ（Ｏｐｔｉｃａｌｌｙ Ｃｏｍｐｅｎｓａｔｅｄ Ｂｉｒｅｆｒｉｎｇｅｎｃｅ）モード、ＦＬＣ（Ｆｅｒｒｏｅｌｅｃｔｒｉｃ Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ）モード、ＡＦＬＣ（ＡｎｔｉＦｅｒｒｏｅｌｅｃｔｒｉｃ Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ）モード、ＭＶＡモード、ＰＶＡ（Ｐａｔｔｅｒｎｅｄ Ｖｅｒｔｉｃａｌ Ａｌｉｇｎｍｅｎｔ）モード、ＩＰＳモード、ＦＦＳモード、またはＴＢＡ（Ｔｒａｎｓｖｅｒｓｅ Ｂｅｎｄ Ａｌｉｇｎｍｅｎｔ）モード等を用いてもよい。また、他の例として、ＥＣＢ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｃｏｎｔｒｏｌｌｅｄ Ｂｉｒｅｆｒｉｎｇｅｎｃｅ）モード、ＰＤＬＣ（Ｐｏｌｙｍｅｒ Ｄｉｓｐｅｒｓｅｄ Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ）モード、ＰＮＬＣ（Ｐｏｌｙｍｅｒ Ｎｅｔｗｏｒｋ Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ）モード、ゲストホストモード等がある。ただし、これに限定されず、様々なモードを用いることができる。

図１５（Ｂ）は、図１５（Ａ）に示す画素回路とは別の構成の画素４１の回路構成例を説明する図である。図１５（Ｂ）に示す構成の画素４１は、トランジスタ３４３１と、トランジスタ３２３２と、容量素子３２３３と、発光素子３１２５と、を有する。

トランジスタ３４３１のソースまたはドレインの一方は、配線３１７４と電気的に接続される。トランジスタ３４３１のソースまたはドレインの他方は、容量素子３２３３の一方の電極、およびトランジスタ３２３２のゲートと電気的に接続される。トランジスタ３４３１のゲートは、配線３１７８と電気的に接続される。

トランジスタ３２３２のソースまたはドレインの一方は、配線ＶＬ＿ａと電気的に接続される。

発光素子３１２５の一方の電極は、配線ＶＬ＿ｂと電気的に接続される。発光素子３１２５の他方の電極は、トランジスタ３２３２のソースまたはドレインの他方、および容量素子３２３３の他方の電極と電気的に接続される。

配線ＶＬ＿ａは、高電位電源線とすることができる。配線ＶＬ＿ｂは、低電位電源線とすることができる。なお、配線ＶＬ＿ｂを高電位電源線、配線ＶＬ＿ａを低電位電源線としてもよい。

なお、トランジスタ３４３１のソースまたはドレインの他方、トランジスタ３２３２のゲート、および容量素子３２３３の一方の電極が接続されるノードをノード３４３５とする。また、トランジスタ３２３２のソースまたはドレインの他方、容量素子３２３３の他方の電極、および発光素子３１２５の他方の電極が接続されるノードをノード３４３７とする。

トランジスタ３４３１は、データ信号のノード３４３５への書き込みを制御する機能を有する。トランジスタ３２３２は、発光素子３１２５に流れる電流を制御する機能を有する。
容量素子３２３３はノード３４３５に書き込まれたデータを保持する保持容量としての機能を有する。

発光素子３１２５としては、例えば有機ＥＬ素子等を用いることができる。ただし、これに限定されず、例えば無機材料からなる無機ＥＬ素子を用いても良い。

［画素の構成例］
図１６（Ａ）および図１７（Ａ）に、図１５（Ａ）に示す画素回路を有する画素４１の構成例を示す。図１６（Ｂ）および図１７（Ｂ）に、図１５（Ｂ）に示す画素回路を有する画素４１の構成例を示す。

図１６（Ａ）、（Ｂ）に示す表示装置４０は導電層４０１５を有しており、導電層４０１５はＦＰＣ４０１８が有する端子と異方性導電層４０１９を介して、電気的に接続されている。また、導電層４０１５は、絶縁層４１１２、絶縁層４１１１、および絶縁層４１１０に形成された開口において配線４０１４と電気的に接続されている。導電層４０１５は、導電層４０３０と同じ導電層から形成されている。

また基板４００１上に設けられた画素４１は、トランジスタを有しており、図１６（Ａ）では、画素４１に含まれるトランジスタ３４３１を例示し、図１６（Ｂ）では、画素４１に含まれるトランジスタ３２３２を例示している。基板４００１として、例えばシリコン基板を用いることができる。

また、トランジスタ３４３１およびトランジスタ３２３２は、絶縁層４１０２上に設けられている。また、トランジスタ３４３１およびトランジスタ３２３２は、絶縁層４１０２上に形成された導電層５１７を有し、導電層５１７上に絶縁層４１０３が形成されている。絶縁層４１０３上に半導体層５１２が形成されている。半導体層５１２上に導電層５１０および導電層５１１が形成され、導電層５１０および導電層５１１上に絶縁層４１１０および絶縁層４１１１が形成され、絶縁層４１１０および絶縁層４１１１上に導電層５１６が形成されている。導電層５１０および導電層５１１は、配線４０１４と同じ導電層で形成されている。

トランジスタ３４３１およびトランジスタ３２３２において、導電層５１７はゲートとしての機能を有し、導電層５１０はソースまたはドレインの一方としての機能を有し、導電層５１１はソースまたはドレインの他方としての機能を有し、導電層５１６はバックゲートとしての機能を有する。

トランジスタ３４３１およびトランジスタ３２３２はボトムゲート構造であり、且つバックゲートを有することで、オン電流を増大させることができる。また、トランジスタのしきい値電圧を制御することができる。なお、導電層５１６は、製造工程を簡略化するため、場合によっては省略してもよい。

トランジスタ３４３１およびトランジスタ３２３２において、半導体層５１２はチャネル形成領域としての機能を有する。半導体層５１２として、結晶シリコン、多結晶シリコン、非晶質シリコン、金属酸化物、有機半導体等を用いればよい。また、必要に応じて、半導体層５１２の導電率を高めるため、または、トランジスタのしきい値電圧を制御するために、半導体層５１２に不純物を導入してもよい。

半導体層５１２として金属酸化物を用いた場合、半導体層５１２はインジウム（Ｉｎ）を含むことが好ましい。半導体層５１２がインジウムを含む金属酸化物の場合、半導体層５１２はキャリア移動度（電子移動度）が高くなる。また、半導体層５１２は、元素Ｍを含む金属酸化物であると好ましい。元素Ｍは、好ましくは、アルミニウム（Ａｌ）、ガリウム（Ｇａ）、またはスズ（Ｓｎ）等とする。そのほかの元素Ｍに適用可能な元素としては、ホウ素（Ｂ）、シリコン（Ｓｉ）、チタン（Ｔｉ）、鉄（Ｆｅ）、ニッケル（Ｎｉ）、ゲルマニウム（Ｇｅ）、イットリウム（Ｙ）、ジルコニウム（Ｚｒ）、モリブデン（Ｍｏ）、ランタン（Ｌａ）、セリウム（Ｃｅ）、ネオジム（Ｎｄ）、ハフニウム（Ｈｆ）、タンタル（Ｔａ）、タングステン（Ｗ）等がある。ただし、元素Ｍとして、前述の元素を複数組み合わせても構わない場合がある。元素Ｍは、例えば、酸素との結合エネルギーが高い元素である。例えば、酸素との結合エネルギーがインジウムよりも高い元素である。また、半導体層５１２は、亜鉛（Ｚｎ）を含む金属酸化物であると好ましい。亜鉛を含む金属酸化物は結晶化しやすくなる場合がある。

半導体層５１２は、インジウムを含む金属酸化物に限定されない。半導体層５１２は、例えば、亜鉛スズ酸化物、ガリウムスズ酸化物等の、インジウムを含まず、亜鉛を含む金属酸化物、ガリウムを含む金属酸化物、スズを含む金属酸化物等であっても構わない。

または、半導体層５１２として結晶シリコン、多結晶シリコン、非晶質シリコン等、シリコンを有する材料を用いた場合、半導体層５１２の導電率を高めることができる。これにより、トランジスタ３４３１およびトランジスタ３２３２のオン電流を高めることができ、画素４１の動作を高速化することができる。

また、図１６（Ａ）、（Ｂ）に示す表示装置４０は、容量素子３２３３を有する。容量素子３２３３は、導電層５１１と導電層４０２１が絶縁層４１０３を介して重なる領域を有する。導電層４０２１は、導電層５１７と同じ導電層で形成されている。

図１６（Ａ）は、表示素子として液晶素子を用いた液晶表示装置の一例である。図１６（Ａ）において、表示素子である液晶素子３４３２は、導電層４０３０、導電層４０３１、および液晶層４００８を含む。なお、液晶層４００８を挟持するように配向膜として機能する絶縁層４０３２、絶縁層４０３３が設けられている。導電層４０３１は基板４００６側に設けられ、導電層４０３０と導電層４０３１は液晶層４００８を介して重畳する。なお、基板４００６として、基板４００１と同様に例えばシリコン基板を用いることができる。

またスペーサ４０３５は絶縁層を選択的にエッチングすることで得られる柱状のスペーサであり、導電層４０３０と導電層４０３１との間隔（セルギャップ）を制御するために設けられている。なお球状のスペーサを用いていても良い。

表示素子として、液晶素子を用いる場合、サーモトロピック液晶、低分子液晶、高分子液晶、高分子分散型液晶、強誘電性液晶、反強誘電性液晶等を用いることができる。これらの液晶材料は、条件により、コレステリック相、スメクチック相、キュービック相、カイラルネマチック相、等方相等を示す。

また、液晶材料の固有抵抗は、１×１０^９Ω・ｃｍ以上であり、好ましくは１×１０^１１Ω・ｃｍ以上であり、さらに好ましくは１×１０^１２Ω・ｃｍ以上である。なお、本明細書等における固有抵抗の値は、２０℃で測定した値とする。

トランジスタ３４３１にＯＳトランジスタを用いた場合、トランジスタ３４３１は、オフ電流値を低くすることができる。よって、画像信号等の電気信号の保持時間を長くすることができ、電源オン状態では書き込み間隔も長く設定できる。よって、リフレッシュ動作の頻度を少なくすることができるため、消費電力を抑制する効果を奏する。

また、表示装置において、ブラックマトリクス（遮光層）、偏光部材、位相差部材、反射防止部材等の光学部材（光学基板）等を適宜設けてもよい。例えば、偏光基板および位相差基板による円偏光を用いてもよい。また、光源としてバックライト、サイドライト等を用いてもよい。

図１６（Ｂ）は、表示素子としてＥＬ素子等の発光素子を用いた表示装置の一例である。ＥＬ素子は有機ＥＬ素子と無機ＥＬ素子に区別される。

有機ＥＬ素子は、電圧を印加することにより、一方の電極から電子、他方の電極から正孔がそれぞれＥＬ層に注入される。なお、一方の電極は、導電層４０３０または導電層４０３１の一方であり、他方の電極は、導電層４０３０または導電層４０３１の他方である。そして、それらキャリア（電子および正孔）が再結合することにより、発光性の有機化合物が励起状態を形成し、その励起状態が基底状態に戻る際に発光する。このようなメカニズムから、このような発光素子は、電流励起型の発光素子と呼ばれる。なお、ＥＬ層は、発光性の化合物以外に、正孔注入性の高い物質、正孔輸送性の高い物質、正孔ブロック材料、電子輸送性の高い物質、電子注入性の高い物質、またはバイポーラ性の物質（電子輸送性および正孔輸送性が高い物質）等を有していてもよい。ＥＬ層は、蒸着法（真空蒸着法を含む）、転写法、印刷法、インクジェット法、塗布法等の方法で形成することができる。

無機ＥＬ素子は、その素子構成により、分散型無機ＥＬ素子と薄膜型無機ＥＬ素子とに分類される。分散型無機ＥＬ素子は、発光材料の粒子をバインダ中に分散させた発光層を有するものであり、発光メカニズムはドナー準位とアクセプター準位を利用するドナー－アクセプター再結合型発光である。薄膜型無機ＥＬ素子は、発光層を誘電体層で挟み込み、さらにそれを電極で挟んだ構造であり、発光メカニズムは金属イオンの内殻電子遷移を利用する局在型発光である。

図１６（Ｂ）は、発光素子３１２５として有機ＥＬ素子を用いた例を説明する。

図１６（Ｂ）において、発光素子３１２５は、画素４１に設けられたトランジスタ３２３２と電気的に接続される。なお発光素子３１２５の構成は、導電層４０３０、発光層４５１１、導電層４０３１の積層構造であるが、この構成に限定されない。発光素子３１２５から取り出す光の方向等に合わせて、発光素子３１２５の構成は適宜変えることができる。

隔壁４５１０は、有機絶縁材料、または無機絶縁材料を用いて形成する。特に感光性の樹脂材料を用い、導電層４０３０上に開口部を形成し、その開口部の側面が連続した曲率を持って形成される傾斜面となるように形成することが好ましい。

発光層４５１１は、単数の層で構成されていても、複数の層が積層されるように構成されていてもどちらでも良い。

発光素子３１２５に酸素、水素、水分、二酸化炭素等が侵入しないように、導電層４０３１および隔壁４５１０上に保護層を形成してもよい。保護層としては、窒化シリコン、窒化酸化シリコン、酸化アルミニウム、窒化アルミニウム、酸化窒化アルミニウム、窒化酸化アルミニウム、ＤＬＣ（Ｄｉａｍｏｎｄ Ｌｉｋｅ Ｃａｒｂｏｎ）等を用いることができる。また、基板４００１、基板４００６、およびシール材４００５によって封止された空間には充填材４５１４が設けられ密封されている。このように、外気に曝されないように気密性が高く、脱ガスの少ない保護フィルム（貼り合わせフィルム、紫外線硬化樹脂フィルム等）やカバー材でパッケージング（封入）することが好ましい。

充填材４５１４としては窒素やアルゴン等の不活性な気体の他に、紫外線硬化樹脂または熱硬化樹脂を用いることができ、ＰＶＣ（ポリビニルクロライド）、アクリル樹脂、ポリイミド、エポキシ樹脂、シリコーン樹脂、ＰＶＢ（ポリビニルブチラル）またはＥＶＡ（エチレンビニルアセテート）等を用いることができる。また、充填材４５１４に乾燥剤が含まれていてもよい。

シール材４００５には、ガラスフリット等のガラス材料や、二液混合型の樹脂等の常温で硬化する硬化樹脂、光硬化性の樹脂、熱硬化性の樹脂等の樹脂材料を用いることができる。また、シール材４００５に乾燥剤が含まれていてもよい。

また、必要であれば、発光素子の射出面に偏光板、または円偏光板（楕円偏光板を含む）、位相差板（λ／４板、λ／２板）、カラーフィルタ等の光学フィルムを適宜設けてもよい。また、偏光板または円偏光板に反射防止膜を設けてもよい。例えば、表面の凹凸により反射光を拡散し、映り込みを低減できるアンチグレア処理を施すことができる。

また、発光素子をマイクロキャビティ構造とすることで、色純度の高い光を取り出すことができる。また、マイクロキャビティ構造とカラーフィルタを組み合わせることで、映り込みが低減し、表示画像の視認性を高めることができる。

導電層４０３０、導電層４０３１は、酸化タングステンを含むインジウム酸化物、酸化タングステンを含むインジウム亜鉛酸化物、酸化チタンを含むインジウム酸化物、インジウム錫酸化物、酸化チタンを含むインジウム錫酸化物、インジウム亜鉛酸化物、酸化ケイ素を添加したインジウム錫酸化物等の透光性を有する導電性材料を用いることができる。

また、導電層４０３０、導電層４０３１はタングステン（Ｗ）、モリブデン（Ｍｏ）、ジルコニウム（Ｚｒ）、ハフニウム（Ｈｆ）、バナジウム（Ｖ）、ニオブ（Ｎｂ）、タンタル（Ｔａ）、クロム（Ｃｒ）、コバルト（Ｃｏ）、ニッケル（Ｎｉ）、チタン（Ｔｉ）、白金（Ｐｔ）、アルミニウム（Ａｌ）、銅（Ｃｕ）、銀（Ａｇ）等の金属、またはその合金、もしくはその金属窒化物から一種以上を用いて形成することができる。

また、導電層４０３０、導電層４０３１として、導電性高分子（導電性ポリマーともいう）を含む導電性組成物を用いて形成することができる。導電性高分子としては、いわゆるπ電子共役系導電性高分子を用いることができる。例えば、ポリアニリンまたはその誘導体、ポリピロールまたはその誘導体、ポリチオフェンまたはその誘導体、もしくは、アニリン、ピロールおよびチオフェンの２種以上からなる共重合体またはその誘導体等が挙げられる。

発光素子３１２５から光を外部に取り出すため、少なくとも導電層４０３０または導電層４０３１の一方が透明であればよい。表示装置は、光の取り出し方によって、上面射出（トップエミッション）構造と、下面射出（ボトムエミッション）構造と、両面射出（デュアルエミッション）構造に分類される。上面射出構造は、基板４００６から光を取り出す場合をいう。下面射出構造は、基板４００１から光を取り出す場合をいう。両面射出構造は、基板４００６と基板４００１の両方から光を取り出す場合をいう。例えば、上面射出構造の場合、導電層４０３１を透明にすればよい。例えば、下面射出構造の場合、導電層４０３０を透明にすればよい。例えば、両面射出構造の場合、導電層４０３０および導電層４０３１を透明にすればよい。

図１７（Ａ）は、図１６（Ａ）に示すトランジスタ３４３１に、トップゲート型のトランジスタを設けた場合の断面図を示している。同様に、図１７（Ｂ）は、図１６（Ｂ）に示すトランジスタ３２３２に、トップゲート型のトランジスタを設けた場合の断面図を示している。

図１７（Ａ）、（Ｂ）のトランジスタ３４３１およびトランジスタ３２３２において、導電層５１７はゲートとしての機能を有し、導電層５１０はソースまたはドレインの一方としての機能を有し、導電層５１１はソースまたはドレインの他方としての機能を有する。

＜記憶回路の構成例＞
次に、図５に示す記憶回路３３の詳細な構成例について、図１８および図１９を用いて説明する。図１８は、記憶回路３３の構成例を説明するブロック図である。図１８に示すように、記憶回路３３は、コントローラ１４０５、行回路１４１０、列回路１４１５、メモリセルおよびセンスアンプアレイ１４２０（以下、「ＭＣ－ＳＡアレイ１４２０」と呼ぶ。）を有する。

行回路１４１０はデコーダ１４１１、ワード線ドライバ回路１４１２、列セレクタ１４１３、センスアンプドライバ回路１４１４を有する。列回路１４１５はグローバルセンスアンプアレイ１４１６、入出力回路１４１７を有する。グローバルセンスアンプアレイ１４１６は複数のグローバルセンスアンプ１４４７を有する。ＭＣ－ＳＡアレイ１４２０はメモリセルアレイ１４２２、センスアンプアレイ１４２３、グローバルビット線ＧＢＬＬ、ＧＢＬＲを有する。

［ＭＣ－ＳＡアレイ１４２０］
ＭＣ－ＳＡアレイ１４２０は、メモリセルアレイ１４２２をセンスアンプアレイ１４２３上に積層した積層構造をもつ。グローバルビット線ＧＢＬＬ、ＧＢＬＲはメモリセルアレイ１４２２上に積層されている。記憶回路３３では、ビット線の構造に、ローカルビット線とグローバルビット線とで階層化された階層ビット線構造が採用されている。

メモリセルアレイ１４２２は、Ｎ個（Ｎは２以上の整数）のローカルメモリセルアレイ１４２５＜０＞―１４２５＜Ｎ－１＞を有する。また、メモリセルアレイ１４２３は、Ｎ個のローカルメモリセルアレイ１４２６＜０＞―１４２６＜Ｎ－１＞を有する。図１９（Ａ）にローカルメモリセルアレイ１４２５の構成例を示す。ローカルメモリセルアレイ１４２５は、複数のメモリセル１４４５、複数のワード線ＷＬ、複数のビット線ＢＬＬ、および複数のビット線ＢＬＲを有する。図１９（Ａ）の例では、ローカルメモリセルアレイ１４２５の構造はオープンビット線型であるが、フォールデッドビット線型であってもよい。

図１９（Ｂ）に共通のビット線ＢＬＬ（ＢＬＲ）に接続される、ペア状の一組のメモリセル１４４５ａおよびメモリセル１４４５ｂの回路構成例を示す。メモリセル１４４５ａはトランジスタＭＷ１ａ、容量素子ＣＳ１ａ、端子Ｂ１ａ、および端子Ｂ２ａを有し、ワード線ＷＬａ、ビット線ＢＬＬ（ＢＬＲ）に接続される。また、メモリセル１４４５ｂはトランジスタＭＷ１ｂ、容量素子ＣＳ１ｂ、端子Ｂ１ｂ、および端子Ｂ２ｂを有し、ワード線ＷＬｂ、ビット線ＢＬＬ（ＢＬＲ）に接続される。なお、以下において、メモリセル１４４５ａおよびメモリセル１４４５ｂのいずれかを特に限定しない場合は、メモリセル１４４５およびそれに付属する構成にａまたはｂの符号を付さない場合がある。

トランジスタＭＷ１ａは容量素子ＣＳ１ａの充放電を制御する機能を有し、トランジスタＭＷ１ｂは容量素子ＣＳ１ｂの充放電を制御する機能を有する。トランジスタＭＷ１ａのゲートはワード線ＷＬａに電気的に接続され、ソースまたはドレインの一方はビット線ＢＬＬ（ＢＬＲ）に電気的に接続され、ソースまたはドレインの他方は容量素子ＣＳ１ａの一方の電極に電気的に接続されている。また、トランジスタＭＷ１ｂのゲートはワード線ＷＬｂに電気的に接続され、ソースまたはドレインの一方はビット線ＢＬＬ（ＢＬＲ）に電気的に接続され、ソースまたはドレインの他方は容量素子ＣＳ１ｂの一方の電極に電気的に接続されている。このように、ビット線ＢＬＬ（ＢＬＲ）がトランジスタＭＷ１ａのソースまたはドレインの一方とトランジスタＭＷ１ｂのソースまたはドレインの一方に共通で用いられる。

トランジスタＭＷ１は容量素子ＣＳ１の充放電を制御する機能をもつ。容量素子ＣＳ１の他方の電極は端子Ｂ２に電気的に接続されている。端子Ｂ２には、定電位（例えば、低電源電位）が入力される。

トランジスタＭＷ１ａおよびトランジスタＭＷ１ｂとして、ＯＳトランジスタを用いることが好ましい。前述のように、ＯＳトランジスタはオフ電流が低い。このため、容量素子ＣＳ１ａおよび容量素子ＣＳ１ｂに電荷を長時間保持することができるため、リフレッシュ動作の頻度を少なくすることができる。これにより、表示システム１０の消費電力を低減することができる。なお、トランジスタＭＷ１ａおよびトランジスタＭＷ１ｂとして、Ｓｉトランジスタ等、ＯＳトランジスタ以外のトランジスタを用いてもよい。

トランジスタＭＷ１はバックゲートを備えており、バックゲートは端子Ｂ１に電気的に接続されている。そのため、端子Ｂ１の電位によって、トランジスタＭＷ１のしきい値電圧を変更することができる。例えば、端子Ｂ１の電位は固定電位（例えば、負の定電位）であってもよいし、記憶回路３３の動作に応じて、端子Ｂ１の電位を変化させてもよい。

トランジスタＭＷ１のバックゲートをトランジスタＭＷ１のゲート、ソース、またはドレインに電気的に接続してもよい。あるいは、トランジスタＭＷ１にバックゲートを設けなくてもよい。

本実施の形態は、他の実施の形態の記載と適宜組み合わせることができる。

（実施の形態２）
本実施の形態では、上記の実施の形態で説明したニューラルネットワークに用いることが可能な半導体装置の構成例について説明する。

図２０（Ａ）に示すように、ニューラルネットワークＮＮは入力層ＩＬ、出力層ＯＬ、中間層（隠れ層）ＨＬによって構成することができる。入力層ＩＬ、出力層ＯＬ、中間層ＨＬはそれぞれ、１または複数のニューロン（ユニット）を有する。なお、中間層ＨＬは１層であってもよいし２層以上であってもよい。２層以上の中間層ＨＬを有するニューラルネットワークはＤＮＮ（ディープニューラルネットワーク）と呼ぶこともでき、ディープニューラルネットワークを用いた学習は深層学習と呼ぶこともできる。

入力層ＩＬの各ニューロンには入力データが入力され、中間層ＨＬの各ニューロンには前層または後層のニューロンの出力信号が入力され、出力層ＯＬの各ニューロンには前層のニューロンの出力信号が入力される。なお、各ニューロンは、前後の層の全てのニューロンと結合されていてもよいし（全結合）、一部のニューロンと結合されていてもよい。

図２０（Ｂ）に、ニューロンによる演算の例を示す。ここでは、ニューロンＮと、ニューロンＮに信号を出力する前層の２つのニューロンを示している。ニューロンＮには、前層のニューロンの出力ｘ_１と、前層のニューロンの出力ｘ_２が入力される。そして、ニューロンＮにおいて、出力ｘ_１と重みｗ_１の乗算結果（ｘ_１ｗ_１）と出力ｘ_２と重みｗ_２の乗算結果（ｘ_２ｗ_２）の総和ｘ_１ｗ_１＋ｘ_２ｗ_２が計算された後、必要に応じてバイアスｂが加算され、値ａ＝ｘ_１ｗ_１＋ｘ_２ｗ_２＋ｂが得られる。そして、値ａは活性化関数ｈによって変換され、ニューロンＮから出力信号ｙ＝ｈ（ａ）が出力される。

このように、ニューロンによる演算には、前層のニューロンの出力と重みの積を足し合わせる演算、すなわち積和演算が含まれる（上記のｘ_１ｗ_１＋ｘ_２ｗ_２）。この積和演算は、プログラムを用いてソフトウェア上で行ってもよいし、ハードウェアによって行われてもよい。積和演算をハードウェアによって行う場合は、積和演算回路を用いることができる。この積和演算回路としては、デジタル回路を用いてもよいし、アナログ回路を用いてもよい。積和演算回路にアナログ回路を用いる場合、積和演算回路の回路規模の縮小、または、メモリへのアクセス回数の減少による処理速度の向上および消費電力の低減を図ることができる。

積和演算回路は、Ｓｉトランジスタによって構成してもよいし、ＯＳトランジスタによって構成してもよい。特に、ＯＳトランジスタはオフ電流が極めて小さいため、積和演算回路のメモリを構成するトランジスタとして好適である。なお、ＳｉトランジスタとＯＳトランジスタの両方を用いて積和演算回路を構成してもよい。以下、積和演算回路の機能を備えた半導体装置の構成例について説明する。

＜半導体装置の構成例＞
図２１に、ニューラルネットワークの演算を行う機能を有する半導体装置ＭＡＣの構成例を示す。半導体装置ＭＡＣは、ニューロン間の結合強度（重み）に対応する第１のデータと、入力データに対応する第２のデータの積和演算を行う機能を有する。なお、第１のデータおよび第２のデータはそれぞれ、アナログデータまたは多値のデジタルデータ（離散的なデータ）とすることができる。また、半導体装置ＭＡＣは、積和演算によって得られたデータを活性化関数によって変換する機能を有する。

半導体装置ＭＡＣは、セルアレイＣＡ、電流源回路ＣＳ、カレントミラー回路ＣＭ、回路ＷＤＤ、回路ＷＬＤ、回路ＣＬＤ、オフセット回路ＯＦＳＴ、および活性化関数回路ＡＣＴＶを有する。

セルアレイＣＡは、複数のメモリセルＭＣおよび複数のメモリセルＭＣｒｅｆを有する。図２１には、セルアレイＣＡがｍ行ｎ列（ｍ，ｎは１以上の整数）のメモリセルＭＣ（ＭＣ［１，１］乃至［ｍ，ｎ］）と、ｍ個のメモリセルＭＣｒｅｆ（ＭＣｒｅｆ［１］乃至［ｍ］）を有する構成例を示している。メモリセルＭＣは、第１のデータを格納する機能を有する。また、メモリセルＭＣｒｅｆは、積和演算に用いられる参照データを格納する機能を有する。なお、参照データはアナログデータまたは多値のデジタルデータとすることができる。

メモリセルＭＣ［ｉ，ｊ］（ｉは１以上ｍ以下の整数、ｊは１以上ｎ以下の整数）は、配線ＷＬ［ｉ］、配線ＲＷ［ｉ］、配線ＷＤ［ｊ］、および配線ＢＬ［ｊ］と接続されている。また、メモリセルＭＣｒｅｆ［ｉ］は、配線ＷＬ［ｉ］、配線ＲＷ［ｉ］、配線ＷＤｒｅｆ、配線ＢＬｒｅｆと接続されている。ここで、メモリセルＭＣ［ｉ，ｊ］と配線ＢＬ［ｊ］間を流れる電流をＩ_{ＭＣ［ｉ，ｊ］}と表記し、メモリセルＭＣｒｅｆ［ｉ］と配線ＢＬｒｅｆ間を流れる電流をＩ_{ＭＣｒｅｆ［ｉ］}と表記する。

メモリセルＭＣおよびメモリセルＭＣｒｅｆの具体的な構成例を、図２２に示す。図２２には代表例としてメモリセルＭＣ［１，１］、［２，１］およびメモリセルＭＣｒｅｆ［１］、［２］を示しているが、他のメモリセルＭＣおよびメモリセルＭＣｒｅｆにも同様の構成を用いることができる。メモリセルＭＣおよびメモリセルＭＣｒｅｆはそれぞれ、トランジスタＴｒ１１、トランジスタＴｒ１２、容量素子Ｃ１１を有する。ここでは、トランジスタＴｒ１１およびトランジスタＴｒ１２がｎチャネル型のトランジスタである場合について説明する。

メモリセルＭＣにおいて、トランジスタＴｒ１１のゲートは配線ＷＬと接続され、ソースまたはドレインの一方はトランジスタＴｒ１２のゲート、および容量素子Ｃ１１の第１の電極と接続され、ソースまたはドレインの他方は配線ＷＤと接続されている。トランジスタＴｒ１２のソースまたはドレインの一方は配線ＢＬと接続され、ソースまたはドレインの他方は配線ＶＲと接続されている。容量素子Ｃ１１の第２の電極は、配線ＲＷと接続されている。配線ＶＲは、所定の電位を供給する機能を有する配線である。ここでは一例として、配線ＶＲから低電源電位（接地電位等）が供給される場合について説明する。

トランジスタＴｒ１１のソースまたはドレインの一方、トランジスタＴｒ１２のゲート、および容量素子Ｃ１１の第１の電極と接続されたノードを、ノードＮＭとする。また、メモリセルＭＣ［１，１］、［２，１］のノードＮＭを、それぞれノードＮＭ［１，１］、［２，１］と表記する。

メモリセルＭＣｒｅｆも、メモリセルＭＣと同様の構成を有する。ただし、メモリセルＭＣｒｅｆは配線ＷＤの代わりに配線ＷＤｒｅｆと接続され、配線ＢＬの代わりに配線ＢＬｒｅｆと接続されている。また、メモリセルＭＣｒｅｆ［１］、［２］において、トランジスタＴｒ１１のソースまたはドレインの一方、トランジスタＴｒ１２のゲート、および容量素子Ｃ１１の第１の電極と接続されたノードを、それぞれノードＮＭｒｅｆ［１］、［２］と表記する。

ノードＮＭとノードＮＭｒｅｆはそれぞれ、メモリセルＭＣとメモリセルＭＣｒｅｆの保持ノードとして機能する。ノードＮＭには第１のデータが保持され、ノードＮＭｒｅｆには参照データが保持される。また、配線ＢＬ［１］からメモリセルＭＣ［１，１］、［２，１］のトランジスタＴｒ１２には、それぞれ電流Ｉ_{ＭＣ［１，１］}、Ｉ_{ＭＣ［２，１］}が流れる。また、配線ＢＬｒｅｆからメモリセルＭＣｒｅｆ［１］、［２］のトランジスタＴｒ１２には、それぞれ電流Ｉ_{ＭＣｒｅｆ［１］}、Ｉ_{ＭＣｒｅｆ［２］}が流れる。

トランジスタＴｒ１１は、ノードＮＭまたはノードＮＭｒｅｆの電位を保持する機能を有するため、トランジスタＴｒ１１のオフ電流は小さいことが好ましい。そのため、トランジスタＴｒ１１としてオフ電流が極めて小さいＯＳトランジスタを用いることが好ましい。これにより、ノードＮＭまたはノードＮＭｒｅｆの電位の変動を抑えることができ、演算精度の向上を図ることができる。また、ノードＮＭまたはノードＮＭｒｅｆの電位をリフレッシュする動作の頻度を低く抑えることが可能となり、消費電力を削減することができる。

トランジスタＴｒ１２は特に限定されず、例えばＳｉトランジスタまたはＯＳトランジスタ等を用いることができる。トランジスタＴｒ１２にＯＳトランジスタを用いる場合、トランジスタＴｒ１１と同じ製造装置を用いて、トランジスタＴｒ１２を作製することが可能となり、製造コストを抑制することができる。なお、トランジスタＴｒ１２はｎチャネル型であってもｐチャネル型であってもよい。

電流源回路ＣＳは、配線ＢＬ［１］乃至［ｎ］および配線ＢＬｒｅｆと接続されている。電流源回路ＣＳは、配線ＢＬ［１］乃至［ｎ］および配線ＢＬｒｅｆに電流を供給する機能を有する。なお、配線ＢＬ［１］乃至［ｎ］に供給される電流値と配線ＢＬｒｅｆに供給される電流値は異なっていてもよい。ここでは、電流源回路ＣＳから配線ＢＬ［１］乃至［ｎ］に供給される電流をＩ_Ｃ、電流源回路ＣＳから配線ＢＬｒｅｆに供給される電流をＩ_Ｃｒｅｆと表記する。

カレントミラー回路ＣＭは、配線ＩＬ［１］乃至［ｎ］および配線ＩＬｒｅｆを有する。配線ＩＬ［１］乃至［ｎ］はそれぞれ配線ＢＬ［１］乃至［ｎ］と接続され、配線ＩＬｒｅｆは、配線ＢＬｒｅｆと接続されている。ここでは、配線ＩＬ［１］乃至［ｎ］と配線ＢＬ［１］乃至［ｎ］の接続箇所をノードＮＰ［１］乃至［ｎ］と表記する。また、配線ＩＬｒｅｆと配線ＢＬｒｅｆの接続箇所をノードＮＰｒｅｆと表記する。

カレントミラー回路ＣＭは、ノードＮＰｒｅｆの電位に応じた電流Ｉ_ＣＭを配線ＩＬｒｅｆに流す機能と、この電流Ｉ_ＣＭを配線ＩＬ［１］乃至［ｎ］にも流す機能を有する。図２１には、配線ＢＬｒｅｆから配線ＩＬｒｅｆに電流Ｉ_ＣＭが排出され、配線ＢＬ［１］乃至［ｎ］から配線ＩＬ［１］乃至［ｎ］に電流Ｉ_ＣＭが排出される例を示している。また、カレントミラー回路ＣＭから配線ＢＬ［１］乃至［ｎ］を介してセルアレイＣＡに流れる電流を、Ｉ_Ｂ［１］乃至［ｎ］と表記する。また、カレントミラー回路ＣＭから配線ＢＬｒｅｆを介してセルアレイＣＡに流れる電流を、Ｉ_Ｂｒｅｆと表記する。

回路ＷＤＤは、配線ＷＤ［１］乃至［ｎ］および配線ＷＤｒｅｆと接続されている。回路ＷＤＤは、メモリセルＭＣに格納される第１のデータに対応する電位を、配線ＷＤ［１］乃至［ｎ］に供給する機能を有する。また、回路ＷＤＤは、メモリセルＭＣｒｅｆに格納される参照データに対応する電位を、配線ＷＤｒｅｆに供給する機能を有する。回路ＷＬＤは、配線ＷＬ［１］乃至［ｍ］と接続されている。回路ＷＬＤは、データの書き込みを行うメモリセルＭＣまたはメモリセルＭＣｒｅｆを選択するための信号を、配線ＷＬ［１］乃至［ｍ］に供給する機能を有する。回路ＣＬＤは、配線ＲＷ［１］乃至［ｍ］と接続されている。回路ＣＬＤは、第２のデータに対応する電位を、配線ＲＷ［１］乃至［ｍ］に供給する機能を有する。

オフセット回路ＯＦＳＴは、配線ＢＬ［１］乃至［ｎ］および配線ＯＬ［１］乃至［ｎ］と接続されている。オフセット回路ＯＦＳＴは、配線ＢＬ［１］乃至［ｎ］からオフセット回路ＯＦＳＴに流れる電流量、および／または、配線ＢＬ［１］乃至［ｎ］からオフセット回路ＯＦＳＴに流れる電流の変化量を検出する機能を有する。また、オフセット回路ＯＦＳＴは、検出結果を配線ＯＬ［１］乃至［ｎ］に出力する機能を有する。なお、オフセット回路ＯＦＳＴは、検出結果に対応する電流を配線ＯＬに出力してもよいし、検出結果に対応する電流を電圧に変換して配線ＯＬに出力してもよい。セルアレイＣＡとオフセット回路ＯＦＳＴの間を流れる電流を、Ｉ_α［１］乃至［ｎ］と表記する。

オフセット回路ＯＦＳＴの構成例を図２３に示す。図２３に示すオフセット回路ＯＦＳＴは、回路ＯＣ［１］乃至［ｎ］を有する。また、回路ＯＣ［１］乃至［ｎ］はそれぞれ、トランジスタＴｒ２１、トランジスタＴｒ２２、トランジスタＴｒ２３、容量素子Ｃ２１、および抵抗素子Ｒ１を有する。各素子の接続関係は図２３に示す通りである。なお、容量素子Ｃ２１の第１の電極および抵抗素子Ｒ１の第１の端子と接続されたノードを、ノードＮａとする。また、容量素子Ｃ２１の第２の電極、トランジスタＴｒ２１のソースまたはドレインの一方、およびトランジスタＴｒ２２のゲートと接続されたノードを、ノードＮｂとする。

配線ＶｒｅｆＬは電位Ｖｒｅｆを供給する機能を有し、配線ＶａＬは電位Ｖａを供給する機能を有し、配線ＶｂＬは電位Ｖｂを供給する機能を有する。また、配線ＶＤＤＬは電位ＶＤＤを供給する機能を有し、配線ＶＳＳＬは電位ＶＳＳを供給する機能を有する。ここでは、電位ＶＤＤが高電源電位であり、電位ＶＳＳが低電源電位である場合について説明する。また、配線ＲＳＴは、トランジスタＴｒ２１の導通状態を制御するための電位を供給する機能を有する。トランジスタＴｒ２２、トランジスタＴｒ２３、配線ＶＤＤＬ、配線ＶＳＳＬ、および配線ＶｂＬによって、ソースフォロワ回路が構成される。

次に、回路ＯＣ［１］乃至［ｎ］の動作例を説明する。なお、ここでは代表例として回路ＯＣ［１］の動作例を説明するが、回路ＯＣ［２］乃至［ｎ］も同様に動作させることができる。まず、配線ＢＬ［１］に第１の電流が流れると、ノードＮａの電位は、第１の電流と抵抗素子Ｒ１の抵抗値に応じた電位となる。また、このときトランジスタＴｒ２１はオン状態であり、ノードＮｂに電位Ｖａが供給される。その後、トランジスタＴｒ２１はオフ状態となる。

次に、配線ＢＬ［１］に第２の電流が流れると、ノードＮａの電位は、第２の電流と抵抗素子Ｒ１の抵抗値に応じた電位に変化する。このときトランジスタＴｒ２１はオフ状態であり、ノードＮｂはフローティング状態となっているため、ノードＮａの電位の変化に伴い、ノードＮｂの電位は容量結合により変化する。ここで、ノードＮａの電位の変化をΔＶ_Ｎａとし、容量結合係数を１とすると、ノードＮｂの電位はＶａ＋ΔＶ_Ｎａとなる。そして、トランジスタＴｒ２２のしきい値電圧をＶ_ｔｈとすると、配線ＯＬ［１］から電位Ｖａ＋ΔＶ_Ｎａ－Ｖ_ｔｈが出力される。ここで、Ｖａ＝Ｖ_ｔｈとすることにより、配線ＯＬ［１］から電位ΔＶ_Ｎａを出力することができる。

電位ΔＶ_Ｎａは、第１の電流から第２の電流への変化量、抵抗素子Ｒ１、および電位Ｖｒｅｆに応じて定まる。ここで、抵抗素子Ｒ１と電位Ｖｒｅｆは既知であるため、電位ΔＶ_Ｎａから配線ＢＬに流れる電流の変化量を求めることができる。

上記のようにオフセット回路ＯＦＳＴによって検出された電流量、および／または電流の変化量に対応する信号は、配線ＯＬ［１］乃至［ｎ］を介して活性化関数回路ＡＣＴＶに入力される。

活性化関数回路ＡＣＴＶは、配線ＯＬ［１］乃至［ｎ］、および、配線ＮＩＬ［１］乃至［ｎ］と接続されている。活性化関数回路ＡＣＴＶは、オフセット回路ＯＦＳＴから入力された信号を、あらかじめ定義された活性化関数に従って変換するための演算を行う機能を有する。活性化関数としては、例えば、シグモイド関数、ｔａｎｈ関数、ｓｏｆｔｍａｘ関数、ＲｅＬＵ関数、しきい値関数等を用いることができる。活性化関数回路ＡＣＴＶによって変換された信号は、出力データとして配線ＮＩＬ［１］乃至［ｎ］に出力される。

＜半導体装置の動作例＞
上記の半導体装置ＭＡＣを用いて、第１のデータと第２のデータの積和演算を行うことができる。以下、積和演算を行う際の半導体装置ＭＡＣの動作例を説明する。

図２４に半導体装置ＭＡＣの動作例のタイミングチャートを示す。図２４には、図２２における配線ＷＬ［１］、配線ＷＬ［２］、配線ＷＤ［１］、配線ＷＤｒｅｆ、ノードＮＭ［１，１］、ノードＮＭ［２，１］、ノードＮＭｒｅｆ［１］、ノードＮＭｒｅｆ［２］、配線ＲＷ［１］、および配線ＲＷ［２］の電位の推移と、電流Ｉ_Ｂ［１］－Ｉ_α［１］、および電流Ｉ_Ｂｒｅｆの値の推移を示している。電流Ｉ_Ｂ［１］－Ｉ_α［１］は、配線ＢＬ［１］からメモリセルＭＣ［１，１］、［２，１］に流れる電流の総和に相当する。

なお、ここでは代表例として図２２に示すメモリセルＭＣ［１，１］、［２，１］およびメモリセルＭＣｒｅｆ［１］、［２］に着目して動作を説明するが、他のメモリセルＭＣおよびメモリセルＭＣｒｅｆも同様に動作させることができる。

［第１のデータの格納］
まず、時刻Ｔ０１－Ｔ０２において、配線ＷＬ［１］の電位がハイレベルとなり、配線ＷＤ［１］の電位が接地電位（ＧＮＤ）よりもＶ_ＰＲ－Ｖ_{Ｗ［１，１］}大きい電位となり、配線ＷＤｒｅｆの電位が接地電位よりもＶ_ＰＲ大きい電位となる。また、配線ＲＷ［１］、および配線ＲＷ［２］の電位が基準電位（ＲＥＦＰ）となる。なお、電位Ｖ_{Ｗ［１，１］}はメモリセルＭＣ［１，１］に格納される第１のデータに対応する電位である。また、電位Ｖ_ＰＲは参照データに対応する電位である。これにより、メモリセルＭＣ［１，１］およびメモリセルＭＣｒｅｆ［１］が有するトランジスタＴｒ１１がオン状態となり、ノードＮＭ［１，１］の電位がＶ_ＰＲ－Ｖ_{Ｗ［１，１］}、ノードＮＭｒｅｆ［１］の電位がＶ_ＰＲとなる。

このとき、配線ＢＬ［１］からメモリセルＭＣ［１，１］のトランジスタＴｒ１２に流れる電流Ｉ_{ＭＣ［１，１］，０}は、次の式で表すことができる。ここで、ｋはトランジスタＴｒ１２のチャネル長、チャネル幅、移動度、およびゲート絶縁膜の容量等で決まる定数である。また、Ｖ_ｔｈはトランジスタＴｒ１２のしきい値電圧である。

また、配線ＢＬｒｅｆからメモリセルＭＣｒｅｆ［１］のトランジスタＴｒ１２に流れる電流Ｉ_{ＭＣｒｅｆ［１］，０}は、次の式で表すことができる。

次に、時刻Ｔ０２－Ｔ０３において、配線ＷＬ［１］の電位がローレベルとなる。これにより、メモリセルＭＣ［１，１］およびメモリセルＭＣｒｅｆ［１］が有するトランジスタＴｒ１１がオフ状態となり、ノードＮＭ［１，１］およびノードＮＭｒｅｆ［１］の電位が保持される。

なお、前述の通り、トランジスタＴｒ１１としてＯＳトランジスタを用いることが好ましい。これにより、トランジスタＴｒ１１のリーク電流を抑えることができ、ノードＮＭ［１，１］およびノードＮＭｒｅｆ［１］の電位を正確に保持することができる。

次に、時刻Ｔ０３－Ｔ０４において、配線ＷＬ［２］の電位がハイレベルとなり、配線ＷＤ［１］の電位が接地電位よりもＶ_ＰＲ－Ｖ_{Ｗ［２，１］}大きい電位となり、配線ＷＤｒｅｆの電位が接地電位よりもＶ_ＰＲ大きい電位となる。なお、電位Ｖ_{Ｗ［２，１］}はメモリセルＭＣ［２，１］に格納される第１のデータに対応する電位である。これにより、メモリセルＭＣ［２，１］およびメモリセルＭＣｒｅｆ［２］が有するトランジスタＴｒ１１がオン状態となり、ノードＮＭ［１，１］の電位がＶ_ＰＲ－Ｖ_{Ｗ［２，１］}、ノードＮＭｒｅｆ［１］の電位がＶ_ＰＲとなる。

このとき、配線ＢＬ［１］からメモリセルＭＣ［２，１］のトランジスタＴｒ１２に流れる電流Ｉ_{ＭＣ［２，１］，０}は、次の式で表すことができる。

また、配線ＢＬｒｅｆからメモリセルＭＣｒｅｆ［２］のトランジスタＴｒ１２に流れる電流Ｉ_{ＭＣｒｅｆ［２］，０}は、次の式で表すことができる。

次に、時刻Ｔ０４－Ｔ０５において、配線ＷＬ［２］の電位がローレベルとなる。これにより、メモリセルＭＣ［２，１］およびメモリセルＭＣｒｅｆ［２］が有するトランジスタＴｒ１１がオフ状態となり、ノードＮＭ［２，１］およびノードＮＭｒｅｆ［２］の電位が保持される。

以上の動作により、メモリセルＭＣ［１，１］、［２，１］に第１のデータが格納され、メモリセルＭＣｒｅｆ［１］、［２］に参照データが格納される。

ここで、時刻Ｔ０４－Ｔ０５において、配線ＢＬ［１］および配線ＢＬｒｅｆに流れる電流を考える。配線ＢＬｒｅｆには、電流源回路ＣＳから電流が供給される。また、配線ＢＬｒｅｆを流れる電流は、カレントミラー回路ＣＭ、メモリセルＭＣｒｅｆ［１］、［２］へ排出される。電流源回路ＣＳから配線ＢＬｒｅｆに供給される電流をＩ_Ｃｒｅｆ、配線ＢＬｒｅｆからカレントミラー回路ＣＭへ排出される電流をＩ_ＣＭ，０とすると、次の式が成り立つ。

配線ＢＬ［１］には、電流源回路ＣＳからの電流が供給される。また、配線ＢＬ［１］を流れる電流は、カレントミラー回路ＣＭ、メモリセルＭＣ［１，１］、［２，１］へ排出される。また、配線ＢＬ［１］からオフセット回路ＯＦＳＴに電流が流れる。電流源回路ＣＳから配線ＢＬ［１］に供給される電流をＩ_Ｃ，０、配線ＢＬ［１］からオフセット回路ＯＦＳＴに流れる電流をＩ_α，０とすると、次の式が成り立つ。

［第１のデータと第２のデータの積和演算］
次に、時刻Ｔ０５－Ｔ０６において、配線ＲＷ［１］の電位が基準電位よりもＶ_Ｘ［１］大きい電位となる。このとき、メモリセルＭＣ［１，１］、およびメモリセルＭＣｒｅｆ［１］のそれぞれの容量素子Ｃ１１には電位Ｖ_Ｘ［１］が供給され、容量結合によりトランジスタＴｒ１２のゲートの電位が上昇する。なお、電位Ｖ_ｘ［１］はメモリセルＭＣ［１，１］およびメモリセルＭＣｒｅｆ［１］に供給される第２のデータに対応する電位である。

トランジスタＴｒ１２のゲートの電位の変化量は、配線ＲＷの電位の変化量に、メモリセルの構成によって決まる容量結合係数を乗じた値となる。容量結合係数は、容量素子Ｃ１１の容量、トランジスタＴｒ１２のゲート容量、および寄生容量等によって算出される。以下では便宜上、配線ＲＷの電位の変化量とトランジスタＴｒ１２のゲートの電位の変化量が同じ、すなわち容量結合係数が１であるとして説明する。実際には、容量結合係数を考慮して電位Ｖ_ｘを決定すればよい。

メモリセルＭＣ［１，１］およびメモリセルＭＣｒｅｆ［１］の容量素子Ｃ１１に電位Ｖ_Ｘ［１］が供給されると、ノードＮＭ［１，１］およびノードＮＭｒｅｆ［１］の電位がそれぞれＶ_Ｘ［１］上昇する。

ここで、時刻Ｔ０５－Ｔ０６において、配線ＢＬ［１］からメモリセルＭＣ［１，１］のトランジスタＴｒ１２に流れる電流Ｉ_{ＭＣ［１，１］，１}は、次の式で表すことができる。

すなわち、配線ＲＷ［１］に電位Ｖ_Ｘ［１］を供給することにより、配線ＢＬ［１］からメモリセルＭＣ［１，１］のトランジスタＴｒ１２に流れる電流は、ΔＩ_{ＭＣ［１，１］}＝Ｉ_{ＭＣ［１，１］，１}－Ｉ_{ＭＣ［１，１］，０}増加する。

また、時刻Ｔ０５－Ｔ０６において、配線ＢＬｒｅｆからメモリセルＭＣｒｅｆ［１］のトランジスタＴｒ１２に流れる電流Ｉ_{ＭＣｒｅｆ［１］，１}は、次の式で表すことができる。

すなわち、配線ＲＷ［１］に電位Ｖ_Ｘ［１］を供給することにより、配線ＢＬｒｅｆからメモリセルＭＣｒｅｆ［１］のトランジスタＴｒ１２に流れる電流は、ΔＩ_{ＭＣｒｅｆ［１］}＝Ｉ_{ＭＣｒｅｆ［１］，１}－Ｉ_{ＭＣｒｅｆ［１］，０}増加する。

また、配線ＢＬ［１］および配線ＢＬｒｅｆに流れる電流について考える。配線ＢＬｒｅｆには、電流源回路ＣＳから電流Ｉ_Ｃｒｅｆが供給される。また、配線ＢＬｒｅｆを流れる電流は、カレントミラー回路ＣＭ、メモリセルＭＣｒｅｆ［１］、［２］へ排出される。配線ＢＬｒｅｆからカレントミラー回路ＣＭへ排出される電流をＩ_ＣＭ，１とすると、次の式が成り立つ。

配線ＢＬ［１］には、電流源回路ＣＳから電流Ｉ_Ｃが供給される。また、配線ＢＬ［１］を流れる電流は、カレントミラー回路ＣＭ、メモリセルＭＣ［１，１］、［２，１］へ排出される。さらに、配線ＢＬ［１］からオフセット回路ＯＦＳＴにも電流が流れる。配線ＢＬ［１］からオフセット回路ＯＦＳＴに流れる電流をＩ_α，１とすると、次の式が成り立つ。

そして、式（Ｅ１）乃至式（Ｅ１０）から、電流Ｉ_α，０と電流Ｉ_α，１の差（差分電流ΔＩ_α）は次の式で表すことができる。

このように、差分電流ΔＩ_αは、電位Ｖ_{Ｗ［１，１］}とＶ_Ｘ［１］の積に応じた値となる。

その後、時刻Ｔ０６－Ｔ０７において、配線ＲＷ［１］の電位は接地電位となり、ノードＮＭ［１，１］およびノードＮＭｒｅｆ［１］の電位は時刻Ｔ０４－Ｔ０５と同様になる。

次に、時刻Ｔ０７－Ｔ０８において、配線ＲＷ［１］の電位が基準電位よりもＶ_Ｘ［１］大きい電位となり、配線ＲＷ［２］の電位が基準電位よりもＶ_Ｘ［２］大きい電位が供給される。これにより、メモリセルＭＣ［１，１］、およびメモリセルＭＣｒｅｆ［１］のそれぞれの容量素子Ｃ１１に電位Ｖが供給され、容量結合によりノードＮＭ［１，１］およびノードＮＭｒｅｆ［１］の電位がそれぞれＶ_Ｘ［１］上昇する。また、メモリセルＭＣ［２，１］、およびメモリセルＭＣｒｅｆ［２］のそれぞれの容量素子Ｃ１１に電位Ｖ_Ｘ［２］が供給され、容量結合によりノードＮＭ［２，１］およびノードＮＭｒｅｆ［２］の電位がそれぞれＶ_Ｘ［２］上昇する。

ここで、時刻Ｔ０７－Ｔ０８において、配線ＢＬ［１］からメモリセルＭＣ［２，１］のトランジスタＴｒ１２に流れる電流Ｉ_{ＭＣ［２，１］，１}は、次の式で表すことができる。

すなわち、配線ＲＷ［２］に電位Ｖ_Ｘ［２］を供給することにより、配線ＢＬ［１］からメモリセルＭＣ［２，１］のトランジスタＴｒ１２に流れる電流は、ΔＩ_{ＭＣ［２，１］}＝Ｉ_{ＭＣ［２，１］，１}－Ｉ_{ＭＣ［２，１］，０}増加する。

また、時刻Ｔ０５－Ｔ０６において、配線ＢＬｒｅｆからメモリセルＭＣｒｅｆ［２］のトランジスタＴｒ１２に流れる電流Ｉ_{ＭＣｒｅｆ［２］，１}は、次の式で表すことができる。

すなわち、配線ＲＷ［２］に電位Ｖ_Ｘ［２］を供給することにより、配線ＢＬｒｅｆからメモリセルＭＣｒｅｆ［２］のトランジスタＴｒ１２に流れる電流は、ΔＩ_{ＭＣｒｅｆ［２］}＝Ｉ_{ＭＣｒｅｆ［２］，１}－Ｉ_{ＭＣｒｅｆ［２］，０}増加する。

また、配線ＢＬ［１］および配線ＢＬｒｅｆに流れる電流について考える。配線ＢＬｒｅｆには、電流源回路ＣＳから電流Ｉ_Ｃｒｅｆが供給される。また、配線ＢＬｒｅｆを流れる電流は、カレントミラー回路ＣＭ、メモリセルＭＣｒｅｆ［１］、［２］へ排出される。配線ＢＬｒｅｆからカレントミラー回路ＣＭへ排出される電流をＩ_ＣＭ，２とすると、次の式が成り立つ。

配線ＢＬ［１］には、電流源回路ＣＳから電流Ｉ_Ｃが供給される。また、配線ＢＬ［１］を流れる電流は、カレントミラー回路ＣＭ、メモリセルＭＣ［１，１］、［２，１］へ排出される。さらに、配線ＢＬ［１］からオフセット回路ＯＦＳＴにも電流が流れる。配線ＢＬ［１］からオフセット回路ＯＦＳＴに流れる電流をＩ_α，２とすると、次の式が成り立つ。

そして、式（Ｅ１）乃至式（Ｅ８）、および、式（Ｅ１２）乃至式（Ｅ１５）から、電流Ｉ_α，０と電流Ｉ_α，２の差（差分電流ΔＩ_α）は次の式で表すことができる。

このように、差分電流ΔＩ_αは、電位Ｖ_{Ｗ［１，１］}と電位Ｖ_Ｘ［１］の積と、電位Ｖ_{Ｗ［２，１］}と電位Ｖ_Ｘ［２］の積と、を足し合わせた結果に応じた値となる。

その後、時刻Ｔ０８－Ｔ０９において、配線ＲＷ［１］、［２］の電位は接地電位となり、ノードＮＭ［１，１］、［２，１］およびノードＮＭｒｅｆ［１］、［２］の電位は時刻Ｔ０４－Ｔ０５と同様になる。

式（Ｅ９）および式（Ｅ１６）に示されるように、オフセット回路ＯＦＳＴに入力される差分電流ΔＩ_αは、第１のデータ（重み）に対応する電位Ｖ_Ｘと、第２のデータ（入力データ）に対応する電位Ｖ_Ｗの積を足し合わせた結果に応じた値となる。すなわち、差分電流ΔＩ_αをオフセット回路ＯＦＳＴで計測することにより、第１のデータと第２のデータの積和演算の結果を得ることができる。

なお、上記では特にメモリセルＭＣ［１，１］、［２，１］およびメモリセルＭＣｒｅｆ［１］、［２］に着目したが、メモリセルＭＣおよびメモリセルＭＣｒｅｆの数は任意に設定することができる。メモリセルＭＣおよびメモリセルＭＣｒｅｆの行数ｍを任意の数とした場合の差分電流ΔＩαは、次の式で表すことができる。

また、メモリセルＭＣおよびメモリセルＭＣｒｅｆの列数ｎを増やすことにより、並列して実行される積和演算の数を増やすことができる。

以上のように、半導体装置ＭＡＣを用いることにより、第１のデータと第２のデータの積和演算を行うことができる。なお、メモリセルＭＣおよびメモリセルＭＣｒｅｆとして図２２に示す構成を用いることにより、少ないトランジスタ数で積和演算回路を構成することができる。そのため、半導体装置ＭＡＣの回路規模の縮小を図ることができる。

半導体装置ＭＡＣをニューラルネットワークにおける演算に用いる場合、メモリセルＭＣの行数ｍは一のニューロンに供給される入力データの数に対応させ、メモリセルＭＣの列数ｎはニューロンの数に対応させることができる。例えば、図２０（Ａ）に示す中間層ＨＬにおいて半導体装置ＭＡＣを用いた積和演算を行う場合を考える。このとき、メモリセルＭＣの行数ｍは、入力層ＩＬから供給される入力データの数（入力層ＩＬのニューロンの数）に設定し、メモリセルＭＣの列数ｎは、中間層ＨＬのニューロンの数に設定することができる。

なお、半導体装置ＭＡＣを適用するニューラルネットワークの構造は特に限定されない。例えば半導体装置ＭＡＣは、畳み込みニューラルネットワーク（ＣＮＮ）、再帰型ニューラルネットワーク（ＲＮＮ）、オートエンコーダ、ボルツマンマシン（制限ボルツマンマシンを含む）等に用いることもできる。

以上のように、半導体装置ＭＡＣを用いることにより、ニューラルネットワークの積和演算を行うことができる。さらに、セルアレイＣＡに図２２に示すメモリセルＭＣおよびメモリセルＭＣｒｅｆを用いることにより、演算精度の向上、消費電力の削減、または回路規模の縮小を図ることが可能なＩＣを提供することができる。

本実施の形態は、他の実施の形態の記載と適宜組み合わせることができる。

（実施の形態３）
本実施の形態、本発明の一態様で開示されるトランジスタに用いることができるＣＡＣ（Ｃｌｏｕｄ－Ａｌｉｇｎｅｄ Ｃｏｍｐｏｓｉｔｅ）－ＯＳの構成について説明する。

ＣＡＣ－ＯＳとは、例えば、酸化物半導体を構成する元素が、０．５ｎｍ以上１０ｎｍ以下、好ましくは、１ｎｍ以上２ｎｍ以下、またはその近傍のサイズで偏在した材料の一構成である。なお、以下では、酸化物半導体において、一つあるいはそれ以上の金属元素が偏在し、該金属元素を有する領域が、０．５ｎｍ以上１０ｎｍ以下、好ましくは、１ｎｍ以上２ｎｍ以下、またはその近傍のサイズで混合した状態をモザイク状、またはパッチ状ともいう。

なお、酸化物半導体は、少なくともインジウムを含むことが好ましい。特にインジウムおよび亜鉛を含むことが好ましい。また、それらに加えて、アルミニウム、ガリウム、イットリウム、銅、バナジウム、ベリリウム、ホウ素、シリコン、チタン、鉄、ニッケル、ゲルマニウム、ジルコニウム、モリブデン、ランタン、セリウム、ネオジム、ハフニウム、タンタル、タングステン、またはマグネシウム等から選ばれた一種、または複数種が含まれていてもよい。

例えば、Ｉｎ－Ｇａ－Ｚｎ酸化物におけるＣＡＣ－ＯＳ（ＣＡＣ－ＯＳの中でもＩｎ－Ｇａ－Ｚｎ酸化物を、特にＣＡＣ－ＩＧＺＯと呼称してもよい。）とは、インジウム酸化物（以下、ＩｎＯ_Ｘ１（Ｘ１は０よりも大きい実数）とする。）、またはインジウム亜鉛酸化物（以下、Ｉｎ_Ｘ２Ｚｎ_Ｙ２Ｏ_Ｚ２（Ｘ２、Ｙ２、およびＺ２は０よりも大きい実数）とする。）等と、ガリウム酸化物（以下、ＧａＯ_Ｘ３（Ｘ３は０よりも大きい実数）とする。）、またはガリウム亜鉛酸化物（以下、Ｇａ_Ｘ４Ｚｎ_Ｙ４Ｏ_Ｚ４（Ｘ４、Ｙ４、およびＺ４は０よりも大きい実数）とする。）等と、に材料が分離することでモザイク状となり、モザイク状のＩｎＯ_Ｘ１、またはＩｎ_Ｘ２Ｚｎ_Ｙ２Ｏ_Ｚ２が、膜中に均一に分布した構成（以下、クラウド状ともいう。）である。

つまり、ＣＡＣ－ＯＳは、ＧａＯ_Ｘ３が主成分である領域と、Ｉｎ_Ｘ２Ｚｎ_Ｙ２Ｏ_Ｚ２、またはＩｎＯ_Ｘ１が主成分である領域とが、混合している構成を有する複合酸化物半導体である。なお、本明細書等において、例えば、第１の領域の元素Ｍに対するＩｎの原子数比が、第２の領域の元素Ｍに対するＩｎの原子数比よりも大きいことを、第１の領域は、第２の領域と比較して、Ｉｎの濃度が高いとする。

なお、ＩＧＺＯは通称であり、Ｉｎ、Ｇａ、Ｚｎ、およびＯによる１つの化合物をいう場合がある。代表例として、ＩｎＧａＯ_３（ＺｎＯ）_ｍ１（ｍ１は自然数）、またはＩｎ_{（１＋ｘ０）}Ｇａ_{（１－ｘ０）}Ｏ_３（ＺｎＯ）_ｍ０（－１≦ｘ０≦１、ｍ０は任意数）で表される結晶性の化合物が挙げられる。

上記結晶性の化合物は、単結晶構造、多結晶構造、またはＣＡＡＣ構造を有する。なお、ＣＡＡＣ構造とは、複数のＩＧＺＯのナノ結晶がｃ軸配向を有し、かつａ－ｂ面においては配向せずに連結した結晶構造である。

一方、ＣＡＣ－ＯＳは、酸化物半導体の材料構成に関する。ＣＡＣ－ＯＳとは、Ｉｎ、Ｇａ、Ｚｎ、およびＯを含む材料構成において、一部にＧａを主成分とするナノ粒子状に観察される領域と、一部にＩｎを主成分とするナノ粒子状に観察される領域とが、それぞれモザイク状にランダムに分散している構成をいう。従って、ＣＡＣ－ＯＳにおいて、結晶構造は副次的な要素である。

なお、ＣＡＣ－ＯＳは、組成の異なる二種類以上の膜の積層構造は含まないものとする。例えば、Ｉｎを主成分とする膜と、Ｇａを主成分とする膜との２層からなる構造は、含まない。

なお、ＧａＯ_Ｘ３が主成分である領域と、Ｉｎ_Ｘ２Ｚｎ_Ｙ２Ｏ_Ｚ２、またはＩｎＯ_Ｘ１が主成分である領域とは、明確な境界が観察できない場合がある。

なお、ガリウムの代わりに、アルミニウム、イットリウム、銅、バナジウム、ベリリウム、ホウ素、シリコン、チタン、鉄、ニッケル、ゲルマニウム、ジルコニウム、モリブデン、ランタン、セリウム、ネオジム、ハフニウム、タンタル、タングステン、またはマグネシウム等から選ばれた一種、または複数種が含まれている場合、ＣＡＣ－ＯＳは、一部に該金属元素を主成分とするナノ粒子状に観察される領域と、一部にＩｎを主成分とするナノ粒子状に観察される領域とが、それぞれモザイク状にランダムに分散している構成をいう。

ＣＡＣ－ＯＳは、例えば基板を意図的に加熱しない条件で、スパッタリング法により形成することができる。また、ＣＡＣ－ＯＳをスパッタリング法で形成する場合、成膜ガスとして、不活性ガス（代表的にはアルゴン）、酸素ガス、および窒素ガスの中から選ばれたいずれか一つまたは複数を用いればよい。また、成膜時の成膜ガスの総流量に対する酸素ガスの流量比は低いほど好ましく、例えば酸素ガスの流量比を０％以上３０％未満、好ましくは０％以上１０％以下とすることが好ましい。

ＣＡＣ－ＯＳは、Ｘ線回折（ＸＲＤ：Ｘ－ｒａｙ ｄｉｆｆｒａｃｔｉｏｎ）測定法のひとつであるＯｕｔ－ｏｆ－ｐｌａｎｅ法によるθ／２θスキャンを用いて測定したときに、明確なピークが観察されないという特徴を有する。すなわち、Ｘ線回折から、測定領域のａ－ｂ面方向、およびｃ軸方向の配向は見られないことが分かる。

またＣＡＣ－ＯＳは、プローブ径が１ｎｍの電子線（ナノビーム電子線ともいう。）を照射することで得られる電子線回折パターンにおいて、リング状に輝度の高い領域と、該リング領域に複数の輝点が観測される。従って、電子線回折パターンから、ＣＡＣ－ＯＳの結晶構造が、平面方向、および断面方向において、配向性を有さないｎｃ（ｎａｎｏ－ｃｒｙｓｔａｌ）構造を有することがわかる。

また例えば、Ｉｎ－Ｇａ－Ｚｎ酸化物におけるＣＡＣ－ＯＳでは、エネルギー分散型Ｘ線分光法（ＥＤＸ：Ｅｎｅｒｇｙ Ｄｉｓｐｅｒｓｉｖｅ Ｘ－ｒａｙ ｓｐｅｃｔｒｏｓｃｏｐｙ）を用いて取得したＥＤＸマッピングにより、ＧａＯ_Ｘ３が主成分である領域と、Ｉｎ_Ｘ２Ｚｎ_Ｙ２Ｏ_Ｚ２、またはＩｎＯ_Ｘ１が主成分である領域とが、偏在し、混合している構造を有することが確認できる。

ＣＡＣ－ＯＳは、金属元素が均一に分布したＩＧＺＯ化合物とは異なる構造であり、ＩＧＺＯ化合物と異なる性質を有する。つまり、ＣＡＣ－ＯＳは、ＧａＯ_Ｘ３等が主成分である領域と、Ｉｎ_Ｘ２Ｚｎ_Ｙ２Ｏ_Ｚ２、またはＩｎＯ_Ｘ１が主成分である領域と、に互いに相分離し、各元素を主成分とする領域がモザイク状である構造を有する。

ここで、Ｉｎ_Ｘ２Ｚｎ_Ｙ２Ｏ_Ｚ２、またはＩｎＯ_Ｘ１が主成分である領域は、ＧａＯ_Ｘ３等が主成分である領域と比較して、導電性が高い領域である。つまり、Ｉｎ_Ｘ２Ｚｎ_Ｙ２Ｏ_Ｚ２、またはＩｎＯ_Ｘ１が主成分である領域を、キャリアが流れることにより、酸化物半導体としての導電性が発現する。従って、Ｉｎ_Ｘ２Ｚｎ_Ｙ２Ｏ_Ｚ２、またはＩｎＯ_Ｘ１が主成分である領域が、酸化物半導体中にクラウド状に分布することで、高い電界効果移動度（μ）が実現できる。

一方、ＧａＯ_Ｘ３等が主成分である領域は、Ｉｎ_Ｘ２Ｚｎ_Ｙ２Ｏ_Ｚ２、またはＩｎＯ_Ｘ１が主成分である領域と比較して、絶縁性が高い領域である。つまり、ＧａＯ_Ｘ３等が主成分である領域が、酸化物半導体中に分布することで、リーク電流を抑制し、良好なスイッチング動作を実現できる。

従って、ＣＡＣ－ＯＳを半導体素子に用いた場合、ＧａＯ_Ｘ３等に起因する絶縁性と、Ｉｎ_Ｘ２Ｚｎ_Ｙ２Ｏ_Ｚ２、またはＩｎＯ_Ｘ１に起因する導電性とが、相補的に作用することにより、高いオン電流（Ｉ_ｏｎ）、および高い電界効果移動度（μ）を実現することができる。

また、ＣＡＣ－ＯＳを用いた半導体素子は、信頼性が高い。従って、ＣＡＣ－ＯＳは、ディスプレイをはじめとするさまざまな半導体装置に最適である。

本実施の形態は、他の実施の形態の記載と適宜組み合わせることができる。

（実施の形態４）
本実施の形態では、本発明の一態様の表示システムを適用可能な移動体の例について説明する。

図２５（Ａ）は自動車３０１である。本発明の一態様の表示システムは、自動車３０１に適用することができる。例えば、本発明の一態様の表示システムを構成する撮像装置を、自動車３０１に設けることにより、自動車３０１の外部の様子を撮像することができる。撮像装置により取得された撮像データが明暗差の大きい撮像データであり、表示装置のダイナミックレンジが撮像装置のダイナミックレンジより低い場合であっても、表示される画像が不鮮明となることを抑制しつつ、ダイナミックレンジ圧縮を行うことができる。

図２５（Ｂ）はバス３０２である。本発明の一態様の表示システムは、バス３０２に適用することができる。例えば、本発明の一態様の表示システムを構成する撮像装置を、バス３０２に設けることにより、バス３０２の外部の様子を撮像することができる。撮像装置により取得された撮像データが明暗差の大きい撮像データであり、表示装置のダイナミックレンジが撮像装置のダイナミックレンジより低い場合であっても、表示される画像が不鮮明となることを抑制しつつ、ダイナミックレンジ圧縮を行うことができる。

図２５（Ｃ）は列車３０３である。本発明の一態様の表示システムは、列車３０３に適用することができる。例えば、本発明の一態様の表示システムを構成する撮像装置を、列車３０３に設けることにより、列車３０３の外部の様子を撮像することができる。撮像装置により取得された撮像データが明暗差の大きい撮像データであり、表示装置のダイナミックレンジが撮像装置のダイナミックレンジより低い場合であっても、表示される画像が不鮮明となることを抑制しつつ、ダイナミックレンジ圧縮を行うことができる。

図２５（Ｄ）は飛行機３０４である。本発明の一態様の表示システムは、飛行機３０４に適用することができる。例えば、本発明の一態様の表示システムを構成する撮像装置を、飛行機３０４に設けることにより、飛行機３０４の外部の様子を撮像することができる。撮像装置により取得された撮像データが明暗差の大きい撮像データであり、表示装置のダイナミックレンジが撮像装置のダイナミックレンジより低い場合であっても、表示される画像が不鮮明となることを抑制しつつ、ダイナミックレンジ圧縮を行うことができる。

本実施の形態は、他の実施の形態の記載と適宜組み合わせることができる。

１０：表示システム、２０：撮像装置、２１：画素、２２：画素アレイ、２３：ロードライバ、２５：Ａ／Ｄ変換回路、２６：カラムドライバ、３０：制御装置、３１：解析回路、３２：階調決定回路、３３：記憶回路、３４：予測回路、４０：表示装置、４１：画素、４２：画素アレイ、４３：ロードライバ、４６：カラムドライバ、４７：階調、５０：照度域、５１：ネットワーク、５２：サーバ、５３：機器、１３１：導電層、１３２：導電層、１３３：導電層、１３４：導電層、１３５：バックゲート、１３６：領域、１３７：導電層、１４０：シリコン基板、１４１：絶縁層、１４２：絶縁層、１４３：絶縁層、１４５：半導体層、１４６：絶縁層、１５０：光電変換素子、１５１：トランジスタ、１５２：トランジスタ、１５３：トランジスタ、１５４：トランジスタ、１５５：容量素子、１６１：層、１６２：層、１６３：層、１６５ａ：層、１６５ｂ：層、１６５ｃ：層、１６６ａ：層、１６６ｂ：層、１６６ｃ：層、１６６ｄ：層、１７１：配線、１７２：配線、１７３：配線、１７４：配線、１７５：配線、１７６：配線、１７７：配線、１７８：配線、１８０：絶縁層、１８１：遮光層、１８２：有機樹脂層、１８３：カラーフィルタ、１８３ａ：カラーフィルタ、１８３ｂ：カラーフィルタ、１８３ｃ：カラーフィルタ、１８４：マイクロレンズアレイ、１８５：光学変換層、１８６：絶縁層、３０１：自動車、３０２：バス、３０３：列車、３０４：飛行機、４１０：パッケージ基板、４１１：パッケージ基板、４２０：カバーガラス、４２１：レンズカバー、４３０：接着剤、４３５：レンズ、４４０：バンプ、４４１：ランド、４５０：イメージセンサチップ、４５１：イメージセンサチップ、４６０：電極パッド、４６１：電極パッド、４７０：ワイヤ、４７１：ワイヤ、４９０：ＩＣチップ、５１０：導電層、５１１：導電層、５１２：半導体層、５１６：導電層、５１７：導電層、１４０５：コントローラ、１４１０：行回路、１４１１：デコーダ、１４１２：ワード線ドライバ回路、１４１３：列セレクタ、１４１４：センスアンプドライバ回路、１４１５：列回路、１４１６：グローバルセンスアンプアレイ、１４１７：入出力回路、１４２０：センスアンプアレイ、１４２２：メモリセルアレイ、１４２３：センスアンプアレイ、１４２５：ローカルメモリセルアレイ、１４２６：ローカルメモリセルアレイ、１４４５：メモリセル、１４４５ａ：メモリセル、１４４５ｂ：メモリセル、１４４７：グローバルセンスアンプ、３１２５：発光素子、３１７４：配線、３１７８：配線、３２３２：トランジスタ、３２３３：容量素子、３４３１：トランジスタ、３４３２：液晶素子、３４３５：ノード、３４３６：ノード、３４３７：ノード、４００１：基板、４００５：シール材、４００６：基板、４００８：液晶層、４０１４：配線、４０１５：導電層、４０１８：ＦＰＣ、４０１９：異方性導電層、４０２１：導電層、４０３０：導電層、４０３１：導電層、４０３２：絶縁層、４０３３：絶縁層、４０３５：スペーサ、４１０２：絶縁層、４１０３：絶縁層、４１１０：絶縁層、４１１１：絶縁層、４１１２：絶縁層、４５１０：隔壁、４５１１：発光層、４５１４：充填材

Claims (5)

1. 撮像装置と、制御装置と、表示装置と、を有する表示システムであって、
   前記撮像装置は、マトリクス状に配置された第１の画素を有し、
   前記表示装置は、マトリクス状に配置された第２の画素を有し、
   前記撮像装置は、前記第１の画素に照射された光の照度を基にして、第１の画像データを生成する機能を有し、
   前記制御装置は、前記第１の画像データを基に、ヒストグラム作成する機能を有し、
   前記制御装置は、前記ヒストグラムを、二以上の照度域に分割する機能を有し、
   前記制御装置は、前記第１の画像データが情報として有する、前記第１の画素に照射された光の照度に対応する階調を変換することにより、前記第１の画像データに対してダイナミックレンジ圧縮を行った第２の画像データを生成する機能を有し、
   前記制御装置は、それぞれの前記照度域における前記ヒストグラムの積分値を基に、前記ダイナミックレンジ圧縮における圧縮率を、前記照度域ごとに計算する機能を有し、
   前記制御装置は、ニューラルネットワークを有し、
   前記ニューラルネットワークは、前記第１の画像データを基にして、前記第１の画像データが取得されたフレーム期間より後のフレーム期間において前記撮像装置が取得する第３の画像データを予測する機能を有する表示システム。
2. 請求項１において、
   前記積分値が大きい前記照度域における前記圧縮率は、前記積分値が小さい前記照度域における前記圧縮率より小さい表示システム。
3. 請求項１または２において、
   前記制御装置は、前記第３の画像データを基にして、前記圧縮率を更新するか否かを判定する機能を有する表示システム。
4. 第１の画素がマトリクス状に配列された撮像装置と、制御装置と、第２の画素がマトリクス状に配列された表示装置と、を有する表示システムの動作方法であって、
   前記撮像装置が、前記第１の画素に照射された光の照度を基にして、第１の画像データを生成し、
   前記制御装置が、前記第１の画像データを基に、ヒストグラムを作成し、
   前記制御装置が、前記ヒストグラムを、二以上の照度域に分割し、
   前記制御装置が、前記第１の画像データが情報として有する、前記第１の画素に照射された光の照度に対応する階調を変換することにより、それぞれの前記照度域における前記ヒストグラムの積分値を基に前記照度域ごとに計算した圧縮率で、前記第１の画像データに対してダイナミックレンジ圧縮を行った第２の画像データを生成する機能を有し、
   前記制御装置は、ニューラルネットワークを有し、
   前記ニューラルネットワークにより、前記第１の画像データを基にして、前記第１の画像データが取得されたフレーム期間より後のフレーム期間において前記撮像装置が取得する第３の画像データを予測し、
   前記第３の画像データを基に、前記圧縮率を更新するか否かを判定する表示システムの動作方法。
5. 請求項４において、
   前記積分値が大きい前記照度域における前記圧縮率が、前記積分値が小さい前記照度域における前記圧縮率より小さくなるように、前記第１の画像データに対して前記ダイナミックレンジ圧縮を行う表示システムの動作方法。

Images