JP2023077673A - 光検出装置及び電子機器 - Google Patents
光検出装置及び電子機器 Download PDFInfo
- Publication number
- JP2023077673A JP2023077673A JP2021191032A JP2021191032A JP2023077673A JP 2023077673 A JP2023077673 A JP 2023077673A JP 2021191032 A JP2021191032 A JP 2021191032A JP 2021191032 A JP2021191032 A JP 2021191032A JP 2023077673 A JP2023077673 A JP 2023077673A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- phase difference
- pixels
- imaging
- difference detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 199
- 230000003287 optical effect Effects 0.000 title abstract description 13
- 238000003384 imaging method Methods 0.000 claims abstract description 241
- 238000006243 chemical reaction Methods 0.000 claims abstract description 74
- 238000011109 contamination Methods 0.000 abstract 1
- 230000000875 corresponding effect Effects 0.000 description 72
- 238000010586 diagram Methods 0.000 description 33
- 238000012545 processing Methods 0.000 description 32
- 238000004891 communication Methods 0.000 description 18
- 238000005516 engineering process Methods 0.000 description 18
- 238000012986 modification Methods 0.000 description 18
- 230000004048 modification Effects 0.000 description 18
- 230000000052 comparative effect Effects 0.000 description 12
- 238000002674 endoscopic surgery Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 230000006866 deterioration Effects 0.000 description 8
- 238000000034 method Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 239000003086 colorant Substances 0.000 description 6
- 239000000203 mixture Substances 0.000 description 6
- 230000001276 controlling effect Effects 0.000 description 5
- 230000005284 excitation Effects 0.000 description 4
- 238000001356 surgical procedure Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 208000005646 Pneumoperitoneum Diseases 0.000 description 3
- 230000003321 amplification Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000010336 energy treatment Methods 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 239000003153 chemical reaction reagent Substances 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 2
- 229960004657 indocyanine green Drugs 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000002073 fluorescence micrograph Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000002406 microsurgery Methods 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical compound [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 description 1
- 229910052721 tungsten Inorganic materials 0.000 description 1
- 239000010937 tungsten Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Solid State Image Pick-Up Elements (AREA)
Abstract
Description
本開示は光検出装置及び電子機器に関する。
像面位相差オートフォーカス(AF)機能を得るために、通常の撮像画素だけでなく、光電変換部の一部が遮光膜で覆われた位相差検出画素も配置する技術が知られている(例えば特許文献1を参照)。
位相差検出画素に隣接する撮像画素と、そうでない撮像画素とでは、隣接画素の遮光膜の有無に起因して、隣接画素からの光の混入量が異なる。撮像画素どうしの間で、隣接画素からの光の混入量にバラつきが生じる。
本開示の一側面は、撮像画素どうしの間での隣接画素からの光の混入量のバラつきを抑制することが可能な光検出装置及び電子機器を提供する。
本開示の一側面に係る光検出装置は、2次元状に配列された複数の画素を備え、複数の画素は、光電変換部を含む撮像画素と、光電変換部、当該光電変換部の一部を覆う遮光膜、及び、当該光電変換部が当該遮光膜で覆われていない部分である開口部を含む位相差検出画素と、を含み、撮像画素は、特定の方向において他の撮像画素に隣接する一方で位相差検出画素には隣接しない第1の撮像画素と、特定の方向において、位相差検出画素の開口部が隣接するように位相差検出画素に隣接する第2の撮像画素と、を含む。
本開示の一側面に係る電子機器は、光検出装置が搭載された電子機器であって、光検出装置は、2次元状に配列された複数の画素を備え、複数の画素は、光電変換部を含む撮像画素と、光電変換部及び当該光電変換部の一部を覆う遮光膜を含む位相差検出画素と、を含み、撮像画素は、特定の方向において他の撮像画素に隣接する一方で位相差検出画素には隣接しない複数の第1の撮像画素と、特定の方向において位相差検出画素に隣接するとともに、当該位相差検出画素において光電変換部が遮光膜で覆われていない部分である開口部に隣接する第2の撮像画素と、を含む。
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の要素には同一の符号を付することにより重複する説明を省略する。
以下に示す項目順序に従って本開示を説明する。
1.実施形態
2.変形例
3.電子機器への搭載例
4.効果の例
5.移動体への応用例
6.内視鏡手術システムへの応用例
1.実施形態
2.変形例
3.電子機器への搭載例
4.効果の例
5.移動体への応用例
6.内視鏡手術システムへの応用例
1.実施形態
図1は、実施形態に係る光検出装置の概略構成の例を示す図である。例示される光検出装置1は、個体撮像装置であり、各要素が基板11(例えばシリコン基板等)に設けられる。光検出装置1は、画素領域3と、垂直駆動回路4と、カラム信号処理回路5と、水平駆動回路6と、出力回路7と、制御回路8と、垂直信号線9と、水平信号線10と、入出力端子12とを含む。
図1は、実施形態に係る光検出装置の概略構成の例を示す図である。例示される光検出装置1は、個体撮像装置であり、各要素が基板11(例えばシリコン基板等)に設けられる。光検出装置1は、画素領域3と、垂直駆動回路4と、カラム信号処理回路5と、水平駆動回路6と、出力回路7と、制御回路8と、垂直信号線9と、水平信号線10と、入出力端子12とを含む。
画素領域3は、複数の画素2を含む。複数の画素2は、2次元アレイ状に配列される。画素領域3に対するXYZ座標系が図示される。X軸方向は、アレイの行方向に対応し、例えば光検出装置1の横方向(水平方向)に対応する。Y軸方向は、アレイの列方向に対応し、例えば光検出装置1の縦方向(垂直方向)に対応する。Z軸方向は、例えば光検出装置1の前後方向に対応する。光検出装置1は、とくに前方からの光(Z軸負方向に沿って進む光)を検出する。
画素2は、光電変換部(後述の光電変換部201に相当)及び画素トランジスタ等を含む。光電変換部は、例えばフォトダイオード(PD:Photo Diode)等の光電変換素子を含んで構成される。画素トランジスタは、例えばMOS(Metal Oxide Semiconductor)トランジスタである。1つの画素2に、複数の画素トランジスタが設けられ得る。複数の画素トランジスタの例は、転送トランジスタ、リセットトランジスタ、増幅トランジスタ、選択トランジスタ等である。例えば、転送トランジスタは、光電変換素子で発生した電荷を転送するために用いられる。リセットトランジスタは、電荷をリセットするために用いられる。増幅トランジスタは、電荷に応じた画素信号を生成するために用いられる。選択トランジスタは、画素信号を信号線に出現させるために用いられる。これらの画素トランジスタを含む種々の公知の回路構成が、各画素2に設けられてよい。
なお、共有画素構造が採用されてもよい。例えば、いくつかの画素2それぞれの光電変換部及び転送トランジスタと、1つのフローティングディフュージョンと、他の画素トランジスタの1つずつとが共有されてよい。
垂直駆動回路4、カラム信号処理回路5、水平駆動回路6、出力回路7及び制御回路8は、画素領域3の周辺回路部を構成する。先に制御回路8から説明する。
制御回路8は、入力クロックや、動作モード等を指令するデータを受け取り、また、光検出装置1の内部情報等のデータを出力する。制御回路8は、垂直同期信号、水平同期信号及びマスタクロックに基づいて、垂直駆動回路4、カラム信号処理回路5及び水平駆動回路6等の動作の基準となるクロック信号や制御信号を生成する。制御回路8は、生成したそれらの信号を、垂直駆動回路4、カラム信号処理回路5及び水平駆動回路6等に入力(供給)する。
垂直駆動回路4は、例えばシフトレジスタを含んで構成される。垂直駆動回路4は、画素駆動配線を選択し、選択した画素駆動配線に、画素駆動のためのパルスを供給し、行単位で画素2を駆動する。垂直駆動回路4は、各画素2を行単位で順次垂直方向に選択走査し、各画素2からの画素信号を、垂直信号線9を通してカラム信号処理回路5に供給する。
カラム信号処理回路5は、例えば画素列ごとに配置されており、1行分の画素2からの画素信号に対して、画素列ごとにノイズ除去等の信号処理を行う。カラム信号処理回路5は、画素2に固有の固定パターンノイズを除去するためのCDS(Correlated Double Sampling)や、信号増幅、AD(Analog to Digital)変換等の信号処理を行う。カラム信号処理回路5の出力段と水平信号線10との間には、図示しない水平選択スイッチが接続される。
水平駆動回路6は、例えばシフトレジスタを含んで構成される。水平駆動回路6は、水平走査パルスを順次出力することによって、カラム信号処理回路5の各々を順番に選択し、カラム信号処理回路5の各々から画素信号を水平信号線10に出力させる。
出力回路7は、カラム信号処理回路5の各々から水平信号線10を通して順次に供給される画素信号に対し、信号処理を行って出力する。例えば、バファリングが行われたり、黒レベル調整、列ばらつき補正、各種デジタル信号処理等が行われたりする。入出力端子12は、外部と信号のやりとりをする。
図2は、画素領域の概略構成の例を示す図である。1つの画素2が1つの色に対応する。色として、赤色R、緑色G及び青色Bの三原色を例に挙げて説明する。複数の画素2それぞれは、赤色R、緑色G及び青色Bのいずれかに対応する。各画素2を色ごとに区別できるように、異なるハッチングで図示する。図2に示される例では、複数の画素2は、1×1画素を基本パターンとしてベイヤー配列される。
複数の画素2は、撮像画素21及び撮像画素22と、位相差検出画素23とを含む。撮像画素21及び撮像画素22は、光電変換部等を含む通常の画素である。撮像画素21及び撮像画素22の画素信号は、撮像画像等を構成する。撮像画素21は、特定の方向(この例ではX軸方向)において、他の撮像画素(この例では他の撮像画素21)に隣接する一方で位相差検出画素23には隣接しない第1の撮像画素である。図3も参照して説明する。
図3は、図2のIII-III線に沿ってみた断面を模式的に示す図である。図3の(A)に示されるように、撮像画素21は、光電変換部201と、カラーフィルタ202と、レンズ203と、遮光壁204とを含む。撮像画素21に含まれる他の要素、例えば画素トランジスタ等については図示を省略する。とくに説明がある場合を除き、各要素の材料は、技術常識の範囲内で適宜選択されてよい。
光電変換部201は、例えば先に述べたフォトダイオード等の光電変換素子である。カラーフィルタ202は、光電変換部201に対して設けられる。この例では、カラーフィルタ202は、光電変換部201の前方(Z軸正方向側)に設けられ、撮像画素21が対応する色の光を通過させる。図において、緑色Gの光を通過させるカラーフィルタ202には、文字「G」を付している。赤色Rの光を通過させるカラーフィルタ202には、文字「R」を付している。レンズ203は、光を光電変換部201に集光するように、カラーフィルタ202の前方(Z軸正方向側)においてカラーフィルタ202上に設けられたマイクロチップレンズである。遮光壁204は、隣接する撮像画素21からの光を遮断するように、光電変換部201とカラーフィルタ202との間に設けられる。遮光壁204は、隣接する画素2どうしの間で共有されてもよい。
先にも述べたように、撮像画素21は、特定の方向において、他の撮像画素21と隣接する。図3に示される例では、X軸正方向に、緑色Gに対応する撮像画素21、赤色Rに対応する撮像画素21、及び、緑色Gに対応する撮像画素21が、この順に隣接して配置される。
図3の(B)において白抜き矢印で模式的に示されるように、撮像画素21のレンズ203及びカラーフィルタ202を通過した光の一部は、隣接する撮像画素21の光電変換部201に混入する。この例では、赤色Rに対応する撮像画素21の光電変換部201に、緑色Gに対応する撮像画素21からの光が混入する。撮像画素21において混色が生じる。
図2に戻り、撮像画素22は、特定の方向において位相差検出画素23の開口部op(後述)が隣接するように位相差検出画素23に隣接する第2の撮像画素である。位相差検出画素23の画素信号は、例えば像面位相差AF機能を得るために用いられる。この例では、位相差検出画素23は、ペアの位相差検出画素23である。ペアの一方の位相差検出画素23を、位相差検出画素23Aと称し図示する。ペアの他方の位相差検出画素23を、位相差検出画素23Bと称し図示する。図4も参照して説明する。
図4は、図2のIV-IV線に沿ってみた断面を模式的に示す図である。X軸正方向に、緑色Gに対応する位相差検出画素23B、赤色Rに対応する撮像画素22、及び、緑色Gに対応する位相差検出画素23Aが、この順に隣接して配置される。この例では、位相差検出画素23A及び位相差検出画素23Bのカラーフィルタ202は、撮像画素22のカラーフィルタ202が通過させる色の光とは異なる色の光を通過させる。
図4の(A)に示されるように、位相差検出画素23A及び位相差検出画素23Bは、撮像画素21(図3)や撮像画素22と比較して、遮光膜205及び開口部opを含む点において相違する。
遮光膜205は、光電変換部201の一部を覆うように、光電変換部201とカラーフィルタ202との間に(例えば光電変換部201上に)設けられる。遮光膜205の材料の例は、タングステン(W)等である。
開口部opは、位相差検出画素23において光電変換部201が遮光膜205で覆われていない部分である。開口部opは、光電変換部201のうち、撮像画素22側の部分を露出させる。すなわち、位相差検出画素23は、開口部opが撮像画素22側に位置するように配置される。
具体的に、位相差検出画素23Aの遮光膜205及び開口部opを、遮光膜205A及び開口部opAと称し図示する。位相差検出画素23Aの開口部opAは、特定方向における光電変換部201の一方側部分(この例ではX軸負方向側の部分)を露出させる。位相差検出画素23Aは、開口部opAが撮像画素22側に(この例ではX軸負方向側に)位置するように配置される。X軸正方向を右方向としX軸負方向を左方向とすると、位相差検出画素23Aは、左側が開口され、右側が遮光された構造を有する。
位相差検出画素23Bの遮光膜205及び開口部opを、遮光膜205B及び開口部opBと称し図示する。位相差検出画素23Bの開口部opBは、特定方向における光電変換部201の他方側部分(この例ではX軸正方向側の部分)を露出させる。位相差検出画素23Bは、開口部opBが撮像画素22側(この例ではX軸正方向側に)位置するように配置される。X軸正方向を右方向としX軸負方向を左方向とすると、位相差検出画素23Bは、右側が開口され、左側が遮光された構造を有する。
なお、上述のような位相差検出画素23A及び位相差検出画素23Bを利用した位相差検出や像面位相差AFに関する具体的な処理等は公知であるので、詳細な説明は省略する。
図4の(B)において白抜き矢印で模式的に示されるように、位相差検出画素23のレンズ203及びカラーフィルタ202を通過した光の一部は、開口部opを通り、隣接する撮像画素22の光電変換部201に混入する。この例では、赤色Rに対応する撮像画素22の光電変換部201に、緑色Gに対応する位相差検出画素23からの光が混入する。撮像画素22において混色が生じる。
以上で説明したように、光検出装置1では、撮像画素22において、撮像画素21と同様に、隣接画素からの光が混入する。撮像画素21及び撮像画素22どうしの間での(撮像画素どうしの間での)隣接画素からの光の混入量のバラつき(感度のバラつき)、ひいては混色の程度のバラつきを抑制することができる。バラつきに起因する画質の劣化等を抑制することが可能になる。比較例も用いて説明する。
図5は、比較例を示す図である。この比較例に係る画素領域3Eでは、X軸正方向に、緑色Gに対応する位相差検出画素23A、赤色Rに対応する撮像画素22E及び緑色Gに対応する位相差検出画素23Bが、この順に隣接して配置される。
図6は、図5のVI-VI線に沿ってみた断面を模式的に示す図である。白抜き矢印で模式的に示されるように、位相差検出画素23のレンズ203及びカラーフィルタ202を通過した光の一部は、遮光膜205によって遮られる。具体的に、位相差検出画素23Aでは、光が遮光膜205-Aによって遮られる。位相差検出画素23Bでは、光が遮光膜205-Bによって遮られる。位相差検出画素23からの光の撮像画素22Eへの混入が抑制される。撮像画素21及び撮像画素22Eどうしの間での隣接画素からの光の混入量のバラつきが大きくなる。この問題が、先に説明したように、実施形態に係る光検出装置1によって対処される。
なお、先に説明した図2の画素配置では、撮像画素22を挟んで位相差検出画素23とは反対側に位置する画素2において、隣接する位相差検出画素23からの光がその位相差検出画素23の遮光膜205によって遮られ、混入しない。ただしこの場合でも、当該画素2においては、一方の側の隣接画素からの光が混入しなくなるにとどまる。上記の比較例のように両側の隣接画素からの光が混入しなくなる場合よりも、隣接画素からの光の混入量を、撮像画素21における混入量に近づけることができる。混入量の相違に起因する影響の程度が小さいので(比較例の半分程度にとどまるため)、例えば補正等の信号処理で対応が容易になる。
2.変形例
上記実施形態では、画素配列として、1×1画素のベイヤー配列を例に挙げて説明した。ただし、これ以外のさまざまな画素配列が採用されてよい。また、上記実施形態では、撮像画素22が対応する色が赤色Rである場合を例に挙げて説明した。ただし、当然ながら、撮像画素22が対応する色は、赤色R以外の色であってもよい。図7~図12を参照して説明する。
上記実施形態では、画素配列として、1×1画素のベイヤー配列を例に挙げて説明した。ただし、これ以外のさまざまな画素配列が採用されてよい。また、上記実施形態では、撮像画素22が対応する色が赤色Rである場合を例に挙げて説明した。ただし、当然ながら、撮像画素22が対応する色は、赤色R以外の色であってもよい。図7~図12を参照して説明する。
図7は、画素配列の変形例を示す図である。複数の画素2は、3×3画素を単位パターンとして配列される。単位パターンは、赤色Rに対応する2つの画素2と、緑色Gに対応する2つの画素2と、緑色Gに対応する5つの画素2とで構成される。緑色Gに対応する2×2の画素2に隣接して、赤色R及び青色Bに対応する1×2の画素2と、赤色R及び青色Bに対応する2×1の画素2とが配置される。残りの部分には、緑色Gに対応する画素2が配置される。
図7において符号が付された画素2を例に挙げて説明する。X軸正方向において、緑色Gに対応する位相差検出画素23B、青色Bに対応する撮像画素22、及び、緑色Gに対応する位相差検出画素23Aが、この順に隣接して配置される。位相差検出画素23は、開口部opが撮像画素22側に位置するように配置される。撮像画素22には、撮像画素21と同程度に、隣接画素からの光が混入する。
なお、ペアとなる位相差検出画素23A及び位相差検出画素23Bは、任意の組合せでよく、撮像画素22を挟んで互いに反対側に位置する2つの位相差検出画素23であってもよいし、撮像画素22どうしの間に並んで配置された2つの位相差検出画素23であってもよい。
図8は、画素配列の変形例を示す図である。複数の画素2は、2×2の同じ色に対応する画素2を単位パターンとしてベイヤー配列される(クワッドベイヤー配列)。単位パターン内の各画素2の画素信号は、例えば加算されて読み出される。X軸方向において、位相差検出画素23は、図8の(A)に示されるように比較的密に配置されてもよいし、図8の(B)に示されるように比較的疎に配置されてもよい。位相差検出画素23の密度にはとくに制約はなくてよく、任意の周期で配置されてもよい。
図8において符号が付された画素2を例に挙げて説明する。X軸正方向において、緑色Gに対応する位相差検出画素23B、赤色Rに対応する2つの撮像画素22、及び、緑色Gに対応する位相差検出画素23Aが、この順に隣接して配置される。位相差検出画素23は、開口部opが撮像画素22側に位置するように配置される。撮像画素22には、撮像画素21と同程度に、隣接画素からの光が混入する。比較例も用いて説明する。
図9は、比較例を示す図である。X軸正方向において、緑色Gに対応する位相差検出画素23A、赤色Rに対応する2つの撮像画素22E、及び、緑色Gに対応する位相差検出画素23Bが、この順に隣接して配置される。位相差検出画素23は、開口部opが撮像画素22E側とは反対側に位置するように配置される。位相差検出画素23からの光は、遮光膜205によって遮られ、撮像画素22Eには混入しない。その結果、撮像画素21及び撮像画素22Eどうしの間での隣接画素からの光の混入量のバラつきが大きくなる。上述の加算された画素信号に影響を及ぼし、画質の劣化等につながる可能性がある。この問題が、先に説明した図8の画素配列によって対処される。
図10は、画素配列の変形例を示す図である。複数の画素2は、3×3の同じ色に対応する画素2を基本パターンとしてベイヤー配列される(3×3ベイヤー配列)。X軸正方向において、位相差検出画素23は、図10の(A)に示されるように比較的密に配置されてもよいし、図10の(B)に示されるように比較的疎に配置されてもよい。
図10において符号が付された画素2を例に挙げて説明する。X軸方向において、緑色Gに対応する位相差検出画素23B、赤色Rに対応する撮像画素22、赤色Rに対応する撮像画素21、赤色Rに対応する撮像画素22、及び、緑色Gに対応する位相差検出画素23Aが、この順に隣接して配置される。位相差検出画素23は、遮光膜205の開口部opが撮像画素22側に位置するように配置される。撮像画素22には、撮像画素21と同程度に、隣接画素からの光が混入する。比較例も用いて説明する。
図11は、比較例を示す図である。X軸正方向において、緑色Gに対応する位相差検出画素23A、赤色Rに対応する撮像画素22E、赤色Rに対応する撮像画素21、赤色Rに対応する撮像画素22E、及び、緑色Gに対応する位相差検出画素23Bが、この順に隣接して配置される。位相差検出画素23は、遮光膜205の開口部opが撮像画素22Eとは反対側に位置するように配置される。隣接画素すなわち位相差検出画素23からの光は、遮光膜205によって遮られ、撮像画素22Eには混入しない。撮像画素21及び撮像画素22Eどうしの間での隣接画素からの光の混入量のバラつきが大きくなる。この問題が、先に説明した図10の画素配列によって対処される。
図12は、画素配列の変形例を示す図である。複数の画素2は、2×1の同じ色に対応する画素2を基本パターンとしてベイヤー配列される(2×1ベイヤー配列)。X軸正方向において、緑色Gに対応する位相差検出画素23B、赤色Rに対応する2つの撮像画素22、及び、緑色Gに対応する位相差検出画素23Aが、この順に隣接して配置される。位相差検出画素23は、開口部opが撮像画素22側に位置するように配置される。撮像画素22には、撮像画素21と同程度に、隣接画素からの光が混入する。
上記実施形態では、撮像画素22及び位相差検出画素23が配置される特定の方向がX軸方向(行方向)である場合を例に挙げて説明した。ただし、特定の方向は、X軸方向以外の方向であってもよい。また、撮像画素22及び位相差検出画素23が対応する色(カラーフィルタ202の種類)は同じであってもよい。図13~図16を参照して説明する。
図13は、画素配列の変形例を示す図である。Y軸方向(列方向)において、撮像画素22及び位相差検出画素23が配置される。このように配置される位相差検出画素23を、位相差検出画素23A2及び位相差検出画素23B2と称し図示する。
図13において符号が付された画素2を例に挙げて説明する。Y軸負方向において、緑色Gに対応する位相差検出画素23B2、青色Bに対応する2つの撮像画素22、及び、緑色Gに対応する位相差検出画素23A2が、この順に隣接して配置される。
図14は、図13のXIV-XIV線に沿ってみた断面を模式的に示す図である。位相差検出画素23A2の遮光膜205A2は、Y軸方向における光電変換部201の一方側部分(この例ではY軸正方向側の部分)を露出させる。位相差検出画素23B2の遮光膜205B2は、Y軸方向における光電変換部201の他方側部分(この例ではY軸負方向側の部分)を露出させる。
上記の構成によっても、これまで説明した原理と同様の原理により、撮像画素22には、撮像画素21と同程度に、隣接画素からの光が混入する。撮像画素21及び撮像画素22どうしの間での隣接画素からの光の混入量のバラつきを抑制することができる。
図15は、配列の変形例を示す図である。X軸方向(行方向)とY軸方向(列方向)との中間の方向(斜め方向)において、撮像画素22及び位相差検出画素23が配置される。このように配置される位相差検出画素23を、位相差検出画素23A3及び位相差検出画素23B3と称し図示する。
図15において符号が付された画素2を例に挙げて説明する。X軸負方向及びY軸負方向の中間方向において、緑色Gに対応する位相差検出画素23B2、緑色Gに対応する撮像画素22、及び、緑色Gに対応する位相差検出画素23A3が、この順に隣接して配置される。
図16は、図15のXVI-XVI線に沿ってみた断面を模式的に示す図である。位相差検出画素23A3の遮光膜205A3は、斜め方向における光電変換部201の一方側部分(この例ではX軸正方向及びY軸正方向の中間方向側の部分)を露出させる。位相差検出画素23B3の遮光膜205B3は、斜め方向における光電変換部201の他方側部分(この例ではX軸負方向及びY軸負方向の中間方向側の部分)を露出させる。
上記の構成によっても、これまで説明した原理と同様の原理により、撮像画素22には、撮像画素21と同程度に、隣接画素からの光が混入する。撮像画素21及び撮像画素22どうしの間での隣接画素からの光の混入量のバラつきを抑制することができる。
上記実施形態では、位相差検出画素23が緑色Gに対応す場合を例に挙げて説明した。ただし、位相差検出画素23は、緑色G以外の色に対応する画素2であってもよい。図17を参照して説明する。
図17は、画素配列の変形例を示す図である。X軸正方向において、赤色Rに対応する位相差検出画素23B、緑色Gに対応する2つの撮像画素22、及び、赤色Rに対応する位相差検出画素23Aが、この順に隣接して配置される。この場合も、撮像画素21及び撮像画素22どうしの間での隣接画素からの光の混入量のバラつきを抑制することができる。なお、当然ながら、位相差検出画素23A及び位相差検出画素23Bは、青色Bに対応する位相差検出画素23であってもよい。
上記実施形態では、位相差検出画素23がカラーフィルタ202を含む場合を例に挙げて説明した。ただし、位相差検出画素23は、カラーフィルタ202を含んでいなくてもよい。カラーフィルタ202による光量の損失等を回避し、例えば位相差検出画素23の感度を向上させることができる。
上記実施形態では、画素2が対応する色として、赤色R、緑色G及び青色Bを例に挙げて説明した。ただし、画素2は、これら以外の色に対応してもよい。カラーフィルタ202についても同様である。
3.電子機器への搭載例
これまで説明した光検出装置1は、例えば電子機器に搭載されて用いられる。図18を参照して説明する。
これまで説明した光検出装置1は、例えば電子機器に搭載されて用いられる。図18を参照して説明する。
図18は、電子機器の概略構成の例を示す図である。電子機器101の例は、ディジタルスチルカメラ、ディジタルビデオカメラ等の撮像機器、また、そのような撮像機能を備える携帯電話機等である。図18に示される例では、電子機器101は、光学系102と、光検出装置103と、DSP(Digital Signal Processor)104を含む。また、バス107を介して、DSP104、表示装置105、操作系106、メモリ108、記録装置109、及び電源系110が接続される。例えば静止画像や動画像の撮像が可能である。
光学系102は、1枚または複数枚のレンズを有して構成され、被写体からの像光(入射光)を光検出装置103に導き、光検出装置103の受光面(センサ部)に結像させる。光検出装置103には、光学系102を介して受光面に結像される像に応じて、一定期間、電子が蓄積される。そして、光検出装置103の画素2に蓄積された電子に応じた信号がDSP104に供給される。
DSP104は、光検出装置103からの信号に対して各種の信号処理を施して画像を取得し、その画像のデータを、メモリ108に一時的に記憶させる。メモリ108に記憶された画像のデータは、記録装置109に記録されたり、表示装置105に供給されて画像が表示されたりする。また、操作系106は、ユーザによる各種の操作を受け付けて電子機器101の各ブロックに操作信号を供給し、電源系110は、電子機器101の各ブロックの駆動に必要な電力を供給する。
電子機器101によれば、光検出装置103(これまで説明した光検出装置1に相当)が搭載されていることで、例えば画質の劣化等を抑制することが可能である。
4.効果の例
以上で説明した技術は、例えば次のように特定される。開示される技術の1つは、光検出装置1である。図1~図4等を参照して説明したように、光検出装置1は、2次元状に配列された複数の画素2を備える。複数の画素2は、光電変換部201を含む撮像画素21及び撮像画素22と、光電変換部201、当該光電変換部201の一部を覆う遮光膜205、及び、当該光電変換部201が当該遮光膜205で覆われていない部分である開口部opを含む位相差検出画素と、を含む。撮像画素21は、特定の方向(例えばX軸方向)において他の撮像画素(撮像画素21や撮像画素22)に隣接する一方で位相差検出画素23には隣接しない第1の撮像画素である。撮像画素22は、特定の方向において、位相差検出画素23の開口部opが隣接するように位相差検出画素23に隣接する第2の撮像画素である。
以上で説明した技術は、例えば次のように特定される。開示される技術の1つは、光検出装置1である。図1~図4等を参照して説明したように、光検出装置1は、2次元状に配列された複数の画素2を備える。複数の画素2は、光電変換部201を含む撮像画素21及び撮像画素22と、光電変換部201、当該光電変換部201の一部を覆う遮光膜205、及び、当該光電変換部201が当該遮光膜205で覆われていない部分である開口部opを含む位相差検出画素と、を含む。撮像画素21は、特定の方向(例えばX軸方向)において他の撮像画素(撮像画素21や撮像画素22)に隣接する一方で位相差検出画素23には隣接しない第1の撮像画素である。撮像画素22は、特定の方向において、位相差検出画素23の開口部opが隣接するように位相差検出画素23に隣接する第2の撮像画素である。
上記の光検出装置1では、撮像画素22が、特定の方向において、位相差検出画素23の開口部opが撮像画素22側に位置するように位相差検出画素23に隣接する。すなわち、位相差検出画素23は、開口部opが撮像画素22側に位置するように撮像画素22に隣接して配置される。その結果、撮像画素22においても、撮像画素21と同様に、隣接画素からの光が混入する。従って、撮像画素21及び撮像画素22どうしの間での(撮像画素どうしの間での)隣接画素からの光の混入量のバラつきを抑制することが可能になる。例えば光検出装置1が個体撮像装置の場合には、画質劣化を抑制することができる。
図2、図4、図8及び図12等を参照して説明したように、特定の方向において、位相差検出画素23、1つ以上の撮像画素22(第2の撮像画素)、及び、位相差検出画素23が、この順に隣接して配置されてよい。例えば図2等を参照して説明したように、特定の方向において、位相差検出画素23の開口部op、1つの撮像画素22(第2の撮像画素)、及び位相差検出画素23の開口部opが、この順に隣接してよい。或いは、図10等を参照して説明したように、特定の方向において、位相差検出画素23、1つ以上の撮像画素22(第2の撮像画素)、1つ以上の撮像画素21(第1の撮像画素)、1つ以上の撮像画素22(第2の撮像画素)、及び、位相差検出画素23が、この順に隣接して配置されてもよい。例えばこのように位相差検出画素23どうしの間に撮像画素22を配置することで、撮像画素22において、撮像画素21と同様に、隣接画素からの光を混入させることができる。
図2及び図4等を参照して説明したように、位相差検出画素23は、位相差検出画素23のペアであり、ペアの一方の位相差検出画素23Aの開口部opAは、特定の方向における光電変換部201の一方側部分(例えばX軸負方向側の部分)を露出させ、ペアの他方の位相差検出画素23Bの開口部opBは、特定の方向における光電変換部201の他方側部分(例えばX軸正方向側の部分)を露出させてよい。例えばこのような位相差検出画素23A及び位相差検出画素23Bを配置することで、像面位相差AF機能を得ることができる。
図3及び図4等を参照して説明したように、撮像画素21及び撮像画素22は、光電変換部201に対して設けられたカラーフィルタ202を含んでよい。位相差検出画素23も、光電変換部201に対して設けられたカラーフィルタ202を含んでよい。位相差検出画素23のカラーフィルタ202は、撮像画素22(第2の撮像画素)のカラーフィルタ202が通過させる色の光とは異なる色の光を通過させてよい。このようなカラーフィルタ202がある場合には、撮像画素22において、撮像画素21と同様に、混色を生じさせることができる。撮像画素21及び撮像画素22どうしの間での混色の程度のバラつきを抑制することが可能になる。例えば画質の劣化等を抑制することができる。
図2~図4及び図13~図16等を参照して説明したように、特定の方向(撮像画素22及び位相差検出画素23の配置方向)は、複数の画素2の行方向(X軸方向)、複数の画素2の列方向(Y軸方向)、及び、画素2の画素の行方向と列方向との中間の方向(斜め方向)、の少なくとも1つを含んでよい。例えばこのようなさまざまな方向に撮像画素22及び位相差検出画素23を配置することが可能である。
図18等を参照して説明した電子機器101も、開示される技術の1つである。電子機器101には、光検出装置103が搭載される。光検出装置103は、これまで説明した光検出装置1と同様の構成を備える。このような電子機器101によっても、これまで説明したように、撮像画素21及び撮像画素22どうしの間での隣接画素からの光の混入量のバラつきを抑制することが可能になる。例えば画質の劣化等を抑制することができる。
5.移動体への応用例
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図19は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図19に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(Interface)12053が図示されている。
駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12020に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図19の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図20は、撮像部12031の設置位置の例を示す図である。
図20では、撮像部12031として、撮像部12101、12102、12103、12104、12105を有する。
撮像部12101、12102、12103、12104、12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102、12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部12105は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図20には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部12031等に適用され得る。具体的には、光検出装置1を、撮像部12031に適用することができる。本開示に係る技術を適用することにより、例えば画質の劣化等を抑制することができる。
6.内視鏡手術システムへの応用例
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
図21は、本開示に係る技術(本技術)が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
図21では、術者(医師)11131が、内視鏡手術システム11000を用いて、患者ベッド11133上の患者11132に手術を行っている様子が図示されている。図示するように、内視鏡手術システム11000は、内視鏡11100と、気腹チューブ11111やエネルギー処置具11112等の、その他の術具11110と、内視鏡11100を支持する支持アーム装置11120と、内視鏡下手術のための各種の装置が搭載されたカート11200と、から構成される。
内視鏡11100は、先端から所定の長さの領域が患者11132の体腔内に挿入される鏡筒11101と、鏡筒11101の基端に接続されるカメラヘッド11102と、から構成される。図示する例では、硬性の鏡筒11101を有するいわゆる硬性鏡として構成される内視鏡11100を図示しているが、内視鏡11100は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
鏡筒11101の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡11100には光源装置11203が接続されており、当該光源装置11203によって生成された光が、鏡筒11101の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者11132の体腔内の観察対象に向かって照射される。なお、内視鏡11100は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
カメラヘッド11102の内部には光学系及び撮像素子が設けられており、観察対象からの反射光(観察光)は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、RAWデータとしてカメラコントロールユニット(CCU: Camera Control Unit)11201に送信される。
CCU11201は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡11100及び表示装置11202の動作を統括的に制御する。さらに、CCU11201は、カメラヘッド11102から画像信号を受け取り、その画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
表示装置11202は、CCU11201からの制御により、当該CCU11201によって画像処理が施された画像信号に基づく画像を表示する。
光源装置11203は、例えばLED(light emitting diode)等の光源から構成され、術部等を撮影する際の照射光を内視鏡11100に供給する。
入力装置11204は、内視鏡手術システム11000に対する入力インタフェースである。ユーザは、入力装置11204を介して、内視鏡手術システム11000に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡11100による撮像条件(照射光の種類、倍率及び焦点距離等)を変更する旨の指示等を入力する。
処置具制御装置11205は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具11112の駆動を制御する。気腹装置11206は、内視鏡11100による視野の確保及び術者の作業空間の確保の目的で、患者11132の体腔を膨らめるために、気腹チューブ11111を介して当該体腔内にガスを送り込む。レコーダ11207は、手術に関する各種の情報を記録可能な装置である。プリンタ11208は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
なお、内視鏡11100に術部を撮影する際の照射光を供給する光源装置11203は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置11203において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド11102の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
また、光源装置11203は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド11102の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
また、光源装置11203は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光(すなわち、白色光)に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察(Narrow Band Imaging)が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること(自家蛍光観察)、又はインドシアニングリーン(ICG)等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置11203は、このような特殊光観察に対応した狭帯域光及び/又は励起光を供給可能に構成され得る。
図22は、図21に示すカメラヘッド11102及びCCU11201の機能構成の一例を示すブロック図である。
カメラヘッド11102は、レンズユニット11401と、撮像部11402と、駆動部11403と、通信部11404と、カメラヘッド制御部11405と、を有する。CCU11201は、通信部11411と、画像処理部11412と、制御部11413と、を有する。カメラヘッド11102とCCU11201とは、伝送ケーブル11400によって互いに通信可能に接続されている。
レンズユニット11401は、鏡筒11101との接続部に設けられる光学系である。鏡筒11101の先端から取り込まれた観察光は、カメラヘッド11102まで導光され、当該レンズユニット11401に入射する。レンズユニット11401は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。
撮像部11402を構成する撮像素子は、1つ(いわゆる単板式)であってもよいし、複数(いわゆる多板式)であってもよい。撮像部11402が多板式で構成される場合には、例えば各撮像素子によってRGBそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部11402は、3D(dimensional)表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成されてもよい。3D表示が行われることにより、術者11131は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部11402が多板式で構成される場合には、各撮像素子に対応して、レンズユニット11401も複数系統設けられ得る。
また、撮像部11402は、必ずしもカメラヘッド11102に設けられなくてもよい。例えば、撮像部11402は、鏡筒11101の内部に、対物レンズの直後に設けられてもよい。
駆動部11403は、アクチュエータによって構成され、カメラヘッド制御部11405からの制御により、レンズユニット11401のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部11402による撮像画像の倍率及び焦点が適宜調整され得る。
通信部11404は、CCU11201との間で各種の情報を送受信するための通信装置によって構成される。通信部11404は、撮像部11402から得た画像信号をRAWデータとして伝送ケーブル11400を介してCCU11201に送信する。
また、通信部11404は、CCU11201から、カメラヘッド11102の駆動を制御するための制御信号を受信し、カメラヘッド制御部11405に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに/又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてCCU11201の制御部11413によって自動的に設定されてもよい。後者の場合には、いわゆるAE(Auto Exposure)機能、AF(Auto Focus)機能及びAWB(Auto White Balance)機能が内視鏡11100に搭載されていることになる。
カメラヘッド制御部11405は、通信部11404を介して受信したCCU11201からの制御信号に基づいて、カメラヘッド11102の駆動を制御する。
通信部11411は、カメラヘッド11102との間で各種の情報を送受信するための通信装置によって構成される。通信部11411は、カメラヘッド11102から、伝送ケーブル11400を介して送信される画像信号を受信する。
また、通信部11411は、カメラヘッド11102に対して、カメラヘッド11102の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
画像処理部11412は、カメラヘッド11102から送信されたRAWデータである画像信号に対して各種の画像処理を施す。
制御部11413は、内視鏡11100による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部11413は、カメラヘッド11102の駆動を制御するための制御信号を生成する。
また、制御部11413は、画像処理部11412によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置11202に表示させる。この際、制御部11413は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部11413は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具11112の使用時のミスト等を認識することができる。制御部11413は、表示装置11202に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者11131に提示されることにより、術者11131の負担を軽減することや、術者11131が確実に手術を進めることが可能になる。
カメラヘッド11102及びCCU11201を接続する伝送ケーブル11400は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
ここで、図示する例では、伝送ケーブル11400を用いて有線で通信が行われていたが、カメラヘッド11102とCCU11201との間の通信は無線で行われてもよい。
以上、本開示に係る技術が適用され得る内視鏡手術システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えばカメラヘッド11102の撮像部11402等に適用され得る。具体的には、光検出装置1は、撮像部10402に適用することができる。本開示に係る技術を適用することにより、例えば画質の低下を抑制することができる。
なお、ここでは、一例として内視鏡手術システムについて説明したが、本開示に係る技術は、その他、例えば、顕微鏡手術システム等に適用されてもよい。
なお、本開示に記載された効果は、あくまで例示であって、開示された内容に限定されない。他の効果があってもよい。
以上、本開示の実施形態について説明したが、本開示の技術的範囲は、上述の実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
なお、本技術は以下のような構成も取ることができる。
(1)
2次元状に配列された複数の画素を備え、
前記複数の画素は、
光電変換部を含む撮像画素と、
光電変換部、当該光電変換部の一部を覆う遮光膜、及び、当該光電変換部が当該遮光膜で覆われていない部分である開口部を含む位相差検出画素と、
を含み、
前記撮像画素は、
特定の方向において他の撮像画素に隣接する一方で前記位相差検出画素には隣接しない第1の撮像画素と、
前記特定の方向において、前記位相差検出画素の前記開口部が隣接するように前記位相差検出画素に隣接する第2の撮像画素と、
を含む、
光検出装置。
(2)
前記特定の方向において、前記位相差検出画素、1つ以上の前記第2の撮像画素、及び、前記位相差検出画素が、この順に隣接して配置される、
(1)に記載の光検出装置。
(3)
前記特定の方向において、前記位相差検出画素の前記開口部、1つの前記第2の撮像画素、及び前記位相差検出画素の前記開口部が、この順に隣接する、
(2)に記載の光検出装置。
(4)
前記特定の方向において、前記位相差検出画素、1つ以上の前記第2の撮像画素、1つ以上の前記第1の撮像画素、1つ以上の前記第2の撮像画素、及び、前記位相差検出画素が、この順に隣接して配置される、
(1)に記載の光検出装置。
(5)
前記位相差検出画素は、位相差検出画素のペアであり、
前記ペアの一方の位相差検出画素の前記開口部は、前記特定の方向における前記光電変換部の一方側部分を露出させ、
前記ペアの他方の位相差検出画素の前記開口部は、前記特定の方向における前記光電変換部の他方側部分を露出させる、
(1)~(4)のいずれかに記載の光検出装置。
(6)
前記撮像画素は、前記光電変換部に対して設けられたカラーフィルタを含む、
(1)~(5)のいずれかに記載の光検出装置。
(7)
前記位相差検出画素は、前記光電変換部に対して設けられたカラーフィルタを含む、
(6)に記載の光検出装置。
(8)
前記位相差検出画素の前記カラーフィルタは、前記第2の撮像画素の前記カラーフィルタが通過させる色の光とは異なる色の光を通過させる、
(7)に記載の光検出装置。
(9)
前記特定の方向は、
前記複数の画素の行方向、
前記複数の画素の列方向、及び、
前記複数の画素の行方向と列方向との中間の方向、
の少なくとも1つを含む、
(1)~(8)のいずれかに記載の光検出装置。
(10)
光検出装置が搭載された電子機器であって、
前記光検出装置は、
2次元状に配列された複数の画素を備え、
前記複数の画素は、
光電変換部を含む撮像画素と、
光電変換部及び当該光電変換部の一部を覆う遮光膜を含む位相差検出画素と、
を含み、
前記撮像画素は、
特定の方向において他の撮像画素に隣接する一方で前記位相差検出画素には隣接しない複数の第1の撮像画素と、
前記特定の方向において前記位相差検出画素に隣接するとともに、当該位相差検出画素において前記光電変換部が前記遮光膜で覆われていない部分である開口部に隣接する第2の撮像画素と、
を含む、
電子機器。
(1)
2次元状に配列された複数の画素を備え、
前記複数の画素は、
光電変換部を含む撮像画素と、
光電変換部、当該光電変換部の一部を覆う遮光膜、及び、当該光電変換部が当該遮光膜で覆われていない部分である開口部を含む位相差検出画素と、
を含み、
前記撮像画素は、
特定の方向において他の撮像画素に隣接する一方で前記位相差検出画素には隣接しない第1の撮像画素と、
前記特定の方向において、前記位相差検出画素の前記開口部が隣接するように前記位相差検出画素に隣接する第2の撮像画素と、
を含む、
光検出装置。
(2)
前記特定の方向において、前記位相差検出画素、1つ以上の前記第2の撮像画素、及び、前記位相差検出画素が、この順に隣接して配置される、
(1)に記載の光検出装置。
(3)
前記特定の方向において、前記位相差検出画素の前記開口部、1つの前記第2の撮像画素、及び前記位相差検出画素の前記開口部が、この順に隣接する、
(2)に記載の光検出装置。
(4)
前記特定の方向において、前記位相差検出画素、1つ以上の前記第2の撮像画素、1つ以上の前記第1の撮像画素、1つ以上の前記第2の撮像画素、及び、前記位相差検出画素が、この順に隣接して配置される、
(1)に記載の光検出装置。
(5)
前記位相差検出画素は、位相差検出画素のペアであり、
前記ペアの一方の位相差検出画素の前記開口部は、前記特定の方向における前記光電変換部の一方側部分を露出させ、
前記ペアの他方の位相差検出画素の前記開口部は、前記特定の方向における前記光電変換部の他方側部分を露出させる、
(1)~(4)のいずれかに記載の光検出装置。
(6)
前記撮像画素は、前記光電変換部に対して設けられたカラーフィルタを含む、
(1)~(5)のいずれかに記載の光検出装置。
(7)
前記位相差検出画素は、前記光電変換部に対して設けられたカラーフィルタを含む、
(6)に記載の光検出装置。
(8)
前記位相差検出画素の前記カラーフィルタは、前記第2の撮像画素の前記カラーフィルタが通過させる色の光とは異なる色の光を通過させる、
(7)に記載の光検出装置。
(9)
前記特定の方向は、
前記複数の画素の行方向、
前記複数の画素の列方向、及び、
前記複数の画素の行方向と列方向との中間の方向、
の少なくとも1つを含む、
(1)~(8)のいずれかに記載の光検出装置。
(10)
光検出装置が搭載された電子機器であって、
前記光検出装置は、
2次元状に配列された複数の画素を備え、
前記複数の画素は、
光電変換部を含む撮像画素と、
光電変換部及び当該光電変換部の一部を覆う遮光膜を含む位相差検出画素と、
を含み、
前記撮像画素は、
特定の方向において他の撮像画素に隣接する一方で前記位相差検出画素には隣接しない複数の第1の撮像画素と、
前記特定の方向において前記位相差検出画素に隣接するとともに、当該位相差検出画素において前記光電変換部が前記遮光膜で覆われていない部分である開口部に隣接する第2の撮像画素と、
を含む、
電子機器。
1 光検出装置
2 画素
21 撮像画素(第1の撮像画素)
22 撮像画素(第2の撮像画素)
23 位相差検出画素
23A 位相差検出画素(ペアの一方の位相差検出画素)
23B 位相差検出画素(ペアの他方の位相差検出画素)
201 光電変換部
202 カラーフィルタ
203 レンズ
204 遮光壁
205 遮光膜
205A 遮光膜
205B 遮光膜
op 開口部
opA 開口部
opB 開口部
3 画素領域
4 垂直駆動回路
5 カラム信号処理回路
6 水平駆動回路
7 出力回路
8 制御回路
9 垂直信号線
10 水平信号線
11 基板
12 入出力端子
101 電子機器
102 光学系
103 光検出装置
104 DSP
105 表示装置
106 操作系
107 バス
108 メモリ
109 記録装置
110 電源系
R 赤色
G 緑色
B 青色
2 画素
21 撮像画素(第1の撮像画素)
22 撮像画素(第2の撮像画素)
23 位相差検出画素
23A 位相差検出画素(ペアの一方の位相差検出画素)
23B 位相差検出画素(ペアの他方の位相差検出画素)
201 光電変換部
202 カラーフィルタ
203 レンズ
204 遮光壁
205 遮光膜
205A 遮光膜
205B 遮光膜
op 開口部
opA 開口部
opB 開口部
3 画素領域
4 垂直駆動回路
5 カラム信号処理回路
6 水平駆動回路
7 出力回路
8 制御回路
9 垂直信号線
10 水平信号線
11 基板
12 入出力端子
101 電子機器
102 光学系
103 光検出装置
104 DSP
105 表示装置
106 操作系
107 バス
108 メモリ
109 記録装置
110 電源系
R 赤色
G 緑色
B 青色
Claims (10)
- 2次元状に配列された複数の画素を備え、
前記複数の画素は、
光電変換部を含む撮像画素と、
光電変換部、当該光電変換部の一部を覆う遮光膜、及び、当該光電変換部が当該遮光膜で覆われていない部分である開口部を含む位相差検出画素と、
を含み、
前記撮像画素は、
特定の方向において他の撮像画素に隣接する一方で前記位相差検出画素には隣接しない第1の撮像画素と、
前記特定の方向において、前記位相差検出画素の前記開口部が隣接するように前記位相差検出画素に隣接する第2の撮像画素と、
を含む、
光検出装置。 - 前記特定の方向において、前記位相差検出画素、1つ以上の前記第2の撮像画素、及び、前記位相差検出画素が、この順に隣接して配置される、
請求項1に記載の光検出装置。 - 前記特定の方向において、前記位相差検出画素の前記開口部、1つの前記第2の撮像画素、及び前記位相差検出画素の前記開口部が、この順に隣接する、
請求項2に記載の光検出装置。 - 前記特定の方向において、前記位相差検出画素、1つ以上の前記第2の撮像画素、1つ以上の前記第1の撮像画素、1つ以上の前記第2の撮像画素、及び、前記位相差検出画素が、この順に隣接して配置される、
請求項1に記載の光検出装置。 - 前記位相差検出画素は、位相差検出画素のペアであり、
前記ペアの一方の位相差検出画素の前記開口部は、前記特定の方向における前記光電変換部の一方側部分を露出させ、
前記ペアの他方の位相差検出画素の前記開口部は、前記特定の方向における前記光電変換部の他方側部分を露出させる、
請求項1に記載の光検出装置。 - 前記撮像画素は、前記光電変換部に対して設けられたカラーフィルタを含む、
請求項1に記載の光検出装置。 - 前記位相差検出画素は、前記光電変換部に対して設けられたカラーフィルタを含む、
請求項6に記載の光検出装置。 - 前記位相差検出画素の前記カラーフィルタは、前記第2の撮像画素の前記カラーフィルタが通過させる色の光とは異なる色の光を通過させる、
請求項7に記載の光検出装置。 - 前記特定の方向は、
前記複数の画素の行方向、
前記複数の画素の列方向、及び、
前記複数の画素の行方向と列方向との中間の方向、
の少なくとも1つを含む、
請求項1に記載の光検出装置。 - 光検出装置が搭載された電子機器であって、
前記光検出装置は、
2次元状に配列された複数の画素を備え、
前記複数の画素は、
光電変換部を含む撮像画素と、
光電変換部及び当該光電変換部の一部を覆う遮光膜を含む位相差検出画素と、
を含み、
前記撮像画素は、
特定の方向において他の撮像画素に隣接する一方で前記位相差検出画素には隣接しない複数の第1の撮像画素と、
前記特定の方向において前記位相差検出画素に隣接するとともに、当該位相差検出画素において前記光電変換部が前記遮光膜で覆われていない部分である開口部に隣接する第2の撮像画素と、
を含む、
電子機器。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021191032A JP2023077673A (ja) | 2021-11-25 | 2021-11-25 | 光検出装置及び電子機器 |
PCT/JP2022/039816 WO2023095518A1 (ja) | 2021-11-25 | 2022-10-26 | 光検出装置及び電子機器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021191032A JP2023077673A (ja) | 2021-11-25 | 2021-11-25 | 光検出装置及び電子機器 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023077673A true JP2023077673A (ja) | 2023-06-06 |
Family
ID=86539358
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021191032A Pending JP2023077673A (ja) | 2021-11-25 | 2021-11-25 | 光検出装置及び電子機器 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2023077673A (ja) |
WO (1) | WO2023095518A1 (ja) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014046037A1 (ja) * | 2012-09-19 | 2014-03-27 | 富士フイルム株式会社 | 撮像装置及びその制御方法 |
US10999543B2 (en) * | 2016-06-28 | 2021-05-04 | Sony Corporation | Solid-state imaging device, electronic apparatus, lens control method, and vehicle |
-
2021
- 2021-11-25 JP JP2021191032A patent/JP2023077673A/ja active Pending
-
2022
- 2022-10-26 WO PCT/JP2022/039816 patent/WO2023095518A1/ja unknown
Also Published As
Publication number | Publication date |
---|---|
WO2023095518A1 (ja) | 2023-06-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020050289A1 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP2018200980A (ja) | 撮像装置および固体撮像素子、並びに電子機器 | |
WO2020026856A1 (ja) | 撮像装置および電子機器 | |
US11889206B2 (en) | Solid-state imaging device and electronic equipment | |
TW202133413A (zh) | 固態攝像裝置及電子機器 | |
WO2019207978A1 (ja) | 撮像素子および撮像素子の製造方法 | |
KR102461610B1 (ko) | 화상 처리 장치, 화상 처리 방법, 및 전자 기기 | |
WO2018225306A1 (ja) | 固体撮像素子および撮像装置 | |
WO2019171879A1 (ja) | 撮像装置 | |
JP7034925B2 (ja) | 固体撮像装置および撮像方法 | |
WO2018173793A1 (ja) | 固体撮像素子、および電子機器 | |
WO2021171796A1 (ja) | 固体撮像装置及び電子機器 | |
WO2023095518A1 (ja) | 光検出装置及び電子機器 | |
WO2021100338A1 (ja) | 固体撮像素子 | |
WO2021075116A1 (ja) | 固体撮像装置及び電子機器 | |
WO2020100697A1 (ja) | 固体撮像素子、固体撮像装置及び電子機器 | |
WO2023162496A1 (ja) | 撮像装置 | |
WO2023080011A1 (ja) | 撮像装置及び電子機器 | |
WO2022158170A1 (ja) | 光検出素子および電子機器 | |
WO2023013156A1 (ja) | 撮像素子及び電子機器 | |
WO2021186911A1 (ja) | 撮像装置及び電子機器 | |
WO2021090663A1 (ja) | 撮像デバイス及び撮像デバイスにおける画素信号の補正処理方法 | |
WO2022138097A1 (ja) | 固体撮像装置およびその製造方法 | |
WO2024029408A1 (ja) | 撮像装置 | |
WO2023195316A1 (en) | Light detecting device |