JP2018074445A - 固体撮像装置およびその信号処理方法、並びに電子機器 - Google Patents

固体撮像装置およびその信号処理方法、並びに電子機器 Download PDF

Info

Publication number
JP2018074445A
JP2018074445A JP2016213639A JP2016213639A JP2018074445A JP 2018074445 A JP2018074445 A JP 2018074445A JP 2016213639 A JP2016213639 A JP 2016213639A JP 2016213639 A JP2016213639 A JP 2016213639A JP 2018074445 A JP2018074445 A JP 2018074445A
Authority
JP
Japan
Prior art keywords
arithmetic processing
unit
pixel
solid
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016213639A
Other languages
English (en)
Inventor
さや香 志田
Sayaka Shida
さや香 志田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2016213639A priority Critical patent/JP2018074445A/ja
Priority to PCT/JP2017/037476 priority patent/WO2018079331A1/ja
Priority to US16/329,388 priority patent/US11102436B2/en
Publication of JP2018074445A publication Critical patent/JP2018074445A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G06F15/80—Architectures of general purpose stored program computers comprising an array of processing units with common control, e.g. single instruction multiple data processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/52—Parallel processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Image Processing (AREA)

Abstract

【課題】画素アレイ部の撮像処理の任意の変更に対応できるようにする。
【解決手段】固体撮像装置は、複数の画素が２次元アレイ状に配置された画素アレイ部と、画素アレイ部の画素が出力する画素信号をAD変換するAD変換部と、AD変換後のデジタルの画素信号を保持するメモリと、デジタルの画素信号に対して所定の信号処理を施す画像信号処理回路とを備える。画像信号処理回路は、所定の演算処理を実行する１個以上のPEと、PEをSIMD形式で動作させるCUとからなる２個以上のPUと、１個以上の演算処理命令を格納するIMEMと、PUを制御するCCUとを備える。本技術は、例えば、画素アレイ部の複数領域に異なる処理を行わせる固体撮像装置等に適用できる。
【選択図】図４

Description

本技術は、固体撮像装置およびその信号処理方法、並びに電子機器に関し、特に、画素アレイ部の撮像処理の任意の変更に対応することができるようにした固体撮像装置およびその信号処理方法、並びに電子機器に関する。
MOS型イメージセンサでは、撮像エレメントだけでなく、その他の集積回路エレメント、特にデジタル信号処理回路やメモリエレメントを同じチップ状に集積化することが可能であり、例えば、複数のPE(Processor Element)を１チップに形成したMOS型固体撮像デバイスが提案されている（例えば、特許文献１参照）。
特開２００１−２５０１１３号公報
しかしながら、例えば、今後、1000fps(frame per second)などの超高速フレームレートに対応する場合や、画素アレイ部の複数領域で異なる処理を行わせるような場合、複数のPEの制御をファームウェアを使った制御で行うのには限界がある。
本技術は、このような状況に鑑みてなされたものであり、画素アレイ部の撮像処理の任意の変更に対応することができるようにするものである。
本技術の第１の側面の固体撮像装置は、複数の画素が２次元アレイ状に配置された画素アレイ部と、前記画素アレイ部の前記画素が出力する画素信号をAD変換するAD変換部と、AD変換後のデジタルの画素信号を保持するメモリと、前記デジタルの画素信号に対して所定の信号処理を施す画像信号処理回路とを備え、前記画像信号処理回路は、所定の演算処理を実行する１個以上の演算処理部と、前記演算処理部をSIMD形式で動作させるコントロールユニットとからなる２個以上の演算処理ユニットと、１個以上の演算処理命令を格納する命令メモリと、前記演算処理ユニットを制御する中央制御ユニットとを備える。
本技術の第２の側面の固体撮像装置の信号処理方法は、複数の画素が２次元アレイ状に配置された画素アレイ部と、前記画素アレイ部の前記画素が出力する画素信号をAD変換するAD変換部と、AD変換後のデジタルの画素信号を保持するメモリと、前記デジタルの画素信号に対して所定の信号処理を施す画像信号処理回路とを備え、前記画像信号処理回路は、所定の演算処理を実行する１個以上の演算処理部と、前記演算処理部をSIMD形式で動作させるコントロールユニットとからなる２個以上の演算処理ユニットと、１個以上の演算処理命令を格納する命令メモリと、前記演算処理ユニットを制御する中央制御ユニットとを備える固体撮像装置の、前記中央制御ユニットが、前記演算処理ユニットに行わせる処理を決定し、前記コントロールユニットが、前記中央制御ユニットの制御に従い前記命令メモリから前記演算処理命令を取得して、前記演算処理部にSIMD形式で演算処理を実行させる。
本技術の第３の側面の電子機器は、複数の画素が２次元アレイ状に配置された画素アレイ部と、前記画素アレイ部の前記画素が出力する画素信号をAD変換するAD変換部と、AD変換後のデジタルの画素信号を保持するメモリと、前記デジタルの画素信号に対して所定の信号処理を施す画像信号処理回路とを備え、前記画像信号処理回路は、所定の演算処理を実行する１個以上の演算処理部と、前記演算処理部をSIMD形式で動作させるコントロールユニットとからなる２個以上の演算処理ユニットと、１個以上の演算処理命令を格納する命令メモリと、前記演算処理ユニットを制御する中央制御ユニットとを備える固体撮像装置を備える。
本技術の第１乃至第３の側面においては、固体撮像装置の画像信号処理回路の１個以上の演算処理部において、SIMD形式で所定の演算処理が実行される。
固体撮像装置及び電子機器は、独立した装置であっても良いし、他の装置に組み込まれるモジュールであっても良い。
本技術の第１乃至第３の側面によれば、画素アレイ部の撮像処理の任意の変更に対応することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術が適用された固体撮像装置の概略構成を示すブロック図である。 画素アレイ部の撮像処理の例を示す図である。 画像信号処理回路の構成例を示す図である。 PUの詳細構成を示す図である。 各PUの処理実行例を示す図である。 各PUの処理実行例を示す図である。 画像信号処理を説明するフローチャートである。 各処理を並列的に示したフローチャートである。 固体撮像装置の第１の積層構造を示す図である。 固体撮像装置の第２の積層構造を示す図である。 固体撮像装置の第３の積層構造を示す図である。 固体撮像装置の第４の積層構造を示す図である。 固体撮像装置の第５の積層構造を示す図である。 固体撮像装置の第６の積層構造を示す図である。 その他のPUの詳細構成を示す図である。 本技術を適用した電子機器としての撮像装置の構成例を示すブロック図である。 イメージセンサの使用例を説明する図である。
以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．固体撮像装置の概略構成例
２．画素アレイ部の撮像処理例
３．画像信号処理回路の構成例
４．画像信号処理実行例
５．固体撮像装置の積層構造例
６．PUとPEの個数について
７．電子機器への適用例
＜１．固体撮像装置の概略構成例＞
図１は、本技術が適用された固体撮像装置の概略構成を示すブロック図である。
図１の固体撮像装置１は、入出力回路１１、タイミング制御部１２、画素駆動部１３、画素アレイ部１４、ADC/メモリ１５、画像信号処理回路１６、および、フレームメモリ１７を含んで構成される。
入出力回路１１は、入力回路２１と出力回路２２を備える。
入力回路２１には、不図示の外部回路から、固体撮像装置１の撮像動作、例えば、画素アレイ部１４内の撮像領域や撮像タイミング、画像信号の後処理の処理内容等を指定する制御信号が入力される。入力回路２１は、入力された各種の制御信号をタイミング制御部１２や画像信号処理回路１６などに供給する。
出力回路２２は、ADC/メモリ１５または画像信号処理回路１６から供給された画像信号を取得し、外部に出力する。
タイミング制御部１２は、垂直同期信号、水平同期信号などの各種のタイミング信号を生成するタイミングジェネレータなどによって構成される。タイミング制御部１２は、タイミングジェネレータで生成された各種のタイミング信号を、画素駆動部１３、ADC/メモリ１５、及び、画像信号処理回路１６に供給し、各部の動作タイミングを制御する。
画素駆動部１３は、例えばシフトレジスタによって構成され、画素アレイ部１４の各画素を行単位で、順次、垂直方向に選択走査し、各画素３１の光電変換部において受光量に応じて生成された信号電荷に基づく画素信号を、ADC/メモリ１５に出力させる。
画素アレイ部１４は、光電変換部となるフォトダイオードと、複数の画素トランジスタ（いわゆるMOSトランジスタ）を有する画素３１を、２次元アレイ状に（行方向および列方向に）複数配置して構成されている。複数の画素トランジスタは、例えば転送トランジスタ、リセットトランジスタ及び増幅トランジスタの３つのトランジスタで構成することができる。画素は、その他、選択トランジスタを追加した４つのトランジスタで構成することもできる。
画素アレイ部１４の各画素３１は、行駆動信号線３２を介して画素駆動部１３から供給される駆動信号に基づいて、露光（受光）および画素信号の出力を行う。各画素３１で生成された画素信号は、ADC/メモリ１５に出力される。
ADC/メモリ１５は、１以上の画素３１に対して１つのADC４１が対応するように配置された複数個のADC（AD変換部）４１と、１以上の画素３１に対して１つのメモリ４２が対応するように配置された複数個のメモリ４２を有する。
画素アレイ部１４とADC/メモリ１５は、図９乃至図１４等を参照して後述するように、上下に積層されて配置されており、ADC４１とメモリ４２は、１以上の画素３１に対応するように２次元アレイ状に配置されている。
ADC４１は、各画素３１から出力される画素信号に対してCDS(Correlated Double Sampling：相関２重サンプリング)処理を施すことにより、画素信号のAD変換を行うとともにリセットノイズを除去する。例えば、ADC４１は、変換対象となるアナログ信号と、これと比較対象となる参照掃引信号とを比較するためのコンパレータ部、および、コンパレータ部での比較結果が反転するまでの時間を計測するカウンタ部を備える。ADC４１は、AD変換後のデジタルの画素信号をメモリ４２に記憶させる。
メモリ４２は、ADC４１から出力されるデジタルの画素信号を所定期間保持し、画像信号処理回路１６または出力回路２２に出力する。
画像信号処理回路１６は、ADC/メモリ１５から供給されたデジタルの画素信号に対して、各種の信号処理を施す回路である。例えば、画像信号処理回路１６は、画素アレイ部１４の撮像領域全体の各画素信号の階調を変換する階調変換処理や、撮像領域の一部の領域に対するフィルタ処理などを行うことができる。
画像信号処理回路１６は、画素信号に対してどのような信号処理を行うかを表す処理制御信号を入力回路２１を介して外部回路から受け付けることができる。
フレームメモリ１７は、ADC/メモリ１５から供給された１フレーム分の撮像データ（画素信号）を保持し、必要に応じて画像信号処理回路１６に供給する。なお、フレームメモリ１７は、省略される場合もある。
以上のように構成される固体撮像装置１は、例えば、画素アレイ部１４の１以上の画素単位にADC４１とメモリ４２が設けられたCMOSイメージセンサである。
＜２．画素アレイ部の撮像処理例＞
図２は、画素アレイ部１４の撮像処理の例を示している。
固体撮像装置１は、図２のAに示されるように、画素アレイ部１４の有効画素領域６１を複数の処理領域に分割して、各処理領域を異なるフレームレートで駆動したり、各処理領域で異なる処理を行わせることが可能である。
例えば、図２のAに示されるように、有効画素領域６１の一部の処理領域Xについては480fpsのフレームレートで駆動させ、一部の処理領域Yについては30fpsのフレームレートで駆動させ、一部の処理領域Zについては60fpsのフレームレートで駆動させることができる。
図２のBに示されるように、処理領域X、Y、およびZそれぞれの画素信号がADC/メモリ１５に読み出される（出力される）タイミングも異なる。
画像信号処理回路１６は、図２のCに示されるように、処理領域X、Y、およびZそれぞれの画素信号に対して異なる演算処理を行う。画像信号処理回路１６は、処理領域Xで得られた画素信号に対して、処理M(Process M1,Process M2)を実行する。また、画像信号処理回路１６は、処理領域Yで得られた画素信号に対して、処理N(Process N)を実行し、処理領域Zで得られた画素信号に対して、処理L（Process L）と処理N（Process N）の２つの処理を順に実行する。
図２の例では、画素アレイ部１４の有効画素領域６１に対して所定の処理を行う処理領域が複数あり、その複数の処理領域それぞれで実行される処理（処理M,L,Nなど）やフレームレートが異なる例を示した。
しかしながら、画素アレイ部１４の有効画素領域６１に対して処理を行う処理領域を一つの部分領域とする制御や、３以上の処理領域のうち２つの処理領域に対しては同じ処理や同じフレームレートで実行する制御も勿論可能である。
＜３．画像信号処理回路の構成例＞
図３は、図２に示したような画素アレイ部１４の複数処理領域で異なる処理を実行するための画像信号処理回路１６の構成例を示している。
画像信号処理回路１６は、複数個のPU（Process Unit、演算処理ユニット）８１と、各PU８１を制御するCCU(Central Control Unit、中央制御ユニット)８２と、各PU８１で使用される複数の演算処理命令（以下、単に命令という。）が格納されているIMEM（Instruction Memory、命令メモリ）８３とにより構成される。
図４を参照して、PU８１、CCU８２、及びIMEM８３の詳細について説明する。
図４は、１個のPU８１の詳細構成を、CCU８２及びIMEM８３とともに示した図である。画像信号処理回路１６内の複数個のPU８１それぞれは、図４のPU８１と同一の構成を有している。
PU８１は、CU（Control Unit、コントロールユニット）１０１と、面並列に接続された複数個のPE(Processor Element、演算処理部)１０２とで構成される。ここで、PU８１は、例えば、複数画素に１個の割合で配置され、PE１０２は、例えば、１画素に１個の割合で配置される。この場合、１個のPU８１に５ｘ５の計２５個のPE１０２が設けられていれば、PU８１は、２５画素に１個の割合で配置されていることになる。複数個のPE１０２が面並列に接続されるとは、複数個のPE１０２が、CU１０１と並列に接続され、画素アレイ部１４の平面領域（行方向N個および列方向M個からなるNxM個）の複数画素の画素信号を並列処理することを意味する。
CCU８２は、入力回路２１を介して外部から供給された処理制御信号に基づいて、複数個のPU８１それぞれにどのような処理を実行させるかを決定する。なお、PU８１に行わせる処理として複数の処理が競合した場合には、CCU８２は、その複数の処理をどのような順番で実行させるか、あるいはどの処理を優先させるか（一方の処理を実行させて、他方の処理は実行させない）等も決定する。
そして、CCU８２は、決定した処理に対応するプログラムを識別するプログラム識別情報をPU８１のCU１０１に供給することで、決定した処理を各PU８１に実行させる。プログラム識別情報は、例えば、プログラム（命令）が格納されているIMEM８３の先頭アドレスや、プログラム番号などである。プログラム番号によって処理が指定される場合には、そのプログラム番号を有するプログラムの格納先は既知である。
また、CCU８２は、PU８１が処理を開始するタイミングの基準となる同期信号もPU８１に供給する。CCU８２から各PU８１に供給される同期信号どうしは、各PU８１が実行する処理タイミングを合わせるため、逓倍または分周の関係にあることが望ましい。
IMEM８３は、各PU８１で使用される複数のプログラム（命令）を格納する。図４の例では、Prg1乃至Prg5の５つのプログラムが格納されている。
CU１０１は、CCU８２から供給されるプログラム識別情報に基づいて、指定されたプログラムをIMEM８３から取得し、PU８１内の全てのPE１０２に供給して、SIMD(Single Instruction stream Multiple Data stream)形式で所定の演算処理を実行させる。
具体的には、CU１０１は、アドレス制御部１１１と命令デコーダ１１２を有する。プログラム識別情報として、実行対象のプログラムの先頭アドレスが供給されるとすると、アドレス制御部１１１は、CCU８２から指令されたIMEM８３の先頭アドレスから、指定されたプログラムが格納された最終アドレスまで順番に指定し、指定アドレスに格納されている命令コードを要求する。命令デコーダ１１２は、IMEM８３から順次供給される命令コードをデコードし、各PE１０２に供給する。
PE１０２は、CU１０１の命令デコーダ１１２から順次供給される命令コードを順次処理（パイプライン処理）することにより、１つのプログラム、即ち、画素信号に対する所定の演算処理を実行する。
PE１０２は、ALU(Arithmetic and Logic Unit)１２１、フリップフロップ１２２、データ参照部１２３、及び、データ出力部１２４を少なくとも有する。
ALU１２１は、論理演算や四則演算を行う演算処理部であり、命令デコーダ１１２から供給される命令コードに基づく演算を行う。ALU１２１は、必要に応じて、フリップフロップ１２２に一時保存したデータや、データ参照部１２３によって取得された他のPE１０２で演算したデータ、フレームメモリ１７に保持されているデータなどを用いることができる。
フリップフロップ１２２は、ALU１２１の演算結果を一時保存する。
データ参照部１２３は、ALU１２１の演算に必要となるデータであって、自分のPE１０２以外が保持しているデータを適宜参照（取得）し、ALU１２１に供給する。具体的には、データ参照部１２３は、隣接または１個以上離れたPE１０２（他のPU８１のPE１０２も含む）の演算結果、フレームメモリ１７に保持されているデータ、CCU８２を介して取得できる、外部回路から供給されたパラメータなどを参照することができる。
データ出力部１２４は、ALU１２１の演算結果を、他のPE１０２、フレームメモリ１７、または、出力回路２２などに出力する。
以上のように構成されるPU８１では、CCU８２がIMEM８３に格納されている複数の命令のなかから、所定の命令を指定して、各PE１０２にSIMD形式で実行させることができる。また、各PE１０２に実行させる命令を切り替えたり、組み合わせて順番に実行させることも可能である。
ただし、１個のPU８１内の複数のPE１０２は全て同一の処理しか行うことができない。これに対して、複数個のPU８１それぞれは、異なる処理を実行することができる。換言すれば、異なる処理（命令）を実行可能な演算処理単位がPU８１である。
従って、PU８１内のPE１０２単位では、SIMD形式で処理を実行するが、PU８１単位でみれば、MIMD(Multiple Instruction stream Multiple Data stream)形式で複数の演算処理を実行することが可能となっている。
PU８１は、１画素以上の処理領域単位に対応して、制御シーケンサとしてのCU１０１とPE１０２を備えることで、画素アレイ部１４の処理領域の可変、フレームレート別処理、読み出しタイミング可変に対応することが可能となる。また、PU８１を制御するCCU８２を備えることで、プログラムの変更や演算順序の制御が可能となる。
＜４．画像信号処理実行例＞
次に、図５乃至図７を参照して、各PU８１の処理実行例について説明する。
図５に示される画像信号処理回路１６は、５ｘ７からなる３５個のPU８１と、CCU８２及びIMEM８３とで構成されている。
上述した例のように、PE１０２が１画素に対して１個割り当てられ、１個のPU８１が５ｘ５の２５個のPE１０２を有している場合、画素アレイ部１４は、垂直方向に２５画素、水平方向に３５画素の８７５（＝２５ｘ３５）画素で構成されていることになる。
以下では、５ｘ７で配列された３５個の各PU８１において、水平方向（横方向）において左端からｘ番目（ｘ＞０）、垂直方向において上端からｙ番目（ｙ＞０）のPU８１を、PU（ｘ，ｙ）８１と表すとする。
図５は、CCU８２が、３５個の各PU８１のうち、４個のPU（２，１）８１、PU（３，１）８１、PU（２，２）８１、およびPU（３，２）８１からなる処理領域Aと、８個のPU（４，３）８１乃至PU（７，３）およびPU（４，４）８１乃至PU（７，４）からなる処理領域Bの２つの処理領域を設定し、それらに異なる処理を実行させる例を示している。例えば、処理領域Aと処理領域Bとで、撮像画像に対して行われるフィルタ処理（隣接画素の画素信号を用いた演算処理）が異なる。
３５個の各PU８１のうち、処理領域AおよびB以外のPU８１は、未使用とされ、アイドル状態とされる。全てのPU８１それぞれが異なる処理を行うように指定することも可能であるが、IMEM８３に格納されるプログラムが多くなり、各PU８１とIMEM８３とのアクセス数も増えることから、一般的には、全てのPU８１に対して、割り当てられる領域や処理の数は数個ないし数十個程度とされる。
例えば、撮像画像中の被写体の動き検出処理のように、処理領域Aが処理結果に応じて移動するような場合には、図６に示されるように、処理領域Aと処理領域Bの一部が重複することもある。図６の例では、処理領域AがPU（３，２）８１、PU（４，２）８１、PU（３，３）８１、およびPU（４，３）８１からなる処理領域に変更され、PU（４，３）８１が、処理領域Aと処理領域Bのいずれにも属する。この場合、CCU８２が、PU（４，３）８１に対して、処理領域Aとしての処理か、または、処理領域Bとしての処理のどちらの処理を実行させるかを決定して、指示する。
＜画像信号処理フロー＞
図７のフローチャートを参照して、画像信号処理回路１６が行う画像信号処理を説明する。
初めに、ステップＳ１において、CCU８２は、入力回路２１を介して外部から供給された処理制御信号に基づいて、各PU８１に実行させる処理を決定し、決定した処理に対応するプログラム識別情報を各PU８１のCU１０１に供給する。
ステップＳ２において、各PU８１のCU１０１は、プログラム識別情報が供給されたかを判定する。ステップＳ２で、プログラム識別情報が供給されていないと判定された場合、処理は終了する。したがって、プログラム識別情報が供給されないPU８１は、何も処理を実行しない。
ステップＳ２で、プログラム識別情報が供給されたと判定された場合、処理はステップＳ３に進み、CU１０１は、CCU８２から供給される同期信号に基づいて、処理を開始するタイミングとなったかを判定する。
ステップＳ３で、処理を開始するタイミングとなったと判定されるまで待機され、処理を開始するタイミングとなったと判定された場合、処理はステップＳ４に進み、CU１０１のアドレス制御部１１１は、プログラム識別情報で識別されるプログラムが格納されているIMEM８３の所定のアドレスにアクセスし、命令コードを取得する。
ステップＳ５において、CU１０１の命令デコーダ１１２は、IMEM８３から取得された命令コードをデコードし、各PE１０２に供給する。
ステップＳ６において、PU８１内の各PE１０２は、供給された命令コードを実行する。即ち、各PE１０２は、命令コードに規定された所定の演算処理を実行する。
ステップＳ７において、CU１０１のアドレス制御部１１１は、ステップＳ４でアクセスしたアドレスが、指定されたプログラムが格納された最終アドレスであるかを判定する。
ステップＳ７で、ステップＳ４でアクセスしたアドレスが、指定されたプログラムの最終アドレスではないと判定された場合、処理はステップＳ４に戻され、ステップＳ４以降の処理が繰り返される。これにより、前回のステップＳ４でアクセスしたアドレスの次のアドレスの命令コードがPU８１内の各PE１０２で実行される。
一方、ステップＳ７で、ステップＳ４でアクセスしたアドレスが、指定されたプログラムの最終アドレスであると判定された場合、処理は終了する。
図８は、図５に示したように全PU８１に対して２つの処理領域AおよびBが設定され、処理が実行される場合の、処理領域AおよびBのPU８１、CCU８２、IMEM８３の各処理を並列的に示したフローチャートである。
ステップＳ２１において、CCU８２から処理実行対象の各PU８１へプログラム識別情報が供給される。例えば、CCU８２から処理領域AのPU８１には、Prg1を識別するプログラム識別情報が供給され、処理領域BのPU８１には、Prg2を識別するプログラム識別情報が供給される。
そして、ステップＳ２２において、CCU８２から各PU８１へ同期信号が供給されると、ステップＳ２３において、各PU８１は、プログラム識別情報で指定されたプログラムの格納先（IMEM８３の所定アドレス）へアクセスし、命令コードを取得して、デコードした後、実行する。処理領域AのPU８１は、Prg1が格納された先頭アドレスAdr1から順に命令コードを取得し、実行する。処理領域BのPU８１は、Prg2が格納された先頭アドレスAdr2から順に命令コードを取得し、実行する。
PU８１で実行されるプログラムが変更されない場合は、同期信号が供給される度に、ステップＳ２２およびＳ２３の処理が繰り返される。
PU８１で実行するプログラムが変更される場合、CCU８２は、ステップＳ３１において、変更するPU８１に対してのみ、プログラム識別情報を供給する。例えば、処理領域AのPU８１が行う処理をPrg1からPrg3に変更する場合、処理領域AのPU８１に対して、Prg3を識別するプログラム識別情報が供給される。この変更処理は、例えば、垂直ブランク期間を利用して行われる。
そして、ステップＳ３２において、CCU８２から各PU８１へ同期信号が供給されると、ステップＳ３３において、処理領域AのPU８１は、Prg3が格納された先頭アドレスAdr3から順に命令コードを取得し、実行する。一方、新たなプログラム識別情報が供給されない処理領域BのPU８１は、それまでと同じPrg2が格納された先頭アドレスAdr2から順に命令コードを取得し、実行する。
以上のように、固体撮像装置１は、PU８１、CCU８２、およびIMEM８３を有する画像信号処理回路１６を備えることにより、画素アレイ部１４の撮像処理の任意の変更に対応することができる。具体的には、画素アレイ部１４内に複数の処理領域を設定して、その処理領域の処理内容（プログラム）やフレームレートが変更された場合であっても、その変更に対応した信号処理を行うことが可能である。また、画素アレイ部１４内の他の処理領域が所定の処理を行っている最中に、所定の処理領域で、領域サイズが変更されたり、プログラムや演算順序の変更がされた場合であっても、その変更に対応した信号処理を行うことが可能となる。また、このプログラムの変更や演算順序の変更に対応する演算処理の切替えは垂直ブランク期間に行うことができるので、無効フレームをなくすことができ、例えば、無効フレームなしでフレームレートを変更することができる。
＜５．固体撮像装置の積層構造例＞
図１の固体撮像装置１は、２枚または３枚の半導体基板を積層した積層構造により構成することができる。図９乃至図１４を参照して、固体撮像装置１を複数の半導体基板の積層構造で構成した場合の各部の配置について説明する。
なお、図９乃至図１４において、上述した図１、図４等と共通する部分については同一の符号を付してあり、その部分の説明は適宜省略する。
図９及び図１０は、固体撮像装置１の各回路を、積層した３枚の半導体基板に分けて配置し、固体撮像装置１がフレームメモリ１７を備えない場合の積層構造の例を示している。
一方、図１１および図１２は、固体撮像装置１の各回路を、積層した３枚の半導体基板に分けて配置し、固体撮像装置１がフレームメモリ１７を備える場合の積層構造の例を示している。
一方、図１３および図１４は、固体撮像装置１の各回路を、積層した２枚の半導体基板に分けて配置した例であり、図１３は、固体撮像装置１がフレームメモリ１７を備えない場合、図１４は、フレームメモリ１７を備える場合、の積層構造の例を示している。
＜第１の積層構造＞
図９は、第１の積層構造であり、フレームメモリ１７を備えない固体撮像装置１を３枚の半導体基板の積層構造で構成した例を示している。
第１の積層構造では、画素アレイ部１４の各画素３１が受光する光が入射される入射面側を上側として、最上層に配置される第１の半導体基板２０１と、中間層に配置される第２の半導体基板２０２と、最下層に配置される第３の半導体基板２０３とで、固体撮像装置１が形成される。
最上層に配置される第１の半導体基板２０１には、図９のAに示されるように、画素アレイ部１４が配置される。また、第１の半導体基板２０１の外周部の四辺の少なくとも一辺の近傍領域に、ワイヤーボンディング用の電極パッドが配置されたPAD部２１１が配置される。さらに、画素アレイ部１４外側の四辺の少なくとも一辺の近傍領域に、第１の半導体基板２０１と第２の半導体基板２０２とを電気的に接続する第１ビア部２１２が配置される。図９のAの例では、第１の半導体基板２０１の四辺の外周部のうち、対向する所定の２辺（図９において左右の２辺）の外周部にPAD部２１１が配置されており、画素アレイ部１４外側の所定の２辺（図９において右と下の２辺）に第１ビア部２１２が配置されている。
中間層に配置される第２の半導体基板２０２には、図９のBに示されるように、第１の半導体基板２０１の画素アレイ部１４と同じ領域に、ADC/メモリ１５が配置され、第１の半導体基板２０１の第１ビア部２１２と同じ領域に、第２の半導体基板２０２側の第１ビア部２１２が配置される。
さらに、ADC/メモリ１５外側の四辺の少なくとも一辺の近傍領域に、第２の半導体基板２０２と第３の半導体基板２０３とを電気的に接続する第２ビア部２１３が配置され、第２の半導体基板２０２の外周部の四辺の少なくとも一辺の近傍領域に、周辺回路２１４が配置される。図９のBの例では、ADC/メモリ１５外側の第１ビア部２１２が配置されていない所定の２辺のうちの一方（図９において上側の辺）に第２ビア部２１３が配置され、第２の半導体基板２０２の外周部の所定の一辺（図９において左側の辺）に、周辺回路２１４が配置されている。この周辺回路２１４は、タイミング制御部１２、画素駆動部１３などに相当する。
最下層に配置される第３の半導体基板２０３には、図９のCに示されるように、第２の半導体基板２０２のADC/メモリ１５と同じ領域に、画像信号処理回路１６の複数のPU８１が２次元アレイ状に配置され、第２の半導体基板２０２の第２ビア部２１３と同じ領域に、第３の半導体基板２０３側の第２ビア部２１３が配置される。
また、第３の半導体基板２０３外周部の四辺の少なくとも一辺の近傍領域に、入出力回路１１が配置され、他の少なくとも一辺の近傍領域に、画像信号処理回路１６のIMEM８３が、さらに他の少なくとも一辺の近傍領域に、画像信号処理回路１６のCCU８２が配置される。図９のCの例では、第３の半導体基板２０３の外周部の所定の一辺（図９において右側の辺）に、入出力回路１１が配置され、所定の一辺（図９において左側の辺）に、IMEM８３が配置され、所定の一辺（図９において下側の辺）に、CCU８２が配置されている。
＜第２の積層構成例＞
図１０は、第２の積層構造であり、フレームメモリ１７を備えない固体撮像装置１を３枚の半導体基板の積層構造で構成した例を示している。
図１０において、図９に示した第１の積層構造と共通する部分は同一の符号を付してあり、その部分についての説明は省略する。
図１０の第２の積層構造では、CCU８２の形成位置が第１の積層構造と異なる。すなわち、図９の第１の積層構造では、CCU８２は、第３の半導体基板２０３に形成されていたが、図１０の第２の積層構造では、CCU８２は、第２の半導体基板２０２の四辺の外周部の、周辺回路２１４が形成されていない一辺（図１０において下側の辺）の近傍領域に形成されている。第２の積層構造のその他の回路配置は、第１の積層構造と同様である。
＜第３の積層構成例＞
図１１は、第３の積層構造であり、フレームメモリ１７を備える固体撮像装置１を３枚の半導体基板の積層構造で構成した例を示している。
図１１において、図９に示した第１の積層構造と共通する部分は同一の符号を付してあり、その部分についての説明は省略する。
図１１の第３の積層構造では、図９に示した第１の積層構造の第３の半導体基板２０３の入出力回路１１の位置に、フレームメモリ１７が配置されており、入出力回路１１は、第２の半導体基板２０２の外周部の所定の一辺（図１１において右側の辺）に配置されている。第３の積層構造のその他の回路配置は、第１の積層構造と同様である。
＜第４の積層構成例＞
図１２は、第４の積層構造であり、フレームメモリ１７を備える固体撮像装置１を３枚の半導体基板の積層構造で構成した例を示している。
図１２において、図１１に示した第３の積層構造と共通する部分は同一の符号を付してあり、その部分についての説明は省略する。
図１２の第４の積層構造では、CCU８２の形成位置が第３の積層構造と異なる。すなわち、図１１の第３の積層構造では、CCU８２は、第３の半導体基板２０３に形成されていたが、図１２の第４の積層構造では、CCU８２は、第２の半導体基板２０２の四辺の外周部の、周辺回路２１４と入出力回路１１が形成されていない一辺（図１２において下側の辺）の近傍領域に形成されている。第４の積層構造のその他の回路配置は、第３の積層構造と同様である。
以上のように、３層積層構造の場合には、第１の半導体基板２０１には、画素アレイ部１４が主に配置され、第２の半導体基板２０２には、ADC/メモリ１５が主に配置され、第３の半導体基板２０３には、画像信号処理回路１６の複数のPU８１とIMEM８３が主に配置される。各PU８１からIMEM８３へのアクセスは、１クロック周期で行われるため、PU８１とIMEM８３は同一基板に配置することが望ましいが、１クロック周期でのアクセスが可能であれば、異なる基板に配置してもよい。周辺回路２１４、入出力回路１１、CCU８２、および、フレームメモリ１７は、第２の半導体基板２０２または第３の半導体基板２０３の任意の位置に配置することができる。
図９乃至図１２で示した第１乃至第４の積層構造では、第１の半導体基板２０１と第２の半導体基板２０２との電気的接続、および、第２の半導体基板２０２と第３の半導体基板２０３との電気的接続が、ビア接合を用いて接続されていた。
しかしながら、ビア接合の代わりに、Cu-Cu等の金属結合を用いて、画素アレイ部１４とADC/メモリ１５の領域間、ADC/メモリ１５とPU８１の領域間を接続してもよい。
＜第５の積層構成例＞
図１３は、第５の積層構造であり、フレームメモリ１７を備えない固体撮像装置１を２枚の半導体基板の積層構造で構成した例を示している。
図１３において、図９に示した第１の積層構造と共通する部分は同一の符号を付してあり、その部分についての説明は適宜省略する。
第５の積層構造では、画素アレイ部１４の各画素３１が受光する光が入射される入射面側を上側として、上側に配置される第１の半導体基板２２１と、下側に配置される第２の半導体基板２２１とで、固体撮像装置１が形成される。
上側に配置される第１の半導体基板２２１には、図１３のAに示されるように、図９乃至図１２に示した３層構造の場合と同様に、画素アレイ部１４とPAD部２１１が配置される。
そして、下側に配置される第２の半導体基板２２１に、図１３のBに示されるように、図９乃至図１２に示した３層構造において第２の半導体基板２０２と第３の半導体基板２０３に形成されていた回路、即ち、ADC/メモリ１５、複数のPU８１、CCU８２、IMEM８３、周辺回路２１４、及び、入出力回路１１が配置されている。
なお、２層構造とされた第５の積層構造では、第１の半導体基板２２１と第２の半導体基板２２１との電気的接続にCu-Cu等の金属結合が用いられている。そのため、図１３の第１の半導体基板２２１と第２の半導体基板２２１には、図９乃至図１２において配置されていたビア部の領域が設けられていない。勿論、金属結合に代えて、ビア接合を用いてもよい。
＜第６の積層構成例＞
図１４は、第６の積層構造であり、フレームメモリ１７を備える固体撮像装置１を２枚の半導体基板の積層構造で構成した例を示している。
図１４において、図１３に示した第５の積層構造と共通する部分は同一の符号を付してあり、その部分についての説明は適宜省略する。
図１４の第６の積層構造では、図１３に示した第５の積層構造の第２の半導体基板２２１のCCU８２の位置に、フレームメモリ１７が配置されており、そのフレームメモリ１７に隣接して、CCU８２が配置されている。第６の積層構造のその他の回路配置は、第５の積層構造と同様である。
＜６．PUとPEの個数について＞
次に、画像信号処理回路１６のPU８１とPE１０２の個数について説明する。
上述した実施の形態では、PU８１が複数個のPE１０２を有し、PE１０２が画素３１と１対１に対応して設けられる例について説明した。
しかしながら、PU８１が有するPE１０２の個数は１以上であればよい。したがって、PU８１の最小構成は、図１５に示されるように、PU８１がCU１０１と１個のPE１０２を有する構成である。図１５の構成で、PE１０２が画素３１と１対１に対応して設けられる場合、画像信号処理回路１６が備えるPU８１およびPE１０２の個数は画素数と等しくなる。
一方、PE１０２は、行方向N個および列方向M個からなるNxM個の画素３１に対して１個のPE１０２を割り当てる構成としてもよい。この場合、画像信号処理回路１６が備えるPU８１およびPE１０２の個数は画素数よりも少なくなる。
まとめると、画像信号処理回路１６が有するPU８１の個数は、２個以上であればよく、１個のPU８１が有するPE１０２の個数と、１個のPE１０２が処理する画素数によって決定される。１個のPU８１が有するPE１０２は１個以上であればよい。
＜７．電子機器への適用例＞
本技術は、固体撮像装置への適用に限られるものではない。即ち、本技術は、デジタルスチルカメラやビデオカメラ等の撮像装置や、撮像機能を有する携帯端末装置や、画像読取部に固体撮像装置を用いる複写機など、画像取込部（光電変換部）に固体撮像装置を用いる電子機器全般に対して適用可能である。固体撮像装置は、ワンチップとして形成された形態であってもよいし、撮像部と信号処理部または光学系とがまとめてパッケージングされた撮像機能を有するモジュール状の形態であってもよい。
図１６は、本技術を適用した電子機器としての、撮像装置の構成例を示すブロック図である。
図１６の撮像装置３００は、レンズ群などからなる光学部３０１、図１の固体撮像装置１の構成が採用される固体撮像装置（撮像デバイス）３０２、およびカメラ信号処理回路であるDSP(Digital Signal Processor)回路３０３を備える。また、撮像装置３００は、フレームメモリ３０４、表示部３０５、記録部３０６、操作部３０７、および電源部３０８も備える。DSP回路３０３、フレームメモリ３０４、表示部３０５、記録部３０６、操作部３０７および電源部３０８は、バスライン３０９を介して相互に接続されている。
光学部３０１は、被写体からの入射光（像光）を取り込んで固体撮像装置３０２の撮像面上に結像する。固体撮像装置３０２は、光学部３０１によって撮像面上に結像された入射光の光量を画素単位で電気信号に変換して画素信号として出力する。この固体撮像装置３０２として、図１の固体撮像装置１、即ち、１個以上のPE１０２を含む複数個のPU８１を有する画像信号処理回路１６を備え、画素アレイ部１４内の複数領域での高速演算処理等を可能とした固体撮像装置を用いることができる。
表示部３０５は、例えば、LCD(Liquid Crystal Display)や有機EL(Electro Luminescence)ディスプレイ等の薄型ディスプレイで構成され、固体撮像装置３０２で撮像された動画または静止画を表示する。記録部３０６は、固体撮像装置３０２で撮像された動画または静止画を、ハードディスクや半導体メモリ等の記録媒体に記録する。
操作部３０７は、ユーザによる操作の下に、撮像装置３００が持つ様々な機能について操作指令を発する。電源部３０８は、DSP回路３０３、フレームメモリ３０４、表示部３０５、記録部３０６および操作部３０７の動作電源となる各種の電源を、これら供給対象に対して適宜供給する。
上述したように、固体撮像装置３０２として、上述した実施の形態を適用した固体撮像装置１を用いることで、撮像処理の任意の変更に対応することができる。従って、ビデオカメラやデジタルスチルカメラ、さらには携帯電話機等のモバイル機器向けカメラモジュールなどの撮像装置３００においても、撮像機能の向上および撮像画像の高画質化を図ることができる。
＜イメージセンサの使用例＞
図１７は、上述の固体撮像装置１を用いたイメージセンサの使用例を示す図である。
上述の固体撮像装置１を用いたイメージセンサは、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
また、本技術は、可視光の入射光量の分布を検知して画像として撮像する固体撮像装置への適用に限らず、赤外線やX線、あるいは粒子等の入射量の分布を画像として撮像する固体撮像装置や、広義の意味として、圧力や静電容量など、他の物理量の分布を検知して画像として撮像する指紋検出センサ等の固体撮像装置（物理量分布検知装置）全般に対して適用可能である。
また、本技術は、固体撮像装置に限らず、他の半導体集積回路を有する半導体装置全般に対して適用可能である。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、上述した複数の実施の形態の全てまたは一部を組み合わせた形態を採用することができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
なお、本技術は以下のような構成も取ることができる。
（１）
複数の画素が２次元アレイ状に配置された画素アレイ部と、
前記画素アレイ部の前記画素が出力する画素信号をAD変換するAD変換部と、
AD変換後のデジタルの画素信号を保持するメモリと、
前記デジタルの画素信号に対して所定の信号処理を施す画像信号処理回路と
を備え、
前記画像信号処理回路は、
所定の演算処理を実行する１個以上の演算処理部と、前記演算処理部をSIMD形式で動作させるコントロールユニットとからなる２個以上の演算処理ユニットと、
１個以上の演算処理命令を格納する命令メモリと、
前記演算処理ユニットを制御する中央制御ユニットと
を備える
固体撮像装置。
（２）
前記演算処理ユニットは、複数個の前記演算処理部を有する
前記（１）に記載の固体撮像装置。
（３）
前記演算処理部は、複数画素に対して１個の割合で配置されている
前記（１）または（２）に記載の固体撮像装置。
（４）
前記演算処理部は、１画素に対して１個の割合で配置されている
前記（１）乃至（３）のいずれかに記載の固体撮像装置。
（５）
フレームメモリをさらに備え、
前記演算処理部は、前記フレームメモリに保持されているデータを用いて前記所定の演算処理を実行する
前記（１）乃至（４）のいずれかに記載の固体撮像装置。
（６）
複数の半導体基板の積層構造で構成された
前記（１）乃至（５）のいずれかに記載の固体撮像装置。
（７）
複数の画素が２次元アレイ状に配置された画素アレイ部と、前記画素アレイ部の前記画素が出力する画素信号をAD変換するAD変換部と、AD変換後のデジタルの画素信号を保持するメモリと、前記デジタルの画素信号に対して所定の信号処理を施す画像信号処理回路とを備え、前記画像信号処理回路は、所定の演算処理を実行する１個以上の演算処理部と、前記演算処理部をSIMD形式で動作させるコントロールユニットとからなる２個以上の演算処理ユニットと、１個以上の演算処理命令を格納する命令メモリと、前記演算処理ユニットを制御する中央制御ユニットとを備える固体撮像装置の、
前記中央制御ユニットが、前記演算処理ユニットに行わせる処理を決定し、
前記コントロールユニットが、前記中央制御ユニットの制御に従い前記命令メモリから前記演算処理命令を取得して、前記演算処理部にSIMD形式で演算処理を実行させる
固体撮像装置の信号処理方法。
（８）
複数の画素が２次元アレイ状に配置された画素アレイ部と、
前記画素アレイ部の前記画素が出力する画素信号をAD変換するAD変換部と、
AD変換後のデジタルの画素信号を保持するメモリと、
前記デジタルの画素信号に対して所定の信号処理を施す画像信号処理回路と
を備え、
前記画像信号処理回路は、
所定の演算処理を実行する１個以上の演算処理部と、前記演算処理部をSIMD形式で動作させるコントロールユニットとからなる２個以上の演算処理ユニットと、
１個以上の演算処理命令を格納する命令メモリと、
前記演算処理ユニットを制御する中央制御ユニットと
を備える固体撮像装置
を備える電子機器。
１ 固体撮像装置， １４ 画素アレイ部， １５ ADC/メモリ， １６ 画像信号処理回路， １７ フレームメモリ， ３１ 画素， ４１ ADC， ４２ メモリ， ８１ PU， ８２ CCU， ８３ IMEM， １０１ CU， １０２ PE， ２０１ 第１の半導体基板， ２０２ 第２の半導体基板， ２０３ 第３の半導体基板， ３００ 撮像装置， ３０２ 固体撮像装置

Claims (8)

  1. 複数の画素が２次元アレイ状に配置された画素アレイ部と、
    前記画素アレイ部の前記画素が出力する画素信号をAD変換するAD変換部と、
    AD変換後のデジタルの画素信号を保持するメモリと、
    前記デジタルの画素信号に対して所定の信号処理を施す画像信号処理回路と
    を備え、
    前記画像信号処理回路は、
    所定の演算処理を実行する１個以上の演算処理部と、前記演算処理部をSIMD形式で動作させるコントロールユニットとからなる２個以上の演算処理ユニットと、
    １個以上の演算処理命令を格納する命令メモリと、
    前記演算処理ユニットを制御する中央制御ユニットと
    を備える
    固体撮像装置。
  2. 前記演算処理ユニットは、複数個の前記演算処理部を有する
    請求項１に記載の固体撮像装置。
  3. 前記演算処理部は、複数画素に対して１個の割合で配置されている
    請求項１に記載の固体撮像装置。
  4. 前記演算処理部は、１画素に対して１個の割合で配置されている
    請求項１に記載の固体撮像装置。
  5. フレームメモリをさらに備え、
    前記演算処理部は、前記フレームメモリに保持されているデータを用いて前記所定の演算処理を実行する
    請求項１に記載の固体撮像装置。
  6. 複数の半導体基板の積層構造で構成された
    請求項１に記載の固体撮像装置。
  7. 複数の画素が２次元アレイ状に配置された画素アレイ部と、前記画素アレイ部の前記画素が出力する画素信号をAD変換するAD変換部と、AD変換後のデジタルの画素信号を保持するメモリと、前記デジタルの画素信号に対して所定の信号処理を施す画像信号処理回路とを備え、前記画像信号処理回路は、所定の演算処理を実行する１個以上の演算処理部と、前記演算処理部をSIMD形式で動作させるコントロールユニットとからなる２個以上の演算処理ユニットと、１個以上の演算処理命令を格納する命令メモリと、前記演算処理ユニットを制御する中央制御ユニットとを備える固体撮像装置の、
    前記中央制御ユニットが、前記演算処理ユニットに行わせる処理を決定し、
    前記コントロールユニットが、前記中央制御ユニットの制御に従い前記命令メモリから前記演算処理命令を取得して、前記演算処理部にSIMD形式で演算処理を実行させる
    固体撮像装置の信号処理方法。
  8. 複数の画素が２次元アレイ状に配置された画素アレイ部と、
    前記画素アレイ部の前記画素が出力する画素信号をAD変換するAD変換部と、
    AD変換後のデジタルの画素信号を保持するメモリと、
    前記デジタルの画素信号に対して所定の信号処理を施す画像信号処理回路と
    を備え、
    前記画像信号処理回路は、
    所定の演算処理を実行する１個以上の演算処理部と、前記演算処理部をSIMD形式で動作させるコントロールユニットとからなる２個以上の演算処理ユニットと、
    １個以上の演算処理命令を格納する命令メモリと、
    前記演算処理ユニットを制御する中央制御ユニットと
    を備える固体撮像装置
    を備える電子機器。
JP2016213639A 2016-10-31 2016-10-31 固体撮像装置およびその信号処理方法、並びに電子機器 Pending JP2018074445A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016213639A JP2018074445A (ja) 2016-10-31 2016-10-31 固体撮像装置およびその信号処理方法、並びに電子機器
PCT/JP2017/037476 WO2018079331A1 (ja) 2016-10-31 2017-10-17 固体撮像装置およびその信号処理方法、並びに電子機器
US16/329,388 US11102436B2 (en) 2016-10-31 2017-10-17 Solid-state imaging device and signal processing method thereof, and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016213639A JP2018074445A (ja) 2016-10-31 2016-10-31 固体撮像装置およびその信号処理方法、並びに電子機器

Publications (1)

Publication Number Publication Date
JP2018074445A true JP2018074445A (ja) 2018-05-10

Family

ID=62024894

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016213639A Pending JP2018074445A (ja) 2016-10-31 2016-10-31 固体撮像装置およびその信号処理方法、並びに電子機器

Country Status (3)

Country Link
US (1) US11102436B2 (ja)
JP (1) JP2018074445A (ja)
WO (1) WO2018079331A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020027161A1 (ja) * 2018-07-31 2020-02-06 ソニーセミコンダクタソリューションズ株式会社 積層型受光センサ及び電子機器
WO2020027230A1 (ja) * 2018-07-31 2020-02-06 ソニーセミコンダクタソリューションズ株式会社 積層型受光センサ及び車載撮像装置
JP2020025264A (ja) * 2018-07-31 2020-02-13 ソニーセミコンダクタソリューションズ株式会社 積層型受光センサ及び車載撮像装置
JP2021013118A (ja) * 2019-07-08 2021-02-04 キヤノン株式会社 撮像装置及びその製造方法
WO2021140795A1 (ja) * 2020-01-06 2021-07-15 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10983583B2 (en) * 2018-08-23 2021-04-20 Apple Inc. Electronic display reduced blanking duration systems and methods
US20220408049A1 (en) * 2021-06-22 2022-12-22 Meta Platforms Technologies, Llc Multi-layer stacked camera-image-sensor circuit

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5293481A (en) * 1987-02-18 1994-03-08 Canon Kabushiki Kaisha Data parallel processing apparatus
US5966528A (en) * 1990-11-13 1999-10-12 International Business Machines Corporation SIMD/MIMD array processor with vector processing
US6452149B1 (en) 2000-03-07 2002-09-17 Kabushiki Kaisha Toshiba Image input system including solid image sensing section and signal processing section
JP2002094886A (ja) * 2000-09-13 2002-03-29 Hamamatsu Photonics Kk 高速画像処理装置
US20050238102A1 (en) * 2004-04-23 2005-10-27 Samsung Electronics Co., Ltd. Hierarchical motion estimation apparatus and method
US7511738B1 (en) * 2005-03-31 2009-03-31 Lockheed Martin Corporation Massively-parallel three-axis stabilization of focal plane data
CN1993709B (zh) 2005-05-20 2010-12-15 索尼株式会社 信号处理设备
US8953075B2 (en) * 2012-03-30 2015-02-10 Pixim, Inc. CMOS image sensors implementing full frame digital correlated double sampling with global shutter
TWI583195B (zh) * 2012-07-06 2017-05-11 新力股份有限公司 A solid-state imaging device and a solid-state imaging device, and an electronic device
JP2014060573A (ja) * 2012-09-18 2014-04-03 Sony Corp 固体撮像素子、制御方法、および電子機器
JP6272486B2 (ja) * 2014-07-16 2018-01-31 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
US9456195B1 (en) * 2015-10-08 2016-09-27 Dual Aperture International Co. Ltd. Application programming interface for multi-aperture imaging systems
JP6603558B2 (ja) * 2015-11-25 2019-11-06 キヤノン株式会社 撮像素子および撮像装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020027161A1 (ja) * 2018-07-31 2020-02-06 ソニーセミコンダクタソリューションズ株式会社 積層型受光センサ及び電子機器
WO2020027230A1 (ja) * 2018-07-31 2020-02-06 ソニーセミコンダクタソリューションズ株式会社 積層型受光センサ及び車載撮像装置
JP2020025264A (ja) * 2018-07-31 2020-02-13 ソニーセミコンダクタソリューションズ株式会社 積層型受光センサ及び車載撮像装置
JP2020025263A (ja) * 2018-07-31 2020-02-13 ソニーセミコンダクタソリューションズ株式会社 積層型受光センサ及び電子機器
CN112470461A (zh) * 2018-07-31 2021-03-09 索尼半导体解决方案公司 层叠型受光传感器以及车载摄像装置
US11735614B2 (en) 2018-07-31 2023-08-22 Sony Semiconductor Solutions Corporation Stacked light-receiving sensor and electronic device
JP2021013118A (ja) * 2019-07-08 2021-02-04 キヤノン株式会社 撮像装置及びその製造方法
JP7357477B2 (ja) 2019-07-08 2023-10-06 キヤノン株式会社 撮像装置及びその製造方法
WO2021140795A1 (ja) * 2020-01-06 2021-07-15 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置

Also Published As

Publication number Publication date
WO2018079331A1 (ja) 2018-05-03
US20190253651A1 (en) 2019-08-15
US11102436B2 (en) 2021-08-24

Similar Documents

Publication Publication Date Title
WO2018079331A1 (ja) 固体撮像装置およびその信号処理方法、並びに電子機器
CN107924923B (zh) 固态摄像装置和电子设备
US20180077374A1 (en) Image sensor, processing method, and electronic apparatus
US20180302597A1 (en) Solid-state image capturing device and electronic device
US20170358614A1 (en) Solid-state imaging device and electronic apparatus
JPWO2017018188A1 (ja) イメージセンサ、及び、電子機器
JP2016127043A (ja) 固体撮像素子及び電子機器
CN109983758A (zh) 成像元件、成像方法以及电子设备
JP7011240B2 (ja) 撮像素子および駆動方法、並びに電子機器
WO2017006746A1 (ja) 撮像素子、画像処理方法、および電子機器
JPWO2017051722A1 (ja) 固体撮像素子及び電子機器
KR102254684B1 (ko) 이미지 장치 및 그 구동 방법
JPWO2016152510A1 (ja) イメージセンサ、処理方法、及び、電子機器
JP2017126846A (ja) 撮像素子、撮像素子の駆動方法、並びに、電子機器
JPWO2017126319A1 (ja) 固体撮像素子及び電子機器
WO2016084629A1 (ja) 固体撮像素子および電子機器
CN107078140B (zh) 固态成像装置、相机模块、以及电子装置
WO2017038428A1 (ja) 固体撮像素子および電子機器
WO2016208416A1 (ja) 固体撮像装置および電子機器
JP6329505B2 (ja) 固体撮像素子、撮像モジュール、および電子機器
WO2017010260A1 (ja) 固体撮像素子および駆動方法、並びに電子機器
JP6764572B2 (ja) イメージセンサ、および電子機器
JP2018078370A (ja) 固体撮像素子および制御方法、並びに電子機器
JP2016187072A (ja) イメージセンサ、処理方法、及び、電子機器
WO2020008522A1 (ja) バス調停装置、バス調停システム、および撮像装置