JP7433792B2 - 撮像装置およびその制御方法 - Google Patents
撮像装置およびその制御方法 Download PDFInfo
- Publication number
- JP7433792B2 JP7433792B2 JP2019134013A JP2019134013A JP7433792B2 JP 7433792 B2 JP7433792 B2 JP 7433792B2 JP 2019134013 A JP2019134013 A JP 2019134013A JP 2019134013 A JP2019134013 A JP 2019134013A JP 7433792 B2 JP7433792 B2 JP 7433792B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- pixel
- mode
- image
- regions
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 79
- 238000000034 method Methods 0.000 title claims description 19
- 238000001514 detection method Methods 0.000 claims description 66
- 230000008859 change Effects 0.000 claims description 40
- 239000004065 semiconductor Substances 0.000 claims description 25
- 239000000758 substrate Substances 0.000 claims description 23
- 239000000284 extract Substances 0.000 claims 1
- 238000012545 processing Methods 0.000 description 25
- 238000012546 transfer Methods 0.000 description 22
- 230000008569 process Effects 0.000 description 14
- 101100041125 Arabidopsis thaliana RST1 gene Proteins 0.000 description 10
- 101100443250 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) DIG1 gene Proteins 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 101100443251 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) DIG2 gene Proteins 0.000 description 6
- 101100041128 Schizosaccharomyces pombe (strain 972 / ATCC 24843) rst2 gene Proteins 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 101100191136 Arabidopsis thaliana PCMP-A2 gene Proteins 0.000 description 3
- 101100048260 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) UBX2 gene Proteins 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000009792 diffusion process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 102100034033 Alpha-adducin Human genes 0.000 description 1
- 101000799076 Homo sapiens Alpha-adducin Proteins 0.000 description 1
- 101000629598 Rattus norvegicus Sterol regulatory element-binding protein 1 Proteins 0.000 description 1
- 101100422768 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) SUL2 gene Proteins 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 101150018075 sel-2 gene Proteins 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/707—Pixels for event detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Description
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
図1は、本実施形態の撮像装置の一例としてデジタルカメラの機能構成例を示すブロック図である。なお、図1に示す機能ブロックの1つ以上は、ASICやプログラマブルロジックアレイ(PLA)などのハードウェアによって実現されてもよいし、CPUやMPU等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。
次に、図2を参照して、本実施形態に係る撮像素子200の機能構成例について、より詳細に説明する。撮像素子200は、複数の画素が行列状(すなわち2次元状)に配置された画素部220を備えている。撮像素子200は、画素部220の画素単位で出力される画素信号からなる画像信号や、画素ブロック(画素部220の面内を所定態様で分割したブロック)単位で複数画素の信号を加算された画素信号からなる画像信号を出力する機能を有している。
更に、図3を参照して、本実施形態における画素部220の構成例について説明する。画素部220は、画素230が行列状(すなわち二次元状)に複数配置されている。またイベント検知の加算単位となる画素ブロック240は、図3の例では、例えば2×2の4つの画素230を含むように構成されている。なお、本実施形態では、簡略化して、画素ブロック240を行列2×2とした画素の配置を例に説明するが、行列数および配置については、これに限られるものではない。
次に、図5を参照して、本実施形態におけるイベント検知部214の構成例について説明する。出力切り換え回路260は、撮像素子200の動作モードに応じて画素出力先を撮像素子200の内部と外部とのいずれかに切り換える回路である。
また、同じT20のタイミングにおいて、垂直走査回路211は、転送制御信号TX1とTX2をハイレベルに制御する。これにより、FullHDモードとして1行分となる画素2行分のFD407-1、FD407-2、FD407-3、FD407-4、およびフォトダイオード406-1、406-2、406-3、406-4が電源電位にリセットされる。なお、垂直走査回路211は、FullHDモードではブロック単位で画素信号の読み出しを行わないため、加算信号ADD、ADD_SELはハイレベルにならない。
次に、図12を参照して、撮像素子200における撮影モード制御に係る一連の動作について説明する。本処理において、制御部103の動作は、制御部103が記録部105に格納されたプログラムをメモリ104に展開、実行することにより実現される。また、特に言及しない限り、各ステップの動作は撮像素子200において実行される。
また、低解像度の画像が得られるように画素加算を行う撮影モードを選択可能にすることで、撮影モードの選択により消費電力の低減が可能となる。換言すれば、被写体像の変化の検知に応じて撮影を行うように構成される撮像装置において、被写体像の変化の検知後の動作において消費電力を低減可能になる。
また、上述の撮像素子200は、図13(a)~(c)に示すような積層構造を有する撮像素子として実現されてもよい。撮像素子200は、図13(b)および図13(c)に示す半導体基板1201と、半導体基板1202とを含むように構成されてよい。半導体基板1201と半導体基板1202とは、重畳された状態で封止され、モジュール化(一体化)される。つまり、図13(c)に示すように、半導体基板1201および半導体基板1202は、多層構造(積層構造)を形成する。半導体基板1201に形成される回路と半導体基板1202に形成される回路とは、ビア(VIA)等により互いに接続される。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (12)
- 二次元状に配置された複数の画素を有する撮像面を複数の領域に分割した領域ごとの画素信号を取得して、前記複数の領域のうち被写体像の変化した領域を検知する検知手段と、
(i)前記被写体像の変化した領域の数の検出及び(ii)前記領域の数と非ゼロの所定の閾値との比較に基づく第1の撮影モード又は第2の撮影モードの1つの選択に応じて、前記撮像面における全撮像領域から第1の解像度の画像信号を出力する前記第1の撮影モード、又は、前記撮像面における全撮像領域から前記第1の解像度よりも低解像度の第2の解像度の画像信号を出力する前記第2の撮影モードのいずれかで撮影を行うように制御する制御手段と、を有する、ことを特徴とする撮像装置。 - 前記制御手段は、前記複数の領域のうちの前記被写体像の変化した領域の数が前記非ゼロの所定の閾値以下である場合、前記第1の撮影モードで撮影を行うように制御し、前記複数の領域のうちの前記被写体像の変化した領域の数が前記非ゼロの所定の閾値を超える場合、前記第2の撮影モードで撮影を行うように制御する、ことを特徴とする請求項1に記載の撮像装置。
- 前記制御手段は、前記被写体像の変化した領域の数が前記非ゼロの所定の閾値を超えている場合には、前記被写体像の変化した領域のうち隣接しない領域があるかを更に判定し、前記被写体像の変化した領域のうち隣接しない領域がある場合には、前記第1の撮影モードで撮影を行うように制御する、ことを特徴とする請求項2に記載の撮像装置。
- 前記第1の撮影モードは、画素信号の加算もしくは間引きが行われていない画素信号で構成される画像を出力する撮影モードであり、前記第2の撮影モードは、画素信号の加算もしくは間引きにより画素数が低減された画素信号で構成される画像を出力する撮影モードである、ことを特徴とする請求項1から3のいずれか1項に記載の撮像装置。
- 前記検知手段は、前記複数の領域に分割した領域ごとの画素信号を一定の周期で取り出して、当該一定の周期の間の画素信号の変化が所定の変化の閾値を超えたかを判定することにより、前記複数の領域のうち被写体像の変化した領域を検知する、ことを特徴とする請求項1から4のいずれか1項に記載の撮像装置。
- 前記所定の変化の閾値は、前記撮像装置の外部からの指示に応じて変更可能である、ことを特徴とする請求項5に記載の撮像装置。
- 前記検知手段は、前記撮像面を複数の領域に分割した領域ごとに、各領域の画素数より少ない数の画素信号を取得して、前記複数の領域のうち被写体像の変化した領域を検知する、ことを特徴とする請求項1から6のいずれか1項に記載の撮像装置。
- 前記複数の領域に分割した各領域の画素数より少ない数の画素信号は、該領域の画素からの画素信号を加算する、あるいは、該領域の画素の画素信号から所定の画素列又は所定の画素行の画素信号を間引いて得られる、ことを特徴とする請求項1から7のいずれか1項に記載の撮像装置。
- 第1の半導体基板と第2の半導体基板とを含む積層構造により形成される撮像素子を有する、ことを特徴とする請求項1から8のいずれか1項に記載の撮像装置。
- 前記第1の半導体基板は、前記二次元状に配置された画素を含み、前記第2の半導体基板は、前記検知手段と前記制御手段とを含む、ことを特徴とする請求項9に記載の撮像装置。
- さらに、前記撮影された画像を記録する記録手段を有することを特徴とする請求項1から9のいずれか1項に記載の撮像装置。
- 二次元状に配置された複数の画素を有する撮像面を複数の領域に分割した領域ごとの画素信号を取得して、前記複数の領域のうち被写体像の変化した領域を検知する検知工程と、
(i)前記被写体像の変化した領域の数の検出及び(ii)前記領域の数と非ゼロの所定の閾値との比較に基づく第1の撮影モード又は第2の撮影モードの1つの選択に応じて、前記撮像面における全撮像領域から第1の解像度の画像信号を出力する前記第1の撮影モード、又は、前記撮像面における全撮像領域から前記第1の解像度よりも低解像度の第2の解像度の画像信号を出力する前記第2の撮影モードのいずれかで撮影を行うように制御する制御工程と、を有する、ことを特徴とする撮像装置の制御方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019134013A JP7433792B2 (ja) | 2019-07-19 | 2019-07-19 | 撮像装置およびその制御方法 |
CN202080052178.4A CN114128252B (zh) | 2019-07-19 | 2020-06-24 | 摄像设备及其控制方法 |
PCT/JP2020/024701 WO2021014867A1 (ja) | 2019-07-19 | 2020-06-24 | 撮像装置およびその制御方法 |
US17/576,637 US20220141402A1 (en) | 2019-07-19 | 2022-01-14 | Imaging apparatus and control method thereof for image capturing according to change in subject image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019134013A JP7433792B2 (ja) | 2019-07-19 | 2019-07-19 | 撮像装置およびその制御方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021019287A JP2021019287A (ja) | 2021-02-15 |
JP2021019287A5 JP2021019287A5 (ja) | 2022-07-25 |
JP7433792B2 true JP7433792B2 (ja) | 2024-02-20 |
Family
ID=74193417
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019134013A Active JP7433792B2 (ja) | 2019-07-19 | 2019-07-19 | 撮像装置およびその制御方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220141402A1 (ja) |
JP (1) | JP7433792B2 (ja) |
CN (1) | CN114128252B (ja) |
WO (1) | WO2021014867A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7278627B2 (ja) * | 2021-02-09 | 2023-05-22 | 株式会社ユニバーサルエンターテインメント | 遊技機 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005184689A (ja) | 2003-12-22 | 2005-07-07 | Konica Minolta Photo Imaging Inc | 撮像装置 |
JP2006215260A (ja) | 2005-02-03 | 2006-08-17 | Olympus Corp | 顕微鏡用撮像装置、顕微鏡システム、記録制御方法、および記録制御プログラム |
JP2017108286A (ja) | 2015-12-09 | 2017-06-15 | 株式会社ニコン | 電子機器、搬送システム、工場、及びプログラム |
JP2018022935A (ja) | 2016-08-01 | 2018-02-08 | ソニー株式会社 | 撮像装置、および、撮像装置の制御方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
MXPA03011520A (es) * | 2002-04-17 | 2004-03-18 | Matsushita Electric Ind Co Ltd | Detector de movimiento, sistema de procesamiento de imagen, metodos de deteccion de movimiento, programa y medio de registro. |
JP5454622B2 (ja) * | 2012-06-06 | 2014-03-26 | カシオ計算機株式会社 | 撮像装置、合成画像生成方法、及び、プログラム |
JP6249636B2 (ja) * | 2013-05-28 | 2017-12-20 | キヤノン株式会社 | 撮像装置およびその制御方法 |
US10009549B2 (en) * | 2014-02-28 | 2018-06-26 | The Board Of Trustees Of The Leland Stanford Junior University | Imaging providing ratio pixel intensity |
JP2016072866A (ja) * | 2014-09-30 | 2016-05-09 | 株式会社ニコン | 電子機器、再生装置、記録媒体、記録プログラム、再生プログラム、記録方法および再生方法 |
WO2018003502A1 (ja) * | 2016-06-28 | 2018-01-04 | ソニー株式会社 | 撮像装置、撮像方法、プログラム |
JP6715463B2 (ja) * | 2016-09-30 | 2020-07-01 | パナソニックIpマネジメント株式会社 | 画像生成装置、画像生成方法、プログラムおよび記録媒体 |
-
2019
- 2019-07-19 JP JP2019134013A patent/JP7433792B2/ja active Active
-
2020
- 2020-06-24 WO PCT/JP2020/024701 patent/WO2021014867A1/ja active Application Filing
- 2020-06-24 CN CN202080052178.4A patent/CN114128252B/zh active Active
-
2022
- 2022-01-14 US US17/576,637 patent/US20220141402A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005184689A (ja) | 2003-12-22 | 2005-07-07 | Konica Minolta Photo Imaging Inc | 撮像装置 |
JP2006215260A (ja) | 2005-02-03 | 2006-08-17 | Olympus Corp | 顕微鏡用撮像装置、顕微鏡システム、記録制御方法、および記録制御プログラム |
JP2017108286A (ja) | 2015-12-09 | 2017-06-15 | 株式会社ニコン | 電子機器、搬送システム、工場、及びプログラム |
JP2018022935A (ja) | 2016-08-01 | 2018-02-08 | ソニー株式会社 | 撮像装置、および、撮像装置の制御方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2021019287A (ja) | 2021-02-15 |
CN114128252A (zh) | 2022-03-01 |
CN114128252B (zh) | 2024-06-14 |
WO2021014867A1 (ja) | 2021-01-28 |
US20220141402A1 (en) | 2022-05-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11356629B2 (en) | Electronic apparatus, method for controlling electronic apparatus, and control program | |
US7978240B2 (en) | Enhancing image quality imaging unit and image sensor | |
US20150156428A1 (en) | Image capturing apparatus and mobile telephone | |
JP7506468B2 (ja) | 撮像装置、撮像装置の制御方法 | |
JP2017188760A (ja) | 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器 | |
JP2020053771A (ja) | 画像処理装置、撮像装置 | |
US11863891B2 (en) | Imaging apparatus and control method thereof | |
JP7410675B2 (ja) | 撮像装置及びその制御方法 | |
JP2019096923A (ja) | 撮像素子、撮像装置 | |
JP7433792B2 (ja) | 撮像装置およびその制御方法 | |
JP2016058877A (ja) | 撮像装置及びその制御方法 | |
US9282245B2 (en) | Image capturing apparatus and method of controlling the same | |
JP7457473B2 (ja) | 撮像装置及びその制御方法 | |
JP7325211B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP2008172606A (ja) | 固体撮像装置及びカメラシステム | |
WO2021124736A1 (ja) | 撮像装置 | |
JP2018133600A (ja) | 撮像装置、撮像装置の制御方法、およびプログラム | |
JP5072466B2 (ja) | 撮像装置 | |
US9854177B2 (en) | Imaging apparatus | |
JP2014225815A (ja) | 撮像装置 | |
JP2013197923A (ja) | 電子カメラ | |
JP2021027485A (ja) | 撮像素子及びその制御方法、撮像装置 | |
JP2009177344A (ja) | 撮像素子駆動装置および撮像素子 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220714 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220714 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230908 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231106 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240207 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7433792 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |