JP5604700B2 - 動き検出用撮像装置、動き検出カメラおよび動き検出システム - Google Patents
動き検出用撮像装置、動き検出カメラおよび動き検出システム Download PDFInfo
- Publication number
- JP5604700B2 JP5604700B2 JP2012249692A JP2012249692A JP5604700B2 JP 5604700 B2 JP5604700 B2 JP 5604700B2 JP 2012249692 A JP2012249692 A JP 2012249692A JP 2012249692 A JP2012249692 A JP 2012249692A JP 5604700 B2 JP5604700 B2 JP 5604700B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- circuit
- motion detection
- imaging
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000033001 locomotion Effects 0.000 title claims description 230
- 238000001514 detection method Methods 0.000 title claims description 174
- 238000003384 imaging method Methods 0.000 title claims description 174
- 238000009825 accumulation Methods 0.000 claims description 94
- 238000012545 processing Methods 0.000 claims description 64
- 238000000034 method Methods 0.000 claims description 30
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 239000004065 semiconductor Substances 0.000 claims description 4
- 239000000758 substrate Substances 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 2
- 238000012935 Averaging Methods 0.000 description 57
- 230000015572 biosynthetic process Effects 0.000 description 56
- 238000003786 synthesis reaction Methods 0.000 description 56
- 238000010586 diagram Methods 0.000 description 25
- 102100040678 Programmed cell death protein 1 Human genes 0.000 description 21
- 230000002194 synthesizing effect Effects 0.000 description 18
- 230000015654 memory Effects 0.000 description 16
- 238000005070 sampling Methods 0.000 description 15
- 238000000926 separation method Methods 0.000 description 15
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 11
- 230000003111 delayed effect Effects 0.000 description 9
- 238000007599 discharging Methods 0.000 description 9
- 239000007787 solid Substances 0.000 description 9
- 230000003321 amplification Effects 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 101710089372 Programmed cell death protein 1 Proteins 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
- H04N25/533—Control of the integration time by using differing integration times for different sensor regions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
- H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
- H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/616—Noise processing, e.g. detecting, correcting, reducing or removing noise involving a correlated sampling function, e.g. correlated double sampling [CDS] or triple sampling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/618—Noise processing, e.g. detecting, correcting, reducing or removing noise for random or high-frequency noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/707—Pixels for event detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10144—Varying exposure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/61—Scene description
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2101/00—Still video cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Image Analysis (AREA)
Description
前記画素制御部は、前記画素部に配置した複数の光電変換素子を少なくとも2分割し、それぞれの蓄積時間を制御するための蓄積時間発生手段を有し、
前記信号処理部は、前記蓄積時間の異なる少なくとも2種類の画素信号間の差分信号を生成する差分信号生成手段と、前記差分信号生成手段で生成した差分信号に基づいて物体が動いたかを判定する動き判定手段と、前記画素信号をモニタに再生するための映像信号となるように処理する映像信号処理手段と、前記動き判定手段で判定した動き判定信号を基に、前記映像信号処理手段もしくは画素制御部の少なくとも一部の回路を停止させる回路停止手段と、
前記動き判定信号を出力する動き判定信号出力手段と
を備えた撮像装置において、
前記撮像装置より出力した動き判定信号を基に、前記撮像装置の映像信号を管理する、前記撮像装置の外に設けられた後段の映像管理装置の少なくとも一部の回路を停止させる
ことを特徴としている。
図1は、本発明の動き検出システムの実施形態1に係る動き検出システムの概略構成を示すブロック図を参照して詳細に説明する。
本実施形態1の動き検出システムは、撮像レンズ11を備えた撮像装置12aと動き検出画像処理装置10aとからなる動き検出カメラと映像管理装置30aから構成されている。
差分信号は、絶対値を用いたが、プラス側もしくはマイナス側のみを信号を用いてもよい。
図2は、本発明の動き検出システムの実施形態2に係る動き検出システムの概略構成を示すブロック図である。本実施形態2の動き検出システムは、撮像レンズ11を備えた撮像装置12aと動き検出画像処理装置10bとからなる動き検出カメラと映像管理装置30bから構成されている。実施形態1と異なる構成動作について説明する。
実施形態1と同様に記録サーバ24やLAN出力装置25、Web出力装置26、モニタ27などの処理を停止させることで、動き検出システムの消費電力の大幅な低減をしている。さらに、録画サーバ24は、動きの無い映像信号を記録しないため、録画サーバの容量低減による小型化・低価格化、もしくは動き画像の長時間録画・保存が可能となっている。
図3は、本発明の実施形態3に係る動き検出システムの概略構成を示すブロック図である。
本実施形態3の動き検出システムは、撮像レンズ11を備えた撮像装置12b(12c)と動き検出画像処理装置10cとからなる動き検出カメラと映像管理装置30bから構成されている。実施形態2と異なる構成動作について説明する。
図4乃至図10を用いて、固体撮像装置12b(12c)の詳細構成およびその動作を説明する。 まず、図4を用いて、動き検出システムの実施形態3に係る固体撮像装置12bの構成例を説明する。実施例1に係る固体撮像装置12bは、画素部44aには、レンズ11を介して光が入射され、光電変換によって入射光量に応じた信号電荷が生成される。この画素部44aには、複数のセル(単位画素)が半導体基板上に行及び列の二次元的にマトリクス状に配置されている。
図6に示す動作タイミングを用いて、本例に係る固体撮像装置の標準の撮像信号読み出し動作について説明する。フォトダイオードPDで光電変換した電荷を蓄積する蓄積時間は全画素共通の蓄積時間TLに設定する。この蓄積時間TLは、被写体の明るさに応じて調整される。蓄積時間TLは蓄積時間発生回路41で1H毎に制御される。
これらのRESET12とREAD1の読出し動作期間はADREA12パルスをONにすることで、出力アンプを介して垂直信号線へ電圧信号が出力される。この動作をHDに同期して順次フォトダイオードPD2,PD3,・・・と続けて2次元の画像を出力している。各パルス振幅は、高レベルを2.8V〜3.8Vにして動作している。
図7(A)の画素配列と図8(A)の動作タイミングを用いて動き検出信号読出し動作1について説明する。動き検出信号読出し動作1は、実線丸の4画素のGr画素の信号を合成(加算もしくは平均化)した信号と、次の点線丸の4画素のGb画素の信号を合成(加算もしくは平均化)した信号を読み出し、後段でこの2つの信号の差分信号を生成し、動き判定処理が実施される。
この動き検出動作は、水平方向のサンプリング数が1/2に低減されるため後段のCDS回路46以降は、水平画素数の1/2の回路処理をOFFにすることで消費電力を低減している。
図7(B)の画素配列と図8(B)の動作タイミングを用いて動き検出信号読出し動作2について説明する。動き検出信号読出し動作2は、実線丸の16画素のGr画素を信号合成(加算もしくは平均化)した信号と、次の点線丸の16画素のGb画素を合成(加算もしくは平均化)した信号を読み出し、後段でこの2つの信号の差分信号を生成し、動き判定処理を実施している
この動き検出動作は、水平方向のサンプリング数が1/4に低減するため後段のCDS回路46以降は、水平画素数の3/4の回路処理をOFFにすることで消費電力が低減される。
を垂直信号線へ電圧信号として同時に出力している。このADRES12とADRES34とADRES56とADRES78を同時にONにすることで、垂直信号線に発生する信号は、垂直4画素分の信号を平均化した信号電圧が発生する。この読出し動作を順次PD2とPD4とPD6とPD8、次にPD9とPD11とPD13とPD15とHDに同期して読出す。
図9(A)の画素配列と図10(A)の動作タイミングを用いて動き検出信号読出し動作3について説明する。動き検出信号読出し動作3は、実線丸のBayer配列2x2の4画素を合成(加算もしくは平均化)した信号と、次の点線丸のBayer配列2x2の4画素を合成(加算もしくは平均化)した信号を読み出し、後段でこの2つの信号の差分信号を生成し、動き判定処理を実施している。
この動き検出動作は、水平方向のサンプリング数が1/2に低減されるため後段のCDS回路46以降は、水平画素数の1/2の回路処理をOFFにすることで消費電力を低減できる。
水平の信号合成(加算もしくは平均化)処理と合わせて、Bayer配列の4画素の信号合成(加算もしくは平均化)動作を実施している。
図9(B)の画素配列と図10(B)の動作タイミングを用いて動き検出信号読出し動作4について説明する。動き検出信号読出し動作4は、実線丸のBayer配列2x2の4画素を基本に4箇所の合計16画素を合成(加算もしくは平均化)した信号と、次の点線丸のBayer配列2x2の4画素を基本に4箇所の合計16画素を合成(加算もしくは平均化)した信号を読み出し、後段でこの2つの信号の差分信号を生成し、動き判定処理を実施している。
図11を用いて、動き検出システムの実施形態3に係る固体撮像装置12cの構成例を説明する。動き検出用固体撮像装置の実施例1(図4)に対して、異なる画素部44bと水平合成回路1(45c)について説明する。
撮像信号分離回路35bは、撮像信号Saを1水平(1H)期間分遅延させるためのラインメモリ2(31a)、画素単位で遅延させる遅延回路DL(32a、32b)、撮像信号Saとラインメモリ2(31a)の出力信号とそれぞれを1画素遅延させた信号とをクロスで加算するための加算回路(34a、34b)、加算したいづれかの撮像信号を増幅するための増幅回路33から構成されている。
撮像装置12bから出力された撮像信号aは、ラインメモリ2(31a)で1水平(HD)期間遅延し、さらに画素単位で遅延させる遅延回路DL(32a)と前記撮像信号aとを加算する加算回路34aの出力信号として長時間蓄積した画像STL信号が出力されている。
さらに、撮像装置12bから出力された撮像信号aは、画素単位で遅延した遅延回路(32b)とラインメモリ2(31a)で1水平(HD)期間遅延した信号とを加算する加算回路34bで加算した信号をさらに増幅回路33で増幅した信号を短時間蓄積した画像STS信号として出力されている。
図13(A)の画素配列と図14(A)の動作タイミングを用いて動き検出信号読出し動作5について説明する。動き検出信号読出し動作5は、実線丸のBayer配列2x2の4画素を合成(加算もしくは平均化)した信号と斜め配置の同じくBayer配列の4画素との合計8画素合成(加算もしくは平均化)した信号と、次の点線丸のBayer配列2x2の4画素の斜め配置の2箇所を合成(加算もしくは平均化)した信号を読み出し、後段でこの2つの信号の差分信号を生成し、動き判定処理を実施している。
この動き検出動作は、水平方向のサンプリング数が1/2に低減されるため後段のCDS回路46以降は、水平画素数の1/2の回路処理をOFFにすることで消費電力を低減できる。
水平の信号合成(平均化)処理と合わせて、Bayer配列の4画素の信号合成(加算もしくは平均化)動作を実施している。
図13(B)の画素配列と図14(B)の動作タイミングを用いて動き検出信号読出し動作6について説明する。動き検出信号読出し動作6は、実線丸のBayer配列2x2の4画素を基本に8箇所の合計32画素を合成(加算もしくは平均化)した信号と、次の点線丸のBayer配列2x2の4画素を基本に8箇所の合計32画素を合成(加算もしくは平均化)した信号を読み出し、後段でこの2つの信号の差分信号を生成し、動き判定処理を実施している。
この動き検出動作は、水平方向のサンプリング数が1/4に低減するため後段のCDS回路46以降は、水平画素数の3/4の回路処理をOFFにすることで消費電力を低減できる。
これらの処理により、図13(B)の実線丸8箇所と、点線丸8箇所との動き検出差分処理を実施している。
図15は、本発明の実施形態4に係る動き検出システムの概略構成を示すブロック図である。
本実施形態4の動き検出システムは、撮像レンズ11を備えた撮像装置12eと動き検出画像処理装置10eとからなる動き検出カメラと映像管理装置30bから構成されている。実施形態3と異なる構成動作について説明する。
動き検出画像装置10eは、撮像信号Sbを入力し、カラー信号処理回路21、時刻発生回路17、動き判定信号(ON/OFF1)を映像信号に埋め込むためのコードを発生するコード発生回路38、動き判定信号加算回路28b、映像信号出力回路16で構成されている。
撮像信号分離回路35は、図5あるいは図12と同様の構成となっている。
図16は、本発明の実施形態5に係る動き検出システムの概略構成を示すブロック図である。
本実施形態5の動き検出システムは、撮像レンズ11を備えた撮像装置12fと動き検出画像処理装置10fとからなる動き検出カメラと映像管理装置30bから構成されている。
図17は、本発明の実施形態6に係る動き検出システムの概略構成を示すブロック図である。
本実施形態6の動き検出システムは、撮像レンズ11を備えた撮像装置12dと動き検出画像処理装置10dとからなる動き検出カメラと映像管理装置30bから構成されている。
撮像装置12dは、動き検出動作時にもサンプリング数を削減せずに、画素部の全画素の信号を撮像信号Saとして出力している。
その他は、実施形態3と同じ構成になっている。
図18を用いて、動き検出システムの実施形態6に係る固体撮像装置12dの構成例を説明する。動き検出用固体撮像装置の実施例2(図11)の固体撮像装置12cと異なるのは、サンプリング数の削減を実施していないため、垂直並列制御回路43と水平合成回路1(45c)がない。撮像装置12dは回路削減により簡単な構成になっている。
図13Aに示すように、実線丸の4画素加算と点線丸の4画素加算した信号が、前記第1の信号と第2の信号として入力される。この撮像信号分離回路35cは、クロスになった信号同士を加算する必要が有る。
第1の加算信号と第2の加算信号をそれぞれ加算信号1画素分相当だけ遅延手段で遅延させ、
遅延していない第1の加算信号と遅延した第2の加算信号を加算した第3の加算信号を生成し、
遅延していない第2の加算信号と遅延した第1の加算信号を加算した第4の加算信号を生成し、
第3の撮像信号もしくは第4の撮像信号のいずれかを増幅し、増幅した短い蓄積時間の撮像信号STSと増幅していない長い蓄積時間の撮像信号STLの少なくとも2種類の撮像信号を出力している。
図20は、本発明の実施形態7に係る動き検出システムの概略構成を示すブロック図である。
本実施形態7の動き検出システムは、撮像レンズ11を備えた動き検知用撮像装置12g(動き検出カメラ)と映像管理装置30aから構成されている。撮像装置12gは、例えば実施形態3(図3)の動き検出画像処理装置10cの回路がオンチップで撮像装置12gに組み込まれている。また、実施形態2(図2)と同様に撮像装置12gの映像信号1に動き判定信号を埋め込んで、映像管理装置30bと組み合わせることで、映像信号1のみを出力することができる。
画素部44bの上部には、画素部44bから出力される垂直信号線を受け水平方向で信号を合成する水平合成回路2、水平方向の読出しを走査する水平走査回路2(50)で構成されている。
動き判定信号(ON/OFF1)がタイマ回路54を経由して各回路を動作させるON信号を出力している。タイマ回路45は、予め設定した所定の時間例えば撮影を10秒間実施後、タイミング発生回路の動作モードを撮影モードから動き検出動作モードに切換えて動き検出を実施している。
動き判定回路14bで動き無しと判定した場合は、下部のCDS回路以降の回路動作をOFF制御することで、撮像装置12gの大幅な消費電力の低減が実施されている。そして、動き検出動作を継続する。
実施形態7の動き検出読出し動作について図22の画素配列と動き検出信号用の水平読出し回路を用いて説明する。動作タイミングは図14(B)と同じ動作をしている。
30a,30b 映像管理装置
11 撮像レンズ
12 撮像装置
13 差分信号生成回路
14 動き判定回路
15 動き判定信号出力回路
16 映像信号出力回路
17 日付・時刻発生回路
18 時刻加算回路
19 動き判定用閾値設定回路
20 フレームメモリ
21 カラー信号処理回路
22 動き判定信号入力回路
23 映像信号入力回路
24 映像信号録画サーバ
25 LAN出力装置
26 Web出力装置
27 映像モニタ
28 動き判定信号加算回路
29 動き判定信号抽出回路
31 ラインメモリ
32 遅延回路
33,52 増幅回路
34 信号加算回路
35 撮像信号分離回路
36 センサコア
37 画素信号合成
38 コード信号発生回路
39 撮像信号切換え回路
40 タイミング発生回路
41 蓄積時間制御回路
42 垂直走査回路
43 垂直並列制御回路
44 画素部
45,51 水平合成回路
46 CDS回路
47 ADC回路
48 ラインメモリ
49,50 水平走査回路
52 信号線切換え回路
54 動作時間制御回路(タイマ)
55 比較回路
60 水平読出し回路
Claims (8)
- 半導体基板に複数の光電変換素子を有する画素部と、前記画素部を制御するための画素制御部と、前記画素部から出力した画素信号を処理する信号処理部を備える撮像装置において、
前記画素制御部は、前記画素部に配置した複数の光電変換素子を少なくとも2分割し、それぞれの蓄積時間を制御するための蓄積時間発生手段を有し、
前記信号処理部は、前記蓄積時間の異なる少なくとも2種類の画素信号間の差分信号を生成する差分信号生成手段と、
前記差分信号生成手段で生成した差分信号に基づいて物体が動いたかを判定する動き判定手段と、
前記画素信号をモニタに再生するための映像信号となるように処理する映像信号処理手段と、
前記動き判定手段で判定した動き判定信号を基に、前記映像信号処理手段もしくは画素制御部の少なくとも一部の回路を停止させる回路停止手段と、
前記動き判定信号を出力する動き判定信号出力手段と
を備えた撮像装置において、
前記撮像装置より出力した動き判定信号を基に、前記撮像装置の映像信号を管理する、前記撮像装置の外に設けられた後段の映像管理装置の少なくとも一部の回路を停止させる
ことを特徴とする撮像装置。 - 半導体基板に複数の光電変換素子を有する画素部と、前記画素部を制御するための画素制御部と、前記画素部から出力した画素信号を処理する信号処理部を備える撮像装置において、
前記画素制御部は、前記画素部に配置した複数の光電変換素子を少なくとも2分割し、それぞれの蓄積時間を制御するための蓄積時間発生手段を有し、
前記信号処理部は、前記蓄積時間の異なる少なくとも2種類の画素信号間の差分信号を生成する差分信号生成手段と、
前記差分信号生成手段で生成した差分信号に基づいて物体が動いたかを判定する動き判定手段と、
前記動き判定手段で判定した動き判定信号を出力する動き判定信号出力手段と
を備えた撮像装置において、
前記撮像装置より出力した動き判定信号を基に、前記撮像装置の映像信号を管理する、前記撮像装置の外に設けられた後段の映像管理装置の少なくとも一部の回路を停止させる
ことを特徴とする撮像装置。 - 前記回路停止手段は、
前記映像信号を停止させる映像信号停止手段であること
を特徴とする請求項1記載の撮像装置。 - 撮像レンズで結像した光信号を電気信号に変換する複数の光電変換素子を有する画素部と、
前記画素部で撮影した撮影時刻の異なる少なくとも2つの撮影信号間の差分信号を生成する差分信号生成手段と、
前記差分信号生成手段で生成した差分信号に基づいて動き物体の有無を判定する動き判定手段と、
前記動き判定手段で判定した動き判定信号を出力する動き判定信号出力手段と
を備えたことを特徴とする動き検出カメラ。 - 請求項1又は2のいずれか一項記載の撮像装置と、
前記撮像装置からの映像信号を発信するための映像信号発信手段、
もしくは記録する映像信号記録手段、
もしくはモニタに再生するための映像信号再生手段、
の少なくともいずれか1つを有した映像管理装置と
を備えることを特徴とする動き検出システム。 - 請求項1又は2のいずれか一項記載の撮像装置と、
前記撮像装置で撮像した映像信号を入力し、
前記入力した撮像信号を発信するための映像信号発信手段、
もしくは前記撮像信号を記録する映像信号記録手段、
もしくは前記撮像信号をモニタに再生するための映像信号再生手段、
の少なくともいずれか1つを有した映像管理装置と
からなる動き検出システムにおいて、
前記撮像装置より出力した動き判定信号を基に、前記映像管理装置の少なくとも一部の回路を停止させる
ことを特徴とする動き検出システム。 - 前記撮像装置はさらに映像信号出力手段を有し、
前記回路停止手段は、
前記撮像装置からの映像信号出力を停止させること
を特徴とする請求項1又は2に記載の撮像装置。 - 前記動き検出カメラはさらに回路停止手段と映像信号出力手段を有し、
前記回路停止手段は、
前記動き検出カメラからの映像信号出力を停止させること
を特徴とする請求項4記載の動き検出カメラ。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012249692A JP5604700B2 (ja) | 2012-10-29 | 2012-10-29 | 動き検出用撮像装置、動き検出カメラおよび動き検出システム |
KR1020157013510A KR101709984B1 (ko) | 2012-10-29 | 2013-10-10 | 움직임 검출용 고체촬영장치 및 움직임 검출 시스템 |
CN201380056929.XA CN104782111B (zh) | 2012-10-29 | 2013-10-10 | 运动检测用固体摄像装置以及运动检测*** |
PCT/JP2013/077681 WO2014069212A1 (ja) | 2012-10-29 | 2013-10-10 | 動き検出用固体撮像装置および動き検出システム |
EP13851757.8A EP2913994B1 (en) | 2012-10-29 | 2013-10-10 | Motion detection solid-state image pickup device and motion detection system |
US14/438,427 US9924076B2 (en) | 2012-10-29 | 2013-10-10 | Motion detection solid-state image capturing device and motion detection system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012249692A JP5604700B2 (ja) | 2012-10-29 | 2012-10-29 | 動き検出用撮像装置、動き検出カメラおよび動き検出システム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014171039A Division JP2015019388A (ja) | 2014-08-26 | 2014-08-26 | 動き検出用撮像装置、動き検出カメラおよび動き検出システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014090394A JP2014090394A (ja) | 2014-05-15 |
JP5604700B2 true JP5604700B2 (ja) | 2014-10-15 |
Family
ID=50627126
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012249692A Expired - Fee Related JP5604700B2 (ja) | 2012-10-29 | 2012-10-29 | 動き検出用撮像装置、動き検出カメラおよび動き検出システム |
Country Status (6)
Country | Link |
---|---|
US (1) | US9924076B2 (ja) |
EP (1) | EP2913994B1 (ja) |
JP (1) | JP5604700B2 (ja) |
KR (1) | KR101709984B1 (ja) |
CN (1) | CN104782111B (ja) |
WO (1) | WO2014069212A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11514581B2 (en) | 2017-11-14 | 2022-11-29 | Sony Semiconductor Solutions Corporation | Image capturing device, image capturing method, and image capturing system |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6612056B2 (ja) | 2014-05-16 | 2019-11-27 | 株式会社半導体エネルギー研究所 | 撮像装置、及び監視装置 |
JP6581825B2 (ja) * | 2014-07-18 | 2019-09-25 | 株式会社半導体エネルギー研究所 | 表示システム |
JP6555956B2 (ja) * | 2014-07-31 | 2019-08-07 | 株式会社半導体エネルギー研究所 | 撮像装置、監視装置、及び電子機器 |
CN105491336B (zh) * | 2015-12-08 | 2018-07-06 | 成都芯软科技发展有限公司 | 一种低功耗图像识别模块 |
KR102593880B1 (ko) * | 2016-03-18 | 2023-10-24 | 가부시키가이샤 한도오따이 에네루기 켄큐쇼 | 촬상 장치 및 전자 기기 |
KR102462644B1 (ko) | 2016-04-01 | 2022-11-03 | 삼성전자주식회사 | 전자 장치 및 그의 동작 방법 |
JP2018022935A (ja) * | 2016-08-01 | 2018-02-08 | ソニー株式会社 | 撮像装置、および、撮像装置の制御方法 |
CN113660439A (zh) * | 2016-12-27 | 2021-11-16 | 株式会社半导体能源研究所 | 摄像装置及电子设备 |
US10516841B2 (en) | 2017-03-08 | 2019-12-24 | Samsung Electronics Co., Ltd. | Pixel, pixel driving circuit, and vision sensor including the same |
US10855927B2 (en) * | 2017-03-08 | 2020-12-01 | Samsung Electronics Co., Ltd. | Event detecting device including an event signal generator and an output signal generator |
US10395376B2 (en) | 2017-07-19 | 2019-08-27 | Qualcomm Incorporated | CMOS image sensor on-die motion detection using inter-pixel mesh relationship |
CN108712620B (zh) * | 2018-05-16 | 2020-12-25 | 上海集成电路研发中心有限公司 | 一种运动检测电路及运动检测方法 |
CN108600579B (zh) * | 2018-05-16 | 2020-03-20 | 上海集成电路研发中心有限公司 | 一种应用于cis的运动检测电路及运动检测方法 |
JP7358042B2 (ja) * | 2018-10-22 | 2023-10-10 | キヤノン株式会社 | 光電変換装置、カメラ、移動体、および、信号処理装置 |
WO2021033326A1 (ja) * | 2019-08-22 | 2021-02-25 | オリンパス株式会社 | 撮像素子、内視鏡および内視鏡システム |
JP2022029717A (ja) * | 2020-08-05 | 2022-02-18 | 株式会社SEtech | 撮像装置 |
CN114187870B (zh) * | 2020-09-14 | 2023-05-09 | 京东方科技集团股份有限公司 | 光电检测电路及其驱动方法、显示装置及其制作方法 |
WO2023065197A1 (zh) * | 2021-10-21 | 2023-04-27 | 华为技术有限公司 | 运动目标检测方法、装置以及检测设备 |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08331504A (ja) * | 1995-06-01 | 1996-12-13 | Matsushita Electric Ind Co Ltd | 動画像処理装置および動画像再生装置 |
JP3521109B2 (ja) * | 1997-02-17 | 2004-04-19 | シャープ株式会社 | 動き検出用固体撮像装置 |
KR100290400B1 (ko) | 1997-10-30 | 2001-10-24 | 이계안 | 브레이크시스템의제동력조절장치 |
JP2001245213A (ja) * | 2000-02-28 | 2001-09-07 | Nikon Corp | 撮像装置 |
JP2002112192A (ja) * | 2000-09-29 | 2002-04-12 | Fujitsu General Ltd | 画像記録再生装置 |
US7202897B2 (en) * | 2001-07-11 | 2007-04-10 | Sony Corporation | Solid-state image pickup exposure control system and method |
JP2004159274A (ja) | 2002-09-13 | 2004-06-03 | Shoji Kawahito | 固体撮像装置 |
JP2005151150A (ja) * | 2003-11-14 | 2005-06-09 | Marantz Japan Inc | 画像伝送システム |
JP4714057B2 (ja) * | 2006-03-27 | 2011-06-29 | 富士フイルム株式会社 | 無線通信装置 |
JP4831017B2 (ja) * | 2007-08-27 | 2011-12-07 | ソニー株式会社 | 画像処理装置、現像装置、画像処理方法、現像方法、画像処理プログラム、および現像プログラム |
JP2009239366A (ja) * | 2008-03-25 | 2009-10-15 | Fuji Xerox Co Ltd | 監視システム、画像形成装置およびプログラム |
JP5303778B2 (ja) * | 2008-08-05 | 2013-10-02 | キヤノン電子株式会社 | 小型表示装置 |
JP2010071659A (ja) * | 2008-09-16 | 2010-04-02 | Konica Minolta Medical & Graphic Inc | 放射線固体検出器 |
JP2010074584A (ja) | 2008-09-19 | 2010-04-02 | Sony Corp | 撮像装置および撮像方法 |
JP2010130664A (ja) * | 2008-12-01 | 2010-06-10 | Canon Inc | データ転送方法およびデータ転送システム |
JP5326910B2 (ja) * | 2009-01-20 | 2013-10-30 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP2010232908A (ja) * | 2009-03-26 | 2010-10-14 | Fujifilm Corp | 全方位撮像装置及びその駆動制御方法 |
JP2011030181A (ja) * | 2009-06-23 | 2011-02-10 | Panasonic Corp | 固体撮像装置、撮像モジュール、及び撮像システム |
US8279316B2 (en) * | 2009-09-30 | 2012-10-02 | Truesense Imaging, Inc. | Methods for capturing and reading out images from an image sensor |
JP2011166535A (ja) | 2010-02-10 | 2011-08-25 | Mitsubishi Electric Corp | 撮像装置 |
JP2011229030A (ja) | 2010-04-21 | 2011-11-10 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
JP2011244309A (ja) | 2010-05-20 | 2011-12-01 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
JP2012010105A (ja) * | 2010-06-24 | 2012-01-12 | Sony Corp | 画像処理装置、撮像装置、画像処理方法、およびプログラム |
JP4988075B1 (ja) | 2010-12-16 | 2012-08-01 | パナソニック株式会社 | 撮像装置及び画像処理装置 |
WO2012117616A1 (ja) * | 2011-02-28 | 2012-09-07 | 富士フイルム株式会社 | 撮像装置及び欠陥画素補正方法 |
-
2012
- 2012-10-29 JP JP2012249692A patent/JP5604700B2/ja not_active Expired - Fee Related
-
2013
- 2013-10-10 CN CN201380056929.XA patent/CN104782111B/zh not_active Expired - Fee Related
- 2013-10-10 WO PCT/JP2013/077681 patent/WO2014069212A1/ja active Application Filing
- 2013-10-10 EP EP13851757.8A patent/EP2913994B1/en not_active Not-in-force
- 2013-10-10 US US14/438,427 patent/US9924076B2/en active Active
- 2013-10-10 KR KR1020157013510A patent/KR101709984B1/ko active IP Right Grant
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11514581B2 (en) | 2017-11-14 | 2022-11-29 | Sony Semiconductor Solutions Corporation | Image capturing device, image capturing method, and image capturing system |
Also Published As
Publication number | Publication date |
---|---|
KR101709984B1 (ko) | 2017-02-24 |
JP2014090394A (ja) | 2014-05-15 |
WO2014069212A1 (ja) | 2014-05-08 |
EP2913994A1 (en) | 2015-09-02 |
CN104782111B (zh) | 2017-12-22 |
KR20150081298A (ko) | 2015-07-13 |
EP2913994A4 (en) | 2015-11-25 |
US9924076B2 (en) | 2018-03-20 |
EP2913994B1 (en) | 2019-05-08 |
US20150319341A1 (en) | 2015-11-05 |
CN104782111A (zh) | 2015-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5604700B2 (ja) | 動き検出用撮像装置、動き検出カメラおよび動き検出システム | |
KR102327355B1 (ko) | 촬상 장치 및 촬상 장치의 제어 방법 | |
JP4290066B2 (ja) | 固体撮像装置および撮像システム | |
JP4497872B2 (ja) | 撮像装置 | |
JP5614993B2 (ja) | 撮像装置及び固体撮像素子の駆動方法 | |
US8786734B2 (en) | Image pickup apparatus | |
JP3521109B2 (ja) | 動き検出用固体撮像装置 | |
JP6099904B2 (ja) | 撮像装置 | |
JP2008167004A (ja) | 固体撮像装置、固体撮像装置の駆動方法および撮像装置 | |
JP2014060573A (ja) | 固体撮像素子、制御方法、および電子機器 | |
JP2010147614A (ja) | 固体撮像装置およびその駆動方法、撮像装置 | |
JP2008278453A (ja) | 撮像装置及び撮像システム | |
JP2013048383A (ja) | 撮像素子及び撮像装置 | |
JP4677228B2 (ja) | 撮像装置 | |
CN111800591B (zh) | 摄像元件及其控制方法和摄像装置 | |
JP2007135200A (ja) | 撮像方法および撮像装置並びに駆動装置 | |
JP5106055B2 (ja) | 撮像装置及びそのフリッカ検出方法 | |
JP5235701B2 (ja) | 撮像装置 | |
JP2015019388A (ja) | 動き検出用撮像装置、動き検出カメラおよび動き検出システム | |
JP2003234964A (ja) | ディジタルカメラ | |
JP5854652B2 (ja) | 撮像装置 | |
JP2009124239A (ja) | 撮像装置及びそのフリッカ検出方法 | |
JP5089674B2 (ja) | 撮像装置 | |
JP4898637B2 (ja) | 撮像装置及びその制御方法 | |
JP2007267290A (ja) | 固体撮像素子およびその駆動方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140225 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140414 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140729 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140731 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5604700 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |