KR102178561B1 - Dynamic vision sensor simulating visual adaptation - Google Patents

Dynamic vision sensor simulating visual adaptation Download PDF

Info

Publication number
KR102178561B1
KR102178561B1 KR1020180154101A KR20180154101A KR102178561B1 KR 102178561 B1 KR102178561 B1 KR 102178561B1 KR 1020180154101 A KR1020180154101 A KR 1020180154101A KR 20180154101 A KR20180154101 A KR 20180154101A KR 102178561 B1 KR102178561 B1 KR 102178561B1
Authority
KR
South Korea
Prior art keywords
input
channel mosfet
voltage
output
vision sensor
Prior art date
Application number
KR1020180154101A
Other languages
Korean (ko)
Other versions
KR20200067334A (en
Inventor
박병국
김태형
오민혜
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Priority to KR1020180154101A priority Critical patent/KR102178561B1/en
Publication of KR20200067334A publication Critical patent/KR20200067334A/en
Application granted granted Critical
Publication of KR102178561B1 publication Critical patent/KR102178561B1/en

Links

Images

Classifications

    • H04N5/335—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 시각 적응을 모사한 다이나믹 비전 센서에 관한 것으로, 광 수용기 소자 각각에 적응형 뉴런 회로를 연결함으로써, 입력의 시간 미분을 취하지 않고, 신경 적응 현상을 이용해 움직이는 물체를 추출할 수 있고, 종래보다 적은 수의 소자로 회로 제작이 가능하며, 광 수용기 잡음을 종래보다 현저히 감소시킬 수 있고, 출력 펄스를 이미지 인식 등을 하는 뉴럴 네트워크 시스템에 입력하여 다양한 작업을 수행할 수 있는 효과도 있다.The present invention relates to a dynamic vision sensor that simulates visual adaptation, and by connecting an adaptive neuron circuit to each of the photoreceptor elements, it is possible to extract a moving object using a neural adaptation phenomenon without taking a time derivative of the input. Circuit fabrication with fewer devices is possible, optical receptor noise can be significantly reduced compared to the prior art, and output pulses can be input to a neural network system for image recognition to perform various tasks.

Description

시각 적응을 모사한 다이나믹 비전 센서{DYNAMIC VISION SENSOR SIMULATING VISUAL ADAPTATION}DYNAMIC VISION SENSOR SIMULATING VISUAL ADAPTATION}

본 발명은 다이나믹 비전 센서에 관한 것으로, 더욱 상세하게는 각 픽셀에 적응형 뉴런 회로를 연결하여 생체의 시각 적응을 모사한 다이나믹 비전 센서에 관한 것이다.The present invention relates to a dynamic vision sensor, and more particularly, to a dynamic vision sensor that simulates the visual adaptation of a living body by connecting an adaptive neuron circuit to each pixel.

다이나믹 비전 센서(Dynamic Vision Sensor, DVS)는 생체 모사 센서의 일종으로써, 비동기화된 고속 이미지 처리를 위해 사용된다. 재래식 비전 카메라는 정지된 이미지 여러장을 캡쳐해 그 중의 움직임을 찾아내는 방식이어서 움직임을 포착하는데 취약하다. 반면에, DVS는 픽셀 단위의 국소적인 변화가 발생할 때 마다 신호를 보낸다. 따라서, DVS에 의할 경우 기존에 프레임들을 이미지 처리장치로 계속해서 보내야 하는 데이터 낭비를 막음과 동시에 움직이는 사건(event)만 카메라에 전달할 수 있으며 마이크로 초 단위의 시간 분해능을 가질 수 있는 장점이 있다.Dynamic Vision Sensor (DVS) is a type of biometric sensor and is used for high-speed asynchronous image processing. Conventional vision cameras are a method of capturing multiple still images and finding motion among them, so they are vulnerable to capturing motion. On the other hand, DVS sends a signal whenever a local change in pixel unit occurs. Therefore, in the case of DVS, there is an advantage of preventing data waste that has to continuously send frames to the image processing apparatus, and transmitting only moving events to the camera, and having a time resolution of microseconds.

그런데, 종래 DVS는 각 픽셀의 광 수용기 소자로 흐르는 전류의 시간적인 변화만을 출력하여, 만일 어떤 픽셀 코어에서 광 수용기 소자 전류의 시간적인 변화를 감지 했다면, 그 정보는 Address Event Representation (AER)이라는 프로토콜을 통해 어디에 위치한 픽셀에서 얼마만큼의 변화가 일어났는지 전달되게 하는 것이어서(IEEE JOURNAL OF SOLID-STATE CIRCUITS, VOL. 43, NO. 2, FEBRUARY 2008, pp. 566-576), 아래와 같은 문제점이 있다.However, conventional DVS outputs only the temporal change of the current flowing to the photoreceptor device of each pixel, and if a temporal change of the photoreceptor device current is detected in a certain pixel core, the information is called Address Event Representation (AER). It is to convey how much change has occurred in the pixel located where through (IEEE JOURNAL OF SOLID-STATE CIRCUITS, VOL. 43, NO. 2, FEBRUARY 2008, pp. 566-576).

첫째는, 입력의 시간 미분을 구하는 회로의 복잡성이다. 도 1은 종래 DVS의 픽셀 코어를 나타낸 회로도인데, 광 수용기를 제외하고도 15T3C 크기의 회로가 각 픽셀마다 연결되어 있어야 한다. 이것은 시간에 따라 입력을 미분하는데 필요한 회로의 크기가 크기 때문이다. First is the complexity of the circuit to find the time derivative of the input. FIG. 1 is a circuit diagram showing a pixel core of a conventional DVS, and a circuit having a size of 15T3C should be connected to each pixel except for a light receiver. This is because the size of the circuit required to differentiate the input over time is large.

또 다른 문제점은 시간 미분 방식 자체가 노이즈를 증폭한다는 것이다. 광 수용기 출력에 잡음이 생길 때, 이것을 시간에 대해 미분하게 된다면 잡음의 크기가 증폭된다. 그 결과 이미지들에서 잡음이 매우 많이 발생할 수 밖에 없다.Another problem is that the time differential method itself amplifies noise. When noise occurs at the output of the optical receiver, the magnitude of the noise is amplified if it is differentiated over time. As a result, there is inevitably a lot of noise in the images.

이에 본 발명은 상기 종래 DVS의 문제점을 해결하기 위해 제안된 것으로서, 생물학적인 시각은 카메라와는 달리 자극에 대해 신경적응을 하며 시세포가 받아들이는 자극의 시간 변화가 없을 때는 뇌에 들어오는 상이 사라지게 된다는 점에 착안하여, 입력의 시간 미분을 취하지 않고, 신경 적응 현상을 이용해 움직이는 물체를 추출하는, 시각 적응을 모사한 다이나믹 비전 센서를 제공하는 것을 그 목적으로 한다.Accordingly, the present invention has been proposed to solve the problem of the conventional DVS, and unlike the camera, the biological vision neurally adapts to the stimulus, and the image entering the brain disappears when there is no time change of the stimulus received by the optic cell. Focusing on, its object is to provide a dynamic vision sensor that simulates visual adaptation, which extracts a moving object using a neural adaptation phenomenon without taking a time derivative of an input.

상기 목적을 달성하기 위하여, 본 발명에 의한 다이나믹 비전 센서는 복수 개의 광 수용기 소자를 포함하는 다이나믹 비전 센서에 있어서, 상기 복수 개의 광 수용기 소자 각각에 적응형 뉴런 회로가 연결되고, 상기 적응형 뉴런 회로는 상기 광 수용기 소자로부터 들어오는 입력전압(자극)에 대하여 신경 적응이 일어나면서 순차 입력되는 자극에 따라 출력 펄스의 발화 빈도가 달라지도록 구성된 것을 특징으로 한다.In order to achieve the above object, the dynamic vision sensor according to the present invention is a dynamic vision sensor including a plurality of photoreceptor elements, wherein an adaptive neuron circuit is connected to each of the plurality of photoreceptor elements, and the adaptive neuron circuit Is characterized in that the ignition frequency of the output pulse varies according to the sequentially input stimulus while neural adaptation occurs with respect to the input voltage (stimulus) received from the photoreceptor element.

상기 적응형 뉴런 회로의 출력단은 뉴럴 네트워크 시스템의 입력단에 연결된 것을 본 발명에 의한 다이나믹 비전 센서의 다른 특징으로 한다.Another feature of the dynamic vision sensor according to the present invention is that the output terminal of the adaptive neuron circuit is connected to the input terminal of the neural network system.

상기 적응형 뉴런 회로는 상기 출력 펄스의 개수를 상기 광 수용기 소자에 대응하는 픽셀 값으로 재구성하여 출력하도록 구성된 것을 본 발명에 의한 다이나믹 비전 센서의 다른 특징으로 한다.Another feature of the dynamic vision sensor according to the present invention is that the adaptive neuron circuit is configured to reconstruct and output the number of output pulses into pixel values corresponding to the light receptor elements.

상기 적응형 뉴런 회로는, 상기 입력전압 Vin이 인가되는 전압 입력부; 상기 전압 입력부의 출력전압을 입력전류 Iin로 변조하며 발화에 적응하는 변조 적응부(modulating adaptation part); 상기 변조 적응부로 변조와 적응된 상기 입력전류 Iin을 입력받아 막 전위로 통합되는 누설 통합부(leaky integration part); 및 상기 막 전위가 일정 크기 이상이 될 때 발화되어 활동전위 Vout로 출력되고 상기 변조 적응부를 제어하여 다음 발화를 준비하는 활동전위(action potential) 생성 및 제어부를 포함하여 구성된 것을 본 발명에 의한 다이나믹 비전 센서의 다른 특징으로 한다.The adaptive neuron circuit includes: a voltage input unit to which the input voltage Vin is applied; A modulating adaptation part that modulates the output voltage of the voltage input part with the input current Iin and adapts to ignition; A leaky integration part that receives the input current Iin modulated and adapted to the modulation adaptation part and integrates it into a film potential; And an action potential generation and a control unit that is ignited when the membrane potential becomes more than a certain level and is output as an action potential Vout, and controls the modulation adaptation unit to prepare for the next ignition. Another feature of the sensor.

상기 변조 적응부는 상기 전압 입력부의 출력전압을 게이트로 입력받아 드레인으로 상기 입력전류 Iin로 변조하여 상기 누설 통합부에 인가하는 제 1 p채널 MOSFET; 상기 활동전위 생성 및 제어부의 제어신호를 게이트로 입력받는 제 2 p채널 MOSFET; 및 상기 제 2 p채널 MOSFET의 드레인과 접지 사이에 병렬로 연결된 제 1 커패시터와 제 1 저항을 포함하여 구성되고, 상기 제 2 p채널 MOSFET의 드레인은 상기 제 1 p채널 MOSFET의 백게이트와 전기적으로 연결된 것을 본 발명에 의한 다이나믹 비전 센서의 다른 특징으로 한다.The modulation adaptation unit receives an output voltage of the voltage input unit through a gate, modulates the input current Iin through a drain, and applies the first p-channel MOSFET to the leakage integration unit; A second p-channel MOSFET for generating the action potential and receiving a control signal from a controller through a gate; And a first capacitor and a first resistor connected in parallel between the drain and the ground of the second p-channel MOSFET, and the drain of the second p-channel MOSFET is electrically connected to the back gate of the first p-channel MOSFET. The connection is another feature of the dynamic vision sensor according to the present invention.

상기 누설 통합부는 상기 제 1 p채널 MOSFET의 드레인과 접지 사이에 병렬로 연결된 제 2 커패시터와 제 2 저항을 포함하여 구성되고, 상기 막 전위는 상기 제 2 커패시터의 양단에 걸린 전압인 것을 본 발명에 의한 다이나믹 비전 센서의 다른 특징으로 한다.In the present invention, the leakage integration unit includes a second capacitor and a second resistor connected in parallel between the drain and the ground of the first p-channel MOSFET, and the film potential is a voltage applied across the second capacitor. Another feature of the dynamic vision sensor.

상기 전압 입력부는 상기 제 1 p채널 MOSFET의 게이트와 전기적으로 연결된 게이트를 갖는 제 3 p채널 MOSFET과 상기 제 3 p채널 MOSFET의 드레인과 접지 사이에 연결되어 게이트에 상기 입력전압 Vin이 인가되는 제 1 n채널 MOSFET을 포함하여 구성된 것을 본 발명에 의한 다이나믹 비전 센서의 다른 특징으로 한다.The voltage input unit is connected between a third p-channel MOSFET having a gate electrically connected to the gate of the first p-channel MOSFET, and a drain and a ground of the third p-channel MOSFET to apply the input voltage Vin to the gate. Another feature of the dynamic vision sensor according to the present invention is that it includes an n-channel MOSFET.

상기 제 1 p채널 MOSFET는 SOI 기판에 형성된 SOI MOSFET이고, 상기 제 1 p채널 MOSFET의 백게이트는 상기 SOI 기판의 매몰산화막 밑에 있는 하부 단결정 실리콘층에 형성된 것을 본 발명에 의한 다이나믹 비전 센서의 다른 특징으로 한다.Another feature of the dynamic vision sensor according to the present invention is that the first p-channel MOSFET is an SOI MOSFET formed on an SOI substrate, and the back gate of the first p-channel MOSFET is formed on a lower single crystal silicon layer under the buried oxide film of the SOI substrate. To do.

상기 SOI MOSFET의 바디 두께는 게이트 길이보다 작고, 상기 매몰산화막의 두께는 상기 SOI MOSFET의 게이트 절연막 두께보다 1~10배인 것을 본 발명에 의한 다이나믹 비전 센서의 다른 특징으로 한다.Another feature of the dynamic vision sensor according to the present invention is that the body thickness of the SOI MOSFET is smaller than the gate length and the thickness of the buried oxide layer is 1 to 10 times the thickness of the gate insulating layer of the SOI MOSFET.

상기 활동전위 생성 및 제어부는 상기 막 전위를 입력전압으로 하는 제 1 인버터; 상기 제 1 인버터의 출력전압을 입력전압으로 하는 제 2 인버터; 상기 제 1 인버터의 출력전압이 게이트로 입력되는 상기 제 4 p채널 MOSFET; 및 상기 제 4 p채널 MOSFET의 드레인과 접지 사이에 연결되어 게이트에 상기 제 2 인버터의 출력전압이 인가되는 제 2 n채널 MOSFET을 포함하여 구성되고, 상기 제 1 인버터의 출력전압은 상기 변조 적응부를 제어하는 제어신호이고, 상기 제 2 인버터의 출력전압이 상기 활동전위로 출력되는 것을 본 발명에 의한 다이나믹 비전 센서의 다른 특징으로 한다.The action potential generation and control unit comprises: a first inverter using the film potential as an input voltage; A second inverter using the output voltage of the first inverter as an input voltage; The fourth p-channel MOSFET through which the output voltage of the first inverter is input to a gate; And a second n-channel MOSFET connected between the drain and the ground of the fourth p-channel MOSFET to which the output voltage of the second inverter is applied to the gate, wherein the output voltage of the first inverter is Another feature of the dynamic vision sensor according to the present invention is that it is a control signal to be controlled and the output voltage of the second inverter is output as the action potential.

본 발명은 광 수용기 소자 각각에 적응형 뉴런 회로를 연결함으로써, 입력의 시간 미분을 취하지 않고, 신경 적응 현상을 이용해 움직이는 물체를 추출할 수 있고, 종래보다 적은 수의 소자로(9T2C) 회로 제작이 가능한 효과가 있다.In the present invention, by connecting an adaptive neuron circuit to each of the photoreceptor elements, it is possible to extract a moving object using a neural adaptation phenomenon without taking the time derivative of the input, and it is possible to produce a circuit with fewer elements (9T2C) than before. There is a possible effect.

특히, 본 발명에 의하여, 정지된 상을 제거할 때 광 수용기 신호의 시간미분을 사용하는 대신 픽셀에서 발생한 신호의 적분을 사용하기 때문에 광 수용기 잡음을 현저히 감소시킬 수 있는 장점이 있다.In particular, according to the present invention, when removing a still image, since the integral of the signal generated from the pixel is used instead of using the time derivative of the optical receptor signal, there is an advantage of remarkably reducing the optical receptor noise.

또한, 종래 DVS는 픽셀 코어의 출력이 상승 또는 하강인데 반면, 본 발명의 적응형 뉴런의 출력은 신경 적응이 일어난 상태로 발화하는 양상이 픽셀 코어의 출력이 되므로, 이를 이미지 인식 등을 하는 뉴럴 네트워크 시스템과 연결해 다양한 작업을 수행할 수 있는 장점이 있다.In addition, in the conventional DVS, the output of the pixel core is rising or falling, whereas the output of the adaptive neuron of the present invention is the output of the pixel core in the state of neural adaptation, so this is a neural network that recognizes images, etc. It has the advantage of being able to perform various tasks by connecting with the system.

도 1은 종래 DVS의 픽셀 코어를 나타낸 회로도이다.
도 2는 본 발명의 일 실시예에 의한 다이나믹 비전 센서의 모식도이다.
도 3은 도 2의 각 픽셀의 광 수용기 소자에 연결되는 적응형 뉴런 회로의 일 예를 보여준 것으로, Input modulating adaptive analog integrate-and-fire neuron circuit 이다.
도 4는 도 3의 회로 소자로 사용된 SOI MOSFET의 단면도이다.
도 5는 도 4의 SOI MOSFET의 Back Gate Bias에 따른 Id-Vg 곡선이다.
도 6은 도 3에서 일정한 Vin에 대한 뉴런의 반응을 시뮬레이션한 Vout 결과도이다. 일정한 입력(자극)에 대하여 신경 적응이 일어나면서 시간에 따라 점점 느려지게 발화됨을 보여준다.
도 7은 도 3에서 C1 양단 전압이 Spike가 발생하면서 증가하고 시간에 따라 감소함으로 보여주는 시뮬레이션 결과도이다.
도 8은 도 2의 다이나믹 비전 센서를 통해 얻는 512 x 512 이미지로, 움직이는 자동차와 사람의 테두리가 밝은 것을 확인할 수 있다.
도 9(a)는 도 2의 다이나믹 비전 센서로 세개의 시간 구간에 연속적으로 입력되는 패턴들을 보여주고, 도 9(b)는 각 시간 구간별 출력 패턴을 보여준다. 뉴런의 발화 횟수가 많을수록 이미지가 밝다. 도 2의 적응형 뉴런 회로에 의하여 동일한 입력(자극)이 계속 들어오게 되면 신경 적응이 일어나면서 점점 발화 간격이 커지게 되므로, 정지된 직사각형 고리는 사라지고 움직이는 정사각형 부분은 선명하게 출력된다.
도 10은 도 9(b)의 세번째 시간 구간에 표시된 (A), (B), (C), (D)의 4개 픽셀 각각의 광 수용기 소자에 연결된 적응형 뉴런 회로의 시간에 따른 출력 펄스(Output spikes)의 발화 경향을 보여준다.
도 11은 도 10의 발화에 따른 도 3의 C1 양단 전압의 변화로 뉴런 회로의 적응 정도를 보여준다. 적응 정도가 높을수록 같은 입력(자극)에 대해서는 발화 횟수가 줄어든다.
도 12는 본 발명에 의한 다이나믹 비전 센서의 출력을 스파이킹 뉴럴 네트워크 시스템의 입력으로 연결한 모식도이다.
도 13은 도 2의 다이나믹 비전 센서를 통해 얻는 5개 카테고리별 이미지를 보여준다.
도 14는 도 2의 다이나믹 비전 센서로 프레임당 수 픽셀씩 이동된 영상이 입력될 경우 출력되는 자동차의 이미지를 보여주는 것으로, 자동차의 속도가 빠를수록 가장자리가 두껍게 출력된다.
도 15는 도 14에서 프레임당 수 픽셀씩 이동하며 입력하여, 대상 이미지의 속도로 구현되는 원리를 보여주는 개념도이다.
도 16은 도 14의 결과로부터 얻은 자동차의 실제 속도와 추정 속도의 관계 그래프이다. 1 is a circuit diagram showing a pixel core of a conventional DVS.
2 is a schematic diagram of a dynamic vision sensor according to an embodiment of the present invention.
FIG. 3 shows an example of an adaptive neuron circuit connected to the photoreceptor device of each pixel of FIG. 2, and is an Input modulating adaptive analog integrate-and-fire neuron circuit.
4 is a cross-sectional view of an SOI MOSFET used as the circuit element of FIG. 3.
5 is an Id-Vg curve according to the back gate bias of the SOI MOSFET of FIG. 4.
6 is a Vout result diagram simulating a response of a neuron to a constant Vin in FIG. 3. As neural adaptation occurs to a certain input (stimulation), it shows that the ignition gradually slows down over time.
7 is a simulation result diagram showing that the voltage across C1 in FIG. 3 increases as a spike occurs and decreases with time.
FIG. 8 is a 512 x 512 image obtained through the dynamic vision sensor of FIG. 2, and it can be seen that a moving car and a person have bright edges.
FIG. 9(a) shows patterns continuously input to three time periods by the dynamic vision sensor of FIG. 2, and FIG. 9(b) shows output patterns for each time period. The more the neurons fire, the brighter the image. If the same input (stimulus) is continuously supplied by the adaptive neuron circuit of FIG. 2, the utterance interval gradually increases as neural adaptation occurs, so the stationary rectangular ring disappears and the moving square part is clearly output.
10 is an output pulse over time of an adaptive neuron circuit connected to a photoreceptor element of each of the four pixels (A), (B), (C), and (D) displayed in the third time interval of FIG. 9(b). (Output spikes) show the tendency to ignite.
FIG. 11 shows the degree of adaptation of a neuron circuit to a change in voltage across C1 of FIG. 3 according to the firing of FIG. 10. The higher the degree of adaptation, the fewer the number of utterances for the same input (stimulus).
12 is a schematic diagram in which an output of a dynamic vision sensor according to the present invention is connected to an input of a spiking neural network system.
13 shows images of five categories obtained through the dynamic vision sensor of FIG. 2.
14 shows an image of a vehicle that is output when an image moved by several pixels per frame is input to the dynamic vision sensor of FIG. 2, and the edge is outputted as the speed of the vehicle increases.
FIG. 15 is a conceptual diagram showing a principle implemented at the speed of a target image by moving and inputting several pixels per frame in FIG. 14.
16 is a graph of the relationship between the actual speed and the estimated speed of the vehicle obtained from the result of FIG. 14.

이하, 첨부된 도면을 참조하며 본 발명의 바람직한 실시예에 대하여 설명한다.Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings.

본 발명의 일 실시예에 의한 다이나믹 비전 센서는, 도 2와 같이, 복수 개의 광 수용기 소자(1110)를 포함하는 다이나믹 비전 센서(1000)에 있어서, 상기 복수 개의 광 수용기 소자 각각(1110)에 적응형 뉴런 회로(1200)가 연결된다.A dynamic vision sensor according to an embodiment of the present invention is, as shown in FIG. 2, in a dynamic vision sensor 1000 including a plurality of light receptor elements 1110, adapted to each of the plurality of light receptor elements 1110 The type neuron circuit 1200 is connected.

여기서, 상기 적응형 뉴런 회로(1200)는 광 수용기 소자(1110)로부터 들어오는 입력전압(자극)에 대하여 신경 적응이 일어나면서 순차 입력되는 자극에 따라 출력 펄스(Output spikes)의 발화 빈도가 달라지도록 구성된다. 예를 들어, 광 수용기 소자(1110)로부터 일정한 입력전압(자극)이 계속 들어올 경우에는 도 6과 같이 시간에 따라 점점 느려지게 발화되고, 이전 입력전압보다 낮을 경우에는 발화되지 않고, 높을 경우 발화되도록 구성될 수 있다.Here, the adaptive neuron circuit 1200 is configured so that the ignition frequency of output spikes varies according to the sequentially input stimuli while neural adaptation occurs with respect to the input voltage (stimulation) received from the photoreceptor element 1110 do. For example, when a constant input voltage (stimulation) is continuously supplied from the photoreceptor element 1110, it is ignited gradually slowly over time as shown in FIG. 6, and when it is lower than the previous input voltage, it is not ignited, and when it is high, it is ignited. Can be configured.

상기 실시예에 의한 다이나믹 비전 센서(1000)는, 도 12와 같이, 적응형 뉴런 회로(1200)의 출력단이 복수 개의 시냅스 소자(2100)으로 구성된 뉴럴 네트워크 시스템(2000)의 입력단에 연결되도록 함으로써, 상기 출력 펄스는 이미지 인식 등을 하는 뉴럴 네트워크 시스템의 입력으로 그대로 이용할 수 있고, 이를 통해 다양한 작업을 수행할 수 있게 된다.In the dynamic vision sensor 1000 according to the above embodiment, as shown in FIG. 12, the output terminal of the adaptive neuron circuit 1200 is connected to the input terminal of the neural network system 2000 composed of a plurality of synaptic elements 2100, The output pulse can be used as it is as an input of a neural network system for image recognition, etc., and various tasks can be performed through this.

상기 다이나믹 비전 센서(1000)는 복수 개의 광 수용기 소자(1110)로 m x n 입력 픽셀(1100)을 구성하여, 도 2와 같이, 각 픽셀마다 광 수용기 소자(1110)에 적응형 뉴런 회로(1200)가 연결될 수 있다.The dynamic vision sensor 1000 constitutes an mxn input pixel 1100 with a plurality of photoreceptor elements 1110, and as shown in FIG. 2, an adaptive neuron circuit 1200 is attached to the photoreceptor element 1110 for each pixel. Can be connected.

상기 적응형 뉴런 회로(1200)는 출력 펄스의 개수로 광 수용기 소자에 대응하는 픽셀 값으로 재구성하여 출력하도록 구성될 수 있다. 예를 들어, 뉴런이 적응할 수 있는 일정 시간 구간마다 출력 펄스의 개수를 카운팅하여 그 개수가 많을수록 밝게, 적을수록 어둡게 출력되도록 할 수 있다.The adaptive neuron circuit 1200 may be configured to reconstruct and output a pixel value corresponding to a light receptor element with the number of output pulses. For example, the number of output pulses may be counted for each predetermined time interval to which a neuron can adapt, so that the greater the number, the brighter the number, the darker the output.

도 8은 움직이는 자동차와 사람의 CCTV 영상을 도 2의 다이나믹 비전 센서(1000)에 통과시켜, 각 적응형 뉴런 회로(1200)의 출력 펄스의 개수를 해당 픽셀 값으로 하여 얻는 512 x 512 이미지이다. 이에 의할 경우, 종래 다이나믹 비전 센서의 AER 방식보다 Spot Noise를 현저히 감소시키며 움직이는 자동차와 사람의 테두리를 밝게 할 수 있는 장점이 있다.FIG. 8 is a 512 x 512 image obtained by passing CCTV images of a moving vehicle and a person through the dynamic vision sensor 1000 of FIG. 2 and using the number of output pulses of each adaptive neuron circuit 1200 as a corresponding pixel value. In this case, there is an advantage in that spot noise can be significantly reduced compared to the AER method of a conventional dynamic vision sensor and the edges of moving cars and people can be brightened.

도 9(a)는 도 2의 다이나믹 비전 센서(1000)로 세개의 시간 구간(0-100 A.U., 100-200 A.U., 200-300 A.U.)에 연속적으로 입력되는 패턴들을 보여준다. 이때, 각 구간은 해당 뉴런의 적응 시간을 고려해야 할 것이나, 여기서는 임의 분할한 것으로 시간단위 A.U.는 Arbituary Unit이다. 9(a) shows patterns continuously input to three time periods (0-100 A.U., 100-200 A.U., 200-300 A.U.) by the dynamic vision sensor 1000 of FIG. 2. At this time, each section will have to take into account the adaptation time of the corresponding neuron, but here it is randomly divided and the time unit A.U. is an Arbituary Unit.

도 9(a)의 각 패턴에서 검정색 바탕은 광 수용기 소자(1110)에 의하여 0 단위(예컨대, V)가 적응형 뉴런 회로(1200)의 입력전압으로 인가되고, 회색의 두개의 직사각형 고리는 1/2 단위가, 흰색의 정사각형 부분은 1 단위가 각각 적응형 뉴런 회로(1200)의 입력전압으로 인가되도록 설정할 수 있다.In each pattern of FIG. 9(a), 0 units (eg, V) are applied as input voltages of the adaptive neuron circuit 1200 by the photoreceptor element 1110 on a black background, and two gray rectangular rings are 1 The unit of /2 and the white square portion may be set to be applied as an input voltage of the adaptive neuron circuit 1200, respectively.

도 9(b)는 각 시간 구간별로 상기 적응형 뉴런 회로(1200)에 의하여 신경 적응이 일어난 출력 패턴을 보여준다. 본 발명에 의한 적응형 뉴런 회로(1200)는 도 6과 같은 출력 특성을 가지므로, 동일한 입력(자극)이 계속 들어오게 되면 신경 적응이 일어나면서 점점 발화 간격이 커지게 되므로, 정지된 직사각형 고리는 사라지고 움직이는 정사각형 부분은 선명하게 출력된다.9(b) shows an output pattern in which neural adaptation occurs by the adaptive neuron circuit 1200 for each time interval. Since the adaptive neuron circuit 1200 according to the present invention has an output characteristic as shown in FIG. 6, when the same input (stimulus) is continuously supplied, the utterance interval gradually increases as neural adaptation occurs, so that the stopped rectangular ring The disappearing and moving square parts are clearly output.

도 10 및 도 11은 도 9(b)의 세번째 시간 구간에 표시된 (A), (B), (C), (D)의 4개 픽셀 각각의 광 수용기 소자에 연결된 적응형 뉴런 회로의 시간에 따른 출력 펄스(Output spikes)의 발화 경향과 뉴런 회로의 적응 정도를 각각 보여준다.10 and 11 show the time of the adaptive neuron circuit connected to the photoreceptor element of each of the four pixels (A), (B), (C), and (D) indicated in the third time interval of FIG. 9(b). It shows the firing tendency of output spikes and the degree of adaptation of the neuron circuit, respectively.

(A) 부분은 도 9(a)에서 세개의 시간 구간 동안 회색을 유지해 1/2 단위가 계속 적응형 뉴런 회로(1200)의 입력전압으로 인가하게 되므로, 세번째 시간 구간에서는 발화 개수가 하나로 줄어 도 9(b)에서와 같이 첫번째 시간 구간보다 어두워짐을 알 수 있다.Part (A) maintains gray for three time periods in Fig. 9(a), so that 1/2 unit is continuously applied as the input voltage of the adaptive neuron circuit 1200, so even if the number of ignitions decreases to one in the third time period. As in 9(b), it can be seen that it is darker than the first time section.

(B) 부분은 도 9(a)에서 첫번째 구간의 검정색에서 두번째 구간의 흰색으로 바뀌어 세번째 구간에도 흰색으로 유지되므로, 두번째 구간부터 1 단위가 적응형 뉴런 회로(1200)의 입력전압으로 인가되어, 세번째 구간에서는 발화 개수가 두 개로 (A) 부분보다 밝으나, 도 9(b)의 두번째 구간보다 어두워짐을 알 수 있다.Part (B) is changed from black in the first section to white in the second section in Fig. 9(a) and remains white in the third section, so from the second section, 1 unit is applied as the input voltage of the adaptive neuron circuit 1200, In the third section, the number of utterances is two, which is brighter than the portion (A), but darker than the second section of FIG. 9(b).

(C) 부분은 도 9(a)에서 첫번째 구간의 회색에서 두번째 구간의 흰색으로 바뀌었다가 세번째 구간에서 다시 회색으로 되어, 첫번째 구간에선 1/2 단위 입력으로 발화가 개시되고, 두번째 구간에선 1 단위로 이전보다 높은 자극이 들어와 앞의 자극(1/2 단위 자극)에 적응된 상태에서 새로운 1 단위 자극에 대한 발화가 개시되나, 세번째 구간에선 1 단위 자극보다 작은 1/2 단위 자극이 들어오게 되므로 발화가 일어나지 않게 된다. 그 결과로, 세번째 구간에서는 발화 개수가 없어, 도 9(b)에서 검은 색으로 됨을 알 수 있다.In Figure 9(a), part (C) changes from gray in the first section to white in the second section, then turns gray again in the third section, and the utterance starts with 1/2 unit input in the first section, and 1 in the second section. A stimulus higher than the previous stimulus is entered in units, and firing for a new 1 unit stimulus starts while being adapted to the previous stimulus (1/2 unit stimulus), but in the third section, a 1/2 unit stimulus smaller than 1 unit stimulus enters. Therefore, ignition does not occur. As a result, it can be seen that there is no number of utterances in the third section, and the color becomes black in FIG. 9(b).

(D) 부분은 도 9(a)에서 첫번째와 두번째 구간의 검정색으로 유지하다 세번째 구간에서 흰색으로 바뀌었으므로, 세번째 구간부터 1 단위 자극이 들어와 이에 대한 발화가 개시되며 적응하게 된다. 따라서, 첫번째와 두번째 구간에는 발화가 없고, 세번째 구간에는 7개의 많은 발화 개수로 밝은 흰색으로 됨을 알 수 있다.The part (D) is kept black in the first and second sections in FIG. 9(a) and turned to white in the third section. Therefore, 1 unit stimulus enters from the third section, and utterance is initiated and adapted. Therefore, it can be seen that there are no utterances in the first and second intervals, and the third interval becomes bright white with a large number of seven utterances.

도 9 내지 도 11로부터 정지된 영상(직사각형 고리)은 일정한 자극으로 적응형 뉴런 회로에 의하여 어둡게 출력되고, 구간별 이동하는 영상(정사각형 부분)은 자극의 변화로 적응형 뉴런 회로의 입력전압이 달라져, 그에 따라 발화 여부가 결정되어 새로운 발화 등으로 적응하게 됨을 알 수 있다. 이러한 원리로 도 8과 같이, 움직이는 자동차와 사람의 테두리는 밝게 출력되어, 피사체의 움직임을 추적할 수 있다.The images (rectangular rings) that are still from FIGS. 9 to 11 are darkly output by the adaptive neuron circuit with a constant stimulus, and the image (square part) that moves for each section (the square part) changes the input voltage of the adaptive neuron circuit due to the change of the stimulus. , It can be seen that the utterance is determined accordingly and adapts to a new utterance. With this principle, as shown in FIG. 8, the borders of a moving car and a person are output brightly, so that the movement of the subject can be tracked.

도 13은 상술한 원리와 도 8의 방법으로 움직이는 속도를 달리하는 5개 카테고리별 피사체에 대하여 도 2의 다이나믹 비전 센서(1000)를 통해 얻는 이미지를 보여준다. 도 13(a)는 자동차, 도 13(b)는 사람, 도 13(c)는 자전거, 도 13(d)는 강아지, 도 13(e)는 비행기에 대한 것이다. 5개 피사체 모두 테두리가 선명하게 보여 피사체를 구분할 수 있음을 알 수 있다.FIG. 13 shows images obtained through the dynamic vision sensor 1000 of FIG. 2 with respect to five categories of subjects whose moving speeds are different according to the above-described principle and the method of FIG. 8. Figure 13 (a) is a car, Figure 13 (b) is a person, Figure 13 (c) is a bicycle, Figure 13 (d) is a dog, and Figure 13 (e) is an airplane. It can be seen that the borders of all five subjects are clearly visible to distinguish the subject.

도 14는 도 2의 다이나믹 비전 센서로 프레임당 수 픽셀씩 이동된 영상이 입력될 경우 출력되는 자동차의 이미지를 보여주는 것으로, 자동차의 속도가 빠를수록 가장자리가 두껍게 출력된다.14 shows an image of a vehicle that is output when an image moved by several pixels per frame is input to the dynamic vision sensor of FIG. 2, and the edge is outputted as the speed of the vehicle increases.

도 15는 도 14에서 프레임당 수 픽셀씩 이동하며 입력하여, 대상 이미지의 속도로 구현되는 원리를 보여주는 개념도이다. 도 15에서 첫번째 프레임으로 회색이나 검정색 바탕에 사진 이미지를 좌측에 치우치게 놓고 도 2의 다이나믹 비전 센서(1000)를 통해 일정 시간 입력하고, 두번째, 세번째 프레임으로 이동시 같은 사진 이미지를 일정 간격(픽셀)으로 이동시킨 후 다시 일정 시간 입력하게 되면, 움직이는 사진 이미지에 대하여 도 2의 적응형 뉴런 회로(1200)의 출력으로 도 15의 우측 영상과 같은 결과를 얻게 된다.FIG. 15 is a conceptual diagram showing a principle of moving and inputting pixels per frame in FIG. 14 to be implemented at a speed of a target image. In FIG. 15, a photo image is placed on the left side of a gray or black background as the first frame, and input for a certain period of time through the dynamic vision sensor 1000 of FIG. 2, and the same photo image at a predetermined interval (pixels) when moving to the second and third frames. After moving and inputting for a certain time again, the same result as the right image of FIG. 15 is obtained as the output of the adaptive neuron circuit 1200 of FIG. 2 with respect to the moving photographic image.

도 15에 개시된 원리로, 도 14에서 프레임당 이동거리를 1, 3, 5, 7, 9 픽셀로 각각 달리하여 입력하고, 같은 시간 출력(재생)하게 되면, 상기 이동거리가 클수록 자동차의 속도가 빨라지는 결과를 얻을 수 있다. 따라서, 도 14로부터 피사체인 자동차의 속도가 빠를수록 가장자리가 두껍게 출력됨을 알 수 있다.According to the principle disclosed in FIG. 15, if the moving distance per frame is inputted at different values of 1, 3, 5, 7, 9 pixels in FIG. 14 and output (reproduced) for the same time, the greater the moving distance, the higher the speed of the vehicle. You can get faster results. Accordingly, it can be seen from FIG. 14 that the higher the speed of the vehicle as the subject is, the thicker the edge is output.

도 16은 도 14의 결과로부터 얻은 자동차의 실제 속도와 추정 속도의 관계 그래프이다. 이는 피사체인 자동차의 속도와 출력 이미지의 가장자리 특징에 비례관계가 있음으로부터, 피사체 출력 이미지의 가장자리 특징을 분석하면 피사체의 움직이는 추정 속도를 계산할 수 있다는 점에 기초한 것이다. 16 is a graph of the relationship between the actual speed and the estimated speed of the vehicle obtained from the result of FIG. 14. This is based on the fact that there is a proportional relationship between the speed of the vehicle, which is the subject, and the edge feature of the output image, so that the estimated moving speed of the subject can be calculated by analyzing the edge feature of the output image of the subject.

따라서, 본 발명은 도로 통행 물체의 종류나 속도를 인식하는 교통 감시 분야에서도 이용될 수 있다.Accordingly, the present invention can also be used in the field of traffic monitoring that recognizes the type or speed of a road passing object.

이하에서는 상술한 적응형 뉴런 회로(1200)에 대하여 설명한다. 본 발명에 의한 적응형 뉴런 회로(1200)는 상술한 바와 같이 도 6과 같은 발화 특성을 갖는 것이면 충분하므로, 아래 회로 구성이나 설명에 제한되지 아니한다. Hereinafter, the above-described adaptive neuron circuit 1200 will be described. The adaptive neuron circuit 1200 according to the present invention is not limited to the circuit configuration or description below, since it is sufficient to have the firing characteristics as shown in FIG. 6 as described above.

상기 적응형 뉴런 회로(1200)는, 도 3과 같이, 상기 입력전압 Vin이 인가되는 전압 입력부(100); 상기 전압 입력부의 출력전압을 입력전류 Iin로 변조하며 발화에 적응하는 변조 적응부(modulating adaptation part, 200); 상기 변조 적응부로 변조와 적응된 상기 입력전류 Iin을 입력받아 막 전위(Vmem)로 통합되는 누설 통합부(leaky integration part, 300); 및 상기 막 전위가 일정 크기 이상이 될 때 발화되어 활동전위 Vout로 출력되고 상기 변조 적응부를 제어하여 다음 발화를 준비하는 활동전위(action potential) 생성 및 제어부(400)를 포함하여 구성될 수 있다.The adaptive neuron circuit 1200 includes a voltage input unit 100 to which the input voltage Vin is applied, as shown in FIG. 3; A modulating adaptation part 200 that modulates the output voltage of the voltage input part with the input current Iin and adapts to ignition; A leaky integration part 300 that receives the input current Iin modulated and adapted to the modulation adaptation part and integrates it into a film potential Vmem; And an action potential generation and control unit 400 that is ignited when the membrane potential is greater than or equal to a predetermined level, is output as an action potential Vout, and controls the modulation adaptor to prepare for the next ignition.

상기와 같이, 전압 입력부(100)에 이웃하여 변조 적응부(200)를 구비함으로써, 전압 입력부(100)의 출력전압을 입력전류 Iin로 변조하고, 막의 커패시터(Cmem)로 입력되는 입력전류(Iin)를 모든 발화에 적응(adaptation)하여 일어나도록 할 수 있다. As described above, by providing the modulation adaptation unit 200 adjacent to the voltage input unit 100, the output voltage of the voltage input unit 100 is modulated with the input current Iin, and the input current Iin input to the capacitor Cmem of the film ) Can be made to happen by adaptation to every utterance.

또한, 활동전위 생성 및 제어부(400)에 의하여, 활동전위(Vout)를 생성하여 출력시키고, 변조 적응부(200)를 제어하여 입력전류(Iin)를 감소시키며 다음 발화를 준비하여, 반복된 뉴런 동작에 따른 전력소모를 줄일 수 있게 된다.In addition, the action potential generation and control unit 400 generates and outputs the action potential Vout, reduces the input current Iin by controlling the modulation adaptation unit 200, and prepares for the next ignition. It is possible to reduce power consumption according to operation.

구체적인 실시 예로, 상기 변조 적응부(200)는, 도 3과 같이, 상기 전압 입력부(100)의 출력전압을 게이트로 입력받아 드레인으로 상기 입력전류 Iin로 변조하여 상기 누설 통합부(300)에 인가하는 제 1 p채널 MOSFET(P1); 상기 활동전위 생성 및 제어부(400)의 제어신호를 게이트로 입력받는 제 2 p채널 MOSFET(P2); 및 상기 제 2 p채널 MOSFET(P2)의 드레인과 접지 사이에 병렬로 연결된 제 1 커패시터(C1)와 제 1 저항(R1)을 포함하여 구성될 수 있다.As a specific example, the modulation adaptation unit 200 receives the output voltage of the voltage input unit 100 through a gate, modulates the input current Iin through a drain, and applies it to the leakage integration unit 300, as shown in FIG. A first p-channel MOSFET (P1); A second p-channel MOSFET (P2) receiving the action potential generation and a control signal from the control unit 400 through a gate; And a first capacitor C1 and a first resistor R1 connected in parallel between a drain and a ground of the second p-channel MOSFET P2.

여기서, 상기 제 2 p채널 MOSFET(P2)의 소스는 공급전압(VDD)이, 드레인은 상기 제 1 p채널 MOSFET(P1)의 백게이트(GB)와 전기적으로 연결됨이 바람직하다. 활동전위 생성 및 제어부(400)의 제어신호로 제 2 p채널 MOSFET(P2)이 턴온(turn on) 되면서 백게이트(GB)에 공급전압(VDD)에서 감소 되는 양의 전압이 인가되어 제 1 p채널 MOSFET(P1)에 의한 입력전류(Iin)를 감소시켜, 결국 다음 뉴런 동작에 따른 전력소모를 줄일 수 있게 된다.Here, it is preferable that the source of the second p-channel MOSFET P2 is electrically connected to the supply voltage V DD and the drain is electrically connected to the back gate G B of the first p-channel MOSFET P1. As the second p-channel MOSFET P2 is turned on as an action potential generation and a control signal from the controller 400, a positive voltage reduced from the supply voltage V DD is applied to the back gate G B. By reducing the input current (Iin) by the 1 p-channel MOSFET (P1), it is possible to reduce power consumption due to the next neuron operation.

상술한 구동을 위한 제 1 p채널 MOSFET(P1)은 벌크 실리콘 기판으로 만든 소자일 수도 있으나, 도 4와 같이, SOI 기판에 형성된 SOI MOSFET이 바람직하다. 후자의 경우, 상기 제 1 p채널 MOSFET(P1)의 백게이트(GB)는 상기 SOI 기판의 매몰산화막(50) 밑에 있는 하부 단결정 실리콘층(60)에 불순물 주입으로 형성될 수 있다.The first p-channel MOSFET P1 for driving described above may be a device made of a bulk silicon substrate, but as shown in FIG. 4, an SOI MOSFET formed on the SOI substrate is preferable. In the latter case, the back gate G B of the first p-channel MOSFET P1 may be formed by implanting impurities into the lower single crystal silicon layer 60 under the buried oxide layer 50 of the SOI substrate.

도 4의 SOI MOSFET으로 제 1 p채널 MOSFET(P1)을 형성시, 상기 SOI MOSFET의 채널이 형성되는 바디 영역(10)의 두께(tbody)는 게이트 길이(Lg)보다 작고, 매몰산화막(50)의 두께(tbox)는 게이트 절연막(30)의 두께(tox)보다 1~10배인 것으로 함이, 동작시 채널과 백게이트(GB, 60)의 용량적 커플링(Capacitive coupling)을 크게 하여 입력전류(Iin)를 효과적으로 감소시킬 수 있어 바람직하다.When the first p-channel MOSFET P1 is formed with the SOI MOSFET of FIG. 4, the thickness t body of the body region 10 in which the channel of the SOI MOSFET is formed is smaller than the gate length Lg, and the buried oxide film 50 The thickness (t box ) of) is 1 to 10 times the thickness (t ox ) of the gate insulating layer 30, so that the capacitive coupling between the channel and the back gate (G B , 60) during operation It is preferable because the input current Iin can be effectively reduced by increasing it.

도 4에 도시된 각 구성의 두께(상대적 크기)로 시뮬레이션한 결과, SOI MOSFET 동작시 문턱 전압이 0.5V 정도 변화됨을 확인하였다. 또한, N형 바디 영역(10)을 갖는 SOI MOSFET에서 백게이트(60)에 0.0V, -0.5V, -1.0V, -1.5V로 각각 인가한 상태에서, 소스(22)와 드레인(24) 양단에 일정한 전압을 인가하고, 게이트(40)에 인가한 음의 전압 크기를 감소시키면서 드레인 전류를 측정한 결과, 도 5와 같은 Id-Vg 곡선을 얻었다.As a result of simulation with the thickness (relative size) of each component shown in FIG. 4, it was confirmed that the threshold voltage was changed by about 0.5V during SOI MOSFET operation. In addition, in the SOI MOSFET having the N-type body region 10, the source 22 and the drain 24 are applied at 0.0V, -0.5V, -1.0V, and -1.5V respectively to the backgate 60. As a result of measuring the drain current while applying a constant voltage to both ends and reducing the magnitude of the negative voltage applied to the gate 40, an Id-Vg curve as shown in FIG. 5 was obtained.

도 5에 의하면, N형 바디 영역(10)을 갖는 SOI MOSFET에서는 백게이트(60)에 인가한 음의 전압 크기가 작을수록 드레인 전류가 현저히 줄어드는 것을 확인할 수 있다. 이로부터 상기 제 1 p채널 MOSFET(P1)을 N형 바디의 SOI MOSFET으로 형성할 경우, 백게이트(GB)에 양의 전압이 인가되도록 함으로써, 입력전류(Iin)를 현저히 감소시킬 수 있음을 알 수 있다.Referring to FIG. 5, it can be seen that in the SOI MOSFET having the N-type body region 10, the drain current significantly decreases as the magnitude of the negative voltage applied to the back gate 60 decreases. From this, when the first p-channel MOSFET (P1) is formed as an N-type SOI MOSFET, it is possible to significantly reduce the input current (Iin) by applying a positive voltage to the back gate (G B ). Able to know.

상기 전압 입력부(100)는, 도 3과 같이, 상기 제 1 p채널 MOSFET(P1)의 게이트와 전기적으로 연결된 게이트를 갖는 제 3 p채널 MOSFET(P3)과 상기 제 3 p채널 MOSFET의 드레인과 접지 사이에 연결되어 게이트에 상기 입력전압 Vin이 인가되는 제 1 n채널 MOSFET(N1)을 포함하여 구성된다. 이와 같이 구성됨으로써, 제 1 n채널 MOSFET(N1)의 게이트에 양의 입력전압 Vin이 인가되면, 제 1 n채널 MOSFET(N1)이 턴온(turn on) 되면서 제 1 p채널 MOSFET(P1)에 전류 미러(current mirror)로 입력전류 Iin로 변조되어 누설 통합부(300)에 인가하게 된다.As shown in FIG. 3, the voltage input unit 100 includes a third p-channel MOSFET P3 having a gate electrically connected to the gate of the first p-channel MOSFET P1 and a drain and ground of the third p-channel MOSFET. It is configured to include a first n-channel MOSFET (N1) connected between the input voltage Vin is applied to the gate. With this configuration, when a positive input voltage Vin is applied to the gate of the first n-channel MOSFET (N1), the first n-channel MOSFET (N1) is turned on and a current in the first p-channel MOSFET (P1). The input current Iin is modulated with a current mirror and applied to the leakage integrating unit 300.

상기 누설 통합부(300)는 뉴런의 액손 힐락 역할을 하는 것으로, 도 3과 같이, 제 1 p채널 MOSFET(P1)의 드레인과 접지 사이에 병렬로 연결된 제 2 커패시터(C2)와 제 2 저항(R2)을 포함하여 구성되고, 상기 막 전위(Vmem)는 제 2 커패시터(C2)의 양단에 걸린 전압이 된다.The leakage integration unit 300 serves as an axon hillock of a neuron, and as shown in FIG. 3, a second capacitor C2 and a second resistor connected in parallel between the drain of the first p-channel MOSFET P1 and the ground ( R2), and the film potential Vmem becomes a voltage applied across the second capacitor C2.

상기 활동전위 생성 및 제어부(400)는, 도 3과 같이, 상기 막 전위(Vmem)를 입력전압으로 하는 제 1 인버터(Inv. 1); 상기 제 1 인버터의 출력전압을 입력전압으로 하는 제 2 인버터(Inv. 2); 상기 제 1 인버터의 출력전압이 게이트로 입력되는 상기 제 4 p채널 MOSFET(P4); 및 상기 제 4 p채널 MOSFET의 드레인과 접지 사이에 연결되어 게이트에 상기 제 2 인버터의 출력전압이 인가되는 제 2 n채널 MOSFET(N2)을 포함하여 구성된다.As shown in FIG. 3, the action potential generation and control unit 400 includes: a first inverter Inv. 1 using the membrane potential Vmem as an input voltage; A second inverter (Inv. 2) using the output voltage of the first inverter as an input voltage; The fourth p-channel MOSFET (P4) through which the output voltage of the first inverter is input to the gate; And a second n-channel MOSFET (N2) connected between the drain and the ground of the fourth p-channel MOSFET to which the output voltage of the second inverter is applied to the gate.

여기서, 상기 제 1 인버터(Inv. 1)의 출력전압은 상기 변조 적응부(200)를 제어하는 제어신호로 되어, 상기 제 2 p채널 MOSFET(P2)의 게이트에 인가된다.Here, the output voltage of the first inverter Inv. 1 serves as a control signal for controlling the modulation adaptation unit 200 and is applied to the gate of the second p-channel MOSFET P2.

상기 제 2 인버터(Inv. 2)의 출력전압이 상기 활동전위(Vout)로 출력된다.The output voltage of the second inverter Inv. 2 is output as the action potential Vout.

다음은 도 3의 회로 동작에 대하여 간단히 설명한다.The following briefly describes the operation of the circuit of FIG. 3.

전압 입력부(100)에 양의 입력전압 Vin이 제 1 n채널 MOSFET(N1)의 게이트에 인가되면, 제 3 p채널 MOSFET(P3)와 제 1 p채널 MOSFET(P1)가 게이트로 서로 연결된 전류 미러에 의하여 변조 적응부(200)에서 입력전류 Iin로 변조되어, 누설 통합부(300)에 주입됨으로써, 제 2 커패시터(C2)의 양단 전압인 막 전위(Vmem)가 증가하게 된다.When a positive input voltage Vin is applied to the voltage input unit 100 to the gate of the first n-channel MOSFET N1, the third p-channel MOSFET P3 and the first p-channel MOSFET P1 are connected to each other through a gate. As a result, the input current Iin is modulated by the modulation adapting unit 200 and injected into the leakage integration unit 300, thereby increasing the film potential Vmem, which is the voltage across the second capacitor C2.

막 전위(Vmem)가 일정 크기(역치) 이상이 될 때, 즉 제 1 인버터(Inv. 1)를 구성하는 제 3 n채널 MOSFET(N3)을 턴온 시킬 문턱 전압 이상이 될 때, 제 3 n채널 MOSFET(N3)이 턴온 되면서 제 1 인버터(Inv. 1)의 출력전압은 0V(접지)이 되고, 이어 제 2 인버터(Inv. 2)를 구성하는 제 6 p채널 MOSFET(P6)을 턴온 시킴으로써, 활동전위 생성 및 제어부(400)는 제 2 인버터(Inv. 2)의 공급전압(VDD)이 활동전위(Vout)로 출력하게 된다. When the film potential (Vmem) becomes more than a certain size (threshold), that is, when it becomes more than the threshold voltage for turning on the third n-channel MOSFET (N3) constituting the first inverter (Inv. 1), the third n-channel As the MOSFET (N3) is turned on, the output voltage of the first inverter (Inv. 1) becomes 0V (ground), and then the 6th p-channel MOSFET (P6) constituting the second inverter (Inv. 2) is turned on. The action potential generation and control unit 400 outputs the supply voltage V DD of the second inverter Inv. 2 as the action potential Vout.

여기서, 제 1 인버터(Inv. 1)의 출력전압이 0V(접지)로 되는 순간 제 4 p채널 MOSFET(P4)이 턴온되면서 공급전압(VDD)이 막 전위(Vmem)로 되었다가 제 2 인버터(Inv. 2)의 출력전압이 공급전압(VDD)으로 되는 순간 제 2 n채널 MOSFET(N2)이 턴온 되면서 막 전위(Vmem)는 다시 0V(접지)로 된다. 이러한 과정을 거치며 활동전위(Vout)가 펄스 형태로 출력된다. Here, the moment the output voltage of the first inverter Inv. 1 becomes 0V (ground), the fourth p-channel MOSFET P4 is turned on, and the supply voltage V DD becomes the membrane potential Vmem, and then the second inverter When the output voltage of (Inv. 2) becomes the supply voltage (V DD ), the second n-channel MOSFET (N2) is turned on, and the film potential (Vmem) becomes 0V (ground) again. Through this process, the action potential Vout is output in the form of a pulse.

따라서, 막 전위(Vmem)가 일정 크기(역치) 이상 되어 제 1 인버터(Inv. 1)의 제 3 n채널 MOSFET(N3)이 턴온 될 때 발화되는 셈이다.Accordingly, when the film potential Vmem is greater than or equal to a predetermined size (threshold value) and the third n-channel MOSFET N3 of the first inverter Inv. 1 is turned on, it is ignited.

한편, 제 1 인버터(Inv. 1)의 출력전압이 제 2 p채널 MOSFET(P2)의 게이트로 입력되어 변조 적응부(200)의 제어신호로 사용되므로, 제 1 인버터(Inv. 1)의 출력전압 0V(접지)로 되는 순간 제 2 p채널 MOSFET(P4)이 턴온 되면서 공급전압(VDD)이 제 1 커패시터(C1)와 제 1 저항(R1)에 걸리게 된다. 따라서, 제 1 p채널 MOSFET(P1)의 백게이트(GB)에는 양의 전압이 인가되어 제 1 p채널 MOSFET(P1)에 의한 입력전류(Iin)를 감소시켜, 결국 다음 뉴런 동작에 따른 전력소모를 줄일 수 있게 된다. Meanwhile, since the output voltage of the first inverter Inv. 1 is input to the gate of the second p-channel MOSFET P2 and used as a control signal of the modulation adaptor 200, the output of the first inverter Inv. 1 As soon as the voltage reaches 0V (ground), the second p-channel MOSFET P4 is turned on, and the supply voltage V DD is applied to the first capacitor C1 and the first resistor R1. Therefore, a positive voltage is applied to the back gate (G B ) of the first p-channel MOSFET (P1) to reduce the input current (Iin) by the first p-channel MOSFET (P1), resulting in power according to the next neuron operation. It is possible to reduce consumption.

제 1 인버터(Inv. 1)의 제 3 n채널 MOSFET(N3)이 턴온 될 때마다, 즉 발화될 때마다 변조 적응부(200)의 제 2 p채널 MOSFET(P2)이 턴온 되면서 양의 전압이 제 1 p채널 MOSFET(P1)의 백게이트(GB)에 인가되어, 입력전류(Iin) 변화가 매 발화에 맞추어 적응(adaptation)하여 일어나게 된다.Whenever the third n-channel MOSFET (N3) of the first inverter (Inv. 1) is turned on, that is, every time it is ignited, the second p-channel MOSFET (P2) of the modulation adaptor 200 is turned on, and the positive voltage is reduced. It is applied to the back gate G B of the first p-channel MOSFET P1, so that the change of the input current Iin is adapted to each ignition.

상기와 같이, 매 발화시 제 1 p채널 MOSFET(P1)의 백게이트(GB)에 적응전압(Vadap)으로 양의 전압이 인가되고, 다음 발화시까지 입력전류(Iin)를 감소시켜 누설 통합부(300)에 주입하게 되면, 제 2 커패시터(C2)가 충전되어 양단 전압이 일정 크기(역치)의 막 전위(Vmem)까지 증가하는데 시간 지연이 생기게 된다.As described above, at each ignition, a positive voltage is applied to the back gate (G B ) of the first p-channel MOSFET (P1) as an adaptation voltage (Vadap), and leakage is integrated by reducing the input current (Iin) until the next ignition. When injected into the unit 300, the second capacitor C2 is charged, so that the voltage at both ends increases to the film potential Vmem of a predetermined size (threshold), resulting in a time delay.

도 6은 도 3의 회로에서 입력전압 Vin으로 1.5V를 일정하게 인가한 경우의 뉴런의 반응을 시뮬레이션한 Vout 결과도이다. 도 6에 의하면, 막 전위(Vmem)는 제 2 커패시터(C2)와 제 2 저항(R2)에 의하여 매 발화시마다 서서히 증가 되는데, 다음의 일정 크기(역치)까지 증가하는데 시간 지연이 생기게 됨을 알 수 있다. 그리고 일정한 입력(자극)에 대하여 신경 적응이 일어나면서 시간에 따라 점점 느려지게 발화됨을 알 수 있다. 6 is a Vout result diagram simulating a reaction of a neuron when 1.5V is constantly applied as an input voltage Vin in the circuit of FIG. 3. According to FIG. 6, the membrane potential Vmem gradually increases with each ignition by the second capacitor C2 and the second resistor R2, and it can be seen that a time delay occurs when increasing to the next predetermined size (threshold). have. In addition, it can be seen that as neural adaptation occurs to a certain input (stimulation), the utterance gradually slows down over time.

도 7은 도 3의 회로에서 C1 양단 전압을 제 1 p채널 MOSFET(P1)의 백게이트(GB)에 인가되는 적응전압(Vadap)으로 도시한 시뮬레이션 결과도로, 매 발화시(Spike 발생시)에 증가하였다가 적응하는 동안 제 1 저항(R1)에 의하여 시간에 따라 감소함으로 보여준다. 7 is a simulation result showing the voltage across C1 as an adaptive voltage (Vadap) applied to the back gate (G B ) of the first p-channel MOSFET (P1) in the circuit of FIG. 3, at every ignition (when a spike occurs) It increases and decreases with time by the first resistance R1 during adaptation.

10: 바디 영역 22: 소스
24: 드레인 30: 게이트 절연막
40: 게이트 50: 매몰산화막
60: 백게이트 100: 전압 입력부
200: 변조 적응부 300: 누설 통합부
400: 활동전위 생성 및 제어부 1000: 다이나믹 비전 센서
1100: 입력 픽셀 1110: 광 수용기 소자
1200: 적응형 뉴런 회로 2000: 뉴럴 네트워크 시스템
2100: 시냅스 소자10: body area 22: source
24: drain 30: gate insulating film
40: gate 50: buried oxide film
60: back gate 100: voltage input unit
200: modulation adaptation unit 300: leakage integration unit
400: action potential generation and control unit 1000: dynamic vision sensor
1100: input pixel 1110: photoreceptor element
1200: adaptive neuron circuit 2000: neural network system
2100: synaptic element

Claims (10)

복수 개의 광 수용기 소자를 포함하는 다이나믹 비전 센서에 있어서,
상기 복수 개의 광 수용기 소자 각각에 적응형 뉴런 회로가 연결되고,
상기 적응형 뉴런 회로는 상기 광 수용기 소자로부터 들어오는 입력전압(자극)에 대하여 신경 적응이 일어나면서 순차 입력되는 자극에 따라 출력 펄스의 발화 빈도가 달라지도록 구성되되, 상기 광 수용기 소자로부터 일정한 입력전압(자극)이 계속 들어올 경우에는 시간에 따라 점점 느려지게 발화되고, 이전 입력전압보다 낮을 경우에는 발화되지 않고 높을 경우 발화되도록 구성된 것을 특징으로 하는 다이나믹 비전 센서.
In the dynamic vision sensor comprising a plurality of light receptor elements,
An adaptive neuron circuit is connected to each of the plurality of photoreceptor elements,
The adaptive neuron circuit is configured such that the ignition frequency of the output pulse varies according to the sequentially input stimulus while neural adaptation occurs with respect to the input voltage (stimulation) received from the photoreceptor device, and a constant input voltage ( A dynamic vision sensor, characterized in that it is configured to ignite slowly and slowly when the stimulus) continues to enter with time, and when it is lower than the previous input voltage, it is not ignited but when it is high.
 제 1 항에 있어서,
상기 적응형 뉴런 회로의 출력단은 뉴럴 네트워크 시스템의 입력단에 연결된 것을 특징으로 하는 다이나믹 비전 센서.
The method of claim 1,
The dynamic vision sensor, characterized in that the output terminal of the adaptive neuron circuit is connected to the input terminal of the neural network system.
 제 1 항에 있어서,
상기 적응형 뉴런 회로는 상기 출력 펄스의 개수를 상기 광 수용기 소자에 대응하는 픽셀 값으로 재구성하여 출력하도록 구성된 것을 특징으로 하는 다이나믹 비전 센서.
The method of claim 1,
The adaptive neuron circuit is configured to reconstruct and output the number of output pulses into pixel values corresponding to the light receptor elements.
 복수 개의 광 수용기 소자를 포함하는 다이나믹 비전 센서에 있어서,
상기 복수 개의 광 수용기 소자 각각에 적응형 뉴런 회로가 연결되고,
상기 적응형 뉴런 회로는 상기 광 수용기 소자로부터 들어오는 입력전압(자극)에 대하여 신경 적응이 일어나면서 순차 입력되는 자극에 따라 출력 펄스의 발화 빈도가 달라지도록 구성되되,
상기 입력전압 Vin이 인가되는 전압 입력부;
상기 전압 입력부의 출력전압을 입력전류 Iin로 변조하며 발화에 적응하는 변조 적응부(modulating adaptation part);
상기 변조 적응부로 변조와 적응된 상기 입력전류 Iin을 입력받아 막 전위로 통합되는 누설 통합부(leaky integration part); 및
상기 막 전위가 일정 크기 이상이 될 때 발화되어 활동전위 Vout로 출력되고 상기 변조 적응부를 제어하여 다음 발화를 준비하는 활동전위(action potential) 생성 및 제어부를 포함하여 구성된 것을 특징으로 하는 다이나믹 비전 센서.
In the dynamic vision sensor comprising a plurality of light receptor elements,
An adaptive neuron circuit is connected to each of the plurality of photoreceptor elements,
The adaptive neuron circuit is configured to change the firing frequency of the output pulse according to the sequentially input stimulus while neural adaptation occurs with respect to the input voltage (stimulation) received from the photoreceptor element,
A voltage input unit to which the input voltage Vin is applied;
A modulating adaptation part that modulates the output voltage of the voltage input part with the input current Iin and adapts to ignition;
A leaky integration part that receives the input current Iin modulated and adapted to the modulation adaptation part and integrates it into a film potential; And
A dynamic vision sensor comprising: an action potential generation and a control unit that is ignited when the membrane potential becomes more than a certain level and is output as an action potential Vout, and controls the modulation adaptor to prepare for the next ignition.
 제 4 항에 있어서,
상기 변조 적응부는 상기 전압 입력부의 출력전압을 게이트로 입력받아 드레인으로 상기 입력전류 Iin로 변조하여 상기 누설 통합부에 인가하는 제 1 p채널 MOSFET; 상기 활동전위 생성 및 제어부의 제어신호를 게이트로 입력받는 제 2 p채널 MOSFET; 및 상기 제 2 p채널 MOSFET의 드레인과 접지 사이에 병렬로 연결된 제 1 커패시터와 제 1 저항을 포함하여 구성되고,
상기 제 2 p채널 MOSFET의 드레인은 상기 제 1 p채널 MOSFET의 백게이트와 전기적으로 연결된 것을 특징으로 하는 다이나믹 비전 센서.
The method of claim 4,
The modulation adaptation unit receives an output voltage of the voltage input unit through a gate, modulates the input current Iin through a drain, and applies the first p-channel MOSFET to the leakage integration unit; A second p-channel MOSFET for generating the action potential and receiving a control signal from a controller through a gate; And a first capacitor and a first resistor connected in parallel between the drain and the ground of the second p-channel MOSFET,
The dynamic vision sensor, characterized in that the drain of the second p-channel MOSFET is electrically connected to a back gate of the first p-channel MOSFET.
 제 5 항에 있어서,
상기 누설 통합부는 상기 제 1 p채널 MOSFET의 드레인과 접지 사이에 병렬로 연결된 제 2 커패시터와 제 2 저항을 포함하여 구성되고, 상기 막 전위는 상기 제 2 커패시터의 양단에 걸린 전압인 것을 특징으로 하는 다이나믹 비전 센서.
The method of claim 5,
The leakage integration unit is configured to include a second capacitor and a second resistor connected in parallel between the drain and the ground of the first p-channel MOSFET, and the film potential is a voltage applied across the second capacitor. Dynamic vision sensor.
 제 5 항에 있어서,
상기 전압 입력부는 상기 제 1 p채널 MOSFET의 게이트와 전기적으로 연결된 게이트를 갖는 제 3 p채널 MOSFET과 상기 제 3 p채널 MOSFET의 드레인과 접지 사이에 연결되어 게이트에 상기 입력전압 Vin이 인가되는 제 1 n채널 MOSFET을 포함하여 구성된 것을 특징으로 하는 다이나믹 비전 센서.
The method of claim 5,
The voltage input unit is connected between a third p-channel MOSFET having a gate electrically connected to the gate of the first p-channel MOSFET, and a drain and a ground of the third p-channel MOSFET to apply the input voltage Vin to the gate. Dynamic vision sensor comprising an n-channel MOSFET.
 제 5 항에 있어서,
상기 제 1 p채널 MOSFET는 SOI 기판에 형성된 SOI MOSFET이고,
상기 제 1 p채널 MOSFET의 백게이트는 상기 SOI 기판의 매몰산화막 밑에 있는 하부 단결정 실리콘층에 형성된 것을 특징으로 하는 다이나믹 비전 센서.
The method of claim 5,
The first p-channel MOSFET is an SOI MOSFET formed on an SOI substrate,
The back gate of the first p-channel MOSFET is formed in a lower single crystal silicon layer under the buried oxide layer of the SOI substrate.
 제 8 항에 있어서,
상기 SOI MOSFET의 바디 두께는 게이트 길이보다 작고,
상기 매몰산화막의 두께는 상기 SOI MOSFET의 게이트 절연막 두께보다 1~10배인 것을 특징으로 하는 다이나믹 비전 센서.
The method of claim 8,
The body thickness of the SOI MOSFET is smaller than the gate length,
The thickness of the buried oxide layer is 1 to 10 times the thickness of the gate insulating layer of the SOI MOSFET.
 제 4 항에 있어서,
상기 활동전위 생성 및 제어부는 상기 막 전위를 입력전압으로 하는 제 1 인버터; 상기 제 1 인버터의 출력전압을 입력전압으로 하는 제 2 인버터; 상기 제 1 인버터의 출력전압이 게이트로 입력되는 상기 제 4 p채널 MOSFET; 및 상기 제 4 p채널 MOSFET의 드레인과 접지 사이에 연결되어 게이트에 상기 제 2 인버터의 출력전압이 인가되는 제 2 n채널 MOSFET을 포함하여 구성되고,
상기 제 1 인버터의 출력전압은 상기 변조 적응부를 제어하는 제어신호이고,
상기 제 2 인버터의 출력전압이 상기 활동전위로 출력되는 것을 특징으로 하는 다이나믹 비전 센서.The method of claim 4,
The action potential generation and control unit comprises: a first inverter using the film potential as an input voltage; A second inverter that uses the output voltage of the first inverter as an input voltage; The fourth p-channel MOSFET through which the output voltage of the first inverter is input to a gate; And a second n-channel MOSFET connected between a drain and a ground of the fourth p-channel MOSFET to which an output voltage of the second inverter is applied to a gate,
The output voltage of the first inverter is a control signal for controlling the modulation adaptation unit,
Dynamic vision sensor, characterized in that the output voltage of the second inverter is output as the action potential.
KR1020180154101A 2018-12-04 2018-12-04 Dynamic vision sensor simulating visual adaptation KR102178561B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180154101A KR102178561B1 (en) 2018-12-04 2018-12-04 Dynamic vision sensor simulating visual adaptation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180154101A KR102178561B1 (en) 2018-12-04 2018-12-04 Dynamic vision sensor simulating visual adaptation

Publications (2)

Publication Number Publication Date
KR20200067334A KR20200067334A (en) 2020-06-12
KR102178561B1 true KR102178561B1 (en) 2020-11-13

Family

ID=71088522

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180154101A KR102178561B1 (en) 2018-12-04 2018-12-04 Dynamic vision sensor simulating visual adaptation

Country Status (1)

Country Link
KR (1) KR102178561B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11694304B2 (en) * 2019-11-26 2023-07-04 Samsung Electronics Co., Ltd. Jointly learning visual motion and confidence from local patches in event cameras
CN111083405B (en) * 2019-12-24 2021-06-04 清华大学 Bimodal bionic vision sensor pixel reading system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014504401A (en) 2010-12-08 2014-02-20 コミシリア ア レネルジ アトミック エ オ エナジーズ オルタネティヴズ Electronic circuit with neuromorphic architecture
WO2018025116A1 (en) 2016-08-03 2018-02-08 Semiconductor Energy Laboratory Co., Ltd. Imaging device, imaging module, electronic device, and imaging system

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2975251B1 (en) * 2011-05-12 2015-12-04 Univ Pierre Et Marie Curie Paris 6 METHOD AND DEVICE FOR CONTROLLING A VISION ASSIST DEVICE
US20160093273A1 (en) * 2014-09-30 2016-03-31 Samsung Electronics Co., Ltd. Dynamic vision sensor with shared pixels and time division multiplexing for higher spatial resolution and better linear separable data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014504401A (en) 2010-12-08 2014-02-20 コミシリア ア レネルジ アトミック エ オ エナジーズ オルタネティヴズ Electronic circuit with neuromorphic architecture
WO2018025116A1 (en) 2016-08-03 2018-02-08 Semiconductor Energy Laboratory Co., Ltd. Imaging device, imaging module, electronic device, and imaging system

Also Published As

Publication number Publication date
KR20200067334A (en) 2020-06-12

Similar Documents

Publication Publication Date Title
KR102178561B1 (en) Dynamic vision sensor simulating visual adaptation
Koch et al. Neuromorphic vision chips
Huang et al. 1000× faster camera and machine vision with ordinary devices
US20140266262A1 (en) High resolution fingerprint imaging device
US10628699B2 (en) Event-based image feature extraction
US11159173B2 (en) DAC circuit, solid-state imaging element, and electronic equipment
KR20200133210A (en) Method and apparatus for processing signals in event-based sensors
DE102016122831A1 (en) An imaging system, a distance measuring device, a method of operating the imaging system, and the distance measuring device
WO2020149173A1 (en) Light reception device and distance measurement device
US20140231623A1 (en) Low-mismatch and low-consumption transimpedance gain circuit for temporally differentiating photo-sensing systems in dynamic vision sensors
WO2018043941A1 (en) Distance measurement apparatus and operation method for distance measurement apparatus
Chebrolu et al. Deep learning based pedestrian detection at all light conditions
Różanowski et al. An infrared sensor for eye tracking in a harsh car environment
DE112021003421T5 (en) Pixels and methods of operating a pixel
KR950001384A (en) Exposure control circuit
EP2811453A1 (en) Visual cortical circuit apparatus, visual cortical imitation system and object search system using visual cortical circuit apparatus
KR102144361B1 (en) Retina neuron circuit
US20180276536A1 (en) Refractory circuit for integrated artificial neuron device
KR100447141B1 (en) A semiconductor fingerprint sensing device with shielding means
Brajovic et al. Temporal photoreception for adaptive dynamic range image sensing and encoding
EP0864224B1 (en) Imaging system
CN201503590U (en) Image target extraction and identification device used in complex scenes
KR102062666B1 (en) Input modulating adaptive neuron circuit
EP1239666A2 (en) Imaging system
JPH06265411A (en) Infrared image picking up method and its device

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant