JP6638852B1 - 撮像装置、撮像システム、撮像方法および撮像プログラム - Google Patents
撮像装置、撮像システム、撮像方法および撮像プログラム Download PDFInfo
- Publication number
- JP6638852B1 JP6638852B1 JP2019159151A JP2019159151A JP6638852B1 JP 6638852 B1 JP6638852 B1 JP 6638852B1 JP 2019159151 A JP2019159151 A JP 2019159151A JP 2019159151 A JP2019159151 A JP 2019159151A JP 6638852 B1 JP6638852 B1 JP 6638852B1
- Authority
- JP
- Japan
- Prior art keywords
- unit
- read
- recognition
- arbitration
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 294
- 238000012545 processing Methods 0.000 claims abstract description 845
- 238000000034 method Methods 0.000 claims abstract description 268
- 230000008569 process Effects 0.000 claims abstract description 235
- 238000001514 detection method Methods 0.000 claims description 72
- 238000012549 training Methods 0.000 claims description 5
- 230000010365 information processing Effects 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 abstract description 221
- 238000010586 diagram Methods 0.000 description 122
- 238000012986 modification Methods 0.000 description 86
- 230000004048 modification Effects 0.000 description 86
- 230000015654 memory Effects 0.000 description 65
- 238000009825 accumulation Methods 0.000 description 59
- 230000006870 function Effects 0.000 description 55
- 238000010801 machine learning Methods 0.000 description 44
- 238000013527 convolutional neural network Methods 0.000 description 37
- 230000000875 corresponding effect Effects 0.000 description 33
- 238000005096 rolling process Methods 0.000 description 30
- 238000004364 calculation method Methods 0.000 description 24
- 238000006243 chemical reaction Methods 0.000 description 23
- 230000004044 response Effects 0.000 description 19
- 238000013500 data storage Methods 0.000 description 17
- 239000004065 semiconductor Substances 0.000 description 15
- 230000033001 locomotion Effects 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 13
- 238000009792 diffusion process Methods 0.000 description 12
- 238000007667 floating Methods 0.000 description 12
- 238000000605 extraction Methods 0.000 description 11
- 230000007246 mechanism Effects 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 8
- 230000001276 controlling effect Effects 0.000 description 8
- 239000000047 product Substances 0.000 description 8
- 239000003990 capacitor Substances 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 238000012546 transfer Methods 0.000 description 7
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 238000005070 sampling Methods 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 5
- 101100243108 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) PDI1 gene Proteins 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 230000009191 jumping Effects 0.000 description 4
- 230000000306 recurrent effect Effects 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/096—Transfer learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/617—Upgrading or updating of programs or applications for camera control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/441—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading contiguous pixels from selected rows or columns of the array, e.g. interlaced scanning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/745—Circuitry for generating timing or clock signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Vascular Medicine (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Character Discrimination (AREA)
- Camera Bodies And Camera Details Or Accessories (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
Description
1.本開示の各実施形態に係る構成例
2.本開示に適用可能な既存技術の例
2−1.ローリングシャッタの概要
2−2.グローバルシャッタの概要
2−3.DNN(Deep Neural Network)について
2−3−1.CNN(Convolutional Neural Network)の概要
2−3−2.RNN(Recurrent Neural Network)の概要
2−4.駆動速度について
3.本開示の概要
4.第1の実施形態
4−1.認識処理部による動作例
4−2.認識処理部による動作の具体例
4−3.第1の実施形態の応用例
5.第2の実施形態
5−0−1.第2の実施形態に係る構成例
5−0−2.第2の実施形態に係る認識処理部における処理の例
5−0−3.第2の実施形態に係る認識処理の詳細
5−0−4.第2の実施形態に係る読み出しおよび認識処理の制御例
6.第3の実施形態
6−0.第3の実施形態の概要
6−0−1.時間によるトリガ信号出力の例
6−1.第3の実施形態の第1の変形例
6−2.第3の実施形態の第2の変形例
6−3.第3の実施形態の第3の変形例
7.第4の実施形態
7−1.第4の実施形態の第1の変形例
7−2.第4の実施形態の第2の変形例
8.第5の実施形態
8−0−1.調停処理の具体例
8−1.第5の実施形態の第1の変形例
8−2.第5の実施形態の第2の変形例
8−3.第5の実施形態の第3の変形例
9.第6の実施形態
本開示に係る撮像装置の構成について、概略的に説明する。図1は、本開示の各実施形態に適用可能な撮像装置の一例の構成を示すブロック図である。図1において、撮像装置1は、センサ部10と、センサ制御部11と、認識処理部12と、メモリ13と、視認処理部14と、出力制御部15と、を含み、これら各部がCMOS(Complementary Metal Oxide Semiconductor)を用いて一体的に形成されたCMOSイメージセンサ(CIS)である。なお、撮像装置1は、この例に限らず、赤外光による撮像を行う赤外光センサなど、他の種類の光センサであってもよい。
本開示に係る各実施形態の説明に先んじて、理解を容易とするために、本開示に適用可能な既存技術について、概略的に説明する。
画素アレイ部101による撮像を行う際の撮像方式として、ローリングシャッタ(RS)方式と、グローバルシャッタ(GS)方式とが知られている。まず、ローリングシャッタ方式について、概略的に説明する。図5A、図5Bおよび図5Cは、ローリングシャッタ方式を説明するための模式図である。ローリングシャッタ方式では、図5Aに示されるように、フレーム200の例えば上端のライン201からライン単位で順に撮像を行う。
次に、画素アレイ部101による撮像を行う際の撮像方式として、グローバルシャッタ(GS)方式について、概略的に説明する。図8A、図8Bおよび図8Cは、グローバルシャッタ方式を説明するための模式図である。グローバルシャッタ方式では、図8Aに示されるように、フレーム200に含まれる全画素回路100で同時に露出を行う。
次に、各実施形態に適用可能なDNN(Deep Neural Network)を用いた認識処理について、概略的に説明する。各実施形態では、DNNのうち、CNN(Convolutional Neural Network)と、RNN(Recurrent Neural Network)とを用いて画像データに対する認識処理を行う。以下、「画像データに対する認識処理」を、適宜、「画像認識処理」などと呼ぶ。
先ず、CNNについて、概略的に説明する。CNNによる画像認識処理は、一般的には、例えば行列状に配列された画素による画像情報に基づき画像認識処理を行う。図10は、CNNによる画像認識処理を概略的に説明するための図である。認識対象のオブジェクトである数字の「8」を描画した画像50の全体の画素情報51に対して、所定に学習されたCNN52による処理を施す。これにより、認識結果53として数字の「8」が認識される。
次に、RNNについて、概略的に説明する。図12Aおよび図12Bは、時系列の情報を用いない場合の、DNNによる識別処理(認識処理)の例を概略的に示す図である。この場合、図12Aに示されるように、1つの画像をDNNに入力する。DNNにおいて、入力された画像に対して識別処理が行われ、識別結果が出力される。
次に、フレームの駆動速度と、画素信号の読み出し量との関係について、図15Aおよび図15Bを用いて説明する。図15Aは、画像内の全ラインを読み出す例を示す図である。ここで、認識処理の対象となる画像の解像度が、水平640画素×垂直480画素(480ライン)であるものとする。この場合、14400[ライン/秒]の駆動速度で駆動することで、30[fps(frame per second)]での出力が可能となる。
以下、本開示の各実施形態について、より詳細に説明する。先ず、本開示の各実施形態に係る処理について、概略的に説明する。図16は、本開示の各実施形態に係る認識処理を概略的に説明するための模式図である。図16において、ステップS1で、各実施形態に係る撮像装置1(図1参照)により、認識対象となる対象画像の撮像を開始する。
次に、本開示の第1の実施形態について説明する。
第1の実施形態に係る撮像装置1において、認識処理部12は、上述したように、所定の教師データに基づき予め学習された学習モデルとしてメモリ13に記憶されるプログラムを読み出して実行することで、DNNを利用した認識器として機能する。
次に、図17を用いて説明した機械学習部の動作を、具体例を用いて説明する。なお、以下では、DNNを利用して顔検出を実行する場合を例示する。
次に、第1の実施形態の応用例について説明する。ここでは、第1の実施形態の応用例として、例えば図17のフローチャートのステップS124でのCNNによる機械学習処理の結果や、ステップS127でのRNNによる機械学習処理の結果に基づき、次に読み出しを行う所定ライン数における露出を制御する例について説明する。図20Aおよび図20Bは、第1の実施形態の応用例について説明するための模式図である。
(5−0−1.第2の実施形態に係る構成例)
次に、本開示の第2の実施形態について説明する。第2の実施形態は、上述した第1の実施形態による認識処理を拡張したものである。図21は、第2の実施形態に係る撮像装置の機能を説明するための一例の機能ブロック図である。なお、図21において、図1に示される光学部30、センサ部10、メモリ13および表示部31は、省略されている。また、図21において、図1の構成に対してトリガ生成部16が追加されている。
図22は、第2の実施形態に係る認識処理部12における処理の例について、より詳細に示す模式図である。ここでは、読出領域がラインとされ、読出部110が、画像60のフレーム上端から下端に向けて、ライン単位で画素データを読み出すものとする。読出部110にライン単位で読み出されたラインL#xのライン画像データ(ラインデータ)が特徴量計算部120に入力される。
次に、第2の実施形態についてより詳細に説明する。図23は、第2の実施形態に係る機能を説明するための一例の機能ブロック図である。第2の実施形態では、認識処理部12による認識処理が主となるので、図23では、上述した図21の構成に対して、視認処理部14、出力制御部15およびトリガ生成部16を省略している。また、図23では、センサ制御部11において、読出制御部111が省略されている。
次に、第2の実施形態に係る読み出しおよび認識処理の制御の例について説明する。図29Aおよび図29Bは、第2の実施形態に係る読み出しおよび認識処理の制御の例を示す一例のタイムチャートである。図29Aおよび図29Bの例では、1撮像周期(1フレーム周期)内に撮像動作を行わないブランク期間blkを設ける例である。図29Aおよび図29Bにおいて、右方向に時間が進行することを示している。
次に、本開示の第3の実施形態について説明する。第3の実施形態は、認識処理部12による認識結果と、視認処理部14による視認用の画像データと、の出力のタイミングを制御する例である。第3の実施形態では、図21を参照し、トリガ生成部16で生成されたトリガ信号に基づき、認識処理実行部124からの認識結果の出力と、画像処理部143からの画像データの出力と、を制御する。
図31は、第3の実施形態に係る出力制御処理の概要を説明するための一例のフローチャートである。図31のフローチャートによる処理は、読出単位の読み出し毎に実行される処理である。以下では、読出単位をラインとし、センサ制御部11は、センサ部10からライン単位で画素データを読み出すものとする。
図32は、第3の実施形態に係る出力制御処理の例を模式的に示す模式図である。ここでは、トリガ生成部16が時間に基づきトリガ信号を出力する場合について説明する。
次に、第3の実施形態の第1の変形例について説明する。第3の実施形態の第1の変形例は、トリガ信号を、センサ制御部11によりフレームから読み出された領域に応じて生成する例である。
次に、第3の実施形態の第2の変形例について説明する。第3の実施形態の第2の変形例は、トリガ信号を、認識処理実行部124による認識処理の結果の確からしさを示す認識確信度に応じて生成する例である。
次に、第4の実施形態について説明する。第4の実施形態は、認識処理部12による認識結果の出力と、視認処理部14による視認用の画像データの出力と、のズレに対応する例である。
次に、第4の実施形態の第1の変形例について説明する。上述した第4の実施形態では、認識結果と視認用の画像データとの時間的なズレを抑制しているが、この第4の実施形態の第1の変形例では、認識結果と視認用の画像データとの空間的なズレを抑制する。例えば、車載の用途などにより、撮像装置1が撮像中に高速に移動している場合、認識結果と視認用の画像データとの間に、空間的なズレ(例えばオブジェクトの2次元面内の位置ズレ)が発生する場合がある。また、高速で移動する動物体を撮像装置1で撮像した場合も、この動物体の画像データ内におけるオブジェクトにおいて、空間的なズレが発生する場合がある。第4の実施形態の第1の変形例では、このようなズレを、外部センサから取得する情報に基づき抑制する。
次に、第4の実施形態の第2の変形例について説明する。第4の実施形態の第2の変形例は、認識処理部12による認識処理の後に視認処理部14において行われる画素データの読み出しを高速に行い、認識結果の出力タイミングと、視認用の画像データの出力タイミングと、の差分を抑制する例である。
次に、第5の実施形態について説明する。第5の実施形態は、認識処理部12が読み出しを行う読出領域と、視認処理部14が読み出しを行う読出領域と、で調停を行う例である。例えば、認識処理部12と視認処理部14とのうち一方がライン間引きによりライン読み出しを行い、他方がライン順次で読み出しを行う場合、あるタイミングで認識処理部12と視認処理部14とで読み出しの対象とするラインが異なるものとなる。このような場合、認識処理部12と視認処理部14と間で読出領域の調停を行い、読出対象のラインを決定する。
次に、第5の実施形態に係る調停処理について、より具体的に説明する。図52は、第5の実施形態に適用可能な撮像装置1の機能を説明するための一例の機能ブロック図である。
次に、第5の実施形態の第1の変形例について説明する。第5の実施形態の第1の変形例は、調停制御部1110aが調停処理に用いる調停情報として、認識処理部12による認識結果を適用する例である。図55は、第5の実施形態の第1の変形例に適用可能な撮像装置1の機能を説明するための一例の機能ブロック図である。
次に、第5の実施形態の第2の変形例について説明する。第5の実施形態の第2の変形例は、調停制御部1110が調停処理に用いる調停情報として、視認処理部14から出力される視認用画像を適用する例である。図59は、第5の実施形態の第2の変形例に適用可能な撮像装置1の機能を説明するための一例の機能ブロック図である。
次に、第5の実施形態の第3の変形例について説明する。この第5の実施形態の第3の変形例は、調停制御部1110が調停処理に用いる調停情報として、外部から供給される外部制御情報を適用する例である。図62は、第5の実施形態の第3の変形例に適用可能な撮像装置1の機能を説明するための一例の機能ブロック図である。
次に、第6の実施形態として、本開示に係る、第1〜第5の実施形態および各変形例による撮像装置1の適用例について説明する。図64は、上述の第1〜第5の実施形態および各変形例による撮像装置1を使用する使用例を示す図である。
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置。
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置。
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置。
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置。
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置。
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置。
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置。
本開示に係る技術(本技術)は、様々な製品へ適用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボットといった各種の移動体に搭載される装置に対して適用されてもよい。
(1)
複数の画素が配列された画素領域を有し、該画素領域に含まれる画素から画素信号を読み出して出力する撮像部と、
前記画素領域の一部として設定される読出単位を制御する読出単位制御部と、
前記読出単位毎の教師データを学習した認識処理のために前記画素領域から前記画素信号を読み出す第1の読出単位を設定する、第1の読出単位設定部と、
後段に出力するために前記画素領域から前記画素信号を読み出す第2の読出単位を設定する第2の読出単位設定部と、
前記第1の読出単位と前記第2の読出単位とで調停を行う調停部と、
を備え、
前記読出単位制御部は、
前記調停部による調停により、前記読出単位を設定する、
撮像装置。
(2)
前記調停部は、
前記第1の読出単位と前記第2の読出単位との論理積により、前記調停を行う、
前記(1)に記載の撮像装置。
(3)
前記調停部は、
前記認識処理の結果に基づき前記調停を行う、
前記(1)に記載の撮像装置。
(4)
前記調停部は、
前記認識処理の結果が動物体の認識を示している場合、前記第2の読出領域を選択する、
前記(3)に記載の撮像装置。
(5)
前記調停部は、
前記認識処理の結果が閾値以下の認識確信度を示している場合に、前記第2の読出単位を選択する、
前記(3)または(4)に記載の撮像装置。
(6)
前記調停部は、
前記第2の読出単位から読み出された前記画素信号に基づき前記調停を行う、
前記(1)に記載の撮像装置。
(7)
前記調停部は、
前記画素信号に基づく輝度が閾値を超える場合に、前記第2の読出単位を選択する、
前記(6)に記載の撮像装置。
(8)
前記調停部は、
当該撮像装置の外部から供給される外部情報に基づき前記調停を行う、
前記(1)乃至(7)の何れかに記載の撮像装置。
(9)
前記調停部は、
前記外部から供給される動作モードに応じて前記調停を行う、
前記(8)に記載の撮像装置。
(10)
前記調停部は、
前記外部から供給される他のセンサ装置の検知出力に応じて前記調停を行う、
前記(8)または(9)に記載の撮像装置。
(11)
複数の画素が配列された画素領域を有し、該画素領域に含まれる画素から画素信号を読み出して出力する撮像部と、
前記画素領域の一部として設定される読出単位を制御する読出単位制御部と、
前記読出単位毎の教師データを学習した認識処理のために前記画素領域から前記画素信号を読み出す第1の読出単位を設定する、第1の読出単位設定部と、
後段に出力するために前記画素領域から前記画素信号を読み出す第2の読出単位を設定する第2の読出単位設定部と、
前記第1の読出単位と前記第2の読出単位とで調停を行う調停部と、
を備える撮像装置と、
前記認識処理を実行する認識部、
を備える情報処理装置と、
を含み、
前記読出単位制御部は、
前記調停部による調停により、前記読出単位を設定する、
撮像システム。
(12)
プロセッサにより実行される、
撮像部が有する、複数の画素が配列された画素領域の一部として設定される読出単位を制御する読出単位制御ステップと、
前記読出単位毎の教師データを学習した認識処理のために前記画素領域に含まれる画素から画素信号を読み出す第1の読出単位を設定する、第1の読出単位設定ステップと、
後段に出力するために前記画素領域から前記画素信号を読み出す第2の読出単位を設定する第2の読出単位設定ステップと、
前記第1の読出単位と前記第2の読出単位とで調停を行う調停ステップと、
を含み、
前記読出単位制御ステップは、
前記調停ステップによる調停により、前記読出単位を設定する、
撮像方法。
(13)
撮像部が有する、複数の画素が配列された画素領域の一部として設定される読出単位を制御する読出単位制御ステップと、
前記読出単位毎の教師データを学習した認識処理のために前記画素領域に含まれる画素から画素信号を読み出す第1の読出単位を設定する、第1の読出単位設定ステップと、
後段に出力するために前記画素領域から前記画素信号を読み出す第2の読出単位を設定する第2の読出単位設定ステップと、
前記第1の読出単位と前記第2の読出単位とで調停を行う調停ステップと、
をプロセッサに実行させ、
前記読出単位制御ステップは、
前記調停ステップによる調停により、前記読出単位を設定する、
るための撮像プログラム。
(14)
画像データを生成する撮像部と、
前記撮像部から読み出された単位領域ごとの画像データに対して学習モデルを用いた機械学習処理を実行する機械学習部と、
前記機械学習処理の結果に基づいて、所定の機能を実行する機能実行部と、
を備える電子機器。
(15)
前記機械学習部は、同一フレームの画像データにおける最初に入力された単位領域の画像データに対してCNN(Convolution Neural Network)を利用した機械学習処理を実行する前記(14)に記載の電子機器。
(16)
前記機械学習部は、前記最初に入力された単位領域の画像データに対する前記CNNを利用した機械学習処理に失敗した場合、前記同一フレームの画像データにおける次に入力された単位領域の画像データに対してRNN(Recurrent Neural Network)を利用した機械学習処理を実行する前記(15)に記載の電子機器。
(17)
前記撮像部からライン単位で画像データを読み出すコントロール部をさらに備え、
前記機械学習部には、前記ライン単位で前記画像データが入力される
前記(14)乃至(16)の何れかに記載の電子機器。
(18)
前記単位領域の画像データは、所定ライン数の画像データである前記(1)乃至(17)の何れかに記載の電子機器。
(19)
前記単位領域の画像データは、矩形領域の画像データである前記(14)乃至(17)の何れかに記載の電子機器。
(20)
前記学習モデルのプログラムを記録するメモリをさらに備え、
前記機械学習部は、前記メモリから前記プログラムを読み出して実行することで、前記機械学習処理を実行する
前記(14)乃至(19)の何れかに記載の電子機器。
10 センサ部
11 センサ制御部
12 認識処理部
14 視認処理部
110 読出部
111 読出制御部
120 特徴量計算部
121 特徴量蓄積制御部
122 特徴量蓄積部
123 読出決定部
124 認識処理実行部
140 画像データ蓄積制御部
141 画像データ蓄積部
143 画像処理部
Claims (14)
- 複数の画素が配列された画素領域を有し、該画素領域に含まれる画素から画素信号を読み出して出力する撮像部と、
前記画素領域の一部として画素信号を読み出す読出単位を制御する読出単位制御部と、
前記読出単位に応じた教師データを学習した認識部による認識処理のために前記画素領域から前記画素信号の読み出しを行う前記読出単位の候補である第1の読出単位候補を設定する、第1の読出単位候補設定部と、
画像データを生成するために前記画素領域から前記画素信号の読み出しを行う前記読出単位の候補である第2の読出単位候補を設定する第2の読出単位候補設定部と、
前記第1の読出単位候補と前記第2の読出単位候補とで調停を行う調停部と、
を備え、
前記読出単位制御部は、
前記調停部による調停により、前記読出単位を設定する、
撮像装置。 - 前記調停部は、
前記第1の読出単位候補と前記第2の読出単位候補との論理積により、前記調停を行う、
請求項1に記載の撮像装置。 - 前記調停部は、
前記第1の読出単位候補と前記第2の読出単位候補との論理積が空集合の場合、前記第1の読出単位候補と前記第2の読出単位候補とのうち何れか一方を優先するように、前記調停を行う、
請求項2に記載の撮像装置。 - 前記調停部は、
前記認識処理の結果に基づき前記調停を行う、
請求項1に記載の撮像装置。 - 前記調停部は、
前記認識処理の結果が動物体の認識を示している場合、前記第2の読出単位候補から読出単位を選択する、
請求項4に記載の撮像装置。 - 前記調停部は、
前記認識処理の結果が閾値以下の認識確信度を示している場合に、前記第2の読出単位候補から読出単位を選択する、
請求項4に記載の撮像装置。 - 前記調停部は、
前記第2の読出単位候補から選択され読み出された前記画素信号に基づき前記調停を行う、
請求項1に記載の撮像装置。 - 前記調停部は、
前記画素信号に基づく輝度が閾値を超える場合に、前記第2の読出単位候補から読出単位を選択する、
請求項7に記載の撮像装置。 - 前記調停部は、
当該撮像装置の外部から供給される外部情報に基づき前記調停を行う、
請求項1に記載の撮像装置。 - 前記調停部は、
前記外部から供給される動作モードに応じて前記調停を行う、
請求項9に記載の撮像装置。 - 前記調停部は、
前記外部から供給される他のセンサ装置の検知出力に応じて前記調停を行う、
請求項9に記載の撮像装置。 - 複数の画素が配列された画素領域を有し、該画素領域に含まれる画素から画素信号を読み出して出力する撮像部と、
前記画素領域の一部として画素信号を読み出す読出単位を制御する読出単位制御部と、
前記読出単位に応じた教師データを学習した認識部による認識処理のために前記画素領域から前記画素信号の読み出しを行う前記読出単位の候補である第1の読出単位候補を設定する、第1の読出単位候補設定部と、
画像データを生成するために前記画素領域から前記画素信号の読み出しを行う前記読出単位の候補である第2の読出単位候補を設定する第2の読出単位候補設定部と、
前記第1の読出単位候補と前記第2の読出単位候補とで調停を行う調停部と、
を備える撮像装置と、
前記認識部、
を備える情報処理装置と、
を含み、
前記読出単位制御部は、
前記調停部による調停により、前記読出単位を設定する、
撮像システム。 - プロセッサにより実行される、
撮像部が有する、複数の画素が配列された画素領域の一部として画素信号を読み出す読出単位を制御する読出単位制御ステップと、
前記読出単位に応じた教師データを学習した認識部による認識処理のために前記画素領域から前記画素信号の読み出しを行う前記読出単位の候補である第1の読出単位候補を設定する、第1の読出単位候補設定ステップと、
画像データを生成するために前記画素領域から前記画素信号の読み出しを行う前記読出単位の候補である第2の読出単位候補を設定する第2の読出単位候補設定ステップと、
前記第1の読出単位候補と前記第2の読出単位候補とで調停を行う調停ステップと、
を含み、
前記読出単位制御ステップは、
前記調停ステップによる調停により、前記読出単位を設定する、
撮像方法。 - 撮像部が有する、複数の画素が配列された画素領域の一部として画素信号を読み出す読出単位を制御する読出単位制御ステップと、
前記読出単位毎の教師データを学習した認識部による認識処理のために前記画素領域から前記画素信号の読み出しを行う前記読出単位の候補である第1の読出単位候補を設定する、第1の読出単位候補設定ステップと、
画像データを生成するために前記画素領域から前記画素信号の読み出しを行う前記読出単位の候補である第2の読出単位候補を設定する第2の読出単位候補設定ステップと、
前記第1の読出単位候補と前記第2の読出単位候補とで調停を行う調停ステップと、
をプロセッサに実行させ、
前記読出単位制御ステップは、
前記調停ステップによる調停により、前記読出単位を設定する、
ための撮像プログラム。
Priority Applications (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201980054962.6A CN112585948A (zh) | 2018-08-31 | 2019-09-02 | 成像设备、成像***、成像方法和成像程序 |
BR112021003119-7A BR112021003119A2 (pt) | 2018-08-31 | 2019-09-02 | aparelho, sistema, método, e, programa de formação de imagem |
KR1020217004989A KR20210052446A (ko) | 2018-08-31 | 2019-09-02 | 촬상 장치, 촬상 시스템, 촬상 방법 및 촬상 프로그램 |
US17/267,500 US11763554B2 (en) | 2018-08-31 | 2019-09-02 | Imaging apparatus, imaging system, imaging method, and imaging program |
EP19854640.0A EP3846443A4 (en) | 2018-08-31 | 2019-09-02 | IMAGE CAPTURE DEVICE, IMAGE CAPTURE SYSTEM, IMAGE CAPTURE PROCESS AND IMAGE CAPTURE PROGRAM |
PCT/JP2019/034499 WO2020045684A1 (ja) | 2018-08-31 | 2019-09-02 | 撮像装置、撮像システム、撮像方法および撮像プログラム |
JP2019237377A JP7424051B2 (ja) | 2018-08-31 | 2019-12-26 | 固体撮像素子、撮像装置、撮像方法および撮像プログラム |
US18/451,144 US20230394813A1 (en) | 2018-08-31 | 2023-08-17 | Imaging apparatus, imaging system, imaging method, and imaging program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018163700 | 2018-08-31 | ||
JP2018163700 | 2018-08-31 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019237377A Division JP7424051B2 (ja) | 2018-08-31 | 2019-12-26 | 固体撮像素子、撮像装置、撮像方法および撮像プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6638852B1 true JP6638852B1 (ja) | 2020-01-29 |
JP2020039126A JP2020039126A (ja) | 2020-03-12 |
Family
ID=69166772
Family Applications (9)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019159133A Active JP6635222B1 (ja) | 2018-08-31 | 2019-08-30 | 撮像装置、撮像システム、撮像方法および撮像プログラム |
JP2019159150A Active JP6638851B1 (ja) | 2018-08-31 | 2019-08-30 | 撮像装置、撮像システム、撮像方法および撮像プログラム |
JP2019159132A Active JP6635221B1 (ja) | 2018-08-31 | 2019-08-30 | 撮像装置、撮像システム、撮像方法および撮像プログラム |
JP2019159151A Active JP6638852B1 (ja) | 2018-08-31 | 2019-08-30 | 撮像装置、撮像システム、撮像方法および撮像プログラム |
JP2019229256A Active JP7424034B2 (ja) | 2018-08-31 | 2019-12-19 | 固体撮像素子、撮像装置および認識処理方法 |
JP2019229257A Active JP7500962B2 (ja) | 2018-08-31 | 2019-12-19 | 固体撮像素子、撮像装置、撮像方法および撮像プログラム |
JP2019229783A Active JP7380180B2 (ja) | 2018-08-31 | 2019-12-19 | 固体撮像素子、撮像装置、撮像方法および撮像プログラム |
JP2019237377A Active JP7424051B2 (ja) | 2018-08-31 | 2019-12-26 | 固体撮像素子、撮像装置、撮像方法および撮像プログラム |
JP2024006216A Pending JP2024028531A (ja) | 2018-08-31 | 2024-01-18 | 情報処理装置、固体撮像素子および情報処理方法 |
Family Applications Before (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019159133A Active JP6635222B1 (ja) | 2018-08-31 | 2019-08-30 | 撮像装置、撮像システム、撮像方法および撮像プログラム |
JP2019159150A Active JP6638851B1 (ja) | 2018-08-31 | 2019-08-30 | 撮像装置、撮像システム、撮像方法および撮像プログラム |
JP2019159132A Active JP6635221B1 (ja) | 2018-08-31 | 2019-08-30 | 撮像装置、撮像システム、撮像方法および撮像プログラム |
Family Applications After (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019229256A Active JP7424034B2 (ja) | 2018-08-31 | 2019-12-19 | 固体撮像素子、撮像装置および認識処理方法 |
JP2019229257A Active JP7500962B2 (ja) | 2018-08-31 | 2019-12-19 | 固体撮像素子、撮像装置、撮像方法および撮像プログラム |
JP2019229783A Active JP7380180B2 (ja) | 2018-08-31 | 2019-12-19 | 固体撮像素子、撮像装置、撮像方法および撮像プログラム |
JP2019237377A Active JP7424051B2 (ja) | 2018-08-31 | 2019-12-26 | 固体撮像素子、撮像装置、撮像方法および撮像プログラム |
JP2024006216A Pending JP2024028531A (ja) | 2018-08-31 | 2024-01-18 | 情報処理装置、固体撮像素子および情報処理方法 |
Country Status (7)
Country | Link |
---|---|
US (7) | US11704904B2 (ja) |
EP (4) | EP3846446A4 (ja) |
JP (9) | JP6635222B1 (ja) |
KR (4) | KR20210052444A (ja) |
CN (4) | CN112567728B (ja) |
BR (4) | BR112021003084A2 (ja) |
WO (4) | WO2020045684A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023090036A1 (ja) | 2021-11-22 | 2023-05-25 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置、情報処理方法、プログラム |
EP4131156A4 (en) * | 2020-03-31 | 2023-06-28 | Sony Group Corporation | Information processing device, information processing method, and information processing program |
Families Citing this family (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7076972B2 (ja) * | 2017-09-29 | 2022-05-30 | キヤノン株式会社 | 撮像素子及び撮像装置 |
US12034015B2 (en) | 2018-05-25 | 2024-07-09 | Meta Platforms Technologies, Llc | Programmable pixel array |
JP6635222B1 (ja) * | 2018-08-31 | 2020-01-22 | ソニー株式会社 | 撮像装置、撮像システム、撮像方法および撮像プログラム |
US11962928B2 (en) | 2018-12-17 | 2024-04-16 | Meta Platforms Technologies, Llc | Programmable pixel array |
US11888002B2 (en) | 2018-12-17 | 2024-01-30 | Meta Platforms Technologies, Llc | Dynamically programmable image sensor |
US11935291B2 (en) | 2019-10-30 | 2024-03-19 | Meta Platforms Technologies, Llc | Distributed sensor system |
US11948089B2 (en) | 2019-11-07 | 2024-04-02 | Meta Platforms Technologies, Llc | Sparse image sensing and processing |
US11125575B2 (en) * | 2019-11-20 | 2021-09-21 | Here Global B.V. | Method and apparatus for estimating a location of a vehicle |
JP7492345B2 (ja) | 2020-02-27 | 2024-05-29 | キヤノン株式会社 | 撮像素子及びその制御方法、及び、撮像装置及びその制御方法 |
CN115280759A (zh) * | 2020-03-19 | 2022-11-01 | 索尼半导体解决方案公司 | 固态成像装置 |
JPWO2021192714A1 (ja) * | 2020-03-24 | 2021-09-30 | ||
CN111510650B (zh) * | 2020-04-26 | 2021-06-04 | 豪威芯仑传感器(上海)有限公司 | 一种图像传感器 |
US11825228B2 (en) | 2020-05-20 | 2023-11-21 | Meta Platforms Technologies, Llc | Programmable pixel array having multiple power domains |
US20230171510A1 (en) * | 2020-07-15 | 2023-06-01 | Arriver Software Ab | Vision system for a motor vehicle |
DE112021003848T5 (de) * | 2020-07-20 | 2023-05-11 | Sony Group Corporation | Informationsverarbeitungseinrichtung, informationsverarbeitungssystem,informationsverarbeitungsverfahren und informationsverarbeitungsprogram |
KR20220028928A (ko) * | 2020-08-31 | 2022-03-08 | 삼성전자주식회사 | 부분 영상 기반의 영상 처리 방법 및 장치 |
KR20220105292A (ko) * | 2021-01-20 | 2022-07-27 | 에스케이하이닉스 주식회사 | 이미지 센싱 장치 및 그의 동작 방법 |
JPWO2022163130A1 (ja) * | 2021-01-29 | 2022-08-04 | ||
JP2022119379A (ja) * | 2021-02-04 | 2022-08-17 | キヤノン株式会社 | 光電変換装置 |
KR20220156327A (ko) * | 2021-05-18 | 2022-11-25 | 삼성전자주식회사 | 비전 센서 및 이의 동작 방법 |
JP2022186333A (ja) * | 2021-06-04 | 2022-12-15 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、撮像方法および撮像プログラム |
WO2022270000A1 (ja) * | 2021-06-25 | 2022-12-29 | ソニーグループ株式会社 | 制御装置、制御方法、およびプログラム |
CN113344778B (zh) * | 2021-08-05 | 2021-11-05 | 成都市谛视科技有限公司 | 一种成像控制方法、装置、设备及计算机可读存储介质 |
CN118044216A (zh) * | 2021-09-27 | 2024-05-14 | 富士胶片株式会社 | 图像生成方法、处理器及程序 |
US20230133057A1 (en) * | 2021-10-29 | 2023-05-04 | Keysight Technologies, Inc. | System and method for configuring network elements in a design network topology |
WO2023127615A1 (ja) * | 2021-12-28 | 2023-07-06 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム |
WO2023127612A1 (ja) * | 2021-12-28 | 2023-07-06 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム |
WO2023127614A1 (ja) * | 2021-12-28 | 2023-07-06 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム |
WO2023127653A1 (ja) * | 2021-12-28 | 2023-07-06 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム |
WO2023149188A1 (ja) | 2022-02-02 | 2023-08-10 | ソニーグループ株式会社 | 信号処理装置および方法、並びにプログラム |
JP2023141906A (ja) * | 2022-03-24 | 2023-10-05 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、撮像方法および撮像プログラム |
WO2023189080A1 (ja) * | 2022-03-30 | 2023-10-05 | ソニーグループ株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
JP2024090345A (ja) * | 2022-12-23 | 2024-07-04 | ソニーセミコンダクタソリューションズ株式会社 | 光検出装置、および、光検出装置の制御方法 |
Family Cites Families (78)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0193875A (ja) * | 1987-10-05 | 1989-04-12 | Mitsubishi Heavy Ind Ltd | 文字認識装置 |
JP2910534B2 (ja) | 1993-11-18 | 1999-06-23 | ノーリツ鋼機株式会社 | 写真フィルム用コード情報読取装置 |
JPH09138802A (ja) * | 1995-11-15 | 1997-05-27 | Hitachi Ltd | 文字認識翻訳システム |
US6252975B1 (en) | 1998-12-17 | 2001-06-26 | Xerox Corporation | Method and system for real time feature based motion analysis for key frame selection from a video |
US7106374B1 (en) * | 1999-04-05 | 2006-09-12 | Amherst Systems, Inc. | Dynamically reconfigurable vision system |
US6839452B1 (en) * | 1999-11-23 | 2005-01-04 | California Institute Of Technology | Dynamically re-configurable CMOS imagers for an active vision system |
DE60237553D1 (de) | 2001-01-22 | 2010-10-14 | Hand Held Prod Inc | Optisches Lesegerät mit Partial-Frame-Betriebsmodus |
US20040028137A1 (en) * | 2002-06-19 | 2004-02-12 | Jeremy Wyn-Harris | Motion detection camera |
JP4130180B2 (ja) | 2004-05-26 | 2008-08-06 | 株式会社リコー | 画像読取装置、画像形成装置及び画像読取方法 |
JP4546157B2 (ja) * | 2004-06-03 | 2010-09-15 | キヤノン株式会社 | 情報処理方法、情報処理装置、撮像装置 |
JP4830270B2 (ja) * | 2004-06-14 | 2011-12-07 | ソニー株式会社 | 固体撮像装置および固体撮像装置の信号処理方法 |
JP4934326B2 (ja) * | 2005-09-29 | 2012-05-16 | 富士フイルム株式会社 | 画像処理装置およびその処理方法 |
JP2007201660A (ja) | 2006-01-25 | 2007-08-09 | Fuji Xerox Co Ltd | 画像処理装置、画像形成装置、画像処理方法及びプログラム |
JPWO2007119818A1 (ja) | 2006-04-14 | 2009-08-27 | 日本電気株式会社 | 機能ロック解除システム、機能ロック解除方法、および機能ロック解除用プログラム |
JP5150067B2 (ja) * | 2006-07-05 | 2013-02-20 | パナソニック株式会社 | 監視システム、監視装置及び監視方法 |
JP2008015860A (ja) * | 2006-07-07 | 2008-01-24 | Matsushita Electric Ind Co Ltd | 画像認識カメラ |
KR100846498B1 (ko) * | 2006-10-18 | 2008-07-17 | 삼성전자주식회사 | 영상 해석 방법 및 장치, 및 동영상 영역 분할 시스템 |
JP4362537B2 (ja) | 2007-06-06 | 2009-11-11 | シャープ株式会社 | 画像処理装置、画像形成装置、画像送信装置、画像読取装置、画像処理システム、画像処理方法、画像処理プログラムおよびその記録媒体 |
EP2259924B1 (en) * | 2008-03-27 | 2014-01-01 | Pressline Services, Inc | A method of operating a printing press |
JP5288915B2 (ja) | 2008-07-08 | 2013-09-11 | キヤノン株式会社 | 文字認識装置、文字認識方法、コンピュータプログラム、記憶媒体 |
JP5279517B2 (ja) * | 2009-01-09 | 2013-09-04 | キヤノン株式会社 | 物体検知装置及び物体検知方法 |
US8179466B2 (en) * | 2009-03-11 | 2012-05-15 | Eastman Kodak Company | Capture of video with motion-speed determination and variable capture rate |
US8218068B2 (en) | 2009-04-01 | 2012-07-10 | Omnivision Technologies, Inc. | Exposing pixel groups in producing digital images |
KR20110056616A (ko) * | 2009-11-23 | 2011-05-31 | 한국전자통신연구원 | 객체 검출 유닛 및 이를 이용한 데이터 전송 방법 |
JP5505007B2 (ja) | 2010-03-18 | 2014-05-28 | 富士通株式会社 | 画像処理装置、画像処理方法及び画像処理用コンピュータプログラム |
GB2478911B (en) * | 2010-03-22 | 2014-01-08 | Timocco Ltd | Object locating and tracking in video frames using smoothness check along specified line sections |
JP5761601B2 (ja) | 2010-07-01 | 2015-08-12 | 株式会社リコー | 物体識別装置 |
JP5220828B2 (ja) | 2010-11-11 | 2013-06-26 | シャープ株式会社 | 画像処理装置、画像形成装置、画像読取装置、画像処理方法、プログラム及び記録媒体 |
JP5691736B2 (ja) | 2011-03-29 | 2015-04-01 | ブラザー工業株式会社 | 読取装置 |
JP5979967B2 (ja) | 2011-06-30 | 2016-08-31 | キヤノン株式会社 | 被写体検出機能を備えた撮像装置、撮像装置の制御方法、及び、プログラム |
JP5866826B2 (ja) * | 2011-06-30 | 2016-02-24 | 株式会社ニコン | 撮像装置 |
JP5839872B2 (ja) * | 2011-07-19 | 2016-01-06 | オリンパス株式会社 | 固体撮像装置、撮像装置、および信号読み出し方法 |
JP5879831B2 (ja) * | 2011-09-02 | 2016-03-08 | 株式会社ニコン | 電子カメラおよび画像処理プログラム |
RU2018109081A (ru) * | 2012-05-02 | 2019-02-26 | Никон Корпорейшн | Устройство формирования изображений |
JP5909147B2 (ja) | 2012-05-08 | 2016-04-26 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法、およびプログラム |
JP5955170B2 (ja) * | 2012-09-06 | 2016-07-20 | キヤノン株式会社 | 表示制御装置、表示制御方法、及びプログラム |
US9294703B2 (en) * | 2012-12-03 | 2016-03-22 | Samsung Electronics Co., Ltd. | Image sensor including data transmission circuit having split bus segments |
JP2014139732A (ja) | 2013-01-21 | 2014-07-31 | Sony Corp | 画像処理装置、画像処理方法、プログラムおよび表示装置 |
CN103077407B (zh) | 2013-01-21 | 2017-05-17 | 信帧电子技术(北京)有限公司 | 车标定位识别方法及*** |
US9894294B2 (en) | 2013-01-25 | 2018-02-13 | Innovaciones Microelectrónicas S.L. (Anafocus) | Automatic region of interest function for image sensors |
JP6155786B2 (ja) | 2013-04-15 | 2017-07-05 | オムロン株式会社 | ジェスチャ認識装置、ジェスチャ認識方法、電子機器、制御プログラムおよび記録媒体 |
CN103716661A (zh) | 2013-12-16 | 2014-04-09 | 乐视致新电子科技(天津)有限公司 | 一种视频打分上报方法及装置 |
JP6350863B2 (ja) * | 2013-12-20 | 2018-07-04 | ソニー株式会社 | 撮像素子、撮像装置、および電子装置 |
JP6289184B2 (ja) * | 2014-03-14 | 2018-03-07 | オリンパス株式会社 | 画像認識装置および画像認識方法 |
JP6338436B2 (ja) * | 2014-04-25 | 2018-06-06 | キヤノン株式会社 | 撮像装置及びその制御方法 |
KR102192088B1 (ko) * | 2014-07-18 | 2020-12-16 | 삼성전자주식회사 | 인지센서 및 이의 구동방법 |
JP2016061797A (ja) * | 2014-09-12 | 2016-04-25 | キヤノン株式会社 | 焦点調節装置及びその制御方法 |
JP6168022B2 (ja) * | 2014-09-30 | 2017-07-26 | 株式会社デンソー | 画像認識装置 |
US10175345B2 (en) * | 2014-10-17 | 2019-01-08 | Voxtel, Inc. | Event tracking imager |
US9684830B2 (en) * | 2014-11-14 | 2017-06-20 | Intel Corporation | Automatic target selection for multi-target object tracking |
US9418319B2 (en) | 2014-11-21 | 2016-08-16 | Adobe Systems Incorporated | Object detection using cascaded convolutional neural networks |
US10045726B2 (en) * | 2015-06-14 | 2018-08-14 | Facense Ltd. | Selecting a stressor based on thermal measurements of the face |
WO2017010316A1 (ja) * | 2015-07-16 | 2017-01-19 | ソニー株式会社 | 撮像装置、および情報処理システム |
CN105373785B (zh) | 2015-11-30 | 2019-08-02 | 北京地平线机器人技术研发有限公司 | 基于深度神经网络的手势识别检测方法与装置 |
JP6762710B2 (ja) * | 2015-12-14 | 2020-09-30 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP2017112409A (ja) | 2015-12-14 | 2017-06-22 | ソニー株式会社 | 撮像装置および方法 |
US9773196B2 (en) | 2016-01-25 | 2017-09-26 | Adobe Systems Incorporated | Utilizing deep learning for automatic digital image segmentation and stylization |
JP7058933B2 (ja) | 2016-05-09 | 2022-04-25 | 株式会社ニコン | 撮像素子及びこれを用いた撮像装置 |
JP2017207650A (ja) * | 2016-05-19 | 2017-11-24 | キヤノン株式会社 | レンズ装置 |
JP2017228975A (ja) * | 2016-06-23 | 2017-12-28 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置、画像処理方法、イメージセンサ、情報処理装置、並びにプログラム |
JP2018005520A (ja) * | 2016-06-30 | 2018-01-11 | クラリオン株式会社 | 物体検出装置及び物体検出方法 |
JP2018022935A (ja) | 2016-08-01 | 2018-02-08 | ソニー株式会社 | 撮像装置、および、撮像装置の制御方法 |
CN113271400B (zh) | 2016-09-16 | 2023-12-19 | 索尼半导体解决方案公司 | 成像装置和电子设备 |
JP2018081545A (ja) | 2016-11-17 | 2018-05-24 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 画像データ抽出装置及び画像データ抽出方法 |
JP6787102B2 (ja) * | 2016-12-14 | 2020-11-18 | 株式会社デンソー | 物体検出装置、物体検出方法 |
TWI754696B (zh) | 2016-12-14 | 2022-02-11 | 日商索尼半導體解決方案公司 | 固體攝像元件及電子機器 |
JP2018117309A (ja) * | 2017-01-20 | 2018-07-26 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、画像処理方法および画像処理システム |
JP6780537B2 (ja) * | 2017-02-22 | 2020-11-04 | オムロン株式会社 | 光学センサ、学習装置、及び画像処理システム |
US10380853B1 (en) * | 2017-05-22 | 2019-08-13 | Amazon Technologies, Inc. | Presence detection and detection localization |
AU2017279806B2 (en) * | 2017-05-29 | 2023-10-12 | Saltor Pty Ltd | Method and system for abnormality detection |
CN107563168A (zh) | 2017-09-05 | 2018-01-09 | 广东欧珀移动通信有限公司 | 移动终端的解锁方法、装置及移动终端 |
CN107944351B (zh) | 2017-11-07 | 2020-08-04 | 深圳市易成自动驾驶技术有限公司 | 图像识别方法、装置及计算机可读存储介质 |
JP7091635B2 (ja) * | 2017-11-15 | 2022-06-28 | 大日本印刷株式会社 | 対象物検出器、画像解析装置、対象物検出方法、画像解析方法、プログラム、及び、学習データ |
KR102661596B1 (ko) * | 2018-08-08 | 2024-04-29 | 삼성전자주식회사 | 이미지에 대한 인식 정보, 인식 정보와 관련된 유사 인식 정보, 및 계층 정보를 이용하여 외부 객체에 대한 인식 결과를 제공하는 전자 장치 및 그의 동작 방법 |
JP6635222B1 (ja) * | 2018-08-31 | 2020-01-22 | ソニー株式会社 | 撮像装置、撮像システム、撮像方法および撮像プログラム |
TWI820194B (zh) * | 2018-08-31 | 2023-11-01 | 日商索尼半導體解決方案公司 | 電子機器及固體攝像裝置 |
JPWO2020049958A1 (ja) * | 2018-09-06 | 2021-08-12 | ソニーグループ株式会社 | 情報処理システム、情報処理方法、端末装置および情報処理装置 |
US11290640B2 (en) * | 2020-06-10 | 2022-03-29 | Samsung Electronics Co., Ltd. | Electronic device and controlling method of electronic device |
-
2019
- 2019-08-30 JP JP2019159133A patent/JP6635222B1/ja active Active
- 2019-08-30 JP JP2019159150A patent/JP6638851B1/ja active Active
- 2019-08-30 JP JP2019159132A patent/JP6635221B1/ja active Active
- 2019-08-30 JP JP2019159151A patent/JP6638852B1/ja active Active
- 2019-09-02 US US17/269,544 patent/US11704904B2/en active Active
- 2019-09-02 KR KR1020217004864A patent/KR20210052444A/ko active Search and Examination
- 2019-09-02 KR KR1020217004871A patent/KR20210053883A/ko active Search and Examination
- 2019-09-02 KR KR1020217004989A patent/KR20210052446A/ko unknown
- 2019-09-02 KR KR1020217004985A patent/KR20210053884A/ko unknown
- 2019-09-02 EP EP19855709.2A patent/EP3846446A4/en active Pending
- 2019-09-02 WO PCT/JP2019/034499 patent/WO2020045684A1/ja unknown
- 2019-09-02 CN CN201980054043.9A patent/CN112567728B/zh active Active
- 2019-09-02 BR BR112021003084-0A patent/BR112021003084A2/pt unknown
- 2019-09-02 BR BR112021003115-4A patent/BR112021003115A2/pt unknown
- 2019-09-02 CN CN201980054531.XA patent/CN112585943B/zh active Active
- 2019-09-02 BR BR112021003119-7A patent/BR112021003119A2/pt unknown
- 2019-09-02 US US17/267,502 patent/US11741700B2/en active Active
- 2019-09-02 WO PCT/JP2019/034500 patent/WO2020045685A1/ja unknown
- 2019-09-02 BR BR112021003183-9A patent/BR112021003183A2/pt unknown
- 2019-09-02 EP EP19854640.0A patent/EP3846443A4/en active Pending
- 2019-09-02 WO PCT/JP2019/034496 patent/WO2020045682A1/ja unknown
- 2019-09-02 WO PCT/JP2019/034501 patent/WO2020045686A1/ja unknown
- 2019-09-02 CN CN201980054977.2A patent/CN112585531B/zh active Active
- 2019-09-02 CN CN201980054962.6A patent/CN112585948A/zh active Pending
- 2019-09-02 US US17/267,500 patent/US11763554B2/en active Active
- 2019-09-02 US US17/269,543 patent/US11595608B2/en active Active
- 2019-09-02 EP EP19854945.3A patent/EP3846444A4/en active Pending
- 2019-09-02 EP EP19853677.3A patent/EP3846441A4/en active Pending
- 2019-12-19 JP JP2019229256A patent/JP7424034B2/ja active Active
- 2019-12-19 JP JP2019229257A patent/JP7500962B2/ja active Active
- 2019-12-19 JP JP2019229783A patent/JP7380180B2/ja active Active
- 2019-12-26 JP JP2019237377A patent/JP7424051B2/ja active Active
-
2023
- 2023-06-16 US US18/336,134 patent/US20230334848A1/en active Pending
- 2023-07-18 US US18/353,893 patent/US20240029424A1/en active Pending
- 2023-08-17 US US18/451,144 patent/US20230394813A1/en active Pending
-
2024
- 2024-01-18 JP JP2024006216A patent/JP2024028531A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4131156A4 (en) * | 2020-03-31 | 2023-06-28 | Sony Group Corporation | Information processing device, information processing method, and information processing program |
WO2023090036A1 (ja) | 2021-11-22 | 2023-05-25 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置、情報処理方法、プログラム |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6638852B1 (ja) | 撮像装置、撮像システム、撮像方法および撮像プログラム | |
WO2022019026A1 (ja) | 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム | |
WO2022019025A1 (ja) | 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191011 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20191029 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191101 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191126 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191209 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6638852 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |