JP2020025265A - 固体撮像装置及び撮像装置 - Google Patents
固体撮像装置及び撮像装置 Download PDFInfo
- Publication number
- JP2020025265A JP2020025265A JP2019140197A JP2019140197A JP2020025265A JP 2020025265 A JP2020025265 A JP 2020025265A JP 2019140197 A JP2019140197 A JP 2019140197A JP 2019140197 A JP2019140197 A JP 2019140197A JP 2020025265 A JP2020025265 A JP 2020025265A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- image data
- scene
- imaging
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 239
- 238000012545 processing Methods 0.000 claims abstract description 196
- 230000002093 peripheral effect Effects 0.000 claims abstract description 32
- 238000000034 method Methods 0.000 claims description 57
- 238000001514 detection method Methods 0.000 claims description 49
- 230000008569 process Effects 0.000 claims description 40
- 238000012546 transfer Methods 0.000 claims description 27
- 238000009792 diffusion process Methods 0.000 claims description 24
- 238000007667 floating Methods 0.000 claims description 24
- 238000006243 chemical reaction Methods 0.000 claims description 17
- 238000003860 storage Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 3
- 230000015654 memory Effects 0.000 description 60
- 239000000758 substrate Substances 0.000 description 59
- 238000010586 diagram Methods 0.000 description 43
- 230000000875 corresponding effect Effects 0.000 description 34
- 238000005516 engineering process Methods 0.000 description 28
- 238000004891 communication Methods 0.000 description 25
- 230000001575 pathological effect Effects 0.000 description 23
- 230000003287 optical effect Effects 0.000 description 17
- 241000724291 Tobacco streak virus Species 0.000 description 16
- 230000003321 amplification Effects 0.000 description 16
- 238000003199 nucleic acid amplification method Methods 0.000 description 16
- 238000004364 calculation method Methods 0.000 description 15
- 210000001519 tissue Anatomy 0.000 description 15
- 230000006870 function Effects 0.000 description 14
- 238000012986 modification Methods 0.000 description 13
- 230000004048 modification Effects 0.000 description 13
- 230000001276 controlling effect Effects 0.000 description 11
- 238000003745 diagnosis Methods 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 10
- 238000002674 endoscopic surgery Methods 0.000 description 10
- 230000000873 masking effect Effects 0.000 description 9
- 238000009795 derivation Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 239000004065 semiconductor Substances 0.000 description 6
- 238000010186 staining Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 5
- 210000004027 cell Anatomy 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 230000007170 pathology Effects 0.000 description 5
- 238000011144 upstream manufacturing Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 239000003153 chemical reaction reagent Substances 0.000 description 4
- 230000005284 excitation Effects 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000001356 surgical procedure Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 239000010949 copper Substances 0.000 description 3
- 238000010336 energy treatment Methods 0.000 description 3
- 229910044991 metal oxide Inorganic materials 0.000 description 3
- 150000004706 metal oxides Chemical class 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 238000010827 pathological analysis Methods 0.000 description 3
- 229910052710 silicon Inorganic materials 0.000 description 3
- 239000010703 silicon Substances 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 210000004748 cultured cell Anatomy 0.000 description 2
- 235000019800 disodium phosphate Nutrition 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 235000013601 eggs Nutrition 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000003364 immunohistochemistry Methods 0.000 description 2
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 2
- 229960004657 indocyanine green Drugs 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 230000000149 penetrating effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 241000252212 Danio rerio Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 239000012620 biological material Substances 0.000 description 1
- 239000012472 biological sample Substances 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000002073 fluorescence micrograph Methods 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 238000012744 immunostaining Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 235000013372 meat Nutrition 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 230000002107 myocardial effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 239000012188 paraffin wax Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000000955 prescription drug Substances 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000010349 pulsation Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000003296 saliva Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/693—Acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/51—Housings
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/617—Upgrading or updating of programs or applications for camera control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/65—Control of camera operation in relation to power supply
- H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/59—Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/701—Line sensors
- H04N25/7013—Line sensors using abutted sensors forming a long line
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Radiology & Medical Imaging (AREA)
- Pathology (AREA)
- Optics & Photonics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Solid State Image Pick-Up Elements (AREA)
Abstract
Description
1.第1の実施形態
2.第1の実施形態の変形例
3.第2の実施形態
4.第3の実施形態
5.第4の実施形態
6.イメージセンサのチップ構成
7.レイアウト例
8.その他の実施形態
9.移動体への応用例
10.内視鏡手術システムへの応用例
11.WSI(Whole Slide Imaging)システムへの応用例
[1−1.第1の実施形態に係る画像処理システムの構成]
図1は、第1の実施形態に係る電子機器としての撮像装置の概略構成例を示すブロック図である。図1に示すように、撮像装置1は、クラウドサーバ30と通信可能に接続される。なお、撮像装置1とクラウドサーバ30とは、有線や無線を問わず、各種ネットワークやUSB(Universal Serial Bus)ケーブルなどを介して、通信可能に接続される。
図1に示すように、撮像装置1は、固体撮像装置であるイメージセンサ10と、アプリケーションプロセッサ20とを備える。イメージセンサ10は、撮像部11、コントロール部12、信号処理部13、DSP(処理部ともいう)14、メモリ15、セレクタ16(出力部ともいう)を有する。
図2は、第1の実施形態に係る画像の加工を説明する図である。図2に示すように、信号処理部13は、撮像部11から読み出された画像データに信号処理を行ってメモリ15に格納する。DSP14は、メモリ15から画像データを読み出して、学習済みの学習モデルを用いた顔検出を実行し、画像データから顔位置を検出する(処理1)。
図3は、第1の実施形態に係る加工処理の流れを示すフローチャートである。図3に示すように、撮像部11による撮像された画像データがメモリ15に格納される(S101)。
上述したように、イメージセンサ10は、加工が必要な場合でも1チップ内の閉じた領域で、加工処理を実行できるので、撮像された画像データがそのまま外部に出力されることを抑制でき、セキュリティの向上やプライバシーの保護を実現できる。また、イメージセンサ10は、加工の有無をユーザに選択させることができるので、用途に応じて処理モードを選択でき、ユーザの利便性を向上することができる。
上記第1の実施形態では、顔位置にマスキング等を実行する例を説明したが、加工処理がこれに限定されるものではない。例えば、顔位置を抽出した部分画像を生成することもできる。
[3−1.第2の実施形態に係る撮像装置の説明]
ところで、第1の実施形態では、DSP14が加工処理を実行する例を説明したが、これに限定されるものではなく、セレクタ16が加工処理を行うこともできる。そこで、第2の実施形態では、セレクタ16が加工処理を行う例を説明する。
上記第1の実施形態の変形例と同様、第2の実施形態においてもセレクタ16が顔位置を抽出した部分画像を生成することもできる。
上述した第2の実施形態及びその第1の変形例では、メモリ15に格納されている画像データに対してセレクタ16がROIの抽出(切り出し又はトリミングともいう)や加工(マスキング等)などの処理2を行なう場合を例示したが、これに限定されず、例えば、セレクタ16が、信号処理部13から出力された画像データに対して直接、ROIの切り出しや加工(マスキング等)などの処理2を実行するように構成することも可能である。
また、撮像部11から読み出す画像データ自体を、ROIのみの部分画像データやROIを含まない画像データとすることも可能である。その場合、第1のフレームに対してDSP14で抽出された顔位置がコントロール部12へ通知され、コントロール部12が撮像部11に対し、第1のフレームの次のフレームである第2のフレームにおけるROIに相当する画素領域からの部分画像データの読み出しや、ROI以外の領域に相当する画素領域からの画像データの読み出しを実行する。
[4−1.第3の実施形態に係る撮像装置の説明]
ところで、イメージセンサ10は、撮像部11からの画像データ全体の読み出しに先だって、小さい容量の画像データを先に読み出して、顔位置を検出することで、処理の高速化を図ることができる。そこで、第3の実施形態では、処理の高速化を図る例を説明する。
次に、図7で説明した処理の流れを説明する。図8は、第3の実施形態にかかる加工処理の流れを示すシーケンス図である。図8に示すように、撮像部11は、画像を間引いて読み出し(S201)、間引いた小さい容量の画像データをメモリ15に格納する(S202)。その後、撮像部11は、通常の画像データの読み出しを継続する。
つづいて、上述した実施形態に係る撮像装置1を車両に搭載して車両の周辺領域を撮像する車載カメラに応用した場合について、具体例を挙げて説明する。
図9は、第4の実施形態に係る車載撮像システムの概略構成例を示すブロック図である。図9に示すように、車載撮像システム200は、イメージセンサ210と、SoC(System on Chip)220と、車両制御装置230とを備える。
イメージセンサ10は、上述した実施形態に係るイメージセンサ10と同様であってよい。なお、本実施形態では、上述の実施形態において説明が省略されていた入力部18を明記するとともに、セレクタ16を出力部16と表記している。また、本実施形態では、DSP14が、入力された画像データに基づいてシーンを認識するシーン認識部214として機能する。この認識処理には、上述した実施形態のように、学習済みモデルが使用されてもよい。
SoC220は、例えば、アプリケーションプロセッサ20等が搭載される回路基板であり、物体検出部221と、車両制御信号生成部222と、シーン認識制御部223とを備える。これらの部の一部又は全部は、例えば、アプリケーションプロセッサ20が所定のプログラムを実行することで実現されてもよいし、各部の処理を実行するように設計された専用チップ等で実現されてもよい。
車両制御装置230は、例えば、車両に搭載されたECU(Engine Control Unit)等であってよく、車両制御部231と、車両駆動用センサ232と、車両駆動部233とを備える。
地図情報記憶部224は、例えば、地形や交通網や道幅等の地図情報を記憶する記憶部であってよい。この地図情報記憶部224は、例えば、車両がナビゲーションシステムを搭載している場合には、このナビゲーションシステムと共用されてもよい。
通信部240は、例えば、所定のネットワークを介して不図示のサーバ等との間で通信を確立する部であってよい。所定のネットワークは、例えば、WAN(Wide Area Network)(インターネットを含む)やLAN(Local Area Network)や公衆回線網や移動体通信網などの種々のネットワークであってよい。
物体検出部221は、イメージセンサ10から出力された画像データや画像データに基づく加工画像データやメタデータ等の演算結果等に基づいて、車両の周囲に存在する物体を検出する。
車両制御信号生成部222は、物体検出部221から出力された物体検出結果に基づいて、車両の加減速や操舵等を制御する車両制御信号を生成する。
車両駆動部233は、例えば、車両のエンジンシステムやトランスミッションシステムやブレーキシステムやエアバック装置やインストルメントパネル等の表示システムや音響システムや空調システム等であってよい。
車両駆動用センサ232は、エンジンや駆動用モータ等の駆動状態を検出したり、操舵角を検出したり、ブレーキの動作状態を検出したりするための各種センサであってよい。
車両制御部231は、例えば、CPU(Central Processing Unit)等で構成され、ドライバの運転操作に基づく車両制御信号や、SoC220の車両制御信号生成部222から入力された車両制御信号に基づいて、車両駆動部233を制御する。
シーン認識制御部223は、車両駆動用センサ232から入力された検出結果と、地図情報記憶部224から読み出した地図情報とに基づいて、車両の現在の走行場所及びその地形(坂道やカーブ等)や走行速度や加減速の状況等の情報を特定し、特定した情報に基づいて、シーン認識部214を制御するための制御信号を生成する。生成された制御信号は、入力部18を介してシーン認識部214に入力される。
シーン認識部214は、上述したように、イメージセンサ10のDSP14であり、撮像部11から読み出された画像データ(若しくはその間引かれた画像データ)や、シーン認識制御部223から入力された制御信号に基づいて、現在のシーンを認識する。なお、本説明におけるシーンとは、撮像部11の画角内の景色や物体等から特定されるシーンに限定されず、車両の姿勢(水平方向に対する傾き等)や走行速度や加減速の状況や旋回(右折や左折等)の状況等を含むものであってよい。また、図9では、メモリ15の図示が省略されているが、シーン認識部214には、メモリ15に格納されている加工画像データやメタデータ等の演算結果が入力されてもよい。
コントロール部12は、画素アレイ部101を駆動する駆動制御部であり、シーン認識部215で認識されたシーンに基づいて、撮像部11から画像データを読み出す際の駆動を切り替える。
つづいて、本実施形態に係る動作フローについて、図面を参照して詳細に説明する。図10は、本実施形態に係る動作フローの一例を示すフローチャートである。
つづいて、図10を用いて説明した動作の具体例について、幾つかのシーンを例示して説明する。
図11は、自車両が交差点に差しかかった場合のシーンを説明するための図である。図11に示すように、自車両が交差点に差しかかった場合では、撮像部11の画角内には、交差点の道路形状、横断歩道や、交通信号機や、他の車両や、歩行者や、自転車等が映り込む。このようなシーンでは、短時間で変化する周囲の状況に対応した車両制御を実現するため、シーン認識部214は、図10のステップS403において、フレームレートを高く設定すると判定してもよい(ステップS403のYES)。
図12は、自車両が渋滞に巻き込まれた場合のシーンを説明するための図である。図12に示すように、自車両が渋滞に巻き込まれた場合では、撮像部11の画角内には、所定数以上の他の車両等が映り込む。このようなシーンでは、遠くの物体を検出する必要性に乏しいことから、シーン認識部214は、図10のステップS406において、高解像度の画像データが必要でないと判定してもよい(ステップS406のNO)。
図13は、自車両が高速道路や有料道路等における直線道路を走行している場合のシーンを説明するための図である。図13に示すように、高速道路等の直線道路の走行中では、自車両の走行速度や他の車両との相対速度が速いため、遠くの物体を検出する必要がある。そこで、シーン認識部214は、図10のステップS406において、高解像度の画像データが必要であると判定してもよい(ステップS406のYES)。
図14は、自車両が高速道路や有料道路等のカーブを走行している場合のシーンを説明するための図である。図14に示すように、高速道路等のカーブの走行中では、高速道路等の直線道路の走行中と同様に、遠くの物体を検出するために、シーン認識部214は、図10のステップS406において、高解像度の画像データが必要であると判定してもよい(ステップS406のYES)。また、シーン認識部214は、画像が鮮明に映らない領域を除いた領域をROIに設定してもよい。
図15は、自車両が坂道(下り坂)に差しかかった際のシーンを説明するための図である。図15に示すように、自車両が坂道に差しかかったシーンでは、画角内の画像において、道路や道路標識や対向車等の検出対象が映り込まない領域(例えば、空や海などの領域)が占める割合が大きくなる。
つづいて、低解像度での読出し動作と高解像度での読出し動作とを切り替えるための構成について、例を挙げて説明する。なお、本説明では、隣接画素の画素値を加算することで低解像度での読出し動作を実現する場合を例示するが、これに限定されず、画素の飛ばし読み(間引き)をすることで低解像度での読出し動作を実現することも可能である。
図16は、本実施形態に係る単位画素の概略構成例を示す回路図である。図16に示すように、低解像度読出しと高解像度読出しとの切替えを実現するための単位画素300は、例えば、複数の画素(図16では、例えば、4つの画素311,312,313,314)と、この複数の画素311〜314に接続された1の画素回路320と、画素回路320に接続された垂直信号線VSLとを含む画素共有ユニットの構成を備えている。
図17は、本実施形態に係る画素の配列例を示す平面レイアウト図である。なお、本説明では、赤色の波長成分を受光して画素信号を生成する単位画素310Rと、緑色の波長成分を受光して画素信号を生成する単位画素310G1及び310G2と、青色の波長成分を受光して画素信号を生成する単位画素310Bとがベイヤ配列に従って配列されている場合を例示するが、単位画素それぞれが受光する波長成分及びその配列は、これに限定されず、種々変形することが可能である。
図18は、高解像度で画像データを読み出す際のタイミングチャートを示す図である。図18に示すように、高解像度で画像データを読み出す場合、各フォトダイオードPD1〜PD4の電荷が時分割でフローティングディフュージョンFDへ転送される。
図19は、低解像度で画像データを読み出す際のタイミングチャートを示す図である。図19と図18とを比較すると分かるように、低解像度で画像データを読み出す場合、例えば、タイミングT4〜T5の期間、画素311〜314の転送トランジスタTR1〜TR4が全てオン状態とされる。それにより、フォトダイオードPD1〜PD4それぞれのカソードに蓄積されていた電荷がフローティングディフュージョンFDにまとめて転送される。すなわち、画素311〜314それぞれのフォトダイオードPD1〜PD4で発生した電荷がフローティングディフュージョンFDにおいて加算される。それにより、タイミングT5〜T6の期間では、画素311〜314を1つの画素とみなした画素信号が読み出されることとなる。この場合、解像度は、高解像度(図18参照)の場合の1/4倍となる。
つづいて、ROIの画像データの抽出を撮像部11内で実現する場合の制御例について、図面を参照して詳細に説明する。
以上のように、本実施形態によれば、上述した実施形態に係る撮像装置1が車載カメラとして車両に搭載される。それにより、シーンに応じて最適な読出し制御により必要な画像データを読み出すことが可能となる。その結果、シーンに応じた適切な車両制御信号を生成することが可能となるため、より適切な車両制御を実現することが可能となる。
次に、図1に示すイメージセンサ10のチップ構成の例について、以下に図面を参照して詳細に説明する。
図22及び図23は、本実施形態に係るレイアウト例を説明するための図である。なお、図22は、第1基板100のレイアウト例を示し、図23は、第2基板120のレイアウト例を示す。
図22に示すように、第1基板100には、図1に示すイメージセンサ10の構成において、撮像部11の画素アレイ部101が配置されている。なお、第1基板100に光学系104の一部又は全部を搭載する場合には、画素アレイ部101と対応する位置に設けられる。
一方、図23に示すように、第2基板120には、図1に示すイメージセンサ10の構成において、ADC17と、コントロール部12と、信号処理部13と、DSP14と、メモリ15とが配置されている。なお、第1のレイアウト例では、メモリ15がメモリ15Aとメモリ15Bとの2つの領域に分かれている。同様に、ADC17がADC17AとDAC(Digital−to−Analog Converter)17Bとの2つの領域に分かれている。DAC17Bは、ADC17AへAD変換用の参照電圧を供給する構成であり、広い意味でADC17の一部に含まれる構成である。また、図22には図示されていないが、セレクタ16も第2基板120に配置されている。
上述した各実施形態に係る処理は、上記各実施形態以外にも種々の異なる形態にて実施されてよい。
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、医師等が患者から採取された細胞や組織を観察して病変を診断する病理診断システムやその支援システム等(以下、診断支援システムと称する)に適用されてもよい。この診断支援システムは、デジタルパソロジー技術を利用して取得された画像に基づいて病変を診断又はその支援をするWSI(Whole Slide Imaging)システムであってもよい。
(1)
車両に搭載され、前記車両の周辺領域を撮像して画像データを生成する撮像部と、
前記画像データに基づいて、前記周辺領域のシーンを認識するシーン認識部と、
前記シーン認識部において認識された前記シーンに基づいて、前記撮像部の駆動を制御する駆動制御部と、
を備える撮像装置。
(2)
前記画像データに対して信号処理を実行する信号処理部をさらに備え、
前記シーン認識部は、前記信号処理部において前記信号処理が実行された画像データに基づいて、前記周辺領域のシーンを認識する
前記(1)に記載の撮像装置。
(3)
前記信号処理が実行された画像データを出力する出力部をさらに備える前記(2)に記載の撮像装置。
(4)
前記シーン認識部は、高解像度で画像データを取得する必要があるシーンであるか否かの判定を行い、
前記駆動制御部は、
前記シーン認識部が前記高解像度で画像データを取得する必要があるシーンであると判定した場合、第1の解像度を有する画像データを生成するように前記撮像部の駆動を制御し、
前記シーン認識部が前記高解像度で画像データを取得する必要がないシーンであると判定した場合、前記第1の解像度よりも低い第2の解像度を有する画像データを生成するように前記撮像部の駆動を制御する
前記(1)〜(3)の何れか1項に記載の撮像装置。
(5)
前記シーン認識部は、前記画像データに基づいて前記周辺領域の照度を算出し、前記算出された照度が所定の閾値を越える場合、前記第2の解像度を有する画像データを生成するように前記撮像部の駆動を制御する前記(4)に記載の撮像装置。
(6)
前記撮像部は、行列状に配列する複数の画素よりなる画素アレイ部を備え、
前記シーン認識部は、前記高解像度で画像データを取得する必要があると判定した場合、前記画素アレイ部の一部の領域である特定領域から画像データを読み出すことを前記駆動制御部に指示する
前記(4)又は(5)に記載の撮像装置。
(7)
前記シーン認識部は、前記周辺領域にカーブを含むシーンであるか否かの判定を行い、前記周辺領域にカーブを含むシーンであると判定した場合、前記画素アレイ部における前記特定領域の位置をシフトさせる前記(6)に記載の撮像装置。
(8)
前記画像データに対して信号処理を実行する信号処理部をさらに備え、
前記シーン認識部は、前記信号処理部において前記信号処理が実行された画像データに基づいて、前記周辺領域のシーンを認識し、
前記シーン認識部は、前記高解像度で画像データを取得する必要があると判定した場合、前記撮像部から読み出された画像データから当該画像データの一部である特定領域の画像データを抽出する処理を前記信号処理部に実行させる
前記(4)又は(5)に記載の撮像装置。
(9)
前記シーン認識部は、前記周辺領域にカーブを含むシーンであるか否かの判定を行い、前記周辺領域にカーブを含むシーンであると判定した場合、前記画像データにおける前記特定領域の位置をシフトさせる前記(8)に記載の撮像装置。
(10)
前記シーン認識部は、前記周辺領域にカーブを含むシーンであると判定した場合、前記カーブの形状に基づいて前記特定領域をシフトさせる前記(7)又は(9)に記載の撮像装置。
(11)
前記撮像部は、行列状に配列する複数の画素よりなる画素アレイ部を備え、
前記シーン認識部は、前記周辺領域に坂道を含むシーンであるか否かの判定を行い、前記周辺領域に坂道を含むシーンであると判定した場合、前記画素アレイ部の一部の領域である特定領域から画像データを読み出すことを前記駆動制御部に指示する
前記(4)又は(5)に記載の撮像装置。
(12)
前記画像データに対して信号処理を実行する信号処理部をさらに備え、
前記シーン認識部は、前記信号処理部において前記信号処理が実行された画像データに基づいて、前記周辺領域のシーンを認識し、
前記シーン認識部は、前記周辺領域に坂道を含むシーンであるか否かの判定を行い、前記周辺領域に坂道を含むシーンであると判定した場合、前記撮像部から読み出された画像データから当該画像データの一部である特定領域の画像データを抽出する処理を前記信号処理部に実行させる
前記(4)又は(5)に記載の撮像装置。
(13)
前記撮像部は、
第1の光電変換部と、
第2の光電変換部と、
前記第1の光電変換部に接続される第1の転送ゲートと、
前記第2の光電変換部に接続される第2の転送ゲートと、
前記第1の転送ゲートと前記第2の転送ゲートとに接続されるフローティングディフュージョンと、
を有し、
前記駆動制御部は、前記シーン認識部において認識された前記シーンに基づいて、前記第1及び第2の転送ゲートの駆動を制御する
前記(1)〜(12)の何れか1項に記載の撮像装置。
(14)
前記撮像部は、行列状に配列する複数の画素よりなる画素アレイ部を備え、
前記駆動制御部は、
前記複数の画素の駆動を行ごとに制御する垂直駆動回路と、
前記複数の画素の駆動を列ごとに制御する水平駆動回路と、
を有し、
前記垂直駆動回路は、前記シーン認識部において認識された前記シーンに基づいて、前記複数の画素の駆動を行ごとに制御し、
前記水平駆動回路は、前記シーン認識部において認識された前記シーンに基づいて、前記複数の画素部の駆動を列ごとに制御する
前記(13)に記載の撮像装置。
(15)
車両に搭載され、前記車両の周辺領域を撮像して画像データを生成する撮像部と、
前記画像データに基づいて、前記周辺領域のシーンを認識するシーン認識部と、
前記シーン認識部において認識された前記シーンに基づいて、前記撮像部の駆動を制御する駆動制御部と、
前記画像データに基づいて、前記周辺領域内に存在する物体を検出する物体検出部と、
前記物体検出部における検出結果に基づいて、前記車両を制御するための車両制御信号を生成する車両制御信号生成部と、
前記車両制御信号に基づいて、車両駆動部を制御する車両制御部と、
を備える車両制御システム。
(16)
前記シーン認識部を制御するための制御信号を生成するシーン認識制御部をさらに備え、
前記シーン認識部は、前記画像データと前記制御信号とに基づいて、前記周辺領域のシーンを認識する
前記(15)に記載の車両制御システム。
(17)
前記車両駆動部の状態を検出する車両駆動用センサをさらに備え、
前記シーン認識制御部は、前記車両駆動用センサの検出結果に基づいて前記制御信号を生成する
前記(16)に記載の車両制御システム。
(18)
地図情報を記憶する地図情報記憶部をさらに備え、
前記シーン認識制御部は、前記地図情報に基づいて前記制御信号を生成する
前記(16)又は(17)に記載の車両制御システム。
10 イメージセンサ
11 撮像部
12 コントロール部
13 信号処理部
14 DSP
15 メモリ
16 セレクタ
20 アプリケーションプロセッサ
30 クラウドサーバ
200 車載撮像システム
214 シーン認識部
220 SoC
221 物体検出部
222 車両制御信号生成部
223 シーン認識制御部
224 地図情報記憶部
230 車両制御装置
231 車両制御部
232 車両駆動用センサ
233 車両駆動部
240 通信部
Claims (18)
- 車両に搭載され、前記車両の周辺領域を撮像して画像データを生成する撮像部と、
前記画像データに基づいて、前記周辺領域のシーンを認識するシーン認識部と、
前記シーン認識部において認識された前記シーンに基づいて、前記撮像部の駆動を制御する駆動制御部と、
を備える撮像装置。 - 前記画像データに対して信号処理を実行する信号処理部をさらに備え、
前記シーン認識部は、前記信号処理部において前記信号処理が実行された画像データに基づいて、前記周辺領域のシーンを認識する
請求項1に記載の撮像装置。 - 前記信号処理が実行された画像データを出力する出力部をさらに備える請求項2に記載の撮像装置。
- 前記シーン認識部は、高解像度で画像データを取得する必要があるシーンであるか否かの判定を行い、
前記駆動制御部は、
前記シーン認識部が前記高解像度で画像データを取得する必要があるシーンであると判定した場合、第1の解像度を有する画像データを生成するように前記撮像部の駆動を制御し、
前記シーン認識部が前記高解像度で画像データを取得する必要がないシーンであると判定した場合、前記第1の解像度よりも低い第2の解像度を有する画像データを生成するように前記撮像部の駆動を制御する
請求項1に記載の撮像装置。 - 前記シーン認識部は、前記画像データに基づいて前記周辺領域の照度を算出し、前記算出された照度が所定の閾値を越える場合、前記第2の解像度を有する画像データを生成するように前記撮像部の駆動を制御する請求項4に記載の撮像装置。
- 前記撮像部は、行列状に配列する複数の画素よりなる画素アレイ部を備え、
前記シーン認識部は、前記高解像度で画像データを取得する必要があると判定した場合、前記画素アレイ部の一部の領域である特定領域から画像データを読み出すことを前記駆動制御部に指示する
請求項4に記載の撮像装置。 - 前記シーン認識部は、前記周辺領域にカーブを含むシーンであるか否かの判定を行い、前記周辺領域にカーブを含むシーンであると判定した場合、前記画素アレイ部における前記特定領域の位置をシフトさせる請求項6に記載の撮像装置。
- 前記画像データに対して信号処理を実行する信号処理部をさらに備え、
前記シーン認識部は、前記信号処理部において前記信号処理が実行された画像データに基づいて、前記周辺領域のシーンを認識し、
前記シーン認識部は、前記高解像度で画像データを取得する必要があると判定した場合、前記撮像部から読み出された画像データから当該画像データの一部である特定領域の画像データを抽出する処理を前記信号処理部に実行させる
請求項4に記載の撮像装置。 - 前記シーン認識部は、前記周辺領域にカーブを含むシーンであるか否かの判定を行い、前記周辺領域にカーブを含むシーンであると判定した場合、前記画像データにおける前記特定領域の位置をシフトさせる請求項8に記載の撮像装置。
- 前記シーン認識部は、前記周辺領域にカーブを含むシーンであると判定した場合、前記カーブの形状に基づいて前記特定領域をシフトさせる請求項7に記載の撮像装置。
- 前記撮像部は、行列状に配列する複数の画素よりなる画素アレイ部を備え、
前記シーン認識部は、前記周辺領域に坂道を含むシーンであるか否かの判定を行い、前記周辺領域に坂道を含むシーンであると判定した場合、前記画素アレイ部の一部の領域である特定領域から画像データを読み出すことを前記駆動制御部に指示する
請求項4に記載の撮像装置。 - 前記画像データに対して信号処理を実行する信号処理部をさらに備え、
前記シーン認識部は、前記信号処理部において前記信号処理が実行された画像データに基づいて、前記周辺領域のシーンを認識し、
前記シーン認識部は、前記周辺領域に坂道を含むシーンであるか否かの判定を行い、前記周辺領域に坂道を含むシーンであると判定した場合、前記撮像部から読み出された画像データから当該画像データの一部である特定領域の画像データを抽出する処理を前記信号処理部に実行させる
請求項4に記載の撮像装置。 - 前記撮像部は、
第1の光電変換部と、
第2の光電変換部と、
前記第1の光電変換部に接続される第1の転送ゲートと、
前記第2の光電変換部に接続される第2の転送ゲートと、
前記第1の転送ゲートと前記第2の転送ゲートとに接続されるフローティングディフュージョンと、
を有し、
前記駆動制御部は、前記シーン認識部において認識された前記シーンに基づいて、前記第1及び第2の転送ゲートの駆動を制御する
請求項1に記載の撮像装置。 - 前記撮像部は、行列状に配列する複数の画素よりなる画素アレイ部を備え、
前記駆動制御部は、
前記複数の画素の駆動を行ごとに制御する垂直駆動回路と、
前記複数の画素の駆動を列ごとに制御する水平駆動回路と、
を有し、
前記垂直駆動回路は、前記シーン認識部において認識された前記シーンに基づいて、前記複数の画素の駆動を行ごとに制御し、
前記水平駆動回路は、前記シーン認識部において認識された前記シーンに基づいて、前記複数の画素部の駆動を列ごとに制御する
請求項13に記載の撮像装置。 - 車両に搭載され、前記車両の周辺領域を撮像して画像データを生成する撮像部と、
前記画像データに基づいて、前記周辺領域のシーンを認識するシーン認識部と、
前記シーン認識部において認識された前記シーンに基づいて、前記撮像部の駆動を制御する駆動制御部と、
前記画像データに基づいて、前記周辺領域内に存在する物体を検出する物体検出部と、
前記物体検出部における検出結果に基づいて、前記車両を制御するための車両制御信号を生成する車両制御信号生成部と、
前記車両制御信号に基づいて、車両駆動部を制御する車両制御部と、
を備える車両制御システム。 - 前記シーン認識部を制御するための制御信号を生成するシーン認識制御部をさらに備え、
前記シーン認識部は、前記画像データと前記制御信号とに基づいて、前記周辺領域のシーンを認識する
請求項15に記載の車両制御システム。 - 前記車両駆動部の状態を検出する車両駆動用センサをさらに備え、
前記シーン認識制御部は、前記車両駆動用センサの検出結果に基づいて前記制御信号を生成する
請求項16に記載の車両制御システム。 - 地図情報を記憶する地図情報記憶部をさらに備え、
前記シーン認識制御部は、前記地図情報に基づいて前記制御信号を生成する
請求項16に記載の車両制御システム。
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020217001367A KR20210030359A (ko) | 2018-07-31 | 2019-07-31 | 촬상 장치 및 차량 제어 시스템 |
US17/263,116 US11643014B2 (en) | 2018-07-31 | 2019-07-31 | Image capturing device and vehicle control system |
PCT/JP2019/030097 WO2020027233A1 (ja) | 2018-07-31 | 2019-07-31 | 撮像装置及び車両制御システム |
CN201980049011.XA CN112544073A (zh) | 2018-07-31 | 2019-07-31 | 摄像装置以及车辆控制*** |
EP19843827.7A EP3833005A4 (en) | 2018-07-31 | 2019-07-31 | IMAGING DEVICE AND VEHICLE CONTROL SYSTEM |
JP2020168917A JP7423491B2 (ja) | 2018-07-31 | 2020-10-06 | 固体撮像装置及び車両制御システム |
US18/190,485 US11983931B2 (en) | 2018-07-31 | 2023-03-27 | Image capturing device and vehicle control system |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018144173 | 2018-07-31 | ||
JP2018144173 | 2018-07-31 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020168917A Division JP7423491B2 (ja) | 2018-07-31 | 2020-10-06 | 固体撮像装置及び車両制御システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020025265A true JP2020025265A (ja) | 2020-02-13 |
JP6776414B2 JP6776414B2 (ja) | 2020-10-28 |
Family
ID=69619054
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019139196A Active JP6725733B2 (ja) | 2018-07-31 | 2019-07-29 | 固体撮像装置および電子機器 |
JP2019140197A Active JP6776414B2 (ja) | 2018-07-31 | 2019-07-30 | 固体撮像装置及び撮像装置 |
JP2020109273A Active JP7090666B2 (ja) | 2018-07-31 | 2020-06-25 | 固体撮像装置、電子機器及び制御方法 |
JP2022024324A Active JP7414869B2 (ja) | 2018-07-31 | 2022-02-18 | 固体撮像装置、電子機器及び固体撮像装置の制御方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019139196A Active JP6725733B2 (ja) | 2018-07-31 | 2019-07-29 | 固体撮像装置および電子機器 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020109273A Active JP7090666B2 (ja) | 2018-07-31 | 2020-06-25 | 固体撮像装置、電子機器及び制御方法 |
JP2022024324A Active JP7414869B2 (ja) | 2018-07-31 | 2022-02-18 | 固体撮像装置、電子機器及び固体撮像装置の制御方法 |
Country Status (5)
Country | Link |
---|---|
US (2) | US11820289B2 (ja) |
EP (1) | EP3833005A4 (ja) |
JP (4) | JP6725733B2 (ja) |
KR (1) | KR20210030359A (ja) |
CN (1) | CN112544073A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021181882A1 (ja) * | 2020-03-10 | 2021-09-16 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置及び撮像方法 |
WO2022163135A1 (ja) * | 2021-01-29 | 2022-08-04 | ソニーグループ株式会社 | 撮像装置、撮像システム、撮像方法、並びにコンピュータプログラム |
WO2023188685A1 (ja) * | 2022-03-28 | 2023-10-05 | 本田技研工業株式会社 | 演算処理装置 |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US12034015B2 (en) | 2018-05-25 | 2024-07-09 | Meta Platforms Technologies, Llc | Programmable pixel array |
WO2020027233A1 (ja) | 2018-07-31 | 2020-02-06 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置及び車両制御システム |
JP6725733B2 (ja) | 2018-07-31 | 2020-07-22 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像装置および電子機器 |
WO2020123908A1 (en) * | 2018-12-13 | 2020-06-18 | Saddleye Inc. | Vehicle and object detection system |
US11962928B2 (en) | 2018-12-17 | 2024-04-16 | Meta Platforms Technologies, Llc | Programmable pixel array |
US11888002B2 (en) | 2018-12-17 | 2024-01-30 | Meta Platforms Technologies, Llc | Dynamically programmable image sensor |
EP3772854A1 (en) * | 2019-08-08 | 2021-02-10 | Thinkware Corporation | Server and method for providing connected service |
EP4035942A4 (en) * | 2019-09-24 | 2022-11-30 | Sony Semiconductor Solutions Corporation | IMAGING DEVICE |
US11935291B2 (en) | 2019-10-30 | 2024-03-19 | Meta Platforms Technologies, Llc | Distributed sensor system |
US11948089B2 (en) | 2019-11-07 | 2024-04-02 | Meta Platforms Technologies, Llc | Sparse image sensing and processing |
US11125575B2 (en) * | 2019-11-20 | 2021-09-21 | Here Global B.V. | Method and apparatus for estimating a location of a vehicle |
CN111191325B (zh) * | 2019-12-24 | 2023-06-23 | 中国航空工业集团公司西安飞机设计研究所 | 一种基于SysML的飞机直接机务准备建模方法 |
US11606206B2 (en) | 2020-01-09 | 2023-03-14 | Western Digital Technologies, Inc. | Recovery key for unlocking a data storage device |
KR102284128B1 (ko) * | 2020-03-23 | 2021-07-30 | 삼성전기주식회사 | 차량용 카메라 |
US11825228B2 (en) | 2020-05-20 | 2023-11-21 | Meta Platforms Technologies, Llc | Programmable pixel array having multiple power domains |
CN113744117A (zh) * | 2020-05-29 | 2021-12-03 | Oppo广东移动通信有限公司 | 多媒体处理芯片、电子设备及动态图像处理方法 |
KR20220026656A (ko) * | 2020-08-25 | 2022-03-07 | 현대모비스 주식회사 | 차량의 주행 제어 시스템 및 방법 |
JP2022133769A (ja) * | 2021-03-02 | 2022-09-14 | 本田技研工業株式会社 | 車両制御装置、及び車両制御方法 |
JP2022152980A (ja) * | 2021-03-29 | 2022-10-12 | ソニーグループ株式会社 | 医療用画像解析装置、医療用画像解析方法及び医療用画像解析システム |
WO2022226848A1 (zh) * | 2021-04-28 | 2022-11-03 | 华为技术有限公司 | 摄像设备、数据采集***及方法 |
US11706546B2 (en) | 2021-06-01 | 2023-07-18 | Sony Semiconductor Solutions Corporation | Image sensor with integrated single object class detection deep neural network (DNN) |
CN113411476A (zh) * | 2021-06-10 | 2021-09-17 | 蔚来汽车科技(安徽)有限公司 | 图像传感器控制装置、方法、存储介质和可移动对象 |
US11763417B2 (en) * | 2021-11-19 | 2023-09-19 | Renesas Electronics Corporation | Semiconductor device and image processing system for processing regions of interest images |
WO2023146969A1 (en) * | 2022-01-26 | 2023-08-03 | Meta Platforms Technologies, Llc | On-sensor image processor utilizing contextual data |
WO2023188806A1 (ja) * | 2022-03-31 | 2023-10-05 | ソニーグループ株式会社 | センサ装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015065271A (ja) * | 2013-09-25 | 2015-04-09 | ソニー株式会社 | 固体撮像素子およびその動作方法、並びに電子機器およびその動作方法 |
JP2017158065A (ja) * | 2016-03-02 | 2017-09-07 | 株式会社リコー | 情報処理装置、情報処理方法、及びプログラム |
JP2018007077A (ja) * | 2016-07-04 | 2018-01-11 | 株式会社ニコン | 撮像装置および自動車 |
WO2018051809A1 (ja) * | 2016-09-16 | 2018-03-22 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、及び、電子機器 |
WO2018109976A1 (ja) * | 2016-12-15 | 2018-06-21 | 住友電気工業株式会社 | スイッチ装置、通信制御方法および通信制御プログラム |
Family Cites Families (52)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6839452B1 (en) * | 1999-11-23 | 2005-01-04 | California Institute Of Technology | Dynamically re-configurable CMOS imagers for an active vision system |
CN100527792C (zh) * | 2006-02-07 | 2009-08-12 | 日本胜利株式会社 | 摄像方法以及摄像装置 |
WO2008024639A2 (en) * | 2006-08-11 | 2008-02-28 | Donnelly Corporation | Automatic headlamp control system |
EP2157781B1 (en) * | 2007-06-22 | 2013-08-07 | Panasonic Corporation | Camera device and imaging method |
US8699760B2 (en) * | 2008-09-16 | 2014-04-15 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and program |
US8417046B1 (en) * | 2008-11-10 | 2013-04-09 | Marvell International Ltd. | Shadow and highlight image enhancement |
JP5057184B2 (ja) | 2010-03-31 | 2012-10-24 | アイシン・エィ・ダブリュ株式会社 | 画像処理システム及び車両制御システム |
CN102236883A (zh) * | 2010-04-27 | 2011-11-09 | 株式会社理光 | 图像增强方法和装置、物体检测方法和装置 |
WO2014002086A2 (en) * | 2012-06-26 | 2014-01-03 | Eyeconit Ltd. | Image mask providing a machine-readable data matrix code |
KR101640851B1 (ko) * | 2012-09-27 | 2016-07-19 | 닛본 덴끼 가부시끼가이샤 | 화상 정보 전송 방법 및 패킷 통신 시스템 |
WO2014080613A1 (ja) * | 2012-11-22 | 2014-05-30 | 日本電気株式会社 | 色補正装置、色補正方法および色補正用プログラム |
JP2015149691A (ja) * | 2014-02-10 | 2015-08-20 | ソニー株式会社 | 画像補正装置、画像補正方法、及び、撮像装置 |
CN112839169B (zh) | 2014-05-29 | 2023-05-09 | 株式会社尼康 | 驾驶辅助装置及摄像装置 |
US9305339B2 (en) * | 2014-07-01 | 2016-04-05 | Adobe Systems Incorporated | Multi-feature image haze removal |
US9483851B2 (en) * | 2014-07-14 | 2016-11-01 | General Electric Company | Systems and methods for filtering for image generation |
JP6462328B2 (ja) * | 2014-11-18 | 2019-01-30 | 日立オートモティブシステムズ株式会社 | 走行制御システム |
US20160259980A1 (en) * | 2015-03-03 | 2016-09-08 | Umm Al-Qura University | Systems and methodologies for performing intelligent perception based real-time counting |
EP3091510B1 (en) * | 2015-05-06 | 2021-07-07 | Reactive Reality AG | Method and system for producing output images |
JP7008621B2 (ja) * | 2015-09-02 | 2022-01-25 | フォルシア イリステック インコーポレイテッド | リアルタイムトーンマッピングのためのシステム及び方法 |
DE102015224806B4 (de) * | 2015-12-10 | 2018-01-18 | Siemens Healthcare Gmbh | Verfahren zum Darstellen einer ersten Struktur einer Körperregion mittels digitaler Subtraktionsangiographie, Auswerteeinrichtung sowie Angiographiesystem |
US10732809B2 (en) * | 2015-12-30 | 2020-08-04 | Google Llc | Systems and methods for selective retention and editing of images captured by mobile image capture device |
US9766803B2 (en) * | 2015-12-31 | 2017-09-19 | Futurewei Technologies, Inc. | Mobile device camera viewfinder punch through effect |
US10325351B2 (en) * | 2016-03-11 | 2019-06-18 | Qualcomm Technologies, Inc. | Systems and methods for normalizing an image |
CN109076163B (zh) * | 2016-04-27 | 2021-08-31 | 索尼公司 | 成像控制装置、成像控制方法以及成像装置 |
US10764713B2 (en) * | 2016-05-11 | 2020-09-01 | Here Global B.V. | Map based feedback loop for vehicle observation |
WO2017204886A1 (en) * | 2016-05-23 | 2017-11-30 | Massachusetts Institute Of Technology | System and method for providing real-time super-resolution for compressed videos |
US10467459B2 (en) * | 2016-09-09 | 2019-11-05 | Microsoft Technology Licensing, Llc | Object detection based on joint feature extraction |
US9883112B1 (en) * | 2016-09-22 | 2018-01-30 | Pinnacle Imaging Corporation | High dynamic range imaging |
US10650249B2 (en) * | 2016-10-25 | 2020-05-12 | Shenzhen University | Method and device for counting pedestrians based on identification of head top of human body |
JP6690506B2 (ja) * | 2016-11-17 | 2020-04-28 | トヨタ自動車株式会社 | 車両の車線内走行支援装置 |
KR20180105294A (ko) * | 2017-03-14 | 2018-09-28 | 한국전자통신연구원 | 이미지 압축 장치 |
JP6558387B2 (ja) * | 2017-03-14 | 2019-08-14 | オムロン株式会社 | 画像解析装置、画像解析方法、及び画像解析プログラム |
US10096109B1 (en) * | 2017-03-31 | 2018-10-09 | The Board Of Trustees Of The Leland Stanford Junior University | Quality of medical images using multi-contrast and deep learning |
JP6539304B2 (ja) * | 2017-06-06 | 2019-07-03 | 株式会社Subaru | 車両の走行制御装置 |
US10565757B2 (en) * | 2017-06-09 | 2020-02-18 | Adobe Inc. | Multimodal style-transfer network for applying style features from multi-resolution style exemplars to input images |
CN107679531A (zh) * | 2017-06-23 | 2018-02-09 | 平安科技(深圳)有限公司 | 基于深度学习的车牌识别方法、装置、设备及存储介质 |
WO2019008407A1 (en) * | 2017-07-04 | 2019-01-10 | Eos Imaging | METHOD FOR RADIOGRAPHING AN ORGAN OF A PATIENT |
JP7022203B2 (ja) * | 2017-09-22 | 2022-02-17 | エフ.ホフマン-ラ ロシュ アーゲー | 組織画像からのアーチファクト除去 |
KR102495359B1 (ko) * | 2017-10-27 | 2023-02-02 | 삼성전자주식회사 | 객체 트래킹 방법 및 장치 |
US10921142B2 (en) * | 2017-12-14 | 2021-02-16 | Waymo Llc | Methods and systems for sun-aware vehicle routing |
JP7213616B2 (ja) * | 2017-12-26 | 2023-01-27 | 株式会社Preferred Networks | 情報処理装置、情報処理プログラム及び情報処理方法。 |
JP7383371B2 (ja) * | 2018-02-28 | 2023-11-20 | キヤノン株式会社 | 画像処理装置 |
US11507800B2 (en) * | 2018-03-06 | 2022-11-22 | Adobe Inc. | Semantic class localization digital environment |
FR3078852B1 (fr) * | 2018-03-07 | 2020-04-03 | Centre National De La Recherche Scientifique (Cnrs) | Procede de reconstruction d'une image couleur acquise par un capteur recouvert d'une mosaique de filtres couleurs |
RU2716322C2 (ru) * | 2018-03-23 | 2020-03-11 | Общество с ограниченной ответственностью "Аби Продакшн" | Репродуцирующая аугментация данных изображения |
US10671855B2 (en) * | 2018-04-10 | 2020-06-02 | Adobe Inc. | Video object segmentation by reference-guided mask propagation |
US11372243B2 (en) * | 2018-04-28 | 2022-06-28 | Almalence, Inc. | Optical hybrid reality system having digital correction of aberrations |
CN109191515B (zh) * | 2018-07-25 | 2021-06-01 | 北京市商汤科技开发有限公司 | 一种图像视差估计方法及装置、存储介质 |
JP6725733B2 (ja) * | 2018-07-31 | 2020-07-22 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像装置および電子機器 |
KR20200050582A (ko) | 2018-11-02 | 2020-05-12 | 삼성전자주식회사 | 디스플레이의 동작 모드에 기반하여 터치 데이터의 보상을 결정하는 방법 및 장치 |
CN109816615B (zh) * | 2019-03-06 | 2022-12-16 | 腾讯科技(深圳)有限公司 | 图像修复方法、装置、设备以及存储介质 |
CN110399849B (zh) * | 2019-07-30 | 2021-07-27 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、处理器、电子设备及存储介质 |
-
2019
- 2019-07-29 JP JP2019139196A patent/JP6725733B2/ja active Active
- 2019-07-29 US US17/251,953 patent/US11820289B2/en active Active
- 2019-07-30 JP JP2019140197A patent/JP6776414B2/ja active Active
- 2019-07-31 KR KR1020217001367A patent/KR20210030359A/ko not_active Application Discontinuation
- 2019-07-31 EP EP19843827.7A patent/EP3833005A4/en active Pending
- 2019-07-31 US US17/263,116 patent/US11643014B2/en active Active
- 2019-07-31 CN CN201980049011.XA patent/CN112544073A/zh active Pending
-
2020
- 2020-06-25 JP JP2020109273A patent/JP7090666B2/ja active Active
-
2022
- 2022-02-18 JP JP2022024324A patent/JP7414869B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015065271A (ja) * | 2013-09-25 | 2015-04-09 | ソニー株式会社 | 固体撮像素子およびその動作方法、並びに電子機器およびその動作方法 |
JP2017158065A (ja) * | 2016-03-02 | 2017-09-07 | 株式会社リコー | 情報処理装置、情報処理方法、及びプログラム |
JP2018007077A (ja) * | 2016-07-04 | 2018-01-11 | 株式会社ニコン | 撮像装置および自動車 |
WO2018051809A1 (ja) * | 2016-09-16 | 2018-03-22 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、及び、電子機器 |
WO2018109976A1 (ja) * | 2016-12-15 | 2018-06-21 | 住友電気工業株式会社 | スイッチ装置、通信制御方法および通信制御プログラム |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021181882A1 (ja) * | 2020-03-10 | 2021-09-16 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置及び撮像方法 |
US11895412B2 (en) | 2020-03-10 | 2024-02-06 | Sony Semiconductor Solutions Corporation | Imaging device and imaging method |
WO2022163135A1 (ja) * | 2021-01-29 | 2022-08-04 | ソニーグループ株式会社 | 撮像装置、撮像システム、撮像方法、並びにコンピュータプログラム |
WO2023188685A1 (ja) * | 2022-03-28 | 2023-10-05 | 本田技研工業株式会社 | 演算処理装置 |
Also Published As
Publication number | Publication date |
---|---|
JP6776414B2 (ja) | 2020-10-28 |
CN112544073A (zh) | 2021-03-23 |
JP2022081504A (ja) | 2022-05-31 |
EP3833005A4 (en) | 2021-08-18 |
JP2020025261A (ja) | 2020-02-13 |
US20210152732A1 (en) | 2021-05-20 |
JP6725733B2 (ja) | 2020-07-22 |
JP7414869B2 (ja) | 2024-01-16 |
US11643014B2 (en) | 2023-05-09 |
KR20210030359A (ko) | 2021-03-17 |
US20210264192A1 (en) | 2021-08-26 |
JP7090666B2 (ja) | 2022-06-24 |
JP2020182219A (ja) | 2020-11-05 |
US11820289B2 (en) | 2023-11-21 |
EP3833005A1 (en) | 2021-06-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6776414B2 (ja) | 固体撮像装置及び撮像装置 | |
WO2020027233A1 (ja) | 撮像装置及び車両制御システム | |
US11792551B2 (en) | Stacked light receiving sensor and electronic apparatus | |
JP6705044B2 (ja) | 積層型受光センサ及び車載撮像装置 | |
US11962916B2 (en) | Imaging device with two signal processing circuitry partly having a same type of signal processing, electronic apparatus including imaging device, and imaging method | |
JP7423491B2 (ja) | 固体撮像装置及び車両制御システム | |
WO2021075321A1 (ja) | 撮像装置、電子機器及び撮像方法 | |
WO2020027161A1 (ja) | 積層型受光センサ及び電子機器 | |
WO2020027230A1 (ja) | 積層型受光センサ及び車載撮像装置 | |
US20240080546A1 (en) | Imaging apparatus and electronic equipment | |
WO2020027074A1 (ja) | 固体撮像装置および電子機器 | |
TWI846718B (zh) | 積層型受光感測器及電子機器 | |
JP2021068954A (ja) | 受光装置及び電子機器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A764 | Written withdrawal of priority claim |
Free format text: JAPANESE INTERMEDIATE CODE: A764 Effective date: 20190903 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191011 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191023 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191223 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200212 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200410 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200908 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201007 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6776414 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |