RU2367109C2 - Устройство формирования изображения, способ обработки изображения и интегральная схема - Google Patents
Устройство формирования изображения, способ обработки изображения и интегральная схема Download PDFInfo
- Publication number
- RU2367109C2 RU2367109C2 RU2007106899/09A RU2007106899A RU2367109C2 RU 2367109 C2 RU2367109 C2 RU 2367109C2 RU 2007106899/09 A RU2007106899/09 A RU 2007106899/09A RU 2007106899 A RU2007106899 A RU 2007106899A RU 2367109 C2 RU2367109 C2 RU 2367109C2
- Authority
- RU
- Russia
- Prior art keywords
- processing
- pixels
- circuit
- motion
- image
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title description 4
- 230000033001 locomotion Effects 0.000 claims abstract description 252
- 239000004065 semiconductor Substances 0.000 claims abstract description 81
- 238000000034 method Methods 0.000 claims abstract description 76
- 238000001514 detection method Methods 0.000 claims abstract description 50
- 239000011159 matrix material Substances 0.000 claims abstract description 11
- 238000012935 Averaging Methods 0.000 claims 1
- 230000005540 biological transmission Effects 0.000 abstract description 7
- 230000000694 effects Effects 0.000 abstract description 2
- 239000000126 substance Substances 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L25/00—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof
- H01L25/16—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof the devices being of types provided for in two or more different main groups of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. forming hybrid circuits
- H01L25/167—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof the devices being of types provided for in two or more different main groups of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. forming hybrid circuits comprising optoelectronic devices, e.g. LED, photodiodes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/707—Pixels for event detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/148—Charge coupled imagers
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L2924/00—Indexing scheme for arrangements or methods for connecting or disconnecting semiconductor or solid-state bodies as covered by H01L24/00
- H01L2924/0001—Technical content checked by a classifier
- H01L2924/0002—Not covered by any one of groups H01L24/00, H01L24/00 and H01L2224/00
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Power Engineering (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Computer Hardware Design (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Electromagnetism (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Solid State Image Pick-Up Elements (AREA)
Abstract
Изобретение относится к системам формирования и обработки изображения для получения информации движения, получаемой по пикселям. Техническим результатом изобретения является повышение надежности детектирования и обработки движения. Предложено устройство формирования изображения, содержащее интегральную схему устройства обработки сигналов изображения, сформированную путем наложения друг на друга множества полупроводниковых схем, в котором в верхней полупроводниковой схеме интегральной схемы предусмотрено устройство съемки изображения, пиксели которого расположены в виде матрицы и которыми управляют путем управления адресом XY для передачи сигналов изображения, предоставляемых пикселями, в расположенную ниже полупроводниковую схему, в которой предусмотрена схема детектирования движения для обработки сигналов изображения, предоставляемых устройством съемки изображения, и получения информации движения по отдельным пикселям, и схема обработки движения, которая выполняет процесс обработки информации движения по отдельным пикселям и предоставляет результаты обработки, при этом схема детектирования движения получает информацию движения по отдельным пикселям путем обработки разностей сигнала изображения между соседними пикселями, рассчитанных путем вычитания, и схема вычитания для расчета разностей совместно используется соседними пикселями. 4 н. и 3 з.п. ф-лы, 8 ил.
Description
Область техники, к которой относится изобретение
Настоящее изобретение относится к устройству формирования изображения, способу обработки изображения и интегральной схеме, в частности предназначенных для получения информации движения, получаемой по пикселям. В настоящем изобретении полупроводниковая схема, содержащая устройство съемки изображения, управляемое по адресу XY, состоит из полупроводниковой схемы с установленной на нее схемой детектирования, предназначенной для получения информации движения, получаемой по пикселям, для обработки изображений с высокой скоростью, надежностью, с использованием процесса детектирования движения.
Уровень техники
Устройство формирования изображения получает изображение в порядке растрового сканирования CCD (ПЗС, прибор с зарядовой связью) и выполняет процесс, такой как процесс детектирования движения.
На фиг.1 показана блок-схема устройства 1 формирования изображения, в котором используется твердотельное устройство 2 съемки изображения типа ПЗС. В устройстве 1 формирования изображения твердотельное устройство 2 съемки изображения типа ПЗС имеет пиксели 3 фотоэлектрических датчиков, расположенные в виде матрицы. Вентильными элементами 4 считывания управляют для передачи зарядов, накапливаемых в пикселях 3 в регистры 5 вертикальной передачи. В твердотельном устройстве 2 съемки изображения типа ПЗС накапливаемые заряды последовательно передают из регистров 5 вертикальной передачи в регистр 6 горизонтальной передачи, и эти заряды подают на выход из регистра 6 горизонтальной передачи.
В устройстве 1 формирования изображения логический модуль 7 получает сигналы изображения, предоставляемые твердотельным устройством 2 съемки изображения типа ПЗС и обрабатывает их, используя логические операции, для получения информации движения на основе, например, каждого пикселя. Процессор 8 обрабатывает информацию движения, рассчитывает движение в определенной области и использует рассчитанные движения для обработки сигналов изображения.
В последнее время практическое использование получили твердотельные устройства съемки изображения типа CMOS (КМОП, комплементарный металлооксидный полупроводник). Устройство для интегрирования твердотельного устройства съемки изображения типа КМОП и периферийных цепей предложено, например, в JP-A-2004-31785.
Когда получают информацию движения по отдельным пикселям, логический модуль 7 принимает сигналы изображения для одного кадра и начинает обработку сигналов изображения, и передает информацию движения для одного кадра в виде пакета в процессор 8.
Например, когда сигналы изображения, получаемые в результате растрового сканирования, и твердотельные устройства съемки изображения типа КМОП используются для получения сигналов изображения, следующих с высокой скоростью, процесс детектирования движения вносит задержку, и, таким образом, сложно выполнять обработку сигналов изображения с высокой скоростью.
Сущность изобретения
Настоящее изобретение выполнено с учетом этих проблем и поэтому цель настоящего изобретения состоит в создании устройства формирования изображения, которое позволяет надежно детектировать и обрабатывать движения, способа обработки сигнала изображения и интегральной схемы.
Устройство формирования изображения в соответствии с настоящим изобретением включает в себя интегральную схему, сформированную путем наложения друг на друга множества полупроводниковых схем, в верхней полупроводниковой схеме интегральной схемы предусмотрено устройство съемки изображения, пиксели которого расположены в виде матрицы и которыми управляют путем управления адресом XY для передачи сигналов изображения, предоставляемых пикселями, в расположенную ниже полупроводниковую схему, которая расположена под верхней полупроводниковой схемой, и в нижней полупроводниковой схеме предусмотрена схема детектирования движения, которая выполняет процесс обработки сигналов изображения, предоставляемых устройством съемки изображения, и получает информацию движения по отдельным пикселям, и схема обработки движения, которая выполняет процесс обработки информации движения по отдельным пикселям и представляет результаты обработки.
Поскольку верхняя полупроводниковая схема в интегральной схеме содержит устройство съемки изображения, пиксели, которые расположены в виде матрицы и управляются путем управления адресом XY для передачи сигналов изображения, предоставляемых пикселями в нижнюю полупроводниковую схему, которая расположена под верхней полупроводниковой схемой, нижняя полупроводниковая схема снабжена интегральной схемой, включающей в себя схему детектирования движения, которая обрабатывает сигналы изображения, предоставляемые устройством съемки изображения, и получает информацию движения, и схему обработки движения, которая обрабатывает информацию движения по отдельным пикселям и предоставляет результаты обработки, например, схема детектирования движения может обрабатывать сигналы изображения, предоставляемые пикселями устройства съемки изображения, одновременно, в режиме параллельной обработки, когда две полупроводниковые схемы соединены. Таким образом, сигналы изображения могут надежно обрабатываться в процессе детектирования движения, даже если сигналы изображения поступают с высокой скоростью.
Способ обработки сигнала изображения в соответствии с настоящим изобретением, состоящий в обработке сигналов изображения, предоставляемых устройством формирования изображения, включающим в себя интегральную схему, сформированную путем наложения друг на друга множества полупроводниковых схем, включает в себя следующие этапы: управления пикселями, расположенными в виде матрицы в верхней полупроводниковой схеме интегральной схемы путем управления адресом XY, для передачи сигналов изображения, предоставляемых пикселями, в нижнюю полупроводниковую схему, расположенную под верхней полупроводниковой схемой; обработки сигналов изображения, предоставляемых устройством съемки изображения в верхней полупроводниковой схеме в нижнюю полупроводниковую схему, которая расположена под верхней полупроводниковой схемой, для получения информации движения по отдельным пикселям, для обработки информации движения для отдельных пикселей и для предоставления результатов обработки.
Способ обработки сигнала изображения в соответствии с настоящим изобретением позволяет надежно обрабатывать сигналы изображения, получаемые с высокой скоростью с помощью процесса детектирования движения.
Интегральная схема в соответствии с настоящим изобретением включает в себя множество полупроводниковых схем, уложенных друга на друга слоями, в которой самая верхняя полупроводниковая схема из множества полупроводниковых схем снабжена устройством съемки изображения, пиксели которого расположены в виде матрицы и которыми управляют путем управления адресом XY для передачи сигналов изображения, предоставляемых пикселями, в нижнюю полупроводниковую схему, расположенную под верхней полупроводниковой схемой, и нижняя полупроводниковая схема снабжена схемой детектирования движения, которая обрабатывает сигналы изображения, предоставляемые устройством съемки изображения, и получает информацию движения по отдельным пикселям, и схему обработки движения, которая обрабатывает информацию движения по отдельным пикселям и предоставляет результаты обработки.
Интегральная схема в соответствии с настоящим изобретением позволяет надежно обрабатывать сигналы изображения, предоставляемые с высокой скоростью с использованием процесса детектирования.
Способ обработки сигнала изображения в соответствии с настоящим изобретением, состоящий в обработке сигналов изображения, предоставляемых интегральной схемой, сформированной путем наложения друг на друга множества полупроводниковых схем, включает в себя следующие этапы: управления пикселями, расположенными в виде матрицы в самой верхней полупроводниковой схеме интегральной схемы, с использованием управления адресом XY, для передачи сигналов изображения, предоставляемых пикселями, в нижнюю полупроводниковую схему, расположенную под верхней полупроводниковой схемой; обработки сигналов изображения, предоставляемых пикселями верхнего полупроводникового устройства, которое используется как устройство съемки изображения, нижней полупроводниковой схемой, расположенной под верхней полупроводниковой схемой, для получения информации движения в отдельных пикселях, для обработки информации движения об отдельных пикселях и для предоставления результатов обработки.
Способ обработки сигнала изображения в соответствии с настоящим изобретением позволяет надежно обрабатывать сигналы изображения, предоставляемые с высокой скоростью с использованием процесса детектирования движения.
Настоящее изобретение позволяет надежно обрабатывать сигналы изображения с помощью процесса детектирования движения, даже если сигналы изображения поступают с высокой скоростью.
Краткое описание чертежей
На фиг.1 показана блок-схема известного устройства формирования изображения.
На фиг.2 показана блок-схема устройства формирования изображения по первому варианту выполнения в соответствии с настоящим изобретением.
На фиг.3 показан вид в перспективе с покомпонентным представлением деталей интегральной схемы, включенной в устройство формирования изображения, представленное на фиг.2.
На фиг.4 показан вид в перспективе с покомпонентным представлением деталей слоя обработки движения, включенного в интегральную схему, показанную на фиг.3.
На фиг.5 показана схема данных, получаемых в результате обработки информации движения.
На фиг.6 показана таблица, изображающая выходную информацию движения.
На фиг.7 схематично показана схема, предназначенная для пояснения интегральной схемы в третьем варианте выполнения в соответствии с настоящим изобретением.
На фиг.8 показана схема, предназначенная для пояснения схемы детектирования движения, включенной в интегральную схему, показанную на фиг.7.
Подробное описание изобретения
Предпочтительные варианты выполнения настоящего изобретения будут описаны со ссылкой на прилагаемые чертежи.
(1) Первый вариант выполнения
На фиг.2 показана блок-схема устройства формирования изображения по первому варианту выполнения в соответствии с настоящим изобретением. Устройство 31 формирования изображения сжимает данные изображения требуемого объекта и записывает сжатые данные изображения на носитель записи и передает данные изображения в требуемое устройство.
В устройстве 31 формирования изображения предусмотрен объектив 32. Пользователь выполняет операции с объективом 32 для изменения степени увеличения, регулирует степень увеличения и диафрагму. Падающий свет фокусируется на поверхности съемки изображения устройства 33 съемки изображения. Оптический фильтр 34 нижней частоты ослабляет компоненты падающего света, поступающего из объектива 32, имеющие высокие пространственные частоты. Фильтр 35 компенсации цвета, расположенный позади оптического фильтра 34 нижней частоты, компенсирует цветовую температуру падающего света после оптического фильтра 34 нижней частоты.
Устройство 33 съемки изображения представляет собой, например, твердотельное устройство съемки изображения типа КМОП. Устройство съемки изображения 33 работает в соответствии с сигналом синхронизации, поступающим из модуля 36 привода, для преобразования оптического изображения, сформированного на поверхности съемки изображения в виде пикселей сигнала S1 изображения в результате фотоэлектрического преобразования.
Модулем 36 привода управляет модуль 39 управления, который вырабатывает сигналы синхронизации для синхронизации работы устройства с устройством 33 съемки изображения 33. Таким образом, модуль 9 управления управляет работой устройства 33 съемки изображения.
Аналогово-цифровой преобразователь (А/Ц преобразователь) 37 обрабатывает сигнал S1 изображения, используя процесс аналогово-цифрового преобразования, и предоставляет данные D1 изображения.
Модуль 38 обработки изображения сжимает данные D1 изображения, передает кодированные данные D2, полученные в результате сжатия данных D1 изображения, в систему записи и в систему передачи. Таким образом, устройство 31 формирования изображения записывает кодированные данные D2 на заданный носитель записи с помощью системы записи и передает кодированные данные D2 во внешнее устройство с помощью системы передачи.
Модуль 39 управления включает в себя микрокомпьютер, выполняющий функцию средства обработки данных. Модуль 39 управления выполняет заданную программу управления и управляет всеми операциями устройства 31 формирования изображения, в соответствии с инструкциями, вводимыми пользователем, в результате выполнения операций с устройством ввода операций. В данном варианте выполнения программы управления заранее установлены в устройстве 31 формирования изображения. Программы управления могут быть загружены в устройство формирования изображения из сети, такой как сеть Интернет, или с носителя записи. Носитель записи может представлять собой любой соответствующий носитель записи, включая оптические диски, карты памяти и тому подобное.
Модуль 39 управления начинает работать после того, как пользователь подключит устройство 31 формирования изображения к источнику питания. Модуль 39 управления управляет всеми операциями в соответствии с операцией, выполняемой в устройстве ввода операций пользователем, для начала операций съемки изображения, выполняемой устройством 33 съемки изображения, и для начала операций записи и передачи данных изображения, предоставляемых устройством 33 съемки изображения.
На фиг.3 показан вид в перспективе с покомпонентным представлением деталей интегральной схемы 11, включенной в устройство 33 съемки изображения, в устройстве 31 формирования изображения. Эта интегральная схема 11 обрабатывает сигналы изображения в виде последовательных этапов и передает обработанные сигналы изображения в процессор. Модули схемы, которые выполняют этапы обработки в разных каскадах, интегрированы в интегральные схемы, сформированные на тонких полупроводниковых схемах, и эти тонкие полупроводниковые схемы уложены последовательно друг на друга в порядке каскадов для формирования интегральной схемы 11. Таким образом, интегральная схема 11 представляет собой многослойную структуру, включающую в себя слои обработки, соответственно, для выполнения процессов и промежуточные слои разводки, предназначенные для соединения слоев обработки. Самый верхний слой обработки интегральной схемы 11 выполняет функцию слоя 13 съемки изображения, который предоставляет сигналы изображения.
Слой 13 съемки изображения представляет собой полупроводниковую схему, в которой сформирована интегральная схема, включающая в себя твердотельное устройство съемки изображения, управляемое путем управления адресом XY, для получения сигналов изображения, и периферийная схема, соединенная с твердотельным устройством съемки изображения. Слой 13 съемки изображения имеет поверхность съемки изображения, сформированную путем расположения пикселей 14 в виде матрицы на его верхней поверхности. Таким образом, сформировано устройство 33 съемки изображения, упомянутое со ссылкой на фиг.2. Периферийная схема включает в себя схему 36 привода, предназначенную для управления пикселями 14, и А/Ц преобразователь 37, предназначенный для преобразования сигналов изображения, предоставляемых пикселями 14, в данные изображения, которые упомянуты со ссылкой на фиг.2, и схему считывания, предназначенную для считывания сигналов изображения из пикселей 14. Схемой считывания управляют с использованием управления адресом XY для считывания данных изображения, соответствующих сигналам изображения, предоставляемым пикселями 14 одновременно в режиме параллельного считывания, через короткие интервалы, и передает считанные данные изображения через промежуточный соединительный слой разводки в нижние слои 15 для одновременной обработки в режиме параллельного вывода.
Нижний слой обработки представляет собой слой 16 детектирования движения, предназначенный для детектирования информации движения, предоставляемой пикселями слоя 13 съемки изображения. Слой 16 детектирования движения содержит схему 17 детектирования движения, предназначенную для детектирования информации движения по отдельным пикселям. В данном варианте выполнения схема 17 детектирования движения включает в себя множество детекторов 17А движения, соответственно, соответствующих пикселям слоя 13 съемки изображения.
Промежуточный слой 15 разводки передает данные изображения, предоставляемые каждым из пикселей слоя 13 съемки изображения в соответствующий детектор 17А движения слоя 16 детектирования движения, в соответствии с пикселями, и в расположенные рядом детекторы 17А движения, соответственно, на негативных сторонах ассоциированного детектора 17А движения в отношении направления Х и направления Y, что позволяет детектировать информацию движения по отдельным пикселям с помощью схемы 17 детектирования движения.
Предположим, что положение ассоциированного детектора 17А движения имеет координаты (x, y) в системе координат, определенной осью X, параллельной направлению x, и осью y, параллельной направлению Y. Затем сигнал f (x, у) изображения, предоставляемый пикселем 14, соответствующим детектору 17А движения, и сигналы f(x-1, y) и f(х, y-1), предоставляемые соседними пикселями 14 на негативных сторонах пикселя 14, соответствующих детектору 17А движения относительно направления Х и направления Y, одновременно передают в детектор 17А движения в режиме параллельного ввода. Детектор 17А движения имеет регистр, предназначенный для сохранения сигнала f(x, y, t-1) изображения, предоставленного ассоциированным пикселем 14 в предыдущем цикле выборки, и схему вычитания. Схема вычитания выполняет следующую арифметическую операцию на основе схем вычитания, с использованием сигнала изображения f(x, y, t-1), сохраненного в регистре, сигнала f(x, y, t) изображения, предоставляемого ассоциированным пикселем 14, и сигналов f(x-1, y, t) и f(x, y-1, t), предоставляемых соседними ассоциированными пикселями 14. И схема вычитания рассчитывает разность между сигналом изображения, предоставляемым ассоциированным пикселем 14 и сигналами изображения, предоставляемыми пикселями, расположенными рядом с ассоциированным пикселем 14 в отношении направления Х и направления Y, fx(х, y) и
fy(х, y), и с учетом разности по оси времени, ft(x, у), соответственно.
Детектор 17А движения решает следующие уравнения с помощью арифметической схемы, используя рассчитанные значения разности fx(x, y), fy(x, y) и ft(x, y) для расчета информации движения (u, v) для ассоциированного пикселя 14. В следующих уравнениях fx(x-1, y) и fy(х-1, y) представлены расчетные значения разности, полученные с помощью соседнего детектора 17 движения на негативных сторонах относительно направления Х и направления Y детектора 17 движения, и ft(х-1, y) представляет собой расчетную разность по временной оси.
Значения U и v информации (u, v) движения, полученные путем решения уравнений (4) и (5), представлены выражениями (6) и (7). В частности, детектор 17А движения рассчитывает информацию (u, v) движения для ассоциированного пикселя 14 путем выполнения следующей арифметической операции с уравнениями (6) и (7), на основе арифметической схемы.
где К выражено уравнением (8). Когда знаменатель уравнения (8) равен нулю, информация (u, v) движения установлена в (0, 0).
Детектор 17А движения передает полученную таким образом информацию (u, v) движения и данные изображения, предоставляемые соответствующим пикселем 14, через промежуточный слой 19 разводки в следующий слой обработки, который представляет собой слой 18 обработки движения. Таким образом, промежуточный слой 19, расположенный под слоем 16 детектирования движения, передает информацию движения, предоставляемую детектором 17А движения слоя 16 детектирования движения и данные изображения, предоставляемые каждым пикселем 14 в слой 18 обработки движения.
В слое 18 обработки движения предусмотрена схема 20 обработки движения, предназначенная для обработки информации движения (u, v), рассчитанной слоем 16 детектирования движения по отдельным пикселям, для детектирования областей, в которых происходит идентичное движение. Схема 20 обработки движения обрабатывает информацию (u, v) движения в ходе последовательных этапов. Как показано на фиг.4, схема 20 обработки движения включает в себя уложенные друг на друга полупроводниковые схемы, снабженные интегральными схемами для выполнения процессов на этих этапах. Три последовательных слоя 21-23 обработки и два промежуточных слоя разводки 24 и 25 формируют схему 20 обработки движения.
Среди этих слоев 21-23 обработки схемы обработки движения самый верхний слой 21 обработки назначен для первого слоя 21 принятия решения об однородности движения, в котором предусмотрены первые схемы 27 принятия решения об однородности движения.
Первые схемы 27 принятия решения об однородности движения снабжены блоками, каждый из которых содержит заданное количество пикселей, расположенных в направлении Х и в направлении Y, соответственно. Слой 16 детектирования движения передает информацию (u, v) движения от пикселей блоков, соответствующих первым схемам 27 принятия решения об однородности движения, и данные изображения в первые схемы 27 принятия решения об однородности движения. Первая схема 27 принятия решения об однородности движения рассчитывает среднее значение информации (u, v) движения по пикселям. Первая схема 27 принятия решения об однородности движения рассчитывает отклонение информации (u, v) движения для каждого пикселя 14, на основе рассчитанного среднего значения и сравнивает рассчитанное отклонение с заданным пороговым значением. Таким образом, первая схема 27 принятия решения об однородности движения определяет, принадлежат ли одной области движения, представленные информацией (u, v) движения по пикселям блока, соответствующего первой схеме 27 принятия решения об однородности движения. Если отклонение не больше, чем пороговое значение, и если будет принято решение, что движения принадлежат одной области, решение, принятое на основе порогового значения и среднего значения информации (u, v) движения в каждом пикселе, передают вместе с данными изображения, полученными по пикселям. Если отклонение больше чем пороговое значение и если будет принято решение, что движения не принадлежат одной области, решение, принятое на основе порогового значения и информацию (u, v) движения по ассоциированным пикселям, передают вместе с данными изображения, представленными пикселями.
Промежуточный слой 24 разводки передает выходные данные, предоставляемые первым слоем 21 принятия решения об однородности движения, во второй слой 22 принятия решения об однородности движения. Второй слой 22 принятия решения об однородности движения снабжен вторыми схемами 28 принятия решения об однородности движения, каждая из которых соответствует заданному количеству первых схем 27 принятия решения об однородности движения в первом слоем 21 принятия решения об однородности движения.
Вторая схема 28 принятия решения об однородности движения рассчитывает среднее значение по средним значениям, рассчитанным первыми схемами 27 принятия решения об однородности движения, и принимает решение о принадлежности к одной области на основе решений, принятых первыми схемами 27 принятия решения об однородности движения. Вторая схема 28 принятия решения об однородности движения рассчитывает отклонение средних значений, рассчитанных первыми схемами 27 принятия решения об однородности движения на основе этого среднего значения, и сравнивает значение отклонения с заданным пороговым значением. Таким образом, вторая схема 28 принятия решения об однородности движения принимает решение, принадлежат ли пиксели, по которым с использованием первых схем 27 принятия решения об однородности движения принято решение, что они принадлежат малым областям, большой области, которая больше чем малые области.
Если отклонение не больше, чем пороговое значение, и будет принято решение, что пиксели принадлежат большой области, вторая схема 28 принятия решения об однородности движения предоставляет результат решения, принятого на основе порогового значения и среднего значения информации (u, v) движения для пикселей, вместе с данными изображения, предоставляемыми этими пикселями. Если отклонение больше чем пороговое значение и если будет принято решение, что пиксели не принадлежат большей области, решение, принятое на основе порогового значения и средних значений, рассчитанных первыми схемами 27 принятия решения об однородности движения, передают вместе с данными изображения, предоставляемыми пикселями. Для пикселей, для которых ранее было принято решение с использованием первой схемы 27 принятия решения об однородности движения, что они не принадлежат меньшей области, на выход передают информацию (u, v) движения, предоставляемую первым слоем 21 принятия решения об однородности движения и данные изображения.
Промежуточный слой 25 разводки передает выходные данные, предоставляемые вторым слоем 22 принятия решения об однородности движения, в слой 23 принятия решения об области движения.
Слой 23 принятия решения об области движения имеет одну схему 29 принятия решения об области движения. Схема 29 принятия решения об области движения рассчитывает среднее значение по средним значениям информации движения по пикселям, соответственно, в больших областях, рассчитанных вторыми схемами 28 принятия решения об однородности движения, на основе решений, принятых вторыми схемами 28 принятия решения об однородности движения. Схема 29 принятия решения об области движения рассчитывает отклонение средних значений, рассчитанных с помощью вторых схем 28 принятия решения об однородности движения на основе среднего значения, и сравнивает это значение отклонения с пороговым значением. Таким образом, слой 23 принятия решения об области движения принимает решение, включены ли или нет пиксели, для которых с помощью вторых схем 28 принятия решения об однородности движения было принято решение, что они принадлежат к одним и тем же областям, в одну область, продолжающуюся по всей поверхности изображения.
Если отклонение не превышает пороговое значение и принято решение, что пиксели принадлежат одной области изображения, схема 29 принятия решения об области движения назначает идентификационные коды, обозначающие области, данным изображения, предоставляемым пикселям, принадлежащим областям, как показано на фиг.5. В этом случае эти пиксели идентифицируют с помощью идентификационного кода 0 на фиг.5. Даже если отклонение не превышает пороговое значение, принимают решение, принадлежат ли пиксели, по которым невозможно непосредственно принять решение о принадлежности их области, соответствующей всему изображению, другой области, на основе решений, принятых вторым слоем 22 принятия решения об однородности движения, и первым слоем 21 принятия решения об однородности движения, и по среднему значению. Аналогично идентификационные коды, обозначающие области, которым принадлежат данные изображения, назначают данным изображения, предоставляемым по пикселям. На фиг.5 эти пиксели идентифицированы с помощью кодов 1 и 2 идентификации.
Схема 29 принятия решения об области движения предоставляет данные изображения, для которых были назначены идентификационные коды, в заданном порядке в процессор. Как показано на фиг.6, средние значения информации (u, v) движения о пикселях, принадлежащих областям, предоставляют вместе с ассоциированными идентификационными кодами в процессор. Затем схема 20 обработки движения рассчитывает средние значения информации (u, v) движения о пикселях в малых областях, информацию (u, v) движения о пикселях в больших областях и информацию (u, v) движения по пикселям во всем изображении и детектирует области, выражающие одни и те же движения.
Процессор устройства 31 формирования изображения в данном варианте выполнения обрабатывает данные изображения, используя результат обработки, предоставляемый схемой 29 принятия решения об области движения. Хотя процесс обработки данных изображения представляет собой процесс кодирования данных изображения в соответствии с данным вариантом выполнения, этот процесс может представлять собой процесс отслеживания объекта. В интегральной схеме 11 конфигурация, ранжированная от промежуточного слоя разводки до слоев 16 обработки, формирует модуль 38 обработки изображения, показанный на фиг.2.
(2) Операции первого варианта выполнения
Устройство формирования изображения, показанное на фиг.2 и 3, формирует изображение объекта на поверхности съемки изображения интегральной схемы 11 с помощью объектива 32. Пиксели 14, формирующие поверхность съемки изображения, предоставляют сигналы изображения, представляющие оптическое изображение. Схема 17 детектирования движения устройства формирования изображения обрабатывает сигналы изображения, предоставляемые пикселями 14, для получения информации (u, v) движения по пикселям. Схема 20 обработки движения обрабатывает информацию (u, v) движения по пикселям, рассчитывает средние значения информации (u, v) движения по пикселям в малых областях, больших областях и во всем изображении и детектирует области, выражающие одни и те же движения.
Устройство съемки изображения, которое предоставляет данные изображения, схема 17 детектирования движения и схема 20 обработки движения сформированы в интегральных схемах на тонких полупроводниковых схемах, и тонкие полупроводниковые схемы уложены друг на друга для формирования интегральной схемы 11, предназначенной для выполнения этих процессов. Сигналы изображения, предоставляемые пикселями устройства съемки изображения, подают одновременно в режиме параллельной передачи в схему 17 детектирования движения, сформированную на полупроводниковой схеме, расположенной под устройством съемки изображения. Схема 17 детектирования движения обрабатывает сигнал изображения одновременно в режиме параллельной обработки для предоставления информации (u, v) движения о пикселях. Информацию (u, v) движения о пикселях подают одновременно в режиме параллельной передачи в схему 20 обработки движения, сформированную на полупроводниковой схеме, которая расположена под полупроводниковой схемой, на которой сформирована схема 17 детектирования движения. Схема 20 обработки движения обрабатывает информацию движения по пикселям одновременно в режиме параллельной обработки.
В варианте выполнения сигналы изображения, предоставляемые пикселями, могут быть переданы на выход и могут быть обработаны одновременно в параллельном режиме для получения информации движения, путем использования уложенных друг на друга полупроводниковых схем, в которых, соответственно, предусмотрены устройство съемки изображения путем управления адресом XY, и схема детектирования движения, предназначенная для детектирования информации движения по пикселям. Таким образом, процесс детектирования движения позволяет использовать достаточное время обработки и может надежно выполнять процесс детектирования движения, даже если сигналы изображения предоставляются устройством съемки изображения с высокой скоростью.
Более конкретно, устройство формирования изображения в данном варианте выполнения обрабатывает информацию (u, v) движения по пикселям, полученную, таким образом, с помощью схемы обработки движения, рассчитывает средние значения информации (u, v) движения по пикселям в малых областях, больших областях и во всем изображении и детектирует области, выражающие одинаковые движения. Процессы, включающие в себя процесс компенсации движения, могут быть выполнены путем эффективного использования полученной таким образом информации (u, v) движения по пикселям.
Интегральная схема 11 рассчитывает средние значения информации (u, v) движения в ходе последовательных этапов, в порядке: малые области, большие области и все изображение, с использованием схемы 20 обработки движения для обработки информации (u, v) движения, для определения областей, выражающих одинаковые движения. Как показано на фиг.4, схема 20 обработки движения построена путем укладки друг на друга полупроводниковых схем, в которых предусмотрены интегральные схемы, предназначенные для выполнения процессов в малых областей, больших областях и для всего изображения. Информация движения может быть обработана с высокой скоростью путем одновременной передачи данных, обработанных интегральной схемой, в режиме параллельной передачи, в интегральную схему, сформированную в полупроводниковой схеме, лежащей в основе предыдущей полупроводниковой схемы, которая расположена под предыдущей схемой. Таким образом, сигналы изображения поступают с высокой скоростью для детектирования движения и полученная, таким образом, информация движения может быть надежно обработана.
(3) Эффект первого варианта выполнения
Процесс детектирования движения может быть надежно выполнен, даже если сигналы изображения будут поступать с высокой скоростью, путем использования уложенных друг на друга полупроводниковых схем, в которых, соответственно, предусмотрено устройство съемки изображения, управляемое по адресу XY, и схема детектирования движения, предназначенная для детектирования информации движения по пикселям.
Полученная таким образом информация движения может эффективно использоваться путем расчета средних значений информации движения по пикселям, с помощью схемы обработки движения, для обработки информации движения и детектирования областей, выражающих одно и то же движение.
(4) Второй вариант выполнения
Во втором варианте выполнения схема 20 обработки движения, указанная выше со ссылкой на фиг.3, рассчитывает сумму разностей между кадрами информации (u, v) движения о пикселях и передает рассчитанную сумму в процессор. Интегральная схема 11, включенная во второй вариант выполнения, идентична интегральной схеме 11, включенной в первый вариант выполнения, за исключением того, что схема 20 обработки движения во втором варианте выполнения отличается от первого варианта выполнения, Сумма разностей между кадрами представляет собой сумму квадратов разностей или сумму абсолютных значений разностей.
Во втором варианте выполнения полупроводниковая схема, в которой предусмотрено устройство съемки изображения, управляемое по адресу XY, и полупроводниковая схема, снабженная схемой детектирования движения, предназначенная для детектирования информации движения об отдельных пикселях, уложены друг на друга. Таким образом, даже сигналы изображения, поступающие с высокой скоростью, могут быть надежно обработаны с помощью процесса детектирования движения, и сумма разностей между кадрами информации движения по отдельным пикселям рассчитывается для эффективного использования детектируемой информации движения.
(5) Третий вариант выполнения
Промежуточный слой 15 разводки интегральной схемы 11, включенный в первый вариант выполнения, требует использования трех систем разводки для каждого из пикселей 14 для получения сигнала изображения, предоставляемого пикселем 14, и сигналов изображения, предоставляемых пикселями 14 на негативных сторонах пикселя 14 относительно направления Х и направления Y. Поэтому компоновка линий разводки промежуточного слоя 15 разводки является усложненной, промежуточный слой 15 разводки, требует сложных процессов производства, и производительность производственной линии по изготовлению промежуточного слоя 15 разводки является низкой.
В третьем варианте выполнения детектор 17А движения совместно используется соседними пикселями. Как показано на фиг.7, четыре пикселя 14, расположенные рядом друг с другом относительно направления Х и направления Y, обозначены от а00 до а11 и детекторы 17А движения, соответствующие пикселям a000-a11, обозначены как b00-b11 соответственно. Знак разности fx между пикселем а00, который расположен ближе всего к исходному направлению Х и направлению Y, и пикселя а10, который расположен ближе всего к пикселю 00 относительно направления X, выраженному выражением (1), преобразован на обратный для получения разности fx, выраженной уравнением (1) между пикселем а10 и соседним пикселем а00 на негативной стороне пикселя а10 относительно направления X. Знак разности fy между пикселем а00, который расположен ближе всего к исходному направлению Х и направлению Y, и пикселя а1, расположенного рядом с пикселем 00 относительно направления Y, выраженный уравнением (2), изменен на обратный для получения разности fy, выраженной уравнением (2), между пикселем а10 и соседним пикселем а00 на негативной стороне пикселя а10 относительно направления Y.
Детектор 17А движения (от b00 до b11) использует это соотношение. Как показано на фиг.8, каждая из схем А00 до А11 вычитания рассчитывает разность fx или fy между пикселем и одним из соседних пикселей, передает рассчитанную разность fx или fy в детектор 17А движения (от b00 до b11), ассоциированный с одним из соседних пикселей, и каждый из детекторов 17А (от b00 до b11) движения рассчитывает разность fx относительно направления Х и разность fy относительно направления Y. Информацию (u, v) движения рассчитывают путем обработки полученных, таким образом, значений разности fx относительно направления Х и разности fy относительно направления Y.
Схема 17 детектирования движения определяет информацию (u, v) движения для отдельных пикселей путем обработки разностей в сигнале изображения между соседними пикселями с помощью арифметического процесса. Схема вычитания для расчета разности совместно используется соседними пикселями. Следовательно, конфигурация схемы 17 детектирования движения упрощается, соответственно, и схема линии разводки промежуточного слоя 15 разводки упрощается. На практике только две линии разводки должны быть соединены с каждым детектором 17А движения, когда схема вычитания используется, таким образом, совместно с пикселями, и, следовательно, промежуточный слой 15 разводки может быть упрощен, и может быть улучшена производительность.
В третьем варианте выполнения полупроводниковая схема, в которой предусмотрено устройство съемки изображения, управляемое по адресу XY, и полупроводниковая схема, в которой предусмотрена схема детектирования движения для получения информации движения по отдельным пикселям, установлены друг на друга, и схема вычитания для расчета разности совместно используется соседними пикселями. Таким образом, процесс детектирования движения может быть надежно выполнен, даже если сигналы изображения поступают с высокой скоростью, и вся конструкция упрощается.
(6) Другие варианты выполнения
Хотя в детекторах движения в соответствии с третьим вариантом выполнения предусмотрены схемы вычитания, соответственно, в одном из детекторов движения, ассоциированных с соседними пикселями, может быть предусмотрена схема вычитания, которая дополнительно упрощает промежуточный слой разводки.
Хотя схема детектирования движения сформирована на основе схемы, отдельной от схемы детектирования движения, и схема обработки движения сформирована путем установки друг на друга множества полупроводниковых схем в описанном выше варианте выполнения, они могут быть выполнены на основе одной полупроводниковой схемы. Вкратце, многослойная структура, сформированная путем укладки друг на друга полупроводниковой схемы, в которой предусмотрено устройство съемки изображения, и полупроводниковой схемы, в которой предусмотрена схема детектирования движения, позволяет надежно выполнять процесс детектирования движения, даже если сигналы изображения поступают с высокой скоростью.
Хотя интегральная схема в соответствии с предыдущим вариантом выполнения также обеспечивает данные изображения, эта интегральная схема может широко использоваться для предоставления только результата обработки движения в случае, когда это необходимо.
Хотя приведенные выше варианты выполнения были описаны в применении к процессу кодирования и к процессу отслеживания объекта, настоящее изобретение также можно широко использовать в различных устройствах формирования изображения, в которых используется информация движения.
Промышленная применимость
Настоящее изобретение можно использовать для детектирования информации движения по отдельным пикселям.
Claims (7)
1. Устройство формирования изображения, содержащее интегральную схему устройства обработки сигналов изображения, сформированную путем наложения друг на друга множества полупроводниковых схем, в котором в верхней полупроводниковой схеме интегральной схемы предусмотрено устройство съемки изображения, пиксели которого расположены в виде матрицы, и которыми управляют путем управления адресом XY для передачи сигналов изображения, предоставляемых пикселями, в расположенную ниже полупроводниковую схему, которая расположена под верхней полупроводниковой схемой, и в нижней полупроводниковой схеме предусмотрена схема детектирования движения, которая выполняет процесс обработки сигналов изображения, предоставляемых устройством съемки изображения, и получает информацию движения по отдельным пикселям, и схема обработки движения, которая выполняет процесс обработки информации движения по отдельным пикселям и предоставляет результаты обработки, при этом схема детектирования движения получает информацию движения по отдельным пикселям путем обработки разностей сигнала изображения между соседними пикселями, рассчитанных путем вычитания, и схема вычитания для расчета разностей совместно используется соседними пикселями.
2. Устройство формирования изображения по п.1, в котором процесс, выполняемый схемой обработки движения для обработки информации движения по отдельным пикселям представляет собой процесс усреднения информации движения по отдельным пикселям.
3. Устройство формирования изображения по п.1, в котором процесс, выполняемый схемой обработки движения для обработки информации движения по отдельным пикселям, представляет собой процесс расчета, предназначенный для расчета суммы разностей между кадрами информации движения по отдельным пикселям.
4. Устройство формирования изображения по п.1, в котором процесс, выполняемый схемой обработки движения для обработки информации движения по отдельным пикселям, представляет собой процесс для обработки информации движения по отдельным пикселям в последовательных этапах, для детектирования областей, выражающих одно и то же движение.
5. Способ обработки сигнала изображения, состоящий в обработке сигналов изображения, предоставляемых устройством формирования изображения, включающим в себя интегральную схему, сформированную путем наложения друг на друга множества полупроводниковых схем, причем указанный способ обработки сигнала изображения содержит следующие этапы: управления пикселями, расположенными в виде матрицы в верхней полупроводниковой схеме интегральной схемы, путем управления адресом XY, для передачи сигналов изображения, предоставляемых пикселями, в нижнюю полупроводниковую схему, расположенную под верхней полупроводниковой схемой; и обработки сигналов изображения, предоставляемых устройством съемки изображения в верхней полупроводниковой схеме, в нижнюю полупроводниковую схему, которая расположена под верхней полупроводниковой схемой, для получения информации движения по отдельным пикселям, для обработки этой информации движения по отдельным пикселям и для предоставления результатов обработки, при этом информацию движения получают по отдельным пикселям путем обработки разностей сигнала изображения между соседними пикселями, рассчитанных путем вычитания.
6. Интегральная схема устройства обработки сигналов изображения, содержащая множество полупроводниковых схем, наложенных друг на друга слоями; в которой в самой верхней полупроводниковой схеме из множества полупроводниковых схем предусмотрено устройство съемки изображения, пиксели которого расположены в виде матрицы, и которыми управляют путем управления адресом XY, для передачи сигналов изображения, предоставляемых пикселями, в нижнюю полупроводниковую схему, которая расположена под верхней полупроводниковой схемой, и в нижней полупроводниковой схеме предусмотрена схема детектирования движения, которая обрабатывает сигналы изображения, предоставляемые устройством съемки изображения, и которая получает информацию движения об отдельных пикселя, и схема обработки движения, которая обрабатывает информацию движения об отдельных пикселях и предоставляет результаты обработки, при этом схема детектирования движения получает информацию движения по отдельным пикселям путем обработки разностей сигнала изображения между соседними пикселями, рассчитанных путем вычитания, и схема вычитания для расчета разностей совместно используется соседними пикселями.
7. Способ обработки сигнала изображения, состоящий в обработке сигналов изображения, предоставляемых интегральной схемой устройства обработки сигналов изображения, сформированной путем наложения друг на друга множества полупроводниковых схем, причем указанный способ обработки сигнала изображения содержит следующие этапы: управления пикселями, расположенными в виде матрицы в верхней полупроводниковой схеме интегральной схемы, путем управления адресом XY, для передачи сигналов изображения, предоставляемых пикселями, в нижнюю полупроводниковую схему, которая расположена под верхней полупроводниковой схемой; и обработки сигналов изображения, предоставляемых пикселями в верхнем полупроводниковом устройстве, которое выполняет функцию устройства съемки изображения, с помощью нижней полупроводниковой схемы, расположенной под верхней полупроводниковой схемой, для получения информации движения от отдельных пикселей, для обработки информации движения по отдельным пикселям и для предоставления результатов обработки, при этом информацию движения получают по отдельным пикселям путем обработки разностей сигнала изображения между соседними пикселями, рассчитанных путем вычитания.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004241785 | 2004-08-23 | ||
| JP2004-241785 | 2004-08-23 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2007106899A RU2007106899A (ru) | 2008-08-27 |
| RU2367109C2 true RU2367109C2 (ru) | 2009-09-10 |
Family
ID=35967298
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2007106899/09A RU2367109C2 (ru) | 2004-08-23 | 2005-06-22 | Устройство формирования изображения, способ обработки изображения и интегральная схема |
Country Status (11)
| Country | Link |
|---|---|
| US (1) | US20080180534A1 (ru) |
| EP (1) | EP1788802A1 (ru) |
| JP (1) | JP4640338B2 (ru) |
| KR (1) | KR20070053230A (ru) |
| CN (1) | CN101006717A (ru) |
| AU (1) | AU2005276018A1 (ru) |
| BR (1) | BRPI0514555A (ru) |
| CA (1) | CA2578005A1 (ru) |
| MX (1) | MX2007002073A (ru) |
| RU (1) | RU2367109C2 (ru) |
| WO (1) | WO2006022077A1 (ru) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012091615A1 (ru) * | 2010-12-28 | 2012-07-05 | Закрытое Акционерное Общество "Всемирный Банк Интеллектуальной Собственности" | Программно-аппаратный комплекс производства защищенной цифровой информации |
| RU169458U1 (ru) * | 2016-12-23 | 2017-03-21 | Акционерное общество "НПО "Орион" | Формирователь сигналов изображения на основе матричного фотоприемного устройства с градиентной коррекцией неоднородности и дефектов фоточувствительных элементов |
Families Citing this family (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101551690B1 (ko) * | 2009-06-26 | 2015-09-09 | 삼성전자주식회사 | 디지털 촬영장치, 그 제어방법 및 이를 실행하기 위한 프로그램을 저장한 기록매체 |
| TWI648986B (zh) * | 2014-04-15 | 2019-01-21 | 日商新力股份有限公司 | 攝像元件、電子機器 |
| KR102357965B1 (ko) | 2015-01-12 | 2022-02-03 | 삼성전자주식회사 | 객체 인식 방법 및 장치 |
| WO2017009944A1 (ja) * | 2015-07-14 | 2017-01-19 | オリンパス株式会社 | 固体撮像装置 |
| JPWO2017013806A1 (ja) * | 2015-07-23 | 2018-05-10 | オリンパス株式会社 | 固体撮像装置 |
| EP3439288B1 (en) | 2016-03-30 | 2024-04-10 | Nikon Corporation | Feature extraction element, feature extraction system, and determination apparatus |
| US10686996B2 (en) | 2017-06-26 | 2020-06-16 | Facebook Technologies, Llc | Digital pixel with extended dynamic range |
| US10598546B2 (en) | 2017-08-17 | 2020-03-24 | Facebook Technologies, Llc | Detecting high intensity light in photo sensor |
| WO2019135304A1 (ja) * | 2018-01-05 | 2019-07-11 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 |
| US12034015B2 (en) | 2018-05-25 | 2024-07-09 | Meta Platforms Technologies, Llc | Programmable pixel array |
| US11906353B2 (en) | 2018-06-11 | 2024-02-20 | Meta Platforms Technologies, Llc | Digital pixel with extended dynamic range |
| US11463636B2 (en) | 2018-06-27 | 2022-10-04 | Facebook Technologies, Llc | Pixel sensor having multiple photodiodes |
| US10897586B2 (en) | 2018-06-28 | 2021-01-19 | Facebook Technologies, Llc | Global shutter image sensor |
| US10931884B2 (en) | 2018-08-20 | 2021-02-23 | Facebook Technologies, Llc | Pixel sensor having adaptive exposure time |
| US11956413B2 (en) | 2018-08-27 | 2024-04-09 | Meta Platforms Technologies, Llc | Pixel sensor having multiple photodiodes and shared comparator |
| US11595602B2 (en) | 2018-11-05 | 2023-02-28 | Meta Platforms Technologies, Llc | Image sensor post processing |
| WO2020116177A1 (ja) * | 2018-12-05 | 2020-06-11 | ソニー株式会社 | 撮像素子、撮像装置および方法 |
| US11962928B2 (en) | 2018-12-17 | 2024-04-16 | Meta Platforms Technologies, Llc | Programmable pixel array |
| US11888002B2 (en) | 2018-12-17 | 2024-01-30 | Meta Platforms Technologies, Llc | Dynamically programmable image sensor |
| US11218660B1 (en) | 2019-03-26 | 2022-01-04 | Facebook Technologies, Llc | Pixel sensor having shared readout structure |
| US11943561B2 (en) | 2019-06-13 | 2024-03-26 | Meta Platforms Technologies, Llc | Non-linear quantization at pixel sensor |
| JP6809565B2 (ja) * | 2019-06-13 | 2021-01-06 | 株式会社ニコン | 特徴抽出素子、特徴抽出システム、および判定装置 |
| US11936998B1 (en) | 2019-10-17 | 2024-03-19 | Meta Platforms Technologies, Llc | Digital pixel sensor having extended dynamic range |
| US11935291B2 (en) | 2019-10-30 | 2024-03-19 | Meta Platforms Technologies, Llc | Distributed sensor system |
| US11948089B2 (en) | 2019-11-07 | 2024-04-02 | Meta Platforms Technologies, Llc | Sparse image sensing and processing |
| US11902685B1 (en) | 2020-04-28 | 2024-02-13 | Meta Platforms Technologies, Llc | Pixel sensor having hierarchical memory |
| US11825228B2 (en) | 2020-05-20 | 2023-11-21 | Meta Platforms Technologies, Llc | Programmable pixel array having multiple power domains |
| US11910114B2 (en) | 2020-07-17 | 2024-02-20 | Meta Platforms Technologies, Llc | Multi-mode image sensor |
| US11956560B2 (en) | 2020-10-09 | 2024-04-09 | Meta Platforms Technologies, Llc | Digital pixel sensor having reduced quantization operation |
| US11935575B1 (en) | 2020-12-23 | 2024-03-19 | Meta Platforms Technologies, Llc | Heterogeneous memory system |
| US12022218B2 (en) | 2020-12-29 | 2024-06-25 | Meta Platforms Technologies, Llc | Digital image sensor using a single-input comparator based quantizer |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5892260A (ja) * | 1981-11-27 | 1983-06-01 | Mitsubishi Electric Corp | 半導体装置 |
| JPS63174356A (ja) * | 1987-01-14 | 1988-07-18 | Agency Of Ind Science & Technol | 画像処理用半導体装置 |
| JP2741888B2 (ja) * | 1989-03-13 | 1998-04-22 | 日本電信電話株式会社 | 階層的画像マッチング処理方法および装置 |
| JP3117138B2 (ja) * | 1989-09-13 | 2000-12-11 | オリンパス光学工業株式会社 | 電子スチルカメラとその撮像記録素子 |
| JPH05268535A (ja) * | 1992-03-24 | 1993-10-15 | Toshiba Corp | 視覚センサー |
| TW321748B (ru) * | 1994-02-23 | 1997-12-01 | Rca Thomson Licensing Corp | |
| JPH0854283A (ja) * | 1994-08-10 | 1996-02-27 | Nippon Telegr & Teleph Corp <Ntt> | 画像入力装置 |
| US5763943A (en) * | 1996-01-29 | 1998-06-09 | International Business Machines Corporation | Electronic modules with integral sensor arrays |
| JP2000020230A (ja) * | 1998-07-02 | 2000-01-21 | Mitsubishi Electric Corp | 光学式マウススキャナ |
| JP2000299820A (ja) * | 1999-04-14 | 2000-10-24 | Hamamatsu Photonics Kk | 高速視覚センサ装置 |
| JP2001094888A (ja) * | 1999-09-22 | 2001-04-06 | Canon Inc | 撮像装置 |
| JP2001128067A (ja) * | 1999-10-26 | 2001-05-11 | Natl Inst Of Advanced Industrial Science & Technology Meti | 電子デバイス、並列処理方法、および記録媒体 |
| JP2001184498A (ja) * | 1999-12-27 | 2001-07-06 | Ecchandesu:Kk | イメージセンサー |
| JP4736173B2 (ja) * | 2000-10-27 | 2011-07-27 | 株式会社ニコン | 撮像装置 |
| GB0027931D0 (en) * | 2000-11-16 | 2001-01-03 | Sgs Thomson Microelectronics | Solid state imaging device |
| JP3833088B2 (ja) * | 2001-09-05 | 2006-10-11 | 独立行政法人科学技術振興機構 | 画像検出処理装置 |
| TW530489B (en) * | 2001-09-11 | 2003-05-01 | Pixart Imaging Inc | Moving distance detection method of image sensor |
| JP2004153130A (ja) * | 2002-10-31 | 2004-05-27 | Olympus Corp | 半導体装置及びその製造方法 |
| US7312819B2 (en) * | 2003-11-24 | 2007-12-25 | Microsoft Corporation | Robust camera motion analysis for home video |
-
2005
- 2005-06-22 RU RU2007106899/09A patent/RU2367109C2/ru not_active IP Right Cessation
- 2005-06-22 JP JP2006531318A patent/JP4640338B2/ja not_active Expired - Fee Related
- 2005-06-22 MX MX2007002073A patent/MX2007002073A/es not_active Application Discontinuation
- 2005-06-22 AU AU2005276018A patent/AU2005276018A1/en not_active Abandoned
- 2005-06-22 US US11/660,752 patent/US20080180534A1/en not_active Abandoned
- 2005-06-22 WO PCT/JP2005/011876 patent/WO2006022077A1/ja active Application Filing
- 2005-06-22 CN CNA2005800276006A patent/CN101006717A/zh active Pending
- 2005-06-22 BR BRPI0514555-4A patent/BRPI0514555A/pt not_active IP Right Cessation
- 2005-06-22 CA CA002578005A patent/CA2578005A1/en not_active Abandoned
- 2005-06-22 EP EP05755738A patent/EP1788802A1/en not_active Withdrawn
- 2005-06-22 KR KR1020077004149A patent/KR20070053230A/ko not_active Application Discontinuation
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012091615A1 (ru) * | 2010-12-28 | 2012-07-05 | Закрытое Акционерное Общество "Всемирный Банк Интеллектуальной Собственности" | Программно-аппаратный комплекс производства защищенной цифровой информации |
| RU169458U1 (ru) * | 2016-12-23 | 2017-03-21 | Акционерное общество "НПО "Орион" | Формирователь сигналов изображения на основе матричного фотоприемного устройства с градиентной коррекцией неоднородности и дефектов фоточувствительных элементов |
Also Published As
| Publication number | Publication date |
|---|---|
| CA2578005A1 (en) | 2006-03-02 |
| US20080180534A1 (en) | 2008-07-31 |
| MX2007002073A (es) | 2007-04-24 |
| EP1788802A1 (en) | 2007-05-23 |
| AU2005276018A1 (en) | 2006-03-02 |
| CN101006717A (zh) | 2007-07-25 |
| JP4640338B2 (ja) | 2011-03-02 |
| JPWO2006022077A1 (ja) | 2008-05-08 |
| KR20070053230A (ko) | 2007-05-23 |
| WO2006022077A1 (ja) | 2006-03-02 |
| RU2007106899A (ru) | 2008-08-27 |
| BRPI0514555A (pt) | 2008-06-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2367109C2 (ru) | Устройство формирования изображения, способ обработки изображения и интегральная схема | |
| US20200366862A1 (en) | Electronic apparatus, method for controlling electronic apparatus, and control program | |
| US10674102B2 (en) | Solid-state imaging device and electronic camera | |
| US6069351A (en) | Focal plane processor for scaling information from image sensors | |
| US9191566B2 (en) | Image pickup apparatus, method for image pickup and computer-readable recording medium | |
| EP1223549B1 (en) | Camera system for high-speed image processing | |
| US20130293753A1 (en) | Image data compression using stacked-chip image sensors | |
| JP4458678B2 (ja) | 高速視覚センサ装置 | |
| CN101860689A (zh) | 固体摄像器件、固体摄像器件的信号处理方法及电子装置 | |
| CN103024296A (zh) | 具有灵活互连能力的图像传感器 | |
| JP6701706B2 (ja) | 電子機器及びプログラム | |
| EP2690871A1 (en) | Color image sensor, imaging device, and imaging program | |
| US10713749B2 (en) | Image sensor and driving method, and electronic apparatus | |
| US11962920B2 (en) | Imaging device, method of driving imaging device, and electronic equipment | |
| EP1505839B1 (en) | Image processing system, and image processing method, recording medium, and program | |
| JP4335537B2 (ja) | 並列データ処理のためのデバイス、及び当該デバイスを有するカメラシステム | |
| KR20070036053A (ko) | 촬상 장치, 촬상 소자 및 촬상 장치의 제어 방법 | |
| US11082715B2 (en) | Video compression apparatus, electronic apparatus, and video compression program | |
| JP6747465B2 (ja) | 電子機器 | |
| CN114128252A (zh) | 摄像设备及其控制方法 | |
| US7064779B1 (en) | Imaging system combining multiple still images for higher resolution image output | |
| JP6733714B2 (ja) | 撮像装置 | |
| US20230217119A1 (en) | Image sensor and image processing system | |
| JP2009141583A (ja) | 撮像装置 | |
| JP2022044465A (ja) | 固体撮像装置及び電子機器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20100623 |