RU2444059C2 - Интегральное устройство и способ восприятия образов - Google Patents
Интегральное устройство и способ восприятия образов Download PDFInfo
- Publication number
- RU2444059C2 RU2444059C2 RU2008102837/08A RU2008102837A RU2444059C2 RU 2444059 C2 RU2444059 C2 RU 2444059C2 RU 2008102837/08 A RU2008102837/08 A RU 2008102837/08A RU 2008102837 A RU2008102837 A RU 2008102837A RU 2444059 C2 RU2444059 C2 RU 2444059C2
- Authority
- RU
- Russia
- Prior art keywords
- substrate
- image
- configuration
- trained
- many
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 14
- 210000002569 neuron Anatomy 0.000 claims abstract description 74
- 239000000758 substrate Substances 0.000 claims abstract description 52
- 230000003287 optical effect Effects 0.000 claims abstract description 15
- 239000011521 glass Substances 0.000 claims abstract description 12
- 230000001537 neural effect Effects 0.000 claims description 22
- 238000003909 pattern recognition Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 10
- VVQNEPGJFQJSBK-UHFFFAOYSA-N Methyl methacrylate Chemical compound COC(=O)C(C)=C VVQNEPGJFQJSBK-UHFFFAOYSA-N 0.000 claims description 6
- 229920005372 Plexiglas® Polymers 0.000 claims description 6
- 238000004519 manufacturing process Methods 0.000 claims description 5
- 239000012780 transparent material Substances 0.000 claims 2
- 210000004027 cell Anatomy 0.000 abstract description 11
- 230000008859 change Effects 0.000 abstract description 5
- 238000001514 detection method Methods 0.000 abstract description 4
- 230000007547 defect Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 abstract description 3
- 230000015572 biosynthetic process Effects 0.000 abstract description 2
- 230000008921 facial expression Effects 0.000 abstract description 2
- 230000006399 behavior Effects 0.000 abstract 1
- 239000004020 conductor Substances 0.000 abstract 1
- 230000000694 effects Effects 0.000 abstract 1
- 239000000126 substance Substances 0.000 abstract 1
- 238000013528 artificial neural network Methods 0.000 description 16
- 230000001149 cognitive effect Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000007906 compression Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 239000012634 fragment Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000005764 inhibitory process Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 229920003023 plastic Polymers 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011109 contamination Methods 0.000 description 2
- 238000013144 data compression Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003908 quality control method Methods 0.000 description 2
- 229920002799 BoPET Polymers 0.000 description 1
- 239000005041 Mylar™ Substances 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000003061 neural cell Anatomy 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Image Analysis (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
Изобретение относится к области устройств для формирования изображений. Технический результат - формирование изображения с высоким быстродействием и разрешением. Устройство может получать, считывать и воспринимать изображение объектов на основе применения фоточувствительных элементов, встроенных или гравированных в прозрачной или полупрозрачной подложке или на подложке, например из стекла. Сама подложка выполняет функцию оптического устройства, фокусирующего падающие фотоны, относящиеся к отраженному изображению, на фоточувствительные элементы. Фоточувствительные элементы соединены между собой прозрачными или непрозрачными проводниками. Цифровая память нейронов может быть обучена распознаванию конкретных объектов, например лица человека, приближающегося объекта, дефекта поверхности, дождевых капель на лобовом стекле и др. Другие возможные применения включают воспринимающие изображение автомобильные фары и индикаторную панель приборного щитка, обнаруживающую и идентифицирующую поведение водителя (отслеживание взгляда, распознавание лица, распознавание выражения лица и др.). Другие применения включают раздвижные двери, воспринимающие направление и скорость приближающегося к двери человека. К другим возможным применениям относится обнаружение остаточных повреждений (изменение текстуры) в плотине, мосту или ином сооружении. 6 н. и 28 з.п. ф-лы, 20 ил.
Description
Ссылки на связанные заявки:
Настоящая заявка претендует на приоритет предварительной патентной заявки US 60/694988, поданной 30 июня 2005 г., содержание которой полностью включено в настоящее описание посредством ссылки.
Предпосылки создания изобретения
Область техники
В целом изобретение относится к области устройств для формирования изображений. В частности, настоящее изобретение относится к микроустройствам для распознавания образов (изображений), расположенным на прозрачной подложке, например стекле, или встроенным в нее.
Уровень техники
Прозрачные поверхности, например стеклянные, существовали сотни лет. Прозрачные поверхности первоначально использовались для защиты жилого пространства, позволяя его обитателям воспринимать окружающий мир (местность, погода и возможные опасности). В последнее время на прозрачные поверхности существует огромная потребность для производства дисплеев, начиная от электронно-лучевых трубок (ЭЛТ) и кончая, в последние годы, жидкокристаллическими дисплеями (ЖК-дисплеи) и разного рода дисплеями с плоскими панелями. При их использовании, во многих случаях человек или живые организмы (животные, растения) располагаются вблизи таких прозрачных поверхностей.
Датчики изображения используются уже несколько десятилетий (например, ПЗС датчики (датчики на базе приборов с зарядовыми связями) или КМОП датчики (датчики на комплементарных структурах "металл/оксид/полупроводник"). Например, в US 6617565, содержание которого включено в настоящее описание посредством ссылки, описан КМОП датчик изображения на одном кристалле. Типовыми конструкциями датчиков изображения являются камеры, включающие установленную за линзой объектива интегральную схему, которая может быть миниатюрной или сменной (например, навинчивающаяся линза). Чувствительные элементы датчика предназначены для преобразования световой энергии (фотоны) в электрический сигнал, пропорциональный количеству света, принятому фоточувствительными элементами, из которых в чувствительном элементе датчика сформирована решетка. Изображение синтезируется из выходных сигналов фоточувствительных элементов.
Технологии распознавания образов становятся все более востребованными. Видеокамеры различных размеров и конструкций требуются для самых различных применений, например охраны, идентификации личности, разведки, контроля качества, наблюдения за дорожным движением и др. Видеокамеры часто соединены с дисплеями либо проводной, либо беспроводной связью. Сегодня видеокамеры, объединенные с ЖК-дисплеем, стали стандартной принадлежностью сотовых телефонов.
Для совершенствования распознавания образов требуется синтез изображения высокого разрешения. Существующие системы распознавания образов работают со сравнительно невысокой скоростью из-за низких вычислительных возможностей и/или из-за того, что процессоры могут вести обработку не более одного пиксела изображения за один раз.
Таким образом, требуется создание новых устройств распознавания образов, более совершенных, чем существующие.
Краткое изложение сущности изобретения
В основу настоящего изобретения положена задача создания устройства для распознавания образов (изображений), имеющего чувствительную площадку (например, фоточувствительные элементы), непосредственно встроенную в прозрачный или полупрозрачный материал, образующий оптический интерфейс между падающим изображением и чувствительной площадкой. В предпочтительном варианте, само устройство распознавания образов является прозрачным или полупрозрачным.
Другой задачей настоящего изобретения является обеспечение чувствительной площадки, обладающей функцией самостоятельного ("на месте") принятия решения с использованием решетки обучаемых процессорных элементов. В одном варианте осуществления настоящего изобретения, обучаемые элементы когнитивной памяти или ячейки связаны с одним или более фоточувствительными элементами. Преимуществом принятия решения "на месте" является то, что снижаются требования к скорости передачи данных устройством (т.е. полосе), особенно в тех случаях, когда число фоточувствительных элементов велико, и должна быть высока частота передачи данных фоточувствительных элементов. Используя большие решетки чувствительных площадок, каждая из которых обладает способностью принятия решений "на месте", можно создать устройство формирования изображения с высоким быстродействием и разрешением.
В соответствии с вариантом осуществления настоящего изобретения, обучаемые элементы когнитивной памяти могут работать параллельно на низких частотах и потреблять очень малый ток. Как следствие, может обеспечиваться автономная работа каждого элемента при использовании маломощных источников энергии, например солнечных батарей или их эквивалентов.
В соответствии с вариантом осуществления настоящего изобретения, новое интегральное устройство распознавания образов образовано соединением одного или более фоточувствительных элементов с одним или более обучаемых элементов когнитивной памяти, причем все они встроены в подложку.
В соответствии с вариантом выполнения настоящего изобретения, множество фоточувствительных элементов, связанных с большим числом обучаемых элементов когнитивной памяти, может быть организовано в одну или несколько решеток и распределено по плоской прозрачной или полупрозрачной подложке. Решетки могут обладать изменяемыми геометрией и соединяемостью. К типичной геометрии относится линейная решетка параллельно расположенных нейронов, либо двумерная решетка нейронов, объединенных растровой или сотовой геометрией. Могут быть и иные конфигурации.
Другие применения и преимущества различных вариантов осуществления настоящего изобретения рассматриваются ниже со ссылками на чертежи, иллюстрирующие эти варианты осуществления изобретения.
Краткое описание чертежей
На фиг.1А-Б представлены, соответственно, вид спереди и вид сверху решеток чувствительных элементов, расположенных на стекле или плексигласе, или ином прозрачном пластике или прозрачной подложке, в которой гравированы линзы;
На фиг.2 представлен вид сверху решетки чувствительных элементов, расположенных на стеклянной или плексигласовой подложке с гравированными в ней линзами, в процессе распознавания фрагментов ДНК;
На фиг.3А-Б представлены, соответственно, вид сбоку и вид сверху матрицы чувствительных элементов;
На фиг.4 представлена блок-схема чувствительных элементов;
На фиг.5А представлена блок-схема решеток чувствительных элементов;
На фиг.5Б представлена блок-схема банка решеток чувствительных элементов;
На фиг.6А-В представлена конфигурация нейрона;
На фиг.7 представлена блок-схема нейрона; и
На фиг.8-12 приведены примеры применения устройства распознавания образов.
Подробное описание предмета изобретения
Хотя настоящее изобретение может быть осуществлено во множестве различных форм, в данном раскрытии описано несколько предпочтительных вариантов осуществления, которые используются только в качестве иллюстрации принципов изобретения, поэтому изобретение не должно считаться ограниченным этими конкретными вариантами.
Настоящее изобретение представляет собой формирователь изображения, который может включать чувствительное воспринимающее устройство, например фоточувствительный элемент, соединенный, скрепленный либо иначе связанный с обучаемым когнитивным элементом, причем оба элементы нанесены химическим или иным путем на поверхность прозрачной подложки, либо встроены в нее. Объединение чувствительной площадки с обучаемым когнитивным элементом, обладающим способностью принятия решения "на месте", в настоящем документе называется "CogniSensor" ("познающий чувствительный элемент"). Обучаемый когнитивный элемент в настоящем документе называется "CogniMem" ("познающая память"). Чувствительные площадки выполнены из одного или более фоточувствительных элементов, но могут быть и другие варианты конфигурации чувствительной области.
В соответствии с вариантами осуществления настоящего изобретения, конфигурация CogniSensors может обеспечивать распознавание приходящей световой картины (например, изображений или частей изображений), обработку приходящей световой картины для принятия решения "на месте" и передачу результатов этого решения или его индикацию. CogniSensor может включать несколько компонентов, например логическую схему ввода данных для принятия решения "на месте", "нейроны" и логическую схему вывода решений, буфер памяти, солнечные элементы для обеспечения автономной работы, а также и другие компоненты. В предпочтительном варианте осуществления, каждый CogniSensor включает параллельно организованные элементы реагирующей обучаемой ассоциативной памяти (REALM). Согласно варианту осуществления изобретения, CogniMem обеспечивает распознавание образов, как аналоговое, так и цифровое, без подключения к компьютеру.
CogniMem может содержать один или более нейронов, которые представляют собой параллельно организованные элементы ассоциативной памяти, которые могут реагировать на входные образы, аналогичные их собственному контенту. Нейроны могут реагировать как индивидуально, так и коллективно, подкрепляя свою реакцию реакцией других соседних нейронов. Выбор может осуществляться по входной линии "торможение/возбуждение", подходящей к нейронам.
Контент нейронов CogniMem образует "знание". Знание представляет собой набор статистически разделяемых сигнатур. Знание может быть статическим (загружаемым однократно) или динамическим (обновляемым реакцией других нейронов или загружаемым адаптивно из внешней базы данных знания), а в предпочтительном варианте знание генерируется автоматически в процессе обучения без использования компьютера. CogniMem, располагающаяся на той же подложке, может использовать это же или какое-либо иное знание.
CogniMem может быть нанесена или встроена (либо присоединена иным способом) к подложке, как часть CogniSensor, либо может быть отдельным компонентом. В первом случае, CogniMem обычно используется для распознавания данных пикселов, получаемых от фоточувствительного элемента. Во втором случае, CogniMem может быть использована для обслуживания других CogniMem и может, например, распознавать данные различных типов, передаваемые другими узлами CogniMem (например, для объединения образов по выходным данным с многих CogniSensors).
Приведенные ниже патенты и опубликованные заявки, содержание которых полностью включено в настоящее раскрытие посредством ссылки, описывают различные особенности нейронов и нейронных сетей, применимые к CogniMems и CogniSensors: US 5621863 - Нейронная сеть; 5717832 - Усовершенствованная архитектура нейронной сети; 5701397 - Схема для предварительной загрузки свободной нейронной сети; 5710869 - Гирляндная схема для последовательного соединения нейронных сетей; 5740326 - Поиск/сортировка данных в нейронных сетях; 6332137 - Параллельная ассоциативная память для распознавания изолированного оборудования; 6606614 - Однопроводный поиск и сортировка; заявки Японии JP 8-171543 - Гирляндная схема для последовательного соединения нейронных сетей; JP 8-171542 - Усовершенствованная схема загрузки; JP 8171541 - Схема группирования (поиск/сортировка); JP 8-171540 - Нейронная сеть и нейронный чип; JP 8-069445 - Архитектура нейронной сети; патентная заявка Кореи KR 164943 - Новая архитектура нейронной сети; Европейские патенты ЕР 0694852 - Новая архитектура нейронной сети; ЕР 0694854 - Усовершенствованная нейронная архитектура полупроводникового чипа; ЕР 0694855 - Поиск/сортировка для нейронных сетей; ЕР 0694853 - Схема для предварительной загрузки компонентов входного вектора в сети свободных нейронов в фазе распознавания; ЕР 0694856 - Гирляндная схема для последовательного соединения нейронных сетей; заявка Канады СА 2149478 - Усовершенствованная архитектура нейронной сети; патент Канады СА 2149479 - Усовершенствованная нейронная архитектура полупроводникового чипа.
Число нейронов, реализованных на CogniMem, может составлять от 1 до N, где N теоретически неограниченно благодаря архитектуре нейронной ячейки. В настоящее время N может достигать 1000. Вообще, N зависит от применения и, в частности, от разнообразия образов, которые требуется распознавать, и типа решений, которые необходимо передавать. Специалисту должно быть понятно, что технология кремниевых приборов может быть фактором, определяющим количество нейронов на единицу площади.
Пример конфигурации устройства распознавания образов, согласно варианту осуществления настоящего изобретения, показан на фиг.1А и 1Б. Фиг.1А представляет вид сверху устройства 100, которое включает подложку 102, которая может быть выполнена из ряда прозрачных или полупрозрачных материалов, например стекла, плексигласа, прозрачных пластиков и др. Один или более CogniSensors 104 (в данном случае, в виде решетки) может быть встроен в подложку 102 или, как в данном случае, прикреплен или приклеен, либо как-то иначе связан с поверхностью подложки 102 (см. фиг.1Б). Оптический тракт может быть гравирован или нанесен на подложку перед каждым фоточувствительным элементом. Например, подложка 102 может иметь гравировку в месте размещения CogniSensors 104 для формования линз 102а для каждого CogniSensor 104. В другом варианте, микролинзы 102а могут быть встроены в подложку (фиг.2), либо приклеены (фиг.3А-Б) на подложку 102 перед фоточувствительными элементами. Другим вариантом может быть изменение подложки для изменения коэффициента отражения части подложки, граничащей с каждым чувствительным элементом, для фокусировки падающего света. Как показано на фиг.1Б, падающий свет фокусируется на каждом CogniSensor 104 линзами 102а подложки.
Множество линз 102а позволяет CogniSensors 104 иметь различное поле зрения, в предпочтительном варианте, равное поверхности подложки, хотя также возможно получение более узкого или более широкого поля зрения, чем поле зрения, равное поверхности подложки. Микролинзы 102а превращают решетку CogniSensors 104 в телецентрическое устройство восприятия изображения с неограниченной поверхностью и полем зрения.
На фиг.2 представлено интегральное устройство формирования изображения, в соответствии с другим вариантом осуществления изобретения. Видно, что линзы 102а встроены в подложку 102 и расположены над каждым CogniSensor 104. В качестве примера использования устройства формирования изображения, на поверхности подложки 102 показаны расположенные там фрагменты 202 ДНК. Конфигурация каждого CogniSensor 104 может обеспечивать независимое распознавание, либо распознавание во взаимодействии с соседними CogniSensors 104, отдельного фрагмента ДНК и выдачу сигнала при идентификации этого фрагмента.
На фиг.3А-Б показан пример варианта осуществления отдельного CogniSensor 104. Как показано на фиг.3А, площадка размещения нейронов 104а окружает чувствительную область 104b, где размещаются пикселы. Нейроны в площадке 104а размещения нейронов могут быть соединены с чувствительными элементами в площадке 104b пикселов, а их конфигурация может обеспечивать распознавание образов, воспринятых площадкой 104b пикселов. Как показано на фиг.3Б, выпуклые линзы или микролинзы 102а расположены над площадкой 104b пикселов на поверхности подложки 102 для фокусировки падающего света на площадке 104b пикселов или соединены непосредственно с чувствительным элементом без промежуточной подложки. Линзы 102а могут, например, быть химически нанесены на подложку обычными средствами.
На фиг.4 приведена блок-схема использованного в качестве примера CogniSensor 104, в соответствии с вариантом осуществления настоящего изобретения. CogniSensor 104 включает область 402 чувствительного элемента (сенсора) или чувствительных элементов, логическую схему 404 представления данных, нейронную сеть 406 и логическую схему 408 принятия решений "на месте". Чувствительный элемент 402 может включать один или более чувствительных элементов, например фоточувствительных элементов. Логическая схема 404 представления данных соединена с чувствительной областью 402 и нейронной сетью 406, а ее конфигурация позволяет представлять выходные данные чувствительных элементов на нейроны в виде, пригодном для обработки. Нейроны 406 "обучены" или "обучаются" знанием и могут обрабатывать данные, поступающие на нейроны 406 из логической схемы 404 представления данных, и выдавать обработанные данные на логическую схему 408 принятия решений "на месте", которая принимает решение на основе обработанных данных. Логическая схема 408 принятия решений "на месте” может быть соединена с другими CogniSensors или CogniMem различными известными способами. Соответственно, CogniSensors 104 могут быть организованы в решетки или решетки решеток.
На фиг.5А и 5Б показаны схемы расположения решеток CogniSensors. Как показано на фиг.5А, каждый CogniSensors 104 может быть соединен с несколькими CogniSensors 104 для образования решетки 502. Как описано ниже, входные и выходные шины могут быть использованы для последовательного или параллельного соединения чувствительных элементов.
Как показано на фиг.5Б, каждая решетка 502 может быть соединена с несколькими решетками 502 для образования банка 504 решеток. Объединяя решетки решеток CogniSensors 104, можно получить чрезвычайно мощное распознающее устройство, отличающееся как высоким разрешением, так и высоким быстродействием. Другими словами, разрешение формирователя изображения может быть увеличено путем увеличения числа чувствительных элементов. При использовании, однако, эффективного способа принятия решения "на месте" в форме CogniMem, увеличение числа CogniSensors не сопровождается снижением скорости обработки данных в устройстве. Кроме того, должно быть понятно, что организация решеток может иметь самую различную геометрию, и изобретение не ограничено только квадратными решетками.
Как уже упоминалось выше, каждый нейрон может быть соединен со многими входами 1-n, в том числе, например, мультиплексными, но также и другими. На фиг.6А представлен нейрон с большим числом входов, что упрощенно показано на фиг.6Б. Таким образом, может быть собрана решетка нейронов с использованием входной шины 602 (на фиг.6В шина 602 отсутствует), имеющая простую параллельную архитектуру, показанную на фиг.6В. Каждый выход нейронов 406 может быть соединен с общей шиной 406 принятия решений.
Фиг.7 представляет функциональную схему нейрона, иллюстрирующую вариант осуществления изобретения. Назначение нейронов, организованных в неограниченно расширяемую сеть, состоит в том, чтобы выучить и вызывать из памяти дискретные векторы или сигнатуру (образ). Дискретные сигнатуры по большей части представляют собой пространственные распределения интенсивности света, кодированные сжатием данных при обработке. Нейроны могут быть соединены параллельно, как показано на фиг.6В, что означает, что все входы нейронов соединены параллельно, также как и их выходы.
Сигналы данных могут поступать в нейрон 700 с мультиплексной входной шины (не показана). Обучающий мультиплексор (ОМП) 702 может разделять мультиплексные входные сигналы и передавать сигналы входных данных в память образов 704 нейрона и элемент 706 ассоциативной логики. Память образов 704 нейрона обрабатывает входные сигналы и выдает обработанные сигналы в элемент 706 ассоциативной логики. Элемент 706 ассоциативной логики включает элемент 706а принятия решения по параметру сходства.
Каждый нейрон может получить образ (т.е. вектор, представляющий дискретную сигнатуру данных чувствительного элемента), генерируемый логической схемой 404 представления данных, используя широковещательную адресацию. Этот передаваемый всем нейронам образ может представлять собой трансформацию (сжатие) данных чувствительного элемента, либо мгновенную, либо во временной области.
Нейрон может находиться в трех хронологически последовательных состояниях: неактивном, готовности к обучению (RTL) и, затем, в активном состоянии. По меньшей мере один нейрон находится в состоянии RTL постоянно, за исключением случаев, когда сеть полна (т.е. все нейроны активны). Если рассматривать все параллельно соединенные нейроны как цепочку, RTL-нейрон может перемещаться из первого положения в цепочке в последнее положение. В контексте настоящего раскрытия, RTL-нейрон обычно будет находиться справа от активного нейрона, а неактивный нейрон будет находиться справа от RTL-нейрона.
Когда нейрон находится в неактивном состоянии, он не реагирует ни на какой поступающий к нему образ. RTL-нейрон загрузит поступающий образ в свою память образов с тем, чтобы обучиться ему, если пользовательский процесс примет такое решение. Этот RTL-нейрон не будет принимать участие в процессе распознавания, но будет выделен для накопления нового знания в ходе обучения.
Процесс обучения включает создание нового знания при возникновении нового образа и решении пользователя обучиться ему. Прибавление этого знания произойдет в RTL-нейроне. Помимо создания нового знания, активные нейроны, которые, возможно, неправильно идентифицировали входной образ (т.е. не смогли ассоциировать нужную категорию), сокращают их интервал сходства с тем, чтобы избежать в дальнейшем неправильной классификации. При этом происходит модификация знания или "адаптивное обучение".
Фотоэлементы могут генерировать дискретные радиометрические значения. Комбинация всех значений по пространственному распределению формирует образ. Такой образ может также изменяться во времени и генерировать поток образа. Этот образ подвергается процедуре обработки со сжатием данных с получением дискретной сигнатуры (вектора) радиометрического образа. Сжатие при обработке не должно выходить за пределы так называемой "минимальной различающей матрицы", описанной ниже. Например, посредством матрицы 5×7 можно различить все символы верхнего регистра Европейских алфавитов, однако для Китайских иероглифов требуется матрица 16×16.
Активный нейрон обучается образу, находясь в состоянии RTL, ассоциируя вектор, загруженный в память образов 704, с категорией, хранимой в регистре 709 категорий. Когда поступающий образ попадает в активный нейрон, мультиплексор 702 сигналов обучения/вызова из памяти позволяет передать его в ассоциативную логику 706 для оценки сходства этого образа с вектором, хранящимся в памяти 704 образов. Если вычисленное сходство окажется меньше или равно параметру 706а сходства, произойдет возбуждение нейрона и он выдаст сигнал через логическое устройство 712. Функция логического устройства "возбуждения/торможения" состоит в осуществлении арбитража подключения общей шины среди активных возбужденных нейронов, когда происходит возбуждение множества нейронов, и "торможение" тех нейронов, в которых не достигается высокого сходства. Каждый CogniSensor может быть ассоциирован с областью интереса (ROI) в кадре изображения. Каждый CogniSensor может извлекать сигнатуру ROI для широковещательной передачи по своим нейронам (для обучения или распознавания). Сигнатура ROI представляет собой в сжатом виде значения сигналов ее пикселов, причем за счет сжатия ее размер соответствует последовательности N значений, где N представляет собой число ячеек памяти нейрона.
Рассмотрим пример, когда память нейрона имеет емкость 256 байт. CogniSensor может выполнять классификацию области интереса размером N×М пикселов. Сигнатура ROI будет сжата с М×N значений до 256 значений посредством, например, простого блочного сжатия.
Конфигурация CogniSensors может обеспечивать обработку ими ROI любой формы, а выбор способов выделения сигнатуры может определяться конкретным применением (например, контроль деталей, контроль поверхности, распознавание лица, сопровождение цели и др.). Выделение некоторых сигнатур может включать интегрирование во времени, повторения и др. Кроме того, разрядность ячеек памяти нейронов может превышать 8 для согласования с сигналами, поступающими от чувствительных элементов с 12-разрядным разрешением пикселов или более высоким разрешением.
Объединение нейронов с чувствительным элементом и логической схемой представления данных является совершенно новым подходом к распознаванию изображений интегрированными в подложку элементами, без использования программных средств для обучения или распознавания.
Адресация CogniMem может быть сквозной либо выборочной (например, запускаемой реакцией других CogniMem ячеек).
Следует иметь в виду, что подложка, в которой помещается CogniSensor(s), выполняет функцию как механической основы, так и линз (см. например, фиг.1-2). Подложка может быть жесткой или гибкой, с плоской или изогнутой поверхностью, или какой-либо иной, и может быть выполнена из стекла, плексигласа, пластика, Майлара или иного материала.
В предпочтительном варианте осуществления, для соединения ячеек CogniSensors и CogniMem используется минимальное число проводов.
В предпочтительном варианте осуществления, загружаемое в CogniSensors знание может обеспечивать распознавание различных семейств образов, как связанных друг с другом, так и не связанных.
Примеры
В соответствии с вариантом осуществления настоящего изобретения, CogniSensors представляют собой идеальное средство для выполнения автоматизированного контроля на производстве. Как показано на фиг.8, для проверки бутылки с водой может быть использован один или более CogniSensors. В этом примере, для контроля трех различных областей, названных Эксперт 1-3, используется три разных CogniSensors. Общая оценка определяется объединением оценок трех проверяющих CogniSensors. В данном примере CogniSensor 1 (Эксперт 1) может быть настроен на классификацию сигнатур ROI, содержащих крышку 802 бутылки. CogniSensor 1 может классифицировать свою ROI по двум категориям: Плохо и Хорошо. В категорию Плохо объединены следующие случаи: крышка отсутствует или крышка неправильно закручена.
Аналогично, CogniSensor 2 (Эксперт 2) может выучить сигнатуры ROI пересечения уровня 804 жидкости в бутылке. ROI может представлять собой узкий вертикально расположенный прямоугольник, который, в идеальном случае, перекрывает минимальный и максимальный возможные уровни заполнения бутылки. В зависимости от принятых производителем критериев контроля качества, CogniSensor 2 может классифицировать свою область интереса (ROI) по любому числу категорий, например Приемлемо и Неприемлемо; Слишком Высоко, Приемлемо и Слишком Низко; или Слишком Высоко, Высоко, но Приемлемо, В поле допуска, Низко, но Приемлемо, Слишком Низко.
CogniSensor 3 (Эксперт 3) может выучить сигнатуры области интереса, покрывающей область 806 наклейки. CogniSensor 3 может быть настроен на распознавание различных признаков или комбинаций признаков, например: Отсутствие наклейки, Дефект наклейки (порвана, поцарапана или загнута), неправильное расположение наклейки (перевернута, наклонена) и Хорошо.
Выходной сигнал из CogniSensors 1-3 может быть подан на контроллер, включенный в систему автоматизации процесса изготовления, для совершения соответствующих действий на базе принятого решения.
В соответствии с вариантом осуществления настоящего изобретения, CogniSensors могут быть оформлены в виде отдельных узлов, образуя "интеллектуальные" фоточувствительные ячейки или микролинзы. Такие устройства могут применяться в самых различных областях, например для обнаружения движущихся деталей, определения траекторий или направления по заданному маршруту движущихся деталей в процессе механической сборки (фиг.9А); для биометрической идентификации, например, в телефоне с фотокамерой (фиг.9Б); либо для обнаружения посетителей и идентификации в дверной глазок и т.п. (фиг.9В).
В соответствии с другим вариантом осуществления настоящего изобретения, предложена система обнаружения для предупреждения водителя. Как показано на фиг.10, один или более CogniSensor 104 может быть встроен в ветровое стекло, индикаторную панель приборного щитка или фары автомобиля. CogniSensors 104 могут быть обучены распознавать образы, указывающие на потерю внимания водителем (например, водитель засыпает), и выдавать сигнал, включающий сигнализацию. Эти образы могут включать отслеживание взгляда, распознавание лица, распознавание выражения лица и др. Кроме того, CogniSensors 104, находящиеся в ветровом стекле или фаре, могут быть обучены распознавать объекты или события снаружи транспортного средства, например обнаруживать дождевые капли для работы дворников лобового стекла, или источники опасности на дороге для системы предупреждения об опасности на дороге.
Обнаружение случайно появляющегося объекта в дальнем или ближнем поле зрения может быть выполнено рядом способов. Например, два или три чувствительных элемента могут быть оснащены линзами, сфокусированными на разные дальности. В чувствительные элементы может быть загружено одинаковое знание, но работать они будут с областями интереса разного размера. Общая реакция системы распознавания может считаться положительной, если хотя бы один чувствительный элемент распознает объект.
Далее, в конструкции CogniSensors могут использоваться входные чувствительные элементы, чувствительные на разных длинах волн, например ближнем инфракрасном и инфракрасном диапазонах, в узкой полосе, ограниченной фильтром и т.д. Для данного объекта или сцены, эти CogniSensors выдадут различные значения для пикселов, но могут быть обучены распознавать категории объектов по своим соответствующим видеоизображениям. При сопровождении целей, комбинация CogniSensors ближнего инфракрасного и инфракрасного диапазонов обеспечит распознавание цели в любое время суток.
В соответствии с другим вариантом осуществления настоящего изобретения, решетки CogniSensors могут использоваться во многих иных производственных процессах. Например, как показано на фиг.11А, одномерная решетка CogniSensors 1102 может быть использована для контроля качества стеклянных поплавков 1103 при их изготовлении. На фиг.11Б показана двумерная решетка CogniSensors 1104, используемая для обнаружения загрязнений на дне контейнеров 1105, например бутылок для напитков. В таких применениях, CogniSensors могут быть обучены определению образов, показывающих дефекты в стекле или загрязнения в жидкости.
Согласно другому варианту осуществления настоящего изобретения. CogniSensors могут быть распределены, например, по стеклянной панели для выполнения многих независимых функций. CogniSensors могут быть сгруппированы, и каждые группы могут быть обучены своему знанию. На фиг.12 показана, в качестве примера, раздвижная дверь 1202, в которой имеется несколько групп CogniSensors 1204 для обнаружения приближающихся объектов различного размера. Первая группа может быть обучена знанию для распознавания первого размера 1208 человека или животного (например, собаки), вторая группа может быть обучена для распознавания человека другого размера (например, мальчика) 1210, третья группа - для человека третьего размера (например, взрослого) 1212, и так далее. Каждая группа 1204 может быть соединена с одной или более CogniMems 1206 для управления раздвижными дверями.
Для специалиста, ознакомившегося с настоящим описанием, должно быть очевидно, что предложенный в изобретении формирователь изображения может быть использован для многочисленных, не упомянутых здесь, применений. Например, это может быть обнаружение остаточных повреждений (изменение текстуры) в плотине, мосту или ином сооружении. Реализация этого применения должна быть очевидной с учетом приведенного описания вариантов осуществления настоящего изобретения. Кроме того, передача энергии и сигналов может быть беспроводной (например, по инфракрасному каналу, посредством фотоэлемента, петли индуктивности и др.).
Таким образом, выше были подробно описаны, со ссылками на чертежи, несколько предпочтительных вариантов осуществления изобретения. Хотя описание изобретения было основано на этих предпочтительных вариантах осуществления, для специалиста должно быть очевидным, что для описанных вариантов возможны определенные модификации, изменения и конструктивные исполнения, не выходящие за пределы существа и области патентных притязаний изобретения.
Claims (34)
1. Устройство распознавания образов, включающее
один или более фоточувствительных элементов, встроенных в прозрачную или полупрозрачную подложку или расположенных на ней, и
обрабатывающий элемент, соединенный с одним или более фоточувствительными элементами, встроенный в подложку или расположенный на ней и включающий одну или более нейронных цепей, причем прозрачная или полупрозрачная подложка образует оптический интерфейс между воспринимаемым падающим изображением и одним или более фоточувствительными элементами, и
конфигурация каждого фоточувствительного элемента обеспечивает выдачу им сигнала, зависящего от поступающего на его вход света, а конфигурация обрабатывающего элемента обеспечивает распознавание им образа, формируемого выходными сигналами фоточувствительных элементов.
один или более фоточувствительных элементов, встроенных в прозрачную или полупрозрачную подложку или расположенных на ней, и
обрабатывающий элемент, соединенный с одним или более фоточувствительными элементами, встроенный в подложку или расположенный на ней и включающий одну или более нейронных цепей, причем прозрачная или полупрозрачная подложка образует оптический интерфейс между воспринимаемым падающим изображением и одним или более фоточувствительными элементами, и
конфигурация каждого фоточувствительного элемента обеспечивает выдачу им сигнала, зависящего от поступающего на его вход света, а конфигурация обрабатывающего элемента обеспечивает распознавание им образа, формируемого выходными сигналами фоточувствительных элементов.
2. Устройство по п.1, в котором подложка включает стекло, плексиглас или иной прозрачный материал.
3. Устройство по п.1, в котором конфигурация каждой нейронной цепи обеспечивает распознавание ею образа, формируемого выходными сигналами фоточувствительных элементов.
4. Устройство по п.1, в котором нейронные цепи обучаемы.
5. Устройство по п.1, в котором каждая нейронная цепь содержит множество нейронов, соединенных по своему входу с мультиплексной входной шиной, а по своему выходу с выходной шиной, причем каждый упомянутый нейрон обучается "знанием", которое позволяет соответствующему нейрону распознавать сигнал и принимать решение.
6. Устройство по п.1, в котором подложка включает множество узлов линзы, причем каждый узел линзы образует оптический интерфейс с одним или более из одного или более фоточувствительных элементов устройства распознавания образов.
7. Устройство по п.6, в котором каждый узел линзы сформирован гравировкой подложки.
8. Устройство по п.1, включающее множество фоточувствительных элементов, организованных в решетку.
9. Устройство распознавания образов, включающее
множество воспринимающих элементов, расположенных на прозрачной или полупрозрачной подложке, каждый из которых включает:
фоточувствительный элемент, и
обучаемую нейронную цепь, связанную с фоточувствительным элементом,
множество оптических интерфейсов, сформированных на подложке, каждый из которых оптически связан с соответствующим одним из упомянутых воспринимающих элементов,
причем конфигурация фоточувствительного элемента обеспечивает выдачу им сигнала, зависящего от поступающего на его вход света, а конфигурация нейронной цепи обеспечивает распознавание ею образа, формируемого выходными сигналами фоточувствительных элементов.
множество воспринимающих элементов, расположенных на прозрачной или полупрозрачной подложке, каждый из которых включает:
фоточувствительный элемент, и
обучаемую нейронную цепь, связанную с фоточувствительным элементом,
множество оптических интерфейсов, сформированных на подложке, каждый из которых оптически связан с соответствующим одним из упомянутых воспринимающих элементов,
причем конфигурация фоточувствительного элемента обеспечивает выдачу им сигнала, зависящего от поступающего на его вход света, а конфигурация нейронной цепи обеспечивает распознавание ею образа, формируемого выходными сигналами фоточувствительных элементов.
10. Устройство по п.9, в котором оптические интерфейсы представляют собой линзы, сформированные гравированием подложки на участках рядом с каждым воспринимающим элементом.
11. Устройство по п.9, в котором каждый воспринимающий элемент является обучаемым и конфигурируемым для распознавания образов, основанных на падающем свете.
12. Устройство по п.9, в котором каждая нейронная цепь содержит множество нейронов, соединенных по своему входу с мультиплексной входной шиной, а по своему выходу с выходной шиной, причем каждый упомянутый нейрон обучается "знанием", которое позволяет соответствующему нейрону распознавать сигнал и принимать решение.
13. Устройство по п.9, в котором подложка содержит стекло, плексиглас или иной прозрачный материал.
14. Устройство по п.12, в котором каждая нейронная цепь обучается распознаванию различных частей изображения, а конфигурация указанного множества нейронных цепей обеспечивает их совместную работу по распознаванию этого изображения.
15. Устройство по п.14, в котором конфигурация воспринимающих элементов обеспечивает выдачу сигнала при осуществлении распознавания упомянутого изображения.
16. Устройство по п.9, в котором воспринимающие элементы работают параллельно на низких частотах.
17. Устройство по п.9, в котором воспринимающие элементы потребляют очень малый ток.
18. Устройство распознавания образов, включающее
прозрачную или полупрозрачную подложку,
множество фотодетекторов, каждый из которых встроен в подложку и имеет конфигурацию, обеспечивающую выдачу сигнала, основанного на поступившем на вход свете,
множество обучаемых нейронных цепей, каждая из которых встроена в подложку и имеет конфигурацию, обеспечивающую распознавание образа, основанного на выходных сигналах фотодетекторов, и выдачу сигнала, основанного на распознанном образе, и
средство оптического интерфейса для создания оптического интерфейса с множеством фотодетекторов.
прозрачную или полупрозрачную подложку,
множество фотодетекторов, каждый из которых встроен в подложку и имеет конфигурацию, обеспечивающую выдачу сигнала, основанного на поступившем на вход свете,
множество обучаемых нейронных цепей, каждая из которых встроена в подложку и имеет конфигурацию, обеспечивающую распознавание образа, основанного на выходных сигналах фотодетекторов, и выдачу сигнала, основанного на распознанном образе, и
средство оптического интерфейса для создания оптического интерфейса с множеством фотодетекторов.
19. Устройство по п.18, в котором средства оптического интерфейса содержат множество линз, сформированных в подложке.
20. Устройство по п.18, в котором каждая из множества обучаемых нейронных цепей связана с одним из множества фотодетекторов.
21. Устройство по п.20, в котором каждая нейронная цепь содержит множество нейронов, соединенных по своему входу с мультиплексной входной шиной, а по своему выходу с выходной шиной, причем каждый упомянутый нейрон обучается "знанием", которое позволяет соответствующему нейрону распознавать сигнал и принимать решение.
22. Устройство по п.18, в котором множество обучаемых нейронных цепей выполняет распознавание образов дискретным путем без применения программного обеспечения посредством использования множества параллельных элементов, работающих независимо и автономно.
23. Устройство по п.1, конфигурация которого обеспечивает выдачу выходного сигнала по беспроводному каналу.
24. Устройство по п.9, в котором конфигурация каждого воспринимающего элемента обеспечивает посылку и прием сигналов по беспроводному каналу.
25. Устройство по п.18, в котором конфигурация множества обучаемых нейронных цепей обеспечивает посылку и прием сигналов по беспроводному каналу.
26. Устройство по п.1, в котором питание устройства производится по беспроводному каналу.
27. Устройство по п.9, в котором питание устройства производится по беспроводному каналу.
28. Устройство по п.18, в котором питание устройства производится по беспроводному каналу.
29. Устройство распознавания образов, содержащее комбинацию нейронов с фоточувствительным элементом и логической схемой представления данных, встроенную в прозрачную или полупрозрачную подложку или расположенную на ней, и
при этом конфигурация фоточувствительного элемента обеспечивает выдачу сигнала, поступившего на вход логической схемы представления данных, а конфигурация нейронов обеспечивает распознавание образа, основанного на сигналах, выданных логической схемой представления данных.
при этом конфигурация фоточувствительного элемента обеспечивает выдачу сигнала, поступившего на вход логической схемы представления данных, а конфигурация нейронов обеспечивает распознавание образа, основанного на сигналах, выданных логической схемой представления данных.
30. Способ изготовления устройства распознавания образов, включающий шаги
встраивания в прозрачную или полупрозрачную подложку или нанесения на нее множества фотодетекторов и множества обучаемых нейронных цепей, и
использования средства оптического интерфейса для создания оптического интерфейса для множества фотодетекторов,
причем конфигурация каждого из множества фотодетекторов обеспечивает выдачу сигнала, основанного на поступившем на вход свете, а
конфигурация множества обучаемых нейронных цепей обеспечивает распознавание образа, основанного на выходных сигналах фотодетекторов, и выдачу сигнала, основанного на распознанном образе.
встраивания в прозрачную или полупрозрачную подложку или нанесения на нее множества фотодетекторов и множества обучаемых нейронных цепей, и
использования средства оптического интерфейса для создания оптического интерфейса для множества фотодетекторов,
причем конфигурация каждого из множества фотодетекторов обеспечивает выдачу сигнала, основанного на поступившем на вход свете, а
конфигурация множества обучаемых нейронных цепей обеспечивает распознавание образа, основанного на выходных сигналах фотодетекторов, и выдачу сигнала, основанного на распознанном образе.
31. Способ по п.30, включающий использование множества линз, сформированных в подложке или нанесенных на подложку в качестве части упомянутого средства оптического интерфейса.
32. Способ по п.30, в котором каждая из множества обучаемых нейронных цепей связана с одним из множества фотодетекторов.
33. Способ по п.32, в котором каждая обучаемая нейронная цепь содержит множество нейронов, соединенных по своему входу с мультиплексной входной шиной, а по своему выходу с выходной шиной, причем каждый нейрон обучается "знанием", которое позволяет соответствующему нейрону распознавать сигнал и принимать решение.
34. Способ распознавания образов, включающий:
использование множества оптических интерфейсов, встроенных в прозрачную или полупрозрачную подложку или расположенных на ней, для создания оптического пути к одному или более фоточувствительным элементам, встроенным в подложку или расположенным на ней,
выдачу сигнала каждого из одного или более фоточувствительных элементов, основанного на поступившем на вход свете,
распознавание образа по выходным сигналам одного или более фоточувствительных элементов посредством параллельной обработки выходных сигналов одного или более фоточувствительных элементов в одном или более обрабатывающих элементах, каждый из которых соединен с одним из фоточувствительных элементов и встроен в подложку или расположен на ней,
причем упомянутые один или более обрабатывающих элементов включают одну или более нейронных цепей.
использование множества оптических интерфейсов, встроенных в прозрачную или полупрозрачную подложку или расположенных на ней, для создания оптического пути к одному или более фоточувствительным элементам, встроенным в подложку или расположенным на ней,
выдачу сигнала каждого из одного или более фоточувствительных элементов, основанного на поступившем на вход свете,
распознавание образа по выходным сигналам одного или более фоточувствительных элементов посредством параллельной обработки выходных сигналов одного или более фоточувствительных элементов в одном или более обрабатывающих элементах, каждый из которых соединен с одним из фоточувствительных элементов и встроен в подложку или расположен на ней,
причем упомянутые один или более обрабатывающих элементов включают одну или более нейронных цепей.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US69498805P | 2005-06-30 | 2005-06-30 | |
| US60/694,988 | 2005-06-30 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2008102837A RU2008102837A (ru) | 2009-08-10 |
| RU2444059C2 true RU2444059C2 (ru) | 2012-02-27 |
Family
ID=37192296
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2008102837/08A RU2444059C2 (ru) | 2005-06-30 | 2006-06-30 | Интегральное устройство и способ восприятия образов |
Country Status (10)
| Country | Link |
|---|---|
| US (1) | US7796841B2 (ru) |
| EP (1) | EP1899899A1 (ru) |
| JP (1) | JP4734410B2 (ru) |
| KR (1) | KR101326384B1 (ru) |
| CN (1) | CN101253515B (ru) |
| BR (1) | BRPI0613097B1 (ru) |
| CA (1) | CA2613922C (ru) |
| MX (1) | MX2007016556A (ru) |
| RU (1) | RU2444059C2 (ru) |
| WO (1) | WO2007005688A1 (ru) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2715876C1 (ru) * | 2016-04-14 | 2020-03-03 | Ниссан Мотор Ко., Лтд. | Способ и оборудование отображения окрестностей мобильного тела |
| RU2766420C2 (ru) * | 2016-05-13 | 2022-03-15 | Белрон Интернешнл Лтд | Устройство и способ для анализа повреждений |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8478081B2 (en) * | 2005-06-30 | 2013-07-02 | Agc Flat Glass North America, Inc. | Monolithic image perception device and method |
| US8798148B2 (en) * | 2007-06-15 | 2014-08-05 | Physical Optics Corporation | Apparatus and method employing pre-ATR-based real-time compression and video frame segmentation |
| EP2148204B1 (en) * | 2008-07-25 | 2013-01-02 | F. Hoffmann-La Roche AG | A laboratory storage and retrieval system and a method to handle laboratory sample tubes |
| ES2402225T3 (es) * | 2008-07-25 | 2013-04-29 | F. Hoffmann-La Roche Ag | Un método y un sistema de laboratorio para la manipulación de tubos de muestras y una unidad de análisis por imagen |
| ES2582205T3 (es) | 2008-07-25 | 2016-09-09 | F. Hoffmann-La Roche Ag | Método y sistema de laboratorio para manipular gradillas de tubos de muestra |
| EP2148206B1 (en) | 2008-07-25 | 2015-11-18 | F.Hoffmann-La Roche Ag | A laboratory system for handling sample tube racks, an alignmemt element for sample tube racks and a rack tray receiver assembly |
| US8755515B1 (en) | 2008-09-29 | 2014-06-17 | Wai Wu | Parallel signal processing system and method |
| CN101902619A (zh) * | 2010-06-22 | 2010-12-01 | 浙江天鸿汽车用品有限公司 | 车载智能身份识别与监视*** |
| US12040317B2 (en) | 2019-12-06 | 2024-07-16 | Osram Opto Semiconductors Gmbh | Optoelectronic device |
| CN111104542B (zh) * | 2020-01-07 | 2023-04-18 | 成都睿琪科技有限责任公司 | 零件识别管理方法及装置 |
| US11541814B2 (en) | 2020-03-18 | 2023-01-03 | Gentex Corporation | Near infra-red emitting rearview assembly |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0526504B1 (en) * | 1990-04-26 | 1997-01-15 | SUTHERLAND, John | Artificial neural device |
| RU94043709A (ru) * | 1991-12-30 | 1997-12-20 | Информейшн Оптикс Корпорейшн | Оптическое запоминающее устройство с произвольным доступом |
| EP0893915A2 (en) * | 1997-06-25 | 1999-01-27 | Eastman Kodak Company | Compact image sensor with display integrally attached |
| US6332137B1 (en) * | 1999-02-11 | 2001-12-18 | Toshikazu Hori | Parallel associative learning memory for a standalone hardwired recognition system |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63161680A (ja) * | 1986-12-25 | 1988-07-05 | Mitsubishi Electric Corp | 半導体受光素子 |
| DE69430527T2 (de) | 1994-07-28 | 2003-01-02 | International Business Machines Corp., Armonk | Schaltung für das Vorladen von Eingangsvektorbestandteilen in eine freie Neuronalschaltung während der Erkennungsphase |
| DE69430529T2 (de) | 1994-07-28 | 2003-01-16 | International Business Machines Corp., Armonk | Daisy-Chain-Schaltung für die serielle Verbindung von Neuronalschaltungen |
| EP0694855B1 (en) | 1994-07-28 | 2002-05-02 | International Business Machines Corporation | Search/sort circuit for neural networks |
| DE69430744T2 (de) | 1994-07-28 | 2003-01-30 | International Business Machines Corp., Armonk | Verbesserte Neuronalhalbleiterchipsarchitekturen und Neuronalnetzwerke darin |
| EP0694852B1 (en) | 1994-07-28 | 2002-06-26 | International Business Machines Corporation | Innovative neuron circuit architectures |
| TW409253B (en) | 1997-09-29 | 2000-10-21 | Siemens Ag | Associative memory and its operation method |
| US7242449B1 (en) * | 1999-07-23 | 2007-07-10 | Semiconductor Energy Laboratory Co., Ltd. | Semiconductor device and integral image recognition/display apparatus |
| US6221687B1 (en) * | 1999-12-23 | 2001-04-24 | Tower Semiconductor Ltd. | Color image sensor with embedded microlens array |
| US6606614B1 (en) | 2000-08-24 | 2003-08-12 | Silicon Recognition, Inc. | Neural network integrated circuit with fewer pins |
| JP4258393B2 (ja) * | 2003-03-13 | 2009-04-30 | 三菱電機株式会社 | 個人識別装置および指紋画像撮像装置、指紋画像取得方法 |
| KR100964586B1 (ko) * | 2003-04-25 | 2010-06-21 | 삼성전자주식회사 | 지문 인식장치 및 이를 갖는 액정표시장치 |
| JP2005167090A (ja) * | 2003-12-04 | 2005-06-23 | Hamamatsu Photonics Kk | 半導体受光素子及びその製造方法 |
| US7019391B2 (en) * | 2004-04-06 | 2006-03-28 | Bao Tran | NANO IC packaging |
| US7643203B2 (en) * | 2006-04-10 | 2010-01-05 | Qualcomm Mems Technologies, Inc. | Interferometric optical display system with broadband characteristics |
| US7488950B2 (en) * | 2006-06-05 | 2009-02-10 | Blaise Laurent Mouttet | Crosswire sensor |
-
2006
- 2006-06-30 US US11/477,571 patent/US7796841B2/en not_active Expired - Fee Related
- 2006-06-30 MX MX2007016556A patent/MX2007016556A/es active IP Right Grant
- 2006-06-30 EP EP06786060A patent/EP1899899A1/en not_active Withdrawn
- 2006-06-30 WO PCT/US2006/025731 patent/WO2007005688A1/en active Application Filing
- 2006-06-30 CA CA2613922A patent/CA2613922C/en not_active Expired - Fee Related
- 2006-06-30 RU RU2008102837/08A patent/RU2444059C2/ru not_active IP Right Cessation
- 2006-06-30 JP JP2008519641A patent/JP4734410B2/ja not_active Expired - Fee Related
- 2006-06-30 CN CN2006800315217A patent/CN101253515B/zh not_active Expired - Fee Related
- 2006-06-30 BR BRPI0613097A patent/BRPI0613097B1/pt not_active IP Right Cessation
- 2006-06-30 KR KR1020087002422A patent/KR101326384B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0526504B1 (en) * | 1990-04-26 | 1997-01-15 | SUTHERLAND, John | Artificial neural device |
| RU2193797C2 (ru) * | 1990-04-26 | 2002-11-27 | Джон СУТЕРЛАНД | Устройство ассоциативной памяти (варианты) и способ распознавания образов (варианты) |
| RU94043709A (ru) * | 1991-12-30 | 1997-12-20 | Информейшн Оптикс Корпорейшн | Оптическое запоминающее устройство с произвольным доступом |
| EP0893915A2 (en) * | 1997-06-25 | 1999-01-27 | Eastman Kodak Company | Compact image sensor with display integrally attached |
| US6332137B1 (en) * | 1999-02-11 | 2001-12-18 | Toshikazu Hori | Parallel associative learning memory for a standalone hardwired recognition system |
Non-Patent Citations (1)
| Title |
|---|
| VITADLE S ET AL "MULTI - LAYER PERCEPTRON MAPPING ON A SIMD ARCHITECTURE" NEURAL NETWORKS FOR SIGNAL PROCESSING, 2002, PROCEEDING OF THE 2002 12 TH IEEE WORKSHOP ON SEP 4-6, 2002, PISCATAWAY, NJ, USA, IEEE, 04.09.2002, ISBN: 0-7803-7616-1. * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2715876C1 (ru) * | 2016-04-14 | 2020-03-03 | Ниссан Мотор Ко., Лтд. | Способ и оборудование отображения окрестностей мобильного тела |
| RU2766420C2 (ru) * | 2016-05-13 | 2022-03-15 | Белрон Интернешнл Лтд | Устройство и способ для анализа повреждений |
| US11692949B2 (en) | 2016-05-13 | 2023-07-04 | Belron International Limited | Break analysis apparatus and method |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20080038319A (ko) | 2008-05-06 |
| US20070014469A1 (en) | 2007-01-18 |
| CA2613922C (en) | 2015-06-16 |
| BRPI0613097A2 (pt) | 2010-12-21 |
| KR101326384B1 (ko) | 2013-11-11 |
| CA2613922A1 (en) | 2007-01-11 |
| JP4734410B2 (ja) | 2011-07-27 |
| CN101253515A (zh) | 2008-08-27 |
| CN101253515B (zh) | 2012-09-26 |
| US7796841B2 (en) | 2010-09-14 |
| RU2008102837A (ru) | 2009-08-10 |
| WO2007005688A9 (en) | 2007-02-22 |
| MX2007016556A (es) | 2008-03-07 |
| EP1899899A1 (en) | 2008-03-19 |
| JP2009524120A (ja) | 2009-06-25 |
| WO2007005688A1 (en) | 2007-01-11 |
| BRPI0613097B1 (pt) | 2019-01-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2444059C2 (ru) | Интегральное устройство и способ восприятия образов | |
| RU2585985C2 (ru) | Интегральное устройство восприятия изображения и соответствующий способ | |
| CN107358216B (zh) | 一种指纹采集模组、显示装置及指纹识别方法 | |
| Ondruska et al. | End-to-end tracking and semantic segmentation using recurrent neural networks | |
| US10394406B2 (en) | Touch display device | |
| CN104039610B (zh) | 摄像机***、尤其用于车辆的摄像机*** | |
| US8514280B2 (en) | Method and system for detecting an individual by means of passive infrared sensors | |
| CN111965636A (zh) | 一种基于毫米波雷达和视觉融合的夜间目标检测方法 | |
| Carranza-García et al. | Object detection using depth completion and camera-LiDAR fusion for autonomous driving | |
| US20210334551A1 (en) | Environment recognition system and learning apparatus | |
| TWI463418B (zh) | 單石影像感測裝置及方法 | |
| JP4604816B2 (ja) | 車載撮像モジュール | |
| CN117789077A (zh) | 一种通用场景下用于视频结构化的人与车辆预测的方法 | |
| Caulfield et al. | Efficiency of image processing architectures near the focal plane array | |
| Alam et al. | Light Fields: A New Dimension in Lane Detection Accuracy |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20200701 |