RU2643861C1

RU2643861C1 - Устройство обнаружения светофоров и способ обнаружения светофоров

Info

Publication number: RU2643861C1
Application number: RU2016139381A
Authority: RU
Inventors: Такахико ОКИ; Хидекадзу НИСИУТИ
Original assignee: Ниссан Мотор Ко., Лтд.
Priority date: 2014-03-10
Filing date: 2014-03-10
Publication date: 2018-02-06
Also published as: BR112016020898B1; EP3118833A4; JPWO2015136594A1; EP3118833B1; JP6222343B2; MX350449B; CN106062851B; EP3118833A1; CN106062851A; WO2015136594A1; US20160371552A1; MX2016011271A; US9679207B2; BR112016020898A2

Abstract

Изобретение относится к устройству и способу обнаружения светофоров. Устройство обнаружения светофоров включает в себя модуль (11) захвата изображений, выполненный с возможностью захватывать изображение в направлении движения транспортного средства, и модуль (12) обнаружения светофоров, выполненный с возможностью обнаруживать светофор из изображения. Модуль (12) обнаружения светофоров извлекает синхронизированный пиксель (51) с яркостью, которая варьируется синхронно с циклом переменного тока электроэнергии, подаваемой в светофор, и задает предварительно определенный диапазон, включающий в себя синхронизированный пиксель (51), в качестве пиксельной группы (50). Модуль (12) обнаружения светофоров затем определяет из синхронизированного пикселя (51) то, присутствует или нет светофор, когда синхронизированный пиксель (51) непрерывно извлекается из пиксельной группы (50) в течение предварительно определенного периода определения. Обеспечивается обнаружение даже удаленного светофора с высокой точностью. 2 н. и 7 з.п. ф-лы, 9 ил.

Description

Область техники, к которой относится изобретение

[0001] Настоящее изобретение относится к устройству обнаружения светофоров и к способу обнаружения светофоров.

Уровень техники

[0002] На сегодняшний день известно устройство обнаружения светофоров для обнаружения светофора из изображения, захваченного посредством камеры (см. патентный документ 1). Согласно патентному документу 1, часть, указывающая цвет сигнальной лампы, извлекается из изображения, вычисляется округлость, указывающая то, насколько близкой к идеальной окружности является извлеченная часть, и часть, имеющая более высокую округлость, обнаруживается в качестве возможного варианта для сигнальной лампы.

Список библиографических ссылок

Патентные документы

[0003] Патентный документ 1. Публикация заявки на патент (Япония) номер 2005-301518

Сущность изобретения

[0004] Для обнаружения в качестве возможного варианта для сигнальной лампы, извлеченная часть должна иметь размер изображения, достаточно большой для определения округлости. Таким образом, технология в патентном документе 1 испытывает затруднения при точном обнаружении удаленного светофора, размер изображения которого является слишком небольшим для того, чтобы определять округлость.

[0005] Настоящее изобретение осуществлено с учетом вышеизложенной проблемы, и его задача заключается в том, чтобы предоставлять устройство обнаружения светофоров и способ обнаружения светофоров, допускающие обнаружение даже удаленного светофора с высокой точностью.

[0006] Устройство обнаружения светофоров согласно аспекту настоящего изобретения включает в себя модуль захвата изображений, выполненный с возможностью захватывать изображение окрестности транспортного средства, и модуль обнаружения светофоров, выполненный с возможностью обнаруживать светофор из упомянутого изображения. Модуль обнаружения светофоров извлекает синхронизированный пиксель с яркостью, которая варьируется синхронно с циклом переменного тока электроэнергии, подаваемой в светофоры, и задает предварительно определенный диапазон, включающий в себя синхронизированный пиксель, в качестве пиксельной группы. Модуль обнаружения светофоров затем определяет из синхронизированного пикселя то, присутствует или нет светофор, когда синхронизированный пиксель непрерывно извлекается из пиксельной группы в течение предварительно определенного периода определения.

Краткое описание чертежей

[0007] Фиг. 1 является блок-схемой, иллюстрирующей общую конфигурацию устройства обнаружения светофоров согласно варианту осуществления настоящего изобретения;

Фиг. 2 является блок-схемой, иллюстрирующей подробную конфигурацию модуля 15 формирования синхронизированных изображений, проиллюстрированного на фиг. 1;

Фиг. 3 иллюстрирует разность в корреляционных значениях между тем, когда фаза опорного сигнала синхронизирована и не синхронизирована, фиг. 3(a) иллюстрирует состояние, в котором фаза опорного сигнала синхронизирована с фазой электроэнергии, а фиг. 3(b) иллюстрирует состояние, в котором фаза опорного сигнала инвертируется относительно фазы электроэнергии;

Фиг. 4 имеет принципиальные схемы, причем каждая из схем иллюстрирует пиксельную группу 50, которая должна задаваться в качестве предварительно определенного диапазона, включающего в себя синхронизированный пиксель 51, фиг. 4(a) иллюстрирует пиксельную группу 50, включающую в себя соседние пиксели 52, которые являются горизонтально и вертикально смежными с синхронизированным пикселем 51, фиг. 4(b) иллюстрирует пиксельную группу 50, в которой ширина соседних пикселей 52, вертикально смежных с ней, превышает ширину соседних пикселей 52, горизонтально смежных с ней, а фиг. 4(c) иллюстрирует пример, в котором ширина соседних пикселей 52 задается большой в соответствии с размером синхронизированных пикселей 51;

Фиг. 5 является блок-схемой последовательности операций, иллюстрирующей пример способа обнаружения светофоров с использованием устройства обнаружения светофоров, проиллюстрированного на фиг. 1;

Фиг. 6(a) является схемой, указывающей необходимый размер пиксельной группы 53a, чтобы обнаруживать возможный вариант для сигнальной лампы из округлости, а фиг. 6(b) является схемой, указывающей число синхронизированных пикселей 53b, которые могут обнаруживаться в варианте осуществления;

Фиг. 7(a) в 7(d) являются схемами, иллюстрирующими состояния, в которых позиция (51a, 51b) синхронизированного пикселя варьируется вследствие вибрации движущегося транспортного средства или других факторов;

Фиг. 8 является графиком, иллюстрирующим состояние, в котором циклическое варьирование яркости переносится между тремя пикселями (pix 1, pix 2, pix 3); и

Фиг. 9 иллюстрирует графики для сравнения диапазона варьирования яркости между светодиодной лампой и лампой накаливания, фиг. 9(a) иллюстрирует временные варьирования яркостей, а фиг. 9(b) иллюстрирует результат частотного анализа с использованием FFT-анализа.

Подробное описание вариантов осуществления

[0008] Со ссылкой на чертежи, предоставляется описание варианта осуществления. На чертежах, идентичные части обозначаются посредством идентичных ссылок с номерами, и их описание опускается.

[0009] Со ссылкой на фиг. 1, ниже приводится описание общей конфигурации устройства обнаружения светофоров согласно варианту осуществления. Устройство обнаружения светофоров монтируется на транспортном средстве и включает в себя модуль 11 захвата изображений для захвата изображения окрестности транспортного средства и модуль 12 обнаружения светофоров для обнаружения светофора из изображения, полученного посредством модуля 11 захвата изображений.

[0010] Модуль 11 захвата изображений представляет собой цифровую камеру с использованием твердотельного датчика изображений, например, CCD или CMOS, которая получает цифровое изображение, для которого может выполняться обработка изображений. Цифровая камера включает в себя широкоугольную линзу, имеющую широкий угол обзора. Диапазон формирования изображений (угол обзора) модуля 11 захвата изображений включает в себя направление движения транспортного средства и обочины дороги в направлениях вправо и влево около транспортного средства. Модуль 11 захвата изображений многократно захватывает изображение с предварительно определенными временными интервалами и получает последовательность из нескольких изображений (кадров).

[0011] Модуль 12 обнаружения светофоров принимает изображения (в дальнейшем называемые "изображениями, захваченными камерой"), полученные посредством модуля 11 захвата изображений, и обнаруживает позицию светофора в изображениях, захваченных камерой. Позиционная информация обнаруженного светофора передается в другое функциональное обрабатывающее устройство (CPU 13 транспортного средства), смонтированное на транспортном средстве, которое включает в себя, например, контроллер, чтобы выполнять автоматизированное приведение в движение транспортного средства. Модуль 12 обнаружения светофоров включает в себя микроконтроллер, включающий в себя, например, CPU, запоминающее устройство и модуль ввода-вывода, которые служат в качестве нескольких модулей обработки информации, включенных в устройство обнаружения светофоров посредством выполнения компьютерной программы, установленной заранее. Модуль 12 обнаружения светофоров многократно выполняет последовательность информационных процессов для каждой последовательности из нескольких изображений, захваченных камерой (кадров), чтобы обнаруживать позицию светофора из изображений, захваченных камерой. Модуль 12 обнаружения светофоров может быть включен в ECU, который также используется для другого управления транспортным средством.

[0012] Несколько модулей обработки информации, служащих в качестве модуля 12 обнаружения светофоров, включают в себя модуль 15 формирования синхронизированных изображений, модуль 38 задания пиксельных групп и модуль 18 определения светофоров. Модуль 18 определения светофоров включает в себя модуль 39 обнаружения стабильности и модуль 40 определения оттенка.

[0013] Модуль 15 формирования синхронизированных изображений извлекает из изображений, захваченных камерой, синхронизированный пиксель с яркостью, которая варьируется синхронно с циклом переменного тока электроэнергии, подаваемой в светофоры, и формирует синхронизированные изображения, включающие в себя извлеченный синхронизированный пиксель. Например, модуль 15 формирования синхронизированных изображений формирует опорный сигнал, синхронизированный с фазой электроэнергии, подаваемой в светофоры, и выполняет процесс определения синхронизации для умножения между собой опорного сигнала и сигнала яркости каждого пикселя изображений, захваченных камерой. Из этого процесса извлекается синхронизированный пиксель с яркостью, которая варьируется синхронно с циклом переменного тока электроэнергии.

[0014] Электроэнергия, подаваемая в светофоры, представляет собой мощность переменного тока, полученную посредством двухполупериодного выпрямления электроэнергии из сети общего пользования. Яркость сигнальной лампы, которая загорается посредством приема подачи электроэнергии из сети общего пользования, варьируется с циклом, идентичным циклу (например, 100 Гц) двухполупериодной выпрямленной мощности переменного тока. По этой причине, можно обнаруживать сигнальную лампу, которая загорается посредством приема подачи электроэнергии из сети общего пользования, посредством извлечения, из изображений, захваченных камерой, синхронизированного пикселя с яркостью, которая варьируется синхронно с циклом переменного тока электроэнергии, подаваемой в светофоры. Ниже описываются конкретные процессы со ссылкой на фиг. 2 и 3.

[0015] Модуль 38 задания пиксельных групп задает предварительно определенный диапазон, включающий в себя синхронизированный пиксель, в качестве пиксельной группы. Пиксельная группа включает в себя синхронизированный пиксель и один или более соседних пикселей рядом и вокруг синхронизированного пикселя. Ниже поясняются подробности со ссылкой на фиг. 4.

[0016] Модуль 18 определения светофоров определяет то, присутствует светофор или нет в позиции пиксельной группы, включающей в себя синхронизированный пиксель, заданный посредством модуля 38 задания пиксельных групп, на основе стабильности обнаружения и оттенка синхронизированного пикселя. Когда изображения удаленного светофора захватываются, позиция наблюдения объекта для измерений (светофора) варьируется вследствие вибрации движущегося транспортного средства или других факторов. Чтобы разрешать это, модуль 39 обнаружения стабильности определяет в течение предварительно определенного периода определения то, извлекается или нет синхронизированный пиксель последовательно из пиксельной группы. Когда позиция синхронизированного пикселя варьируется в области пиксельной группы, модуль 39 обнаружения стабильности определяет то, что синхронизированный пиксель стабильно обнаруживается.

[0017] Модуль 40 определения оттенка определяет то, является или нет оттенок синхронизированного пикселя аналогичным оттенку цвета сигнала. Поскольку позиция наблюдения объекта для измерений (светофора) варьируется вследствие вибрации транспортного средства или других факторов, модуль 40 определения оттенка может определять то, является или нет оттенок, синтезированный из оттенков всех синхронизированных пикселей, включенных в пиксельную группу, аналогичным цвету сигнала. Когда синхронизированный пиксель последовательно извлекается из пиксельной группы, по меньшей мере, в течение предварительно определенного периода определения, модуль 18 определения светофоров определяет то, что светофор присутствует в позиции пиксельной группы. Здесь, модуль 18 определения светофоров может определять то, что светофор присутствует в позиции пиксельной группы, когда синхронизированный пиксель последовательно извлекается из пиксельной группы в течение предварительно определенного периода определения, и оттенок, синтезированный из оттенков всех синхронизированных пикселей, включенных в пиксельную группу, является аналогичным цвету сигнала.

[0018] Виды электрического освещения, которые загораются посредством приема подачи электроэнергии из сети общего пользования, включают в себя не только сигнальные лампы светофоров, но также и другие виды электрического освещения, которые загораются на дороге, такие как уличные светильники, торговые автоматы и вывески. Синхронизированные пиксели, извлеченные посредством модуля 15 формирования синхронизированных изображений, могут включать в себя пиксели, извлеченных из этих других видов электрического освещения. Посредством определения посредством модуля 40 определения оттенка подобия в оттенке между синхронизированными пикселями и цветами сигнала, можно исключать эти другие виды электрического освещения из результата определения посредством модуля 39 обнаружения стабильности.

[0019] Здесь, модуль 18 определения светофоров может быть выполнен с возможностью определять то, присутствует или нет светофор, из результата определения посредством модуля 39 обнаружения стабильности с использованием позиции в изображениях и яркости синхронизированного пикселя вместо использования модуля 40 определения оттенка. Посредством определения позиций светофоров в изображениях из картографической информации по окрестности транспортного средства и сопоставления определенных позиций с позициями синхронизированного пикселя, можно исключать этот другой вид электрического расстояния. Помимо этого, посредством оценки яркости светофора в изображениях из расстояния от транспортного средства до светофора, также можно определять то, что светофор присутствует в синхронизированном пикселе, имеющем яркость в пределах оценки.

[0020] Модуль 12 обнаружения светофоров выводит в CPU 13 транспортного средства позиционную информацию пиксельной группы, в которой модуль 18 определения светофоров определяет то, что светофор присутствует.

[0021] Далее, со ссылкой на фиг. 2 и 3, подробно описывается модуль 15 формирования синхронизированных изображений. Со ссылкой на фиг. 2, подробно описывается конфигурация модуля 15 формирования синхронизированных изображений. Модуль 15 формирования синхронизированных изображений включает в себя запоминающее устройство 25, модуль 26 умножения, фильтр 20 нижних частот (LPF), модуль 41 определения фазы и модуль 17 формирования опорных сигналов.

[0022] Запоминающее устройство 25 сохраняет последовательность из нескольких изображений 28, захваченных камерой (кадров) за раз. Например, запоминающее устройство 25 сохраняет несколько изображений 28, захваченных камерой, за раз, которые захватываются в течение одного цикла переменного тока электроэнергии, подаваемой в светофоры. Модуль 26 умножения умножает между собой опорный сигнал и сигнал яркости каждого пикселя изображений 28, захваченных камерой, считываемых из запоминающего устройства 25. Модуль 26 умножения выполняет вышеуказанное умножение для каждого из изображений, захваченных камерой, сохраненных одновременно в запоминающем устройстве 25.

[0023] LPF 20 извлекает только низкочастотные компоненты посредством сокращения уровней частотных компонентов выше предварительно определенной частоты отсечки из результатов умножения посредством модуля 26 умножения и выводит синхронизированное изображение, включающее в себя синхронизированный пиксель. Модуль 41 определения фазы определяет то, выше или равна либо нет яркость синхронизированного пикселя, выведенного из LPF 20, предварительно определенному опорному значению. Если яркость ниже предварительно определенного опорного значения, модуль 41 определения фазы инструктирует модулю 17 формирования опорных сигналов регулировать фазу опорного сигнала. Если яркость выше или равна предварительно определенному опорному значению, можно определять то, что фаза опорного сигнала согласовывается с фазой электроэнергии, подаваемой в светофоры. Таким образом, регулирование фазы не требуется, и модуль 15 формирования синхронизированных изображений выводит синхронизированное изображение, выведенное из LPF 20, в модуль 38 задания пиксельных групп, проиллюстрированный на фиг. 1.

[0024] Модуль 17 формирования опорных сигналов регулирует фазу опорного сигнала на основе результата определения, выполняемого посредством модуля 41 определения фазы. Модуль 26 умножения умножает между собой опорный сигнал, фаза которого отрегулирована, и сигнал яркости. Таким образом, модуль 15 формирования синхронизированных изображений многократно выполняет PLL-процесс, чтобы регулировать фазу, до тех пор пока яркость не станет выше или равной предварительно определенному опорному значению.

[0025] Со ссылкой на фиг. 3(a) и 3(b), описывается согласование фазы опорного сигнала. Фиг. 3(a) иллюстрирует состояние, в котором фаза опорного сигнала согласовывается с фазой электроэнергии, подаваемой в светофоры. Посредством умножения между собой 1) сигнала яркости каждого пикселя и 2) опорного сигнала в этом состоянии, 3) сигнал после умножения, т.е. яркость синхронизированного пикселя и среднее значение (корреляционное значение G1) яркости синхронизированного пикселя, становится наибольшим.

[0026] Напротив, фиг. 3(b) иллюстрирует состояние, в котором фаза опорного сигнала инвертируется относительно фазы электроэнергии, подаваемой в светофоры. Посредством умножения между собой 1) сигнала яркости каждого пикселя и 2) опорного сигнала в этом состоянии, 3) сигнал после умножения, т.е. яркость синхронизированного пикселя и среднее значение (корреляционное значение G2) яркости синхронизированного пикселя, становится наименьшим.

[0027] По мере того, как расстояние от транспортного средства до светофора становится большим, яркость сигнальной лампы, обнаруженная посредством модуля 11 захвата изображений, становится более низкой, и диапазон варьирования яркости становится меньшим. Чтобы разрешать это, посредством приближения фазы опорного сигнала к фазе варьирования яркости сигнальной лампы, т.е. к фазе электроэнергии, подаваемой в светофор, можно получать высокое корреляционное значение (G1), которое, в свою очередь, позволяет обнаруживать удаленный светофор с высокой точностью.

[0028] Далее, со ссылкой на фиг. 4, предоставляется описание процесса задания для пиксельной группы. Каждый из (a), (b) и (c) на фиг. 4 иллюстрирует пример пиксельной группы 50, которая задается для предварительно определенного диапазона, включающего в себя синхронизированный пиксель 51. Каждый кадр, размещаемый в матричной форме, указывает пиксель. Фиг. 4(a) указывает пиксельную группу 50, включающую в себя соседние пиксели 52, смежные с синхронизированным пикселем 51 горизонтально или вертикально. Фиг. 4(b) иллюстрирует пример пиксельной группы 50, в которой ширина соседних пикселей 52, вертикально смежных с синхронизированным пикселем 51, превышает ширину соседних пикселей 52, горизонтально смежных с синхронизированным пикселем 51. Одна линия соседних пикселей 52 является горизонтально смежной с синхронизированным пикселем 51, в то время как две линии соседних пикселей 52 являются вертикально смежными с синхронизированным пикселем 51. Пиксельная группа 50 на фиг. 4(b) является примером того, чтобы обрабатывать вертикальную вибрацию транспортного средства. Фиг. 4(c) иллюстрирует пример увеличения ширины соседних пикселей 52 в соответствии с размером синхронизированных пикселей 51. Модуль 38 задания пиксельных групп задает две линии соседних пикселей 52, смежных всего с четырьмя синхронизированными пикселями 51, размещаемыми 2x2 в каждом из горизонтального и вертикального направлений.

[0029] Чтобы поддерживать неразрывность варьирования яркости, модуль 38 задания пиксельных групп может налагать значение яркости синхронизированного пикселя 51 на значения яркости соседних пикселей 52. Даже когда позиция синхронизированного пикселя 51 перемещается в области соседних пикселей 52, можно поддерживать неразрывность варьирования яркости между периодами до и после перемещения. Ниже поясняются подробности со ссылкой на фиг. 8.

[0030] Далее, со ссылкой на фиг. 5, предоставляется описание способа обнаружения светофоров с использованием устройства обнаружения светофоров, проиллюстрированного на фиг. 1. Работа устройства обнаружения светофоров, проиллюстрированного на блок-схеме последовательности операций способа по фиг. 5, начинается, как только включается переключатель зажигания транспортного средства, и активируется устройство обнаружения светофоров. Работа выполняется многократно до тех пор, пока устройство обнаружения светофоров не прекратит работу.

[0031] На этапе S01, модуль 11 захвата изображений многократно захватывает изображения впереди транспортного средства и получает последовательность из нескольких изображений, захваченных камерой. Модуль 11 захвата изображений захватывает несколько изображений в течение одного цикла переменного тока электроэнергии, подаваемой в светофоры. Полученные данные изображений передаются в модуль 15 формирования синхронизированных изображений и временно сохраняются в запоминающем устройстве 25.

[0032] Обработка переходит к этапу S03, на котором модуль 26 умножения выполняет процесс обнаружения синхронизации для умножения между собой опорного сигнала и сигнала яркости каждого пиксела в изображениях, захваченных камерой. Обработка переходит к этапу S05, на котором модуль 41 определения фазы определяет то, является или нет корреляционное значение (G1, G2), проиллюстрированное на фиг. 3, максимальным значением. Если оно является максимальным значением ("Да" на этапе S05), обработка переходит к этапу S09. Если оно не является максимальным значением ("Нет" на этапе S05), обработка переходит к этапу S07. Следует отметить, что на этапе S05, модуль 41 определения фазы может определять то, превышает или равно либо нет корреляционное значение (G1, G2) предварительно определенному опорному значению, вместо определения того, является оно или нет максимальным значением. На этапе S07, модуль 17 формирования опорных сигналов регулирует фазу опорного сигнала и затем возвращается к этапу S03. Таким образом, устройство обнаружения светофоров многократно выполняет процесс определения синхронизации и процесс регулирования фазы до тех пор, пока корреляционное значение (G1, G2) не станет максимальным значением.

[0033] На этапе S09, модуль 38 задания пиксельных групп задает предварительно определенный диапазон, включающий в себя синхронизированный пиксель 51, в качестве пиксельной группы 50, как проиллюстрировано на фиг. 4. Обработка переходит к этапу S11, на котором модуль 39 обнаружения стабильности определяет то, извлекается или нет синхронизированный пиксель 51 непрерывно из пиксельной группы 50 в течение периода, превышающего один цикл переменного тока электроэнергии, подаваемой в светофоры. Когда синхронизированный пиксель 51 непрерывно извлекается ("Да" на этапе S11), имеется вероятность того, что синхронизированный пиксель 51 может представлять собой сигнальную лампу, и обработка переходит к этапу S13. С другой стороны, когда синхронизированный пиксель 51 непрерывно не извлекается ("Нет" на этапе S11), можно определять то, что синхронизированный пиксель 51 не представляет собой сигнальную лампу, и обработка переходит к этапу S19. На этапе S19, модуль 18 определения светофоров исключает синхронизированный пиксель 51 из списка возможных вариантов светофоров.

[0034] На этапе S13, модуль 40 определения оттенка определяет то, является или нет оттенок, синтезированный из оттенков всех синхронизированных пикселей 51, включенных в пиксельную группу 50, аналогичным оттенку цвета сигнала. Если оттенок является аналогичным цвету сигнала ("Да" на этапе S13), можно определять то, что синхронизированные пиксели 51 в пиксельной группе 50 указывают сигнальную лампу. Соответственно, обработка переходит к этапу S15, и модуль 18 определения светофоров помечает синхронизированные пиксели 51 в качестве светофора. Если оттенок не является аналогичным цвету сигнала (Не на этапе S13), можно определять то, что синхронизированные пиксели 51 в пиксельной группе 50 не указывают сигнальную лампу, но одни из других видов электрического освещения. Соответственно, обработка переходит к этапу S17, на котором модуль 18 определения светофоров помечает синхронизированные пиксели 51 в качестве другого электрического света.

[0035] Обработка переходит к этапу S21, на котором модуль 18 определения светофоров определяет то, выполнены или нет определения для всех пиксельных групп 50, заданных на этапе S09, на основе того, указывает или нет каждая из пиксельных групп 50 светофор. Если все определения еще не закончены ("Нет" на этапе S21), обработка возвращается к этапу S11, и этапы S11-S17 выполняются для оставшихся пиксельных групп 50. Если все определения закончены ("Да" на этапе S21), блок-схема последовательности операций способа на фиг. 5 завершается.

[0036] Как описано выше, следующая работа и преимущества может получаться согласно варианту осуществления.

[0037] Согласно патентному документу 1, область (пиксельная группа 53a) с оттенком, аналогичным оттенку сигнальной лампы, извлекается из изображений, захваченных камерой, и возможный вариант для сигнальной лампы обнаруживается на основе округлости области (пиксельной группы 53a). Когда округлость используется для того, чтобы определять то, присутствует или нет сигнальная лампа, область (пиксельная группа 53a) должна включать в себя примерно идентичное число пикселей, как проиллюстрировано на фиг. 6(a). С другой стороны, в устройстве обнаружения светофоров согласно варианту осуществления, синхронизированные пиксели с яркостью, которая варьируется синхронно с циклом переменного тока электроэнергии, подаваемой в светофоры, извлекаются в качестве возможного варианта для сигнальной лампы. Это позволяет определять то, указывают или нет синхронизированные пиксели 53b сигнальную лампу, даже если число синхронизированных пикселей 53b является слишком небольшим для того, чтобы определять округлость, как проиллюстрировано на фиг. 6(b). Другими словами, устройство обнаружения светофоров согласно варианту осуществления обнаруживает удаленный светофор с высокой точностью.

[0038] Посредством извлечения из изображений, захваченных камерой, синхронизированных пикселей с яркостью, которая варьируется синхронно с циклом переменного тока электроэнергии, подаваемой в светофоры, можно обнаруживать светофор без учета размера или формы сигнальной лампы. Соответственно, можно обнаруживать даже удаленный светофор с высокой точностью, даже если размер изображения светофора является слишком небольшим для того, чтобы определять округлость.

[0039] Помимо этого, когда изображения удаленного светофора захватываются, позиция наблюдения объекта для измерений варьируется вследствие вибрации движущегося транспортного средства или других факторов. Фиг. 7(a) и 7(b) иллюстрирует состояние, в котором позиция синхронизированного пикселя (51a, 51b) варьируется в каждом цикле обработки, проиллюстрированном на фиг. 5. Затруднительно непрерывно определять синхронизированный пиксель в идентичной позиции (пикселем) в течение более чем предварительно определенного периода определения (например, одного цикла переменного тока) вследствие вибрации движущегося транспортного средства или других факторов. Чтобы разрешать это, предварительно определенный диапазон, включающий в себя синхронизированный пиксель, задается в качестве пиксельной группы, как проиллюстрировано на фиг. 4, и когда синхронизированный пиксель непрерывно извлекается из пиксельной группы в течение предварительно определенного периода определения, определяется то, что светофор присутствует. Это позволяет продолжать определение сигнальной лампы, синхронизированной с циклом переменного тока электроэнергии, что, в свою очередь, позволяет стабильно обнаруживать позицию светофора. Например, как проиллюстрировано на фиг. 7(c) и 7(d), даже если позиция синхронизированного пикселя (51a, 51b) варьируется в области пиксельной группы 50, модуль 39 обнаружения стабильности допускает непрерывное определение синхронизированного пикселя.

[0040] Фиг. 8 является графиком, иллюстрирующим состояние, в котором циклическое варьирование яркости переносится между тремя пикселями (pix 1, pix 2, pix 3) во времени. Во-первых, варьирование яркости, синхронизированное с циклом переменного тока электроэнергии, наблюдается в пикселе (pix 1), затем переносится в пиксель (pix 2) и в итоге переносится в пиксель (pix 3). Соответственно, позиция синхронизированного пикселя также варьируется.

[0041] Чтобы разрешать это, модуль 38 задания пиксельных групп может налагать значение яркости синхронизированного пикселя 51 на значения яркости соседних пикселей 52, чтобы поддерживать неразрывность варьирования яркости. За счет этого, в примере, проиллюстрированном на фиг. 8, варьирования яркости наложены между тремя пикселями (pix 1, pix2, pix 3). Соответственно, перенос варьирований, как проиллюстрировано на фиг. 8, не возникает, и можно обнаруживать три пикселя (pix 1, pix 2, pix 3) непрерывно в качестве синхронизированных пикселей.

[0042] Фиг. 9(a) и 9(b) являются графиками для сравнения диапазона варьирования яркости между светодиодной лампой и лампой накаливания. Светодиодные лампы используются для сигнальных ламп некоторых светофоров, а лампы накаливания используются для других. Яркости светодиодной лампы и лампы накаливания варьируются в идентичном цикле. Тем не менее, они существенно отличаются по диапазону варьирования яркости. Поскольку лампа накаливания имеет более плохое отношение (отношение "сигнал-шум") яркости светофора к шуму в изображениях, чем светодиодная лампа, затруднительно обнаруживать варьирование яркости лампы накаливания.

[0043] По этой причине, модуль определения светофоров может изменять предварительно определенный период определения в соответствии с диапазоном варьирования яркости синхронизированного пикселя. В частности, на этапе S11, когда яркость синхронизированного пикселя имеет больший диапазон варьирования, модуль 39 обнаружения стабильности задает меньший предварительно определенный период определения. Например, для светодиодных ламп, один цикл переменного тока электроэнергии, подаваемой в светофоры, задается в качестве предварительно определенного периода определения, поскольку диапазон варьирования яркости является большим. Для ламп накаливания, поскольку диапазон варьирования яркости является небольшим, 10 циклов электроэнергии, подаваемой в светофор, задаются в качестве предварительно определенного периода определения. Между тем, предварительно определенный период определения может задаваться большим для более далекого светофора, поскольку диапазон варьирования яркости синхронизированного пикселя меньше. Как описано выше, поскольку предварительно определенный период определения задается длительным, когда диапазон варьирования яркости является небольшим, по мере того, как предварительно определенный период определения становится большим, число раз, когда пиксельная группа наложена, увеличивается, и это позволяет улучшать отношение "сигнал-шум". Таким образом, можно задавать подходящий период определения в соответствии с типом сигнальной лампы или расстоянием до светофора. Другими словами, можно повышать чувствительность обнаружения посредством задания подходящего периода определения, с использованием синтезированной формы сигнала, полученной посредством умножения нескольких форм сигналов варьирований яркости, существующих в период определения, и выполнения определения синхронизации с циклом переменного тока электроэнергии.

[0044] Как проиллюстрировано на фиг. 4(a) в 4(c), пиксельная группа 50 включает в себя синхронизированный пиксель 51 и один или более соседних пикселей 52 рядом и вокруг синхронизированного пикселя 51. Это позволяет стабильно обнаруживать синхронизированный пиксель 51 в пределах диапазона пиксельной группы 50, даже когда позиция наблюдения синхронизированного пикселя 51 варьируется вследствие вибрации движущегося транспортного средства или других факторов.

[0045] Как проиллюстрировано на фиг. 4(b), ширина соседних пикселей 52, вертикально смежных с синхронизированным пикселем 51, может превышать ширину соседних пикселей 52, горизонтально смежных с синхронизированным пикселем 51. Это позволяет стабильно обнаруживать синхронизированный пиксель 51 в пределах диапазона пиксельной группы 50, даже когда позиция наблюдения вертикально варьируется вследствие вибрации движущегося транспортного средства.

[0046] Как проиллюстрировано на фиг. 4(c), чем большее число синхронизированных пикселей 51 существует в одной пиксельной группе 50, тем большую ширину соседних пикселей 52 модуль 38 задания пиксельных групп может задавать в пиксельной группе 50. Это позволяет задавать пиксельную группу 50 для подходящей области в соответствии с размером синхронизированных пикселей 51.

[0047] Как проиллюстрировано на фиг. 5, когда синхронизированный пиксель 51 непрерывно извлекается из пиксельной группы 50 в течение предварительно определенного периода определения ("Да" на этапе S11), и оттенок синхронизированного пикселя 51 является аналогичным оттенку цвета сигнала ("Да" на этапе S13), модуль 18 определения светофоров может определять то, что светофор присутствует в позиции синхронизированного пикселя 51. Определение оттенка синхронизированного пикселя 51 дополнительно повышает точность в определении светофора.

[0048] Модуль 40 определения оттенка может определять то, является или нет оттенок, синтезированный из оттенков всех синхронизированных пикселей 51, включенных в пиксельную группу 50, аналогичным оттенку цвета сигнала. Даже когда позиция объекта обработки изображений варьируется вследствие вибрации транспортного средства или других факторов, можно выполнять точное определение оттенка.

[0049] Хотя упомянут вариант осуществления настоящего изобретения, как описано выше, не следует понимать, что формулировки и чертежи в качестве части раскрытия сущности ограничивают настоящее изобретение. Из этого раскрытия сущности, различные модифицированные варианты осуществления, примеры и технологии работы должны становиться очевидными для специалистов в данной области техники.

[0050] Хотя модуль 18 определения светофоров определяет как стабильность извлечения, так и оттенок синхронизированного пикселя (S11, S13) на блок-схеме последовательности операций способа, проиллюстрированной на фиг. 5, модуль 18 определения светофоров может определять только стабильность извлечения синхронизированного пикселя (S11). В этом случае, если синхронизированный пиксель определяется более чем для одного цикла мощности переменного тока ("Да" на этапе S11), обработка переходит к S15, и синхронизированный пиксель может помечаться в качестве сигнальной лампы.

Список условных обозначений

[0051] 11 - модуль захвата изображений

12 - модуль обнаружения светофоров

15 - модуль формирования синхронизированных изображений (модуль извлечения синхронизированных пикселей)

17 - модуль формирования опорных сигналов

18 - модуль определения светофоров

38 - модуль задания пиксельных групп

40 - модуль определения оттенка

50 - пиксельная группа

51, 51a, 51b - синхронизированный пиксель

52 - соседний пиксель

Claims

1. Устройство обнаружения светофоров, содержащее:

модуль (11) захвата изображений, смонтированный на транспортном средстве и выполненный с возможностью захватывать изображение окрестности транспортного средства; и

модуль (12) обнаружения светофоров, выполненный с возможностью обнаруживать светофор из упомянутого изображения, при этом:

модуль (12) обнаружения светофоров включает в себя:

модуль (15) извлечения синхронизированных пикселей, выполненный с возможностью извлекать из изображения синхронизированный пиксель (51, 51a, 51b) с яркостью, которая варьируется синхронно с циклом переменного тока электроэнергии, подаваемой в светофор,

модуль (38) задания пиксельных групп, выполненный с возможностью задавать предварительно определенный диапазон, включающий в себя синхронизированный пиксель (51, 51a, 51b) и соседние пиксели (52) относительно синхронизированного пикселя (51, 51a, 51b), в качестве пиксельной группы (50), и

модуль (18) определения светофоров, выполненный с возможностью определять из синхронизированного пикселя (51, 51a, 51b), что светофор присутствует, когда синхронизированный пиксель (51, 51a, 51b) непрерывно извлекается из пиксельной группы (50) в течение предварительно определенного периода определения.

2. Устройство обнаружения светофоров по п. 1, в котором:

пиксельная группа (50) включает в себя синхронизированный пиксель (51, 51a, 51b) и один или более соседних пикселей (50) рядом и вокруг синхронизированного пикселя (51, 51a, 51b).

3. Устройство обнаружения светофоров по п. 2, в котором:

ширина соседних пикселей (52), вертикально смежных с синхронизированным пикселем (51, 51a, 51b), превышает ширину соседних пикселей (52), горизонтально смежных с синхронизированным пикселем (51, 51a, 51b).

4. Устройство обнаружения светофоров по п. 2 или 3, в котором:

когда число синхронизированных пикселей (51, 51a, 51b) в пиксельной группе (50) больше, модуль (38) задания пиксельных групп задает ширину соседних пикселей (52) в пиксельной группе (50) большей.

5. Устройство обнаружения светофоров по любому из пп. 1-3, в котором:

модуль (18) определения светофоров включает в себя модуль (40) определения оттенков, выполненный с возможностью определять то, является или нет оттенок синхронизированного пикселя (51, 51a, 51b) аналогичным оттенку цвета сигнала, и

модуль (18) определения светофоров определяет то, что светофор присутствует в позиции синхронизированного пикселя (51, 51a, 51b), когда синхронизированный пиксель (51, 51a, 51b) непрерывно извлекается из пиксельной группы (50) в течение предварительно определенного периода, и оттенок синхронизированного пикселя (51, 51a, 51b) является аналогичным оттенку цвета сигнала.

6. Устройство обнаружения светофоров по любому из пп. 1-3, в котором:

модуль (18) определения светофоров изменяет предварительно определенный период определения в соответствии с диапазоном варьирования яркости синхронизированного пикселя (51, 51a, 51b).

7. Устройство обнаружения светофоров по п. 5, в котором:

модуль (40) определения оттенка определяет то, является или нет оттенок, синтезированный из оттенков всех синхронизированных пикселей (51, 51a, 51b) в пиксельной группе (50), аналогичным оттенку цвета сигнала.

8. Устройство обнаружения светофоров по п. 2, в котором:

модуль (38) задания пиксельных групп накладывает значение яркости синхронизированного пикселя (51, 51a, 51b) на значения яркости соседних пикселей (52).

9. Способ обнаружения светофоров, содержащий этапы, на которых:

захватывают изображение окрестности транспортного средства;

извлекают из упомянутого изображения синхронизированный пиксель (51, 51a, 51b) с яркостью, которая варьируется синхронно с циклом переменного тока электроэнергии, подаваемой в светофор;

задают предварительно определенный диапазон, включающий в себя синхронизированный пиксель (51, 51a, 51b) и соседние пиксели (52) относительно синхронизированного пикселя (51, 51a, 51b), в качестве пиксельной группы (50); и

определяют из синхронизированного пикселя (51, 51a, 51b), что светофор присутствует, когда синхронизированный пиксель (51, 51a, 51b) непрерывно извлекается из пиксельной группы (50) в течение предварительно определенного периода определения.