EA045770B1 - Устройство для анализа полезного груза, транспортируемого в грузовом контейнере транспортного средства - Google Patents
Устройство для анализа полезного груза, транспортируемого в грузовом контейнере транспортного средства Download PDFInfo
- Publication number
- EA045770B1 EA045770B1 EA202291773 EA045770B1 EA 045770 B1 EA045770 B1 EA 045770B1 EA 202291773 EA202291773 EA 202291773 EA 045770 B1 EA045770 B1 EA 045770B1
- Authority
- EA
- Eurasian Patent Office
- Prior art keywords
- payload
- processor
- image
- vehicle
- images
- Prior art date
Links
- 238000004458 analytical method Methods 0.000 title claims description 61
- 238000012545 processing Methods 0.000 claims description 95
- 238000000034 method Methods 0.000 claims description 53
- 230000008569 process Effects 0.000 claims description 49
- 238000013528 artificial neural network Methods 0.000 claims description 35
- 238000005065 mining Methods 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 14
- 238000009826 distribution Methods 0.000 claims description 11
- 238000006062 fragmentation reaction Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 11
- 238000006073 displacement reaction Methods 0.000 claims description 10
- 238000013467 fragmentation Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000001228 spectrum Methods 0.000 claims description 3
- 230000005670 electromagnetic radiation Effects 0.000 claims description 2
- 230000000873 masking effect Effects 0.000 claims description 2
- 239000011435 rock Substances 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 11
- 238000003860 storage Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 7
- 239000000463 material Substances 0.000 description 6
- 101100206389 Caenorhabditis elegans tag-124 gene Proteins 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 239000002184 metal Substances 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000001629 suppression Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011143 downstream manufacturing Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000012466 permeate Substances 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Description
Область техники
Настоящее изобретение в целом относится к обработке полученных изображений и, более конкретно, к получению и обработке изображений транспортного средства для анализа полезного груза, перевозимого в грузовом контейнере транспортного средства.
Уровень техники
Крупногабаритные транспортные средства обычно используются для транспортировки полезного груза на открытой платформе транспортного средства. Например, при горных работах карьерные погрузочные машины и экскаваторы загружают рудный полезный груз на карьерный самосвал для транспортировки к месту обработки. Характер и объем рудного полезного груза зачастую имеют важное значение, поскольку обработка на последующих этапах может быть рассчитана на полезный груз, не содержащий крупных валунов или других нежелательных материалов, таких как отломанные зубья, которые могут приводить к повреждению оборудования во время последующей обработки полезного груза. Другим важным аспектом может быть степень фрагментации или гранулометрический состав руды в полезном грузе. При горных работах, вследствие крупных габаритов оборудования, задействованного в погрузке добытой руды, и высоких капитальных затрат на него мониторинг полезного груза способен обеспечивать безопасную и/или эффективную работу задействованного оборудования. Остается потребность в способах и системах для обнаружения валунов и оценки гранулометрического состава.
Раскрытие сущности изобретения
Согласно одному раскрытому аспекту, предложено устройство для анализа полезного груза, транспортируемого в грузовом контейнере транспортного средства. Устройство содержит камеру, расположенную с возможностью последовательного получения изображений транспортных средств, пересекающих поле обзора камеры. Устройство также содержит по меньшей мере один процессор, имеющий связь с камерой, причем указанный по меньшей мере один процессор функционально выполнен с возможностью выбора по меньшей мере одного изображения из последовательно полученных изображений в ответ на вероятность того, что транспортное средство и грузовой контейнер груза находятся в пределах поля обзора на указанном по меньшей мере одном изображении, и на то, что данные изображения, связанные с указанным по меньшей мере одним изображением, удовлетворяют критерию пригодности для дальнейшей обработки. Дальнейшая обработка включает обработку, с помощью указанного по меньшей мере одного процессора, выбранного изображения для идентификации интересующей области полезного груза на изображении и проведение анализа полезного груза внутри идентифицированной интересующей области полезного груза на основе данных изображения, связанных с указанным по меньшей мере одним изображением.
Указанный по меньшей мере один процессор может быть функционально выполнен с возможностью выбора указанного по меньшей мере одного изображения путем генерирования трехмерных данных в виде облака точек для последовательно полученных изображений, определения плотности точек указанных данных в виде облака точек и сравнения этой плотности точек с пороговой плотностью точек для определения того, имеет ли место соответствие указанному критерию пригодности.
Указанный по меньшей мере один процессор может быть функционально выполнен с возможностью предварительной обработки указанных трехмерных данных в виде облака точек для выбранного изображения перед проведением анализа полезного груза, причем указанная предварительная обработка может включать в себя по меньшей мере одно из следующего: удаление координат тех из облака точек, которые находятся ниже ожидаемой высоты грузоопорного основания грузового контейнера относительно окружающей земной поверхности; и удаление координат тех из облака точек, которые находятся вне подобласти облака точек в пределах облака точек, причем указанная подобласть облака точек меньше облака точек.
Указанный по меньшей мере один процессор может быть дополнительно функционально выполнен с возможностью выбора, для дальнейшей обработки, одного из следующих: изображения, имеющего наивысшую плотность точек, первого изображения, имеющего плотность точек, превышающую пороговую плотность точек, и множества изображений, которые имеют плотность точек, превышающую пороговую плотность точек, если определено, что критерию пригодности соответствует множество изображений.
Процессор может быть дополнительно функционально выполнен с возможностью генерирования уровня достоверности при обработке выбранного изображения для идентификации интересующей области полезного груза, причем указанный уровень достоверности выражает количественную оценку достоверности того, что идентифицированная интересующая область содержит полезный груз, и указанный уровень достоверности может использоваться по меньшей мере частично для определения того, имеет ли место соответствие критерию пригодности для выбранного изображения.
Указанный по меньшей мере один процессор может быть функционально выполнен с возможностью выбора множества изображений из последовательно полученных изображений, причем каждое из указанного множества изображений обеспечивает отличный от других вид полезного груза, и указанный по меньшей мере один процессор может быть функционально выполнен с возможностью осуществления дополнительной обработки для каждого из указанного множества изображений для проведения анализа
- 1 045770 полезного груза.
Камера может быть расположена над транспортным средством, и поле обзора может быть ориентировано вниз для получения изображений верхней поверхности полезного груза, которая открыта благодаря открытой верхней стороне грузового контейнера.
Указанный по меньшей мере один процессор может содержать встроенный процессор, имеющий связь с камерой, этот встроенный процессор может быть функционально выполнен с возможностью инициирования передачи данных изображения для выбранного изображения на удаленный процессор, и дальнейшая обработка выполняется этим удаленным процессором.
Встроенный процессор может содержать интерфейс глобальной сети связи, и этот встроенный процессор может быть функционально выполнен с возможностью загрузки выбранного изображения в удаленный процессор через глобальную сеть связи.
Указанный по меньшей мере один процессор может быть функционально выполнен с возможностью инициирования создания сигнала предупреждения в ответ на результаты анализа полезного груза, соответствующие критерию предупреждения.
Устройство может дополнительно содержать сигнализатор для предупреждения, функционально выполненный с возможностью генерирования звукового или визуального сигнала для предупреждения оператора.
Указанный по меньшей мере один процессор может быть функционально выполнен с возможностью обработки первого и второго двумерных изображений с разных перспективных точек обзора для создания трехмерного облака точек, содержащего трехмерные координаты транспортного средства и грузового контейнера.
Камера может содержать одно из следующих: первый и второй датчики изображения, которые смещены для получения соответственно первого и второго двумерных изображений с разных перспективных точек обзора; и один датчик изображения, функционально выполненный с возможностью получения первого и второго изображений, отстоящих друг от друга по времени, таким образом, что перемещение транспортного средства при пересечении поля обзора обеспечивает разные перспективные точки обзора для первого и второго изображений.
Указанный по меньшей мере один процессор может быть функционально выполнен с возможностью обработки одного из соответствующих двумерных изображений для идентификации интересующей области полезного груза в двумерном представлении и с возможностью генерирования результатов анализа полезного груза путем обработки двумерных данных внутри интересующей области полезного груза, причем указанный по меньшей мере один процессор функционально выполнен с возможностью использования трехмерного облака точек для генерирования масштабирующей информации для анализа полезного груза.
Указанный по меньшей мере один процессор может быть функционально выполнен с возможностью обработки выбранного изображения для идентификации интересующей области полезного груза с использованием обученной нейронной сети для получения выходных данных, локализующих интересующую область внутри выбранного изображения.
Устройство может включать в себя функцию обучения нейронной сети с использованием по меньшей мере одного из набора изображений репрезентативных грузовых контейнеров, которые были предварительно маркированы человеком, и алгоритма неконтролируемого обучения, реализуемого для выделения шаблонов в данных изображения.
Нейронная сеть может содержать сверточную нейронную сеть на основе маскирующей области.
Указанный по меньшей мере один процессор может быть функционально выполнен с возможностью обработки выбранного изображения посредством по меньшей мере одного из следующих: обработки данных изображения для усиления затененных областей перед выполнением анализа полезного груза; выполнения очистки выбранного изображения для коррекции искажений изображения, создаваемых съемочной оптикой, связанной с камерой, перед идентификации интересующей области полезного груза; и прореживания пикселей исходного выбранного изображения для получения прореженного изображения, имеющего уменьшенное количество пикселей, перед идентификацией интересующей области полезного груза.
Выходные данные нейронной сети обеспечивают возможность идентификации граничные пикселей, демаркирующих интересующую область полезного груза внутри прореженного изображения, и проведение анализа полезного груза может включать в себя определение соответствующих граничных пикселей на исходном выбранном изображении и обработку участков исходного выбранного изображения внутри соответствующих граничных пикселей.
Указанный по меньшей мере один процессор может быть функционально выполнен с возможностью определения размеров грузового контейнера транспортного средства посредством одного из следующих: определения идентификатора транспортного средства, связанного с выбранным изображением, и считывания из базы данных параметров, определяющих размеры грузового контейнера, для идентифицированного транспортного средства; и выполнения дальнейшей обработки для транспортного средства с пустым грузовым контейнером и определения размеров грузового контейнера на основе пустого грузо- 2 045770 вого контейнера.
Указанный по меньшей мере один процессор может быть функционально выполнен с возможностью осуществления идентификации транспортного средства посредством одного из следующих: обработки по меньшей мере одного из последовательных изображений для выделения идентификатора транспортного средства, обозначенного на автомобиле, в пределах поля обзора камеры; приема идентификатора от датчика для радиочастотной идентификации (radio-frequency identification, RFID), расположенного с возможностью считывания RFID-метки, размещенной на транспортном средстве; и обработки по меньшей мере одного из полученных последовательных изображений с использованием нейронной сети, которая была предварительно обучена генерированию идентификатора транспортного средства на основе полученного изображения.
Процессор может быть функционально выполнен с возможностью проведения анализа полезного груза путем определения объема полезного груза посредством определения высоты заполнения полезным грузом внутренней области грузового контейнера на основе трехмерных координат для точек внутри интересующей области полезного груза и вычисления объема полезного груза на основе высоты заполнения полезным грузом и определенных размеров грузового контейнера.
Процессор может быть функционально выполнен с возможностью проведения анализа полезного груза путем идентификации постороннего объекта в пределах полезного груза.
Процессор может быть функционально выполнен с возможностью идентификации постороннего объекта посредством обработки инфракрасных изображений полезного груза, причем указанный посторонний объект идентифицируют путем обнаружения электромагнитного излучения с длинами волн в инфракрасном диапазоне.
Процессор может быть функционально выполнен с возможностью проведения анализа полезного груза путем вычисления смещения груза, и процессор дополнительно может быть функционально выполнен с возможностью генерирования предупреждения о неравномерной загрузке, если смещение груза превышает определенное максимальное смещение груза.
Процессор может быть функционально выполнен с возможностью проведения анализа полезного груза путем анализа сегментации в интересующей области полезного груза для определения размеров отличимых частей полезного груза.
Процессор может быть функционально выполнен с возможностью инициирования создания сигнала предупреждения в ответ на то, что по меньшей мере одна отличимая часть превышает пороговый размер или идентифицирована как объект, не являющийся полезным грузом.
Полезный груз может содержать добытый рудный полезный груз, и анализ сегментации может включать в себя одно из следующих: анализ фрагментации, который служит для идентификации отличимых частей как одной из части в виде породы, части в виде мелочи или промежутка между частями, распределение груза в пределах размеров грузового контейнера и анализ влаги, который служит для классификации уровня влаги, связанного с полезным грузом.
Транспортное средство может представлять собой одно из следующих: карьерный самосвал, рельсовую тележку, баржу, вагонетку, транспортное средство для погрузки, откатки и выгрузки (load, haul, dump, LHD) или шахтный скип.
Другие аспекты и признаки должны стать очевидны специалистам в данной области техники после прочтения нижеследующего описания конкретных раскрытых вариантов осуществления в сочетании с сопроводительными чертежами.
Краткое описание чертежей
На чертежах, которые иллюстрируют раскрытые варианты осуществления, на фиг. 1A показан вид в перспективе устройства для анализа полезного груза согласно первому раскрытому варианту осуществления;
на фиг. 1B показан вид в перспективе камеры, используемой в устройстве по фиг. 1A;
на фиг. 1C показан вид в перспективе устройства для анализа полезного груза согласно еще одному раскрытому варианту осуществления;
на фиг. 1D в перспективе другого варианта осуществления камеры, которую можно использовать в устройстве по фиг. 1A или 1C;
на фиг. 1E показан вид в перспективе подземного места работ согласно еще одному раскрытому варианту осуществления;
на фиг. 1F показан вид в перспективе варианта осуществления беспилотного летательного аппарата для установки и расположения камеры по фиг. 1A;
на фиг. 2 показана блок-схема системы для анализа полезного груза, содержащей элементы устройства, показанного на фиг. 1;
на фиг. 3 показана блок-схема, изображающая блоки кода для управления встроенным процессором системы, показанной на фиг. 2, для обеспечения функций получения изображений;
на фиг. 4 показан пример изображения, полученного камерой, показанной на фиг. 1B;
на фиг. 5 показана блок-схема, изображающая блоки кода для управления встроенным процессором для определения соответствия критерию пригодности;
- 3 045770 на фиг. 6 показан дополнительный вид в перспективе устройства, показанного на фиг. 1A;
на фиг. 7 показана блок-схема, изображающая блоки кода для управления удаленной процесорной схемой системы, показанной на фиг. 2, для идентификации интересующей области полезного груза;
на фиг. 8 показан пример изображения, на котором изображены маска транспортного средства, маска грузового контейнера и маска полезного груза;
на фиг. 9 показан пример результатов анализа фрагментации для изображения полезного груза, показанного на фиг. 8;
на фиг. 10 показана функциональная схема архитектуры нейронной сети для идентификации интересующей области полезного груза;
на фиг. 11 показана блок-схема, изображающая блоки кода для управления удаленной процессорной схемой для проведения альтернативного анализа полезного груза; и на фиг. 12 показан скриншот информационной панели для отображения результатов согласно одному раскрытому варианту осуществления.
Осуществление изобретения
Обратимся к фиг. 1A, на котором устройство для анализа полезного груза согласно первому раскрытому варианту осуществления показано в целом под номером 100. Полезный груз 102 транспортируют в грузовом контейнере 104 транспортного средства 106, проходящего под аркой 108, расположенной на месте 126 работ, таком как шахта или карьер. В данном варианте осуществления изображенное транспортное средство 106 представляет собой карьерный самосвал, и полезная нагрузка 102 содержит выкопанную руду с рабочей площадки 126, такой как шахта или карьер. В других вариантах осуществления грузовой контейнер может быть связан с транспортным средством другого типа, таким как рельсовая тележка, баржа или другое морское транспортное средство. В качестве альтернативы, грузовой контейнер 104 может представлять собой вагонетку или скип, такие как используемые в карьере или при подземных горных работах. Устройство 100 содержит камеру 110, установленную на арке 108 и расположенную с возможностью последовательного получения изображений транспортных средств, пересекающих поле обзора 112 камеры. В данном варианте осуществления камера 110 установлена над транспортным средством, и поле обзора 112 ориентировано вниз для получения изображений верхней поверхности полезного груза 102, которая открыта благодаря открытой верхней стороне грузового контейнера 104 . В показанном варианте осуществления устройство 100 содержит лампы 114 и 116, направленные вниз для освещения поля обзора 112. Лампы 114 и 116 могут быть реализованы с использованием источников света на основе светодиодов с повышенной конструктивной прочностью.
В данном варианте осуществления устройство 100 дополнительно содержит распределительную коробку 118, установленную на вертикальном элементе 120 арки. Кабели питания, сигналов и управления, связанные с камерой 110 (не показаны на фиг. 1A), проложены в обратном направлении к распределительной коробке 118. Распределительная коробка 118 также подает питание на лампы 114 и 116. В показанном варианте осуществления устройство 100 дополнительно содержит RFID-считыватель 122 для радиочастотной идентификации, предназначенный для считывания RFID-метки 124, прикрепленной к транспортному средству 106. Код, связанный с RFID-меткой 124 на транспортном средстве 106, может быть считан с помощью RFID-считывателя 122 для осуществления идентификации транспортного средства 106. RFID-метка 124 может быть закодирована с помощью идентификатора, который уникальным образом связан с конкретным транспортным средством, работающим на месте 126 работ. В некоторых вариантах осуществления транспортное средство 106 может представлять собой автоматизированное беспилотное транспортное средство. Например, в некоторых местах могут использоваться самоуправляемые транспортные средства, и таким образом транспортное средство 106 будет автоматически перемещаться через арку 108.
Камера 110 показана отдельно на фиг. 1B, и в данном варианте осуществления она содержит первый датчик 130 изображения и второй датчик 132 изображения, которые установлены внутри корпуса 134 с повышенной конструктивной прочностью и смещены друг от друга на расстояние D для получения соответственно первого и второго двумерных изображений с разных перспективных точек обзора. Датчики 130 и 132 изображения могут быть реализованы с использованием цветных датчиков с разрешением Full HD. Использование двух расположенных на расстоянии друг от друга датчиков 130 и 132 содействует генерированию трехмерной информации путем реализации стереоскопических технологий обработки изображений.
Лампы 114 и 116 в целом будут функционировать по меньшей мере в ночное время или в условиях низкой освещенности для содействия генерированию подходящих изображений. В некоторых вариантах осуществления камера может быть чувствительна к длинам волн видимого света, в то время как в других вариантах осуществления камера может быть выполнена чувствительной к длинам волн теплового излучения или другим гиперспектральным длинам волн за пределами видимой части спектра. Например, некоторые объекты, такие как металлические объекты в полезном грузе 102, взаимодействуют специфическим образом с длинами волн теплового излучения, что содействует идентификации таких объектов.
Хотя камера 110 на фиг. 1A показана ориентированной вниз, в других вариантах осуществления камера может быть ориентирована иным образом. Например, как показано на фиг. 1C, первая камера 152
- 4 045770 установлена на стойке 154 слева от транспортного средства 106 для получения изображений поля обзора
156 с первой перспективы 158. Вторая камера 160 установлена на стойке 162 справа от транспортного средства 106 для получения изображений поля обзора 156 со второй перспективы 164. Обратимся к фиг.
1D, на котором показан еще один пример камеры, в целом обозначенной номером 170. Камера 170 может быть применена вместо камеры 110, показанной на фиг. 1A, или камер 152 и 160, показанных на фиг. 1C.
В некоторых вариантах осуществления могут использоваться опоры для камеры, отличные от арки 108 . Например, в вариантах осуществления, относящихся к подземных горным работам, используемое транспортное средство может быть меньше, чем транспортное средство 106, показанное на фиг. 1A, и арка 108 может быть соответствующим образом масштабирована или полностью исключена. Обратимся к фиг. 1E, на котором показан пример места подземных горных работ, содержащего камеру 180, установленную на кровельной части места работ. Камера 180 в данном варианте осуществления выполнена в виде блока со встроенными светодиодными лампами 182, расположенными вокруг камеры. Транспортное средство 184 для погрузки, откатки и разгрузки (load, haul, dump, LHD) выполнено с возможностью работы на подземном месте работ и содержит сравнительно большой ковш 186, который выполнен с возможностью как погрузки, так и транспортировки полезного груза 188 в пределах места работ.
Как показано на фиг. 1F, в еще одном варианте осуществления камера 190 может быть установлена на дроне 192, и этот дрон может быть направлен в область над транспортным средством, чтобы расположить камеру для получения изображений. В качестве альтернативы, дрон 192 может быть прикреплен кабелем 194, который будет удерживать дрон таким образом, чтобы он неподвижно висел в конкретном месте и располагал камеру 190 для получения изображений транспортного средства, проходящего ниже.
Блок-схема системы для анализа полезного груза 102 показана на фиг. 2 под номером 200. Система 200 содержит элементы устройства 100, включая камеру 110, распределительную коробку 118, лампы 114 и 116 и RFID-считыватель 122. Распределительная коробка 118 подает рабочую мощность на камеру 110 через силовой провод 202, а также обеспечивает питание и управление для ламп 114 и 116 и RFIDсчитывателя 122 . В данном варианте осуществления камера 110 содержит встроенный процессор 204, имеющий связь с памятью 206 и устройством 208 ввода/вывода, причем все они установлены внутри кожуха 134 (показано на фиг. 1B). Память 206 обеспечивает хранение инструкций для управления встроенным процессором 204 для получения последовательных изображений, а также обеспечивает хранение данных полученных изображений.
Устройство 208 ввода/вывода имеет связь со встроенным процессором 204 и обеспечивает интерфейс 210 датчиков изображения, содержащий входы 212 для приема данных изображения от первого и второго датчиков 130 и 132 изображения. Устройство 208 ввода/вывода дополнительно содержит интерфейс 214 связи, такой как интерфейс Ethernet. Интерфейс 214 связи имеет порт 216, который соединен с помощью кабеля 218 данных, проложенного в обратном направлении, с распределительной коробкой 118. Соединительная коробка 118 может содержать модем, маршрутизатор или другое сетевое оборудование, которое содействует подключению к сети 220. Сеть 220 может представлять собой локальную сеть (LAN), реализуемую для локальной передачи данных в рабочем месте 126. В качестве альтернативы, соединительная коробка 118 может передавать сигналы по кабелю 218 данных в глобальную сеть, такую как Интернет. В некоторых вариантах осуществления, в которых недоступно проводное соединение с сетью 220, соединительная коробка 118 может содержать сотовый приемопередатчик, и соединение с сетью 220 может осуществляться посредством сотовой сети передачи данных или другого беспроводного сетевого соединения.
В варианте осуществления, показанном на фиг. 2, система 200 также содержит удаленную процессорную схему 230, которая содержит микропроцессор 232, имеющий связь с устройством 234 ввода/вывода (I/O). Устройство 234 ввода/вывода обеспечивает интерфейс 236 связи для передачи и приема данных по сети 220. Микропроцессор 232 имеет связь с памятью 238 для хранения данных и кодов инструкций. В данном варианте осуществления микропроцессор 232 также имеет связь с запоминающим устройством 240 большой емкости для хранения данных изображения и для архивирования результатов анализа полезного груза. В показанном варианте осуществления удаленная процессорная схема 230 дополнительно обеспечивает обработку с помощью графического процессора (GPU) 242, который может использоваться для обеспечения повышенной вычислительной мощности в отношении задач, требующих интенсивной обработки изображений. Таким образом, микропроцессор 232 может быть выполнен в виде графического процессора или удаленной процессорной схемы 230, и он может дополнительно содержать сопроцессор графического процессора для освобождения микропроцессора от некоторых задач по обработке.
В тех вариантах осуществления, в которых сеть 220 представляет собой локальную сеть, удаленная процессорная схема 230 может быть расположена в оперативном центре, связанном с местом 126 работ. В других вариантах осуществления, в которых сеть 220 представляет собой глобальную сеть, удаленная процессорная схема 230 может быть расположена в удаленном центре обработки, обеспеченном для обработки изображений для нескольких мест работ. В качестве альтернативы, удаленная процессорная схема 230 может быть обеспечена в виде облачной вычислительной платформы по запросу, предоставляемой поставщиками, такими как Amazon Web Services (AWS).
- 5 045770
Система 200 дополнительно содержит процессорную схему 250, содержащую микропроцессор 252, память 254 и устройство 256 ввода/вывода. Устройство 256 ввода/вывода обеспечивает интерфейс 258 связи, который способен принимать данные через сеть 220. Устройство 256 ввода/вывода также содержит интерфейс 260 для инициирования визуального предупреждения через дисплей 262 или звукового предупреждения через сигнализатор 264, такой как громкоговоритель или другое устройство звуковой сигнализации. Процессорная схема 250 может быть расположена в оперативном центре места 126 работ, где результаты анализа полезного груза могут отображаться вместе с оповещениями или предупреждениями. В качестве альтернативы, процессорная схема 250 может быть расположена в кабине транспортного средства 106 и подключена с помощью беспроводной связи к сети 220. В самоходных или других безводных транспортных средствах, таких как контейнер 104 для перевозки железнодорожных грузов, сигнал предупреждения может быть обработан иным образом для того, чтобы вызвать отклонение или пометку транспортного средства, чтобы можно было предпринять дальнейшие действия.
Хотя вариант осуществления системы 200, показанный на фиг. 2, содержит встроенный процессор 204 в камере 110 и отдельную удаленную процессорную схему 230, в других вариантах осуществления система может сочетать в себе встроенные и удаленные процессоры. Таким образом, функции, описанные ниже как выполняемые удаленной процессорной схемой 230, могут выполняться встроенным процессором 204 или любой другой комбинацией процессорных схем.
Обратимся к фиг. 3, на котором показана блок-схема, изображающая блоки кода для управления встроенным процессором 204 для обеспечения функций получения изображения и обозначенная в целом номером 300. Указанные блоки в целом представляют коды, которые могут быть считаны из памяти 206 в виде машиночитаемого носителя для управления встроенным процессором 204 для обеспечения различных функций. Фактический код для реализации каждого блока может быть написан на любом подходящем языке программирования, например таком, как C, C++, C#, Java и/или ассемблерный код.
Процесс 300 получения изображения начинается в блоке 302, который управляет встроенным процессором 204 для инициирования последовательного получения изображений камерой 110 в пределах поля обзора 112 камеры. Таким образом, блок 302 может управлять одним или обоими из датчиков 130 и 132 изображения для получения последовательных изображений, которые могут приниматься через интерфейс 210 датчиков изображения и сохраняться в памяти 206. Пример полученного изображения показан под номером 400 на фиг. 4, на котором изображение ограничено полем обзора 112, показанным в виде пунктирного контура. На практике изображения, полученные с помощью датчика 130 изображения, будут немного отличаться перспективой от изображений, полученных с помощью датчика 132 изображения. Таким образом, пример 400 изображения представляет одно из изображений, полученных либо датчиком 130 изображения, либо датчиком 132 изображения.
Затем блок 304 управляет встроенным процессором 204 для определения того, существует ли вероятность нахождения транспортного средства и грузового контейнера в пределах поля обзора. Также управляют встроенным процессором 204 для определения того, соответствуют ли полученные данные изображения критерию пригодности для дальнейшей обработки. Таким образом, камера 110 может непрерывно получать изображения поля обзора 112, которые могут содержать, а могут и не содержать транспортное средство 106 в пределах поля обзора. Если существует вероятность того, что транспортное средство находится в пределах поля обзора 112, то встроенный процессор 204 осуществляет дальнейшее определение того, пригодны ли данные изображения для дальнейшей обработки. Например, транспортное средство 106 может быть лишь частично расположено в пределах поля обзора 112 на некоторых изображениях, и возможно, что будут получены или уже получены более подходящие изображения, которые содержат четкий вид транспортного средства 106, полезного груза 102 и земных поверхностей 402, окружающих транспортное средство.
Если в блоке 304 определено, что изображение соответствует критерию пригодности, то управляют встроенным процессором 204 для перехода к блоку 306. Блок 306 управляет встроенным процессором 204 для инициирования считывания данных выбранных изображений из памяти 206 и их передачи через интерфейс 214 связи и сеть 220 на удаленную процессорную схему 230. Данные выбранных изображений могут быть помечены или иным образом связаны с идентификатором транспортного средства, сгенерированным RFID-считывателем 122 в результате считывания RFID-метки 124 на транспортном средстве 106. Например, выбранное изображение может иметь идентификатор транспортного средства, встроенный в поле метаданных изображения, и передаваться вместе с данными изображений.
Хотя в данном варианте осуществления идентификатор транспортного средства считывается с RFID-метки 124, в других вариантах осуществления идентификатор транспортного средства может быть сгенерирован иным образом. Например, идентификатор транспортного средства может быть обозначен на транспортном средстве в пределах поля обзора 112 камеры 110 и определен путем обработки одного из полученных изображений для выделения идентификатора из изображения. В качестве альтернативы, одно из полученных изображений может быть обработано с использованием нейронной сети, которая ранее была обучена генерированию выходных идентификационных данных для полученного изображения. Нейронная сеть может быть обучена с использованием набора маркированных изображений транспортных средств, используемых на месте 126 работ, для обеспечения возможности идентификации лю
- 6 045770 бого из используемых транспортных средств с помощью нейронной сети.
Обратимся вновь к фиг. 3, на котором блок-схема, изображающая блоки кода для управления микропроцессором 232 удаленной процессорной схемы 230 для приема данных изображения, показана под общим номером 320. Блок 322 управляет микропроцессором 232 для приема данных изображения от камеры 110. В некоторых вариантах осуществления, изображения от обоих датчиков 130 и 132 изображения могут передаваться устройством 100 и приниматься удаленной процессорной схемой 230. Блок 324 дополнительно управляет микропроцессором 232 для записи данных изображения в устройство 240 большой емкости для хранения данных. В некоторых вариантах осуществления данные изображения могут приниматься со скоростью, которая является слишком высокой, чтобы можно было осуществлять дальнейшую обработку в реальном времени. Сохранение данных изображений в устройстве 240 большой емкости для хранения данных содействует постановке в очередь данных изображений, ожидающих дальнейшей обработки. В большинстве случаев немедленное предоставление результатов анализа полезного груза может быть необязательным; они могут быть задержаны на минуту или более и все равно обеспечивать эффективное и своевременное уведомление оперативного центра на месте 126 работ.
Обратимся вновь к фиг. 3, на котором блок-схема, изображающая блоки кода для управления микропроцессором 232 удаленной процессорной цепи 230 для выполнения дополнительной обработки, показана под общим номером 330. Процесс 330 дополнительной обработки начинается в блоке 332, который управляет микропроцессором 232 для считывания данных изображений для дальнейшей обработки следующего изображения из устройства 240 большой емкости для хранения данных в память 238. Затем блок 334 управляет микропроцессором 232 для обработки данных изображений для идентификации интересующей области полезного груза внутри изображения. Обратимся вновь к фиг. 4, на котором интересующая область полезного груза обозначена номером 404 и показана с использованием пунктирной линии, окружающей руду в грузовом контейнере 104.
Затем процесс 320 продолжают в блоке 336. В случае необходимости, при идентификации интересующей области 404 полезного груза микропроцессор 232 может управляться для генерирования уровня достоверности, количественно представляющего достоверность того, что идентифицированная интересующая область содержит полезный груз. В этом случае блок 336 управляет микропроцессором 232 для дальнейшего определения того, имеет ли место соответствие дополнительному критерию обработки для выбранного изображения, на основе уровня достоверности, связанного с идентифицированной интересующей областью 404 полезного груза. Если в блоке 336 определено несоответствие интересующей области 404 полезного груза дополнительному критерию обработки, то управляют микропроцессором 232 для перехода обратно к блоку 332 для обработки следующего изображения. Если в блоке 326 определено соответствие дополнительному критерию обработки, то управляют микропроцессором 232 для перехода к блоку 338 для обработки следующего изображения в очереди.
Затем процесс 330 продолжают в блоке 338, который управляет микропроцессором 232 для проведения анализа полезного груза для интересующей области 404 полезного груза. Анализ полезного груза может включать в себя любой из нескольких различных процессов анализа. Анализ полезного груза может включать в себя, например, определение того, существуют ли какие-либо отличимые части полезного груза, такие как большие валуны или посторонние объекты, в полезном грузе 102. На фиг. 4 может быть обнаружен валун 406 и может быть определено, что его размер превышает пороговый размер руды. Пороговый размер может быть установлен на основе максимального размера валуна, который может безопасно обрабатываться с помощью оборудования для обработки, которое используется на последующих этапах и принимает полезный груз от транспортного средства 106. Аналогичным образом могут быть идентифицированы отличимые части, отличные от валунов. Посторонние объекты, такие как металлические части, могут отламываться от экскаватора, и микропроцессор 232 удаленной процессорной цепи 230 может быть функционально выполнен с возможностью инициирования создания сигнала предупреждения в подобных случаях. Затем блок 338 управляет микропроцессором 232 для перехода обратно к блоку 332, и процесс повторяют для следующего изображения в очереди. В одном варианте осуществления посторонние объекты могут быть обнаружены путем обработки данных изображений, получаемых камерой 110. Подход на основе машинного обучения может применяться для обнаружения общих посторонних объектов, которые могут включать металлические инструменты и/или части зубьев ковшового погрузчика, используемого для загрузки полезного груза 104 в транспортное средство 106. В некоторых вариантах осуществления возможно получение изображений с использованием длин волн в инфракрасной части спектра, поскольку более высокие уровни инфракрасного излучения в полезном грузе 104 могут указывать на металлический или другой посторонний объект в полезном грузе, который отличается по температуре от окружающего полезного груза.
В данном варианте осуществления удаленная процессорная схема 230 выполняет указанную дополнительную обработку. Идентификация интересующей области полезного груза и/или последующий анализ полезного груза могут потребовать интенсивной работы процессора, и они могут быть не завершены до получения дополнительных данных изображения камерой 110. В других вариантах осуществления встроенный процессор 204 в устройстве 100 может быть выполнен с возможностью обеспечения требуемой производительности обработки для выполнения идентификации интересующей области и анализа
- 7 045770 полезного груза в по существу реальном времени. В таких случаях анализ полезного груза может быть упрощен для того, чтобы сосредоточиться на одной функции, такой как обнаружение валуна, чтобы уменьшить требования к обработке для встроенного процессора 204.
В некоторых вариантах осуществления распределительная коробка 118 может обеспечивать непрерывную подачу питания на лампы 114 и 116 в условиях низкой освещенности для обеспечения обнаружения транспортного средства 106 и наличия достаточного освещения для целей получения изображений. В других вариантах осуществления лампы 114 и 116 могут получать питание через распределительную коробку 118 лишь при наличии транспортного средства. В качестве примера, RFID-считыватель 122 может быть расположен на расстоянии друг от друга относительно фермы 108 таким образом, что при обнаружении транспортного средства перед прохождением под камерой 110 сигнал передается по кабелю данных 218 на ввод/вывод 208. Встроенный процессор 204 может быть дополнительно выполнен с возможностью инициирования подачи питания на лампы 114 и 116 перед прохождением транспортного средства под камерой 110. Во избежание испуга водителя транспортного средства 106 из-за резкого включения ламп 114 и 116, уровень яркости может быть постепенно увеличен после обнаружения транспортного средства, а затем снижен после получения необходимых изображений.
Пример процесса реализации блока 304 процесса 300 показан на фиг. 5. Для камеры 110, имеющей два расположенных на расстоянии друг от друга датчика 130 и 132 изображения, встроенный процессор 204 может быть выполнен с возможностью обработки полученных первого и второго двумерных изображений с разных перспективных точек обзора для генерирования трехмерного облака точек, содержащего трехмерные координаты транспортного средства и грузового контейнера. Встроенный процессор 204 может реализовывать стереоскопический процесс, в котором сравнивают первое и второе изображения для нахождения совпадающих признаков, и используют сдвиг или несоответствие между совпадающими признаками для определения трехмерных координат для совпадающих признаков. Набор трехмерных координат может быть назван трехмерным облаком точек.
Генерирование информации в виде трехмерного облака точек обеспечивает удобное масштабирование изображений для определения физических размеров, связанных с полезным грузом 102. В других вариантах осуществления обработка может быть основана на информации двумерного изображения, наряду с дополнительной масштабирующей информацией. Например, если известны размеры грузового контейнера 104 транспортного средства 106, то двумерное изображение может быть масштабировано на основе краев грузового контейнера. В некоторых вариантах осуществления, если один из датчиков 130 и 132 изображения стал неработоспособным из-за грязи на линзах или других неполадок, обработка может выполняться на основе двумерной информации.
Процесс 304 начинается в блоке 500, который управляет встроенным процессором 204 для генерирования данных в виде трехмерного облака точек на основе первого и второго изображений, полученных датчиками 130 и 132 изображения. Затем блок 502 управляет встроенным процессором 204 для считывания высотных координат для каждой трехмерной точки в данных в виде облака точек. Затем блок 504 управляет встроенным процессором 204 для считывания первой координаты в данных в виде облака точек и определения того, превышает ли соответствующая высотная координата минимальную ожидаемую высоту 506 грузового контейнера 104.
Как показано на фиг. 6 для места 126 работ, сгенерированное трехмерное облако точек будет содержать трехмерные координаты транспортного средства и грузового контейнера в системе координат 600x, y, z. Трехмерное облако точек также может содержать трехмерные координаты для других объектов, например таких, как земная поверхность и части вертикального элемента 120 арки. Ожидаемая минимальная высота 506 может быть установлена для места 126 работ на основе известной высоты транспортных средств, работающих на данном месте работ (т.е. на высоте Z1 на фиг. 6). Использование минимальной ожидаемой высоты 506 может быть особенно полезным в тех случаях, когда транспортное средство 106 представляет собой очень крупногабаритный карьерный самосвал. Хотя и другие транспортные средства, такие как малолитражные грузовые автомобили, могут пересекать поле обзора 112, полученные изображения могут отбрасываться встроенным процессором 204 камеры 110 на основе отсутствия данных в виде облака точек выше минимальной ожидаемой высоты 506. В этом случае минимальная ожидаемая высота 506 для места горных работ может быть установлена выше, чем у не являющихся карьерными самосвалами обычных грузовых транспортных средств, обычно эксплуатируемых на месторождениях. Если в блоке 504 высотная координата не превышает минимальную ожидаемую высоту 506, то управляют встроенным процессором 204 для перехода к блоку 508. Блок 508 управляет встроенным процессором 204 для удаления трехмерных координат из данных в виде облака точек. Таким образом, любые трехмерные координаты в облаке точек, имеющие координату Z, меньшую Z1, будут исключены из рассмотрения.
Затем процесс 304 продолжают в блоке 512, который управляет микропроцессором 204 для определения того, попадают ли значения координат x и y внутрь подобласти 514 облака точек. Обратимся вновь к фиг. 6, на котором подобласть 514 облака точек показана в виде контура, и в данном варианте осуществления она проходит лишь в пределах центрального участка поля обзора 112. Таким образом, подобласть 514 облака точек определяется как кубический объем, представленный в системе координат x, y, z, обо- 8 045770 значенной номером 600, и проходящий между координатами x1,y1,z1 и x2,y2,z2. Размер указанного кубического объема может быть установлен в виде доли, такой как 1/3 или 1/4, поля обзора 112. Если координаты x и y точки не находятся внутри подобласти 514 облака точек и это определено в блоке 512, то управляют встроенным процессором 204 для перехода к блоку 508, в котором удаляют данную точку из данных в виде облака точек. Затем блок 508 управляет встроенным процессором 204 для перехода к блоку 516. Если в блоке 512 определено, что координаты x и y точки находятся внутри подобласти 514 облака точек, то сохраняют данную точку в данных в виде облака точек и управляют встроенным процессором 204 для перехода к блоку 516. Блок 516 управляет встроенным процессором 204 для определения того, была ли обработана последняя координата в данных в виде облака точек. Если нет, то блок 516 управляет встроенным процессором 204 для перехода к блоку 510, который управляет встроенным процессором для считывания следующей высотной координаты и повторного прохождения блоков 502-516. Если в блоке 516 определено, что последняя координата в данных в виде облака точек была обработана, то управляют встроенным процессором 204 для перехода к блоку 518. Таким образом, блоки 504 и 512 предварительно обрабатывают данные в виде облака точек и обеспечивают эффект уменьшения количества точек с оставлением лишь точек, попадающих внутрь подобласти 514 облака точек, которая также в целом центрирована относительно арки 108 и камеры 110. Эта предварительная обработка существенно снижает количество координатных точек в данных в виде облака точек.
Затем блок 518 управляет встроенным процессором 204 для вычисления плотности точек (PD) для оставшихся точек в данных в виде облака точек. Плотность точек может быть определена как количество координатных точек на единицу объема. Чтобы оценить PD для облака точек, могут использоваться различные виды аппроксимации, и функции для эффективной оценки PD в целом доступны и могут быть легко реализованы на встроенном процессоре 204. Затем блок 520 управляет встроенным процессором 204 для определения того, больше ли вычисленное значение PD порогового значения PD522. Например, пороговое значение PD522 может быть предварительно определено на основе типа проводимого анализа полезного груза. Пороговое значение PD522 может быть установлено ниже, если оно требуется лишь для выполнения обнаружения валуна, в то время как для полного анализа фрагментации может потребоваться более высокое пороговое значение PD.
Если вычисленное значение PD не больше порогового значения PD522, что определено в блоке 520, то управляют встроенным процессором 204 для перехода к блоку 524, где выбирают следующее полученное изображение, и управляют встроенным процессором для повторного прохождения блоков 500518. Если в блоке 520 определено, что вычисленное значение PD больше порогового значения PD522, то управляют встроенным процессором 204 для перехода к блоку 526. Блок 526 управляет встроенным процессором 204 для выбора изображения для дальнейшей передачи на удаленную процессорную схему 230 в блоке 306 процесса 300, показанного на фиг. 3. Затем процесс 304 продолжается в блоке 528, который управляет встроенным процессором 204 для прерывания обработки дальнейших изображений, пока не истечет период ожидания. В одном варианте осуществления период ожидания может быть выбран таким образом, чтобы предоставить транспортному средству 106 достаточно времени для выхода из поля обзора 112, и он может быть основан на ожидаемой скорости движения транспортного средства. Блок 528 обеспечивает эффект предотвращения обработки дополнительных изображений того же самого транспортного средства 106 после того, как изображение, соответствующее критерию пригодности, было выбрано и передано на удаленную процессорную схему 230. Если в пределах поля обзора 112 камеры 110 нет транспортного средства, то предварительная обработка в блоках 502-504 на основе минимальной ожидаемой высоты 506 приведет к очень низкому вычисленному значению PD для данных в виде облака точек вследствие исключения координат на уровне земных поверхностей 402. Хотя в данном варианте осуществления для дальнейшей обработки может быть выбрано лишь одно изображение, имеющее достаточную плотность точек, в других вариантах осуществления для целей дальнейшей обработки может быть передано более чем одно изображение.
В варианте осуществления, описанном выше, камера 110 выполнена с возможностью получения первого и второго изображений с помощью двух физически расположенных на удалении друг от друга датчиков 130 и 132 изображения, а в других вариантах осуществления камера может иметь один датчик изображения. В таких вариантах осуществления указанный один датчик изображения может быть выполнен с возможностью получения первого и второго изображений, отстоящих друг от друга во времени. Таким образом, движение транспортного средства 106 при пересечении поля обзора 112 будет обеспечивать изображения с двух разных перспективных точек обзора, которые (изображения) могут использоваться для создания трехмерного облака точек.
Стереоскопические процессы для генерирования трехмерных данных зависят от текстуры, что содействует идентификации точек для определения несоответствия между изображениями. Таким образом, плотность трехмерного облака точек является удобным представлением текстуры полученного изображения. Таким образом, будет иметь место существенное отличие плотности облака точек, если в пределах поля обзора 112 транспортное средство отсутствует, что содействует оценке критерия пригодности на основе плотности облака точек. Альтернативные способы генерирования трехмерного облака точек могут быть менее зависимы от текстуры и, таким образом, менее чувствительны к тому, присутствует ли
- 9 045770 транспортное средство в пределах поля обзора 112. В этом случае может использоваться предварительное знание геометрии ожидаемых транспортных средств для определения того, соответствует ли полученное изображение критерию пригодности. Например, двумерная горизонтальная плоскость, проведенная через трехмерное облако точек на достаточной высоте над землей, должна обеспечивать выделение признаков, которые показывают типовое соотношение сторон карьерного самосвала. Таким образом обеспечивается возможность достаточно быстрой обработки изображений для определения того, присутствует ли типовая геометрия транспортного средства в пределах поля обзора 112, и для определения того, представляет ли транспортное средство интерес, или оно является транспортным средством другого типа, таким как малолитражный грузовой автомобиль.
Вариант осуществления процесса 300 получения изображений, описанный выше, приводит к выбору одного изображения, соответствующего критерию пригодности. В других вариантах осуществления встроенный процессор 204 камеры 110 может быть функционально выполнен с возможностью выбора нескольких изображений из последовательно полученных изображений, которые соответствуют критерию пригодности, причем каждое выбранное изображение обеспечивает отличный от других вид полезного груза 102. Таким образом, блок 306 процесса 300 может обеспечивать передачу данных изображения для нескольких выбранных изображений транспортного средства 106 на удаленную процессорную схему 230 для дальнейшей обработки. Если доступно несколько подходящих в целом изображений, то может быть реализована дополнительная обработка для очистки изображений для удаления затемнений или других дефектов качества изображений. Дальнейшая обработка может предусматривать использование множества выбранных изображений для генерирования интересующей области полезного груза и/или для анализа полезного груза, при котором агрегируют или иным образом объединяет данные от более чем одного изображения для генерирования результатов с повышенным уровнем точности или достоверности.
Хотя варианты осуществления, описанные выше, используют стереоскопические технологии обработки изображений для генерирования данных в виде трехмерного облака точек на основе двумерных изображений, в других вариантах осуществления данные в виде трехмерного облака точек могут генерироваться с использованием других технологий, таких как LIDAR (Light Detection and Ranging, обнаружение и определение дальности с помощью света), времяпролетная камера, сканирующий лазер и т.д. Например, может быть применен датчик LIDAR для получения данных в виде трехмерного облака точек в пределах поле обзора 112. Датчик LIDAR может быть объединен с двумерной камерой, которая обеспечивает данные двумерного изображения для идентификации интересующей области.
Пример процесса для реализации блока 334, относящегося к процессу 330 для идентификации интересующей области, показан на фиг. 7. Как описано выше, датчики 130 и 132 изображения в камере 110 получают первое и второе двумерные изображения, и встроенный процессор 204 дополнительно генерирует данные в виде трехмерного облака точек на основе указанных первого и второго изображений. В блоке 306 процесса 300 получения изображений, при передаче изображения для дальнейшей обработки, по меньшей мере одно из первого и второго двумерных изображений может быть передано на удаленную процессорную схему 230, где данные записываются в устройство 240 большой емкости для хранения данных. В некоторых вариантах осуществления данные в виде облака точек могут быть удалены встроенным процессором 204 после завершения процесса 304 по фиг. 5 и передачи первого и второго двумерных изображений на удаленную процессорную схему 230. В случае датчиков 130 и 132 изображения с высокой плотностью (high density, HD) двумерные изображения могут передаваться в разрешении full HD, включая цветовую информацию. Обычно оба из первого и второго двумерных изображений передаются и записываются в устройство 240 большой емкости для хранения данных. Хотя дальнейшая обработка, выполняемая удаленной процессорной схемой 230, может потребовать трехмерной информации, обработка, связанная с генерированием данных в виде трехмерного облака точек на основе первого и второго двумерных изображений высокой плотности, как ожидается, не приведет к значительным издержкам по сравнению с указанной дальнейшей обработкой. Соответственно, трехмерное облако точек может быть регенерировано удаленной процессорной схемой 230 на основе первого и второго двумерных изображений. В других вариантах осуществления данные в виде облака точек, генерируемые встроенным процессором 204, могут быть сохранены и переданы на удаленную процессорную схему 230 . В варианте осуществления, в котором дальнейшая обработка выполняется встроенным процессором 204, данные в виде облака точек могут быть сохранены для дальнейшей обработки встроенным процессором.
Процесс 334 начинают с блока 700, который управляет микропроцессором 232 удаленной процессорной схемы 230 для выбора одного из двумерных изображений для обработки с целью идентификации интересующей области полезного груза. Затем блок 702 управляет микропроцессором 232 для предварительной обработки данных двумерного изображения. Предварительная обработка в блоке 702 может включать в себя одну или более необязательно реализуемых функций обработки изображения. Например, данные двумерного изображения могут быть очищены для компенсации искажений изображения, создаваемых съемочной оптикой, связанной с датчиками 130 и 132 изображения. При визуализации в большом поле обзора 112 геометрические искажения вследствие несовершенств и погрешностей выравнивания съемочной оптики проникают в данные изображения и могут быть компенсированы путем вне- 10 045770 сения корректировок в данные изображения. Доступны различные модели для коррекции общих искажений, которые могут быть реализованы для очистки данных изображения на основе параметров оптики для получения изображения или других калибровочных данных, определенных во время изготовления.
В некоторых вариантах осуществления данные двумерного изображения могут быть прорежены для генерирования меньшего файла данных изображения для идентификации интересующей области полезного груза. Уменьшение разрешения данных изображения обеспечивает возможность содействия более быстрой обработке по сравнению с файлом данных изображения с разрешением Full HD. В одном варианте осуществления изображение высокой плотности может быть уменьшено до четверти его исходного размера с целью идентификации интересующей области.
Затем блок 704 управляет микропроцессором 232 для обработки двумерного изображения для идентификации интересующей области полезного груза с использованием обученной нейронной сети. В некоторых вариантах осуществления нейронная сеть может быть обучена с использованием набора маркированных обучающих изображений. Набор изображений может включать в себя изображения, на которых репрезентативные транспортные средства, репрезентативные грузовые контейнеры и репрезентативные полезные грузы 102 могут быть идентифицированы с помощью маркированных границ внутри соответствующих изображений. На некоторых из обучающих изображений грузовой контейнер может не нести полезный груз, и таким образом, полезный груз не будет идентифицирована с помощью маркированной границы. Если на месте 126 работ работают транспортные средства нескольких разных типов, имеющие грузовые контейнеры, то могут быть включены подходящие маркированные изображения для обучения нейронной сети таким образом, чтобы она была способна делать общие выводы для обеспечения возможности идентификации разных транспортных средств.
Обучение нейронной сети может проводиться в контролируемом процессе обучения, выполняемом перед развертыванием системы 200 на месте 126 работ. Таким образом, набор маркированных обучающих изображений может быть предварительно маркирован оператором-человеком и использован в обучающих мероприятиях. Оператор-человек также может определять параметры управления для обучения нейронной сети, которые могут регулироваться для оптимизации производительности нейронной сети. Обученная нейронная сеть может быть определена набором 706 данных, который устанавливает архитектуру нейронной сети и определяет соответствующие параметры и/или весовые значения, которые конфигурируют архитектуру для выполнения функции идентификации интересующей области полезного груза.
Таким образом, блок 704 управляет микропроцессором 232 для приема предварительно обработанных данных двумерного изображения и генерирования выходных данных для идентификации интересующей области на основе указанного набора 706 данных о нейронной сети. В одном варианте осуществления выходные данные могут представлять собой набор масок или ограничительных областей, как показано на фиг. 8. Как показано на фигуре 8, изображение 800, имеющее транспортное средство 106 в поле обзора 112, имеет ограничивающую коробку 802 транспортного средства, ограничивающую коробку 804 контейнера для переноса груза и маску 806 полезной нагрузки, при этом каждая из них указана на изображении сломанными линиями. Ограничительная рамка 802 транспортного средства идентифицирует изображение 800 как содержащее транспортное средство с уровнем достоверности 0,99 (т.е. 99%). Ограничительная рамка 804 грузового контейнера идентифицирует границы, связанные с грузовым контейнером, с тем же уровнем достоверности 0.99. И наконец, маска 806 полезного груза идентифицирует интересующую область полезного груза с уровнем достоверности 0.92. Ограничительные рамки 802 и 804, создаваемые нейронной сетью, могут быть образованы граничными пикселями, демаркирующими данные области внутри прореженного изображения.
Затем процесс 324 продолжается в блоке 708, который управляет микропроцессором 232 для определения того, соответствуют ли идентифицированные маски критериям дальнейшей обработки. Например, для каждой из ограничительных рамок 802 и 804 могут быть установлены пороговые уровни достоверности. Если уровень достоверности, связанный с ограничительной рамкой 802 транспортного средства, ниже порогового значения (например, 0.85), то изображение может не быть изображением грузового транспортного средства, или оно может вообще не содержать транспортное средство, так что выбор и передача с помощью камеры 110 могли быть ошибочными. Аналогичным образом, если ограничительная рамка 802 транспортного средства имеет высокий соответствующий уровень достоверности, но при этом ограничительная рамка 804 контейнера не соответствует пороговому уровню достоверности, то могут возникнуть проблемы с изображением, которые будут препятствовать успешной дальнейшей обработке. Дополнительные критерии обработки также могут включать в себя логические определения, которые используются для предотвращения обработки неподходящих полученных изображений. Например, если ограничительная рамка 804 грузового контейнера расположена снаружи или частично снаружи ограничительной рамки 802 транспортного средства, то это может указывать на неподходящее изображение, которое при его дальнейшей обработке может привести к ошибочным результатам. Аналогичным образом, если маска 806 полезного груза расположена снаружи или частично снаружи ограничительной рамки 804 грузового контейнера, то это также может указывать на неподходящее изображение.
Если в блоке 708 определено несоответствие установленным пороговым уровням достоверности, то
- 11 045770 управляют микропроцессором 232 для перехода к блоку 710, где выбранное изображение маркируют как непригодное для дальнейшей обработки. Блок 710 может управлять микропроцессором 232 для маркировки соответствующих данных в виде двумерного и трехмерного облака точек в устройстве 240 большой емкости для хранения данных, так что обеспечивается возможность удаления этих данных.
Если в блоке 708 определено соответствие установленным пороговым значениям уровня достоверности, то управляют микропроцессором 232 для перехода к блоку 712. Блок 712 управляет микропроцессором 232 для выполнения постобработки данных изображения внутри интересующей области. Постобработка может включать в себя обработку данных изображения для усиления затененных областей, которые образуются вследствие того, что стороны грузового контейнера 104 затеняют некоторые участки полезного груза 102. Например, может быть реализовано манипулирование цветовой интенсивностью с помощью нейронной сети для обеспечения более четких входных данных для анализа полезного груза. В тех вариантах осуществления, в которых маска 806 полезного груза установлена на основе данных изображения, которые были прорежены в блоке 702, постобработка может выполняться на основе исходных выбранных данных изображения высокой плотности, сохраненных в устройстве 240 большой емкости для хранения данных. Таким образом, постобработка будет включать в себя первое сопоставление граничных пикселей маски 806 полезного груза, определенных для разреженного изображения, с пикселями исходного изображения с высокой оптической плотностью перед выполнением обработки изображения.
Затем блок 714 управляет микропроцессором 232 для выполнения анализа полезного груза на данных изображений, прошедших постобработку. В одном варианте осуществления микропроцессор 232 может быть функционально выполнен с возможностью проведения анализа полезного груза путем проведения анализа сегментации в интересующей области 806 полезного груза для определения размеров отличимых частей полезного груза. Например, анализ полезного груза может включать в себя проведение анализа фрагментации на полезном грузе, как описано в совместной патентной заявке № 15/752430, авторы Tafazoli Bilandi и др., под названием Способ и устройство для идентификации фрагментированных частей материала внутри изображения, которая включена в настоящий документ посредством ссылки во всей своей полноте.
Обратимся к фиг. 9, на котором пример результата анализа фрагментации внутри идентифицированной маски 806 для полезного груза, показанной на фиг. 8, показан под номером 900. В целом, анализ фрагментации, выполняемый согласно способам, раскрытым в заявке 15/752430, включает обработку пиксельных данных с использованием сверточной нейронной сети, которая (обработка) показывает, расположены ли пиксели на кромке фрагментированной части материала, внутри от кромки фрагментированной части материала или в промежутках между фрагментированными частями материала. В некоторых раскрытых вариантах осуществления определение выполняют по меньшей мере частично на основе информации о двумерных и трехмерных несоответствиях. Полученная в результате этого классификация пикселей затем может быть дополнительно обработана для привязки идентифицированных кромок к фрагментированным частям материала и для обеспечения масштабирования размеров фрагментов.
Обратимся вновь к фиг. 7, согласно которому, после проведения анализа полезного груза в блоке 714 процесс 324 продолжается в блоке 716, который управляет микропроцессором 232 для определения того, имеет ли место соответствие критерию предупреждения. В примере, показанном на фиг. 9, идентифицированный фрагмент 902 мог быть идентифицирован как валун, размер которого превышает пороговый размер руды для обработки в другом оборудовании на месте работ. Если в блоке 716 определено соответствие критерию предупреждения, то управляют микропроцессором 232 для перехода к блоку 718. Блок 718 управляет микропроцессором 232 для передачи предупреждающего сообщения на процессорную схему 250 через сеть 220, показанную на фиг. 2. Предупреждающее сообщение, при его приеме интерфейсом 258 связи процессорной схемы 250, обеспечивает генерирование микропроцессором 252 сигнала предупреждения в оперативном центре места 126 работ. Процессорная схема 250 функционально выполнена с возможностью инициирования генерирования сигнализатором либо звукового предупреждения через громкоговорящий сигнализатор 264, либо визуального предупреждения через дисплей 262 для предупреждения оператора о наличии валуна в полезном грузе транспортного средства.
Если в блоке 716 определено несоответствие критерию предупреждения, то управляют микропроцессором 232 для перехода к блоку 720. Блок 720 управляет микропроцессором 232 для выполнения, в случае необходимости, надлежащих этапов для отображения или передачи результатов анализа полезного груза. Например, записи с результатами анализа фрагментации полезного груза могут быть сохранены для последующего доступа к ним горных инженеров на месте 126 работ для использования при принятии решений по горным работам. Результаты могут указывать, например, на то, что добываемая в настоящее время руда не является оптимальной, и что горные инженеры могут перебросить горнодобывающие ресурсы в другой забой.
Обратимся к фиг. 10, на котором архитектура нейронной сети для идентификации интересующей области полезного груза показана в виде блок-схемы под номером 1000. Блоки представляют функции, реализуемые посредством блоков кодов, которые управляют микропроцессором 232 для выполнения задач обработки для идентификации интересующей области полезного груза. Реализация нейронной сети основана на архитектуре, предложенной в публикации Mask R-CNN, авторы Kaiming H. и др., 2017,
- 12 045770 которая включена в настоящий документ посредством ссылки во всей своей полноте. Архитектура Mask R-CNN может быть реализована для эффективного обнаружения объектов на изображении при одновременном генерировании маски сегментации для каждого экземпляра объекта. Данная сквозная архитектура представляет собой многоступенчатую нейронную сеть с множеством голов, которая обеспечивает прогнозы для множества экземпляров объектных типов, их ограничительных рамок и соответствующих масок или границ.
Нейронная сеть 1000 содержит четырехуровневую пирамидальную сеть признаков (feature pyramid network, FPN), такую как описанная в публикации Пирамидальные сети признаков для обнаружения объектов, авторы Tsung-Yi Lin и др., 2017, которая включена в данный документ посредством ссылки во всей своей полноте. Пирамидальная сеть признаков показана обобщенно в виде блоков 1006 и 1010, и данные предварительно обработанных изображений 1002 подаются на вход 1004 остаточной нейронной сети (residual neural network, ResNet) 1006, входящей в состав пирамидальной сети признаков. Остаточная нейронная сеть 1006 генерирует признаки с использованием магистральной сети, такой как остаточная нейронная сеть 101, описанная в публикации Глубокое остаточное обучение для распознавания изображений, авторы Kaiming He и др., 2015. Магистральные сети, предварительно обученные по общедоступным массивам данных естественных изображений, таким как ImageNet, способны классифицировать изображения по категориям объектов.
Данные с выходов 1008 остаточной нейронной сети 1006 подаются на блок 1010 пирамидальной сети признаков, который генерирует данные на множестве выходов 1012, находящиеся в диапазоне от низкоуровневых признаков с высокой детализацией до высокоуровневых семантических представлений входного изображения 1002. Блок 1010 пирамидальной сети признаков объединяет восходящие и нисходящие карты признаков, принимаемые из остаточной нейронной сети 1006, и генерирует расширенные карты признаков на выходах 1012. Данные с выходов 1012 могут дополнительно использоваться в нейронной сети 1000 для локализации и сегментации интересующих объектов.
Для каждого из нисходящих путей пирамидальной сети 1010 признаков облегченная сеть 1014 региональных предложений (region proposal network, RPN) находит те области в картах признаков, сгенерированных с помощью пирамидальной сети 1010 признаков, в которых потенциально присутствует один интересующий объект. Сеть 1014 региональных предложений ранжирует набор якорей по каждому местоположению в пределах каждого уровня пирамиды карты признаков. На каждом уровне для выбора некоторых местоположений используется фиксированный шаг, и для каждого местоположения определяется набор якорей. Каждый набор якорей включает в себя горизонтальные и вертикальные рамки в разных масштабах (обычно три масштаба, каждый с тремя якорями). Чтобы сопоставить эти области с соответствующим местом на исходном изображении, предварительно определяют указанный набор якорей. Предсказанные области присваивают эталонным якорям на основе перекрытия между парой якорей и областями. Предложения фильтруют по их рангу, максимальным ожидаемым областям и перекрытию с эталоном с использованием подхода подавления не-максимумов (non-maximum suppression, NMS). Остальные области должны быть преобразованы к фиксированному размеру таким образом, чтобы к указанному набору признаков могли быть присоединены множество голов сети. Для сбора всех областей на основе их оценки используется процесс 1016 выравнивания интересующих областей (region of interest align, ROI align). Подход с выравниванием интересующих областей будет обеспечивать генерирование выходных данных фиксированного размера, в которых каждый пиксель генерируется посредством выборки внутри области карты признаков, которая соответствует данному выходному пикселю. Все выборочные точки усредняют, и полученное среднее значение будет присвоено выходному пикселю.
В зависимости от размера предложений, одна из карт признаков, сгенерированных на выходах 1012 с помощью пирамидальной сети 1010 признаков, представляет собой диапазон размеров объектов, которые будут использоваться для выравнивания интересующих областей. Данные с выходов 1016 подают в полностью присоединенный слой или на головной блок 1018 рамок для генерирования вектора признаков определенного размера для каждой из областей. Этот список векторов используют в двух ответвлениях для генерирования вероятности 1020 принадлежности классу и координат 1022 ограничительных рамок для каждой области. Выходные данные процесса 1016 выравнивания интересующей области и полученные результаты 1020, 1022 дополнительно обрабатывают по каждому классу для генерирования окончательных результатов 1024 обнаружения для каждого класса. В этом процессе отфильтровывают предложения на основе оценок вероятности и вычисляют подавление не-максимумов (non-maximum suppression, NMS) для каждого класса, причем подавление не-максимумов используют для обеспечения идентификации конкретного объекта лишь один раз.
Выходные данные карты признаков на выходах 1012 пирамидальной сети 1010 признаков преобразуют в матрицу фиксированного размера согласно окончательным результатам обнаружения. Используют подход, схожий с процессом выравнивания интересующей области, и результаты передают на ряд сверточных слоев нейронной сети для регулирования количества выходных каналов. Затем ряд слоев обратной свертки осуществляют восстановление пространственной информации, и 1-D свертки сокращают количество каналов для приведения в соответствие с общим количеством классов (т.е. в данном случае классов полезного груза 102, который идентифицируют с помощью маски полезного груза 806).
- 13 045770
Затем сгенерированные маски для каждого класса подвергают обратному изменению размеров для приведения в соответствие с размерами исходного изображения в блоке 1030. Каждая маска генерируется путем вырезания карт прогноза при 0.5.
Еще один вариант осуществления для реализации блока 714 анализа полезного груза на фиг. 7 описан более подробно со ссылкой на фиг. 11. Процесс, показанный на фиг. 11, может выполняться в качестве альтернативы или в дополнение к процессу фрагментации, описанному выше. Блок 1100 управляет микропроцессором 232 для определения размеров грузового контейнера 104 транспортного средства 106. В одном варианте осуществления размеры грузового контейнера 104 могут быть определены путем выполнения дополнительных этапов обработки, описанных выше, в то время, когда известно, что транспортное средство 106 имеет пустой грузовой контейнер 104 . В этом случае фактические размеры грузового контейнера могут быть определены на основе трехмерных координат, связанных с точками внутри маски 802 транспортного средства и маски 806, полезного груза, выбранных для определения внутренних размеров контейнера. Таким образом, определяемые размеры контейнера для транспортного средства 106 будут предварительно определены в некоторый момент времени и сохранены в базе 1102 данных о транспортных средствах. База 1102 данных о транспортных средствах может храниться в устройстве 240 большой емкости для хранения данных или в другом месте, имеющем связь с удаленной процессорной схемой 230 . Таким образом, в данном варианте осуществления блок 1100 управляет микропроцессором 232 для определения идентификатора 1104 транспортного средства, связанного с выбранным обрабатываемым изображением. Как указано выше, RFID-считыватель 122 устройства 100, показанного на фиг. 1, может использоваться для считывания идентификатора транспортного средства, связанного с выбранными изображениями, которые передаются камерой 110 на удаленную процессорную схему 230. Идентификатор 1104 транспортного средства затем используют для определения местоположения данных о размерах контейнера в базе 1102 данных о транспортных средствах.
В других вариантах осуществления значения для транспортных средств, используемых на рабочем месте 126, могут быть предварительно определены из технических характеристик транспортного средства или общепринято измерены и сохранены в базе данных 1102 транспортного средства, ссылающейся на идентификационные номера транспортных средств. Как описано выше, блок 1100 управляет микропроцессором 232 для определения идентификатора 1104 транспортного средства, и соответствующие размеры контейнера могут быть найдены в базе 1102 данных. В некоторых вариантах осуществления микропроцессор 232 может быть функционально выполнен с возможностью удаления изображений транспортного средства или с возможностью маркировки результатов как связанных с неидентифицированным транспортным средством в случае неудачи при идентификации транспортного средства.
После определения размеров грузового контейнера 104 транспортного средства 106, связанного с выбранным изображением, обрабатываемым в настоящий момент, управляют микропроцессором 232 для перехода к блоку 1106. Блок 1106 управляет микропроцессором 232 для определения высоты заполнения полезным грузом внутренней области контейнера 104 на основе трехмерных координат точек внутри интересующей области полезного груза (т.е. маски 806 полезного груза). Блок 1106 управляет микропроцессором 232 для выбора множества точек на двумерном изображении, которые лежат внутри маски 806 полезного груза, и для определения трехмерных координат для этих точек, которые обеспечивают определение соответствующих точек высоты заполнения полезным грузом. Это может включать в себя выбор координат на основе трехмерных данных в виде облака точек, которые соответствуют выбранному множеству точек. По существу, блок 1106 определяет распределение высоты груза внутри грузового контейнера 104.
Затем блок 1108 управляет микропроцессором 323 для использования распределения высоты груза в пределах размеров грузового контейнера 104 для вычисления смещения груза от центральной линии, проходящей продольно через грузовой контейнер. Поперечное смещение груза может потенциально приводить к нестабильности транспортного средства 106. Продольные смещения груза менее проблематичны вследствие длины колесной базы транспортного средства в этом направлении. В одном варианте осуществления смещение груза может быть выражено в процентах от поперечного размера грузового контейнера 104 . Смещение груза может представлять интерес для оператора на месте 126 работ при обнаружении транспортных средств, которые имеют неравномерное распределение груза. В некоторых вариантах осуществления смещение нагрузки может быть связано с лопатой или другим тяжелым оборудованием, которое загружает транспортное средство 106, так что неравномерная нагрузка конкретных операторов может быть обнаружена и устранена. В показанном варианте осуществления процесса блок 1110 затем направляет микропроцессор 232 для определения того, является ли распределение нагрузки неравномерным (т.е. смещение нагрузки больше максимального предварительно определенного процента). При превышении максимального смещения груза блок 1110 управляет микропроцессором 232 для перехода к блоку 1112, где генерируют и обрабатывают сигнал предупреждения в целом так, как это описано выше. Если в блоке 1110 определено отсутствие превышения максимального смещения груза, то управляют микропроцессором 232 для перехода к блоку 1114.
Блок 1114 управляет микропроцессором 232 для вычисления общего объема полезного груза. Общий объем полезного груза в поперечном направлении ограничивается маской полезного груза 806 на
-
Claims (29)
- поверхности полезного груза и размерами контейнера под поверхностью полезного груза. Таким образом, эти границы и точки высоты заполнения полезным грузом могут использоваться для генерирования сравнительно точной оценки общего объема полезного груза, транспортируемого в грузовом контейнере 104. Затем блок 1116 управляет микропроцессором 232 для передачи вычисленного объема полезного груза на место 126 работ или другое место, где отображается информация, связанная с операциями на месте работ.Процессорная схема 250 оперативного центра, показанная на фиг. 2, может принимать данные через сеть 220 от нескольких камер 110. Например, в одном варианте осуществления место работ может содержать несколько дорог, выходящих из этого места, и каждая из них может содержать соответствующее устройство 100 и камеру 110. Как показано на фиг. 12, в одном варианте осуществления возможно отображение информационной панели 1200 процессорной схемой 250 оперативного центра на дисплее 262. Информационная панель 1200 отображает информацию о состоянии для четырех разных мест 1202, 1204, 1206 и 1208. В месте 1208 самосвал в настоящий момент не обнаружен или не присутствует. Каждое из указанных мест характеризуется информацией о состоянии, связанной с обнаруженным самосвалом и соответствующим полезным грузом. Каждый дисплей состояния содержит хорошо заметную область 1210 предупреждения, которая указывает, обнаружен ли валун или любой другой посторонний объект в полезном грузе. Другие области 1212 информационной панели 1200 отображают дополнительную информацию о состоянии, такую как среднее количество фрагментаций за последние 12 ч, средний общий объем, вычисляемый на основе объемов полезного груза, определяемых в блоке 1110 процесса 714, и смещение груза, вычисляемое в блоке 1106 процесса 714.Хотя выше были описаны и проиллюстрированы конкретные варианты осуществления, такие варианты осуществления следует рассматривать лишь как иллюстративные, и они не ограничивают раскрытые варианты осуществления, интерпретируемые согласно приложенной формуле изобретения.ФОРМУЛА ИЗОБРЕТЕНИЯ1. Устройство для анализа полезного груза, транспортируемого в грузовом контейнере транспортного средства, содержащее:камеру, расположенную с возможностью последовательного получения изображений транспортных средств, пересекающих поле обзора камеры;по меньшей мере один процессор, имеющий связь с указанной камерой, причем указанный по меньшей мере один процессор функционально выполнен с возможностью выбора по меньшей мере одного изображения из последовательно получаемых изображений в ответ на:быстрое определение вероятности того, что транспортное средство и грузовой контейнер будут находиться в поле зрения на по меньшей мере одном изображении; и соответствие данных изображения, связанных с указанным по меньшей мере одним изображением, критерию пригодности для дальнейшей обработки;причем указанная дальнейшая обработка включает в себя обеспечение того, чтобы указанный по меньшей мере один процессор:осуществлял обработку выбранного по меньшей мере одного изображения для идентификации интересующей области полезного груза на изображении; и проводил анализ полезного груза внутри идентифицированной интересующей области полезного груза на основе данных изображения, связанных с указанным по меньшей мере одним изображением.
- 2. Устройство по п.1, в котором указанный по меньшей мере один процессор функционально выполнен с возможностью выбора указанного по меньшей мере одного изображения посредством:генерирования данных трехмерного облака точек для последовательно полученных изображений;определения плотности точек данных облака точек; и сравнения плотности точек с пороговой плотностью точек для определения соответствия критерию пригодности.
- 3. Устройство по п.2, в котором указанный по меньшей мере один процессор функционально выполнен с возможностью предварительной обработки данных трехмерного облака точек для выбранного изображения перед проведением анализа полезного груза, причем указанная предварительная обработка включает по меньшей мере одно из следующих:удаление координат тех точек облака, которые расположены ниже ожидаемой высоты опорного основания грузового контейнера относительно окружающей поверхности земли; и/или удаление координат тех точек облака точек, которые находятся за пределами подобласти облака точек в пределах облака точек, причем указанная подобласть облака точек меньше, чем облако точек.
- 4. Устройство по п.2, в котором указанный по меньшей мере один процессор дополнительно функционально выполнен с возможностью выбора для дальнейшей обработки по меньшей мере одного из следующих, если определено, что множество изображений соответствуют критерию пригодности:изображения, имеющего наивысшую плотность точек;первого изображения, имеющего плотность точек, превышающую пороговую плотность точек; или- 15 045770 множества изображений, которые имеют плотность точек, превышающую пороговую плотность точек.
- 5. Устройство по п.1, в котором процессор дополнительно функционально выполнен с возможностью генерирования уровня достоверности во время обработки выбранного изображения для идентификации интересующей области полезного груза, причем указанный уровень достоверности количественно представляет достоверность того, что идентифицированная интересующая область содержит полезный груз, и указанный уровень достоверности используется по меньшей мере частично для определения того, соответствует ли выбранное изображение критерию пригодности.
- 6. Устройство по п.1, в котором указанный по меньшей мере один процессор функционально выполнен с возможностью выбора множества изображений из последовательно полученных изображений, причем каждое из указанного множества изображений обеспечивает отличный от других вид полезного груза, и указанный по меньшей мере один процессор функционально выполнен с возможностью выполнения дополнительной обработки для каждого из множества изображений для получения анализа полезного груза.
- 7. Устройство по п.1, в котором камера расположена над транспортным средством, и поле обзора ориентировано вниз для получения изображений верхней поверхности полезного груза, открытой благодаря открытой верхней стороне грузового контейнера.
- 8. Устройство по п.1, в котором указанный по меньшей мере один процессор содержит встроенный процессор, имеющий связь с камерой, причем указанный встроенный процессор функционально выполнен с возможностью инициирования передачи данных изображения для выбранного изображения на удаленный процессор, где дальнейшая обработка выполняется указанным удаленным процессором.
- 9. Устройство по п.8, в котором встроенный процессор содержит интерфейс глобальной сети, причем указанный встроенный процессор функционально выполнен с возможностью передачи выбранного изображения на удаленный процессор через указанную глобальную сеть.
- 10. Устройство по п.1, в котором указанный по меньшей мере один процессор функционально выполнен с возможностью инициирования выдачи сигнала предупреждения в ответ на результаты анализа полезного груза, соответствующие критерию предупреждения.
- 11. Устройство по п.10, дополнительно содержащее сигнализатор для предупреждения, функционально выполненный с возможностью генерирования звукового или визуального сигнала для предупреждения оператора.
- 12. Устройство по п.1, в котором указанный по меньшей мере один процессор функционально выполнен с возможностью обработки первого и второго двумерных изображений с разных перспективных точек обзора для генерирования трехмерного облака точек, содержащего трехмерные координаты транспортного средства и грузового контейнера.
- 13. Устройство по п.12, в котором камера содержит одно из следующих:первый и второй датчики изображения, которые смещены для получения соответствующих первого и второго двумерных изображений с разных перспективных точек обзора; и один датчик изображения, функционально выполненный с возможностью получения первого и второго изображений, отстоящих друг от друга по времени таким образом, что перемещение транспортного средства при пересечении поля обзора обеспечивает разные перспективные точки обзора для первого и второго изображений.
- 14. Устройство по п.12, в котором указанный по меньшей мере один процессор функционально выполнен с возможностью обработки одного из соответствующих двумерных изображений для идентификации интересующей области полезного груза в двумерном представлении и проведения анализа полезного груза путем обработки двумерных данных в интересующей области полезного груза, причем указанный по меньшей мере один процессор функционально выполнен с возможностью использования трехмерного облака точек для генерирования масштабирующей информации для анализа полезного груза.
- 15. Устройство по п.1, в котором указанный по меньшей мере один процессор функционально выполнен с возможностью обработки выбранного изображения для идентификации интересующей области полезного груза с использованием обученной нейронной сети для получения выходных данных, указывающих местоположение интересующей области в пределах выбранного изображения.
- 16. Устройство по п.15, дополнительно содержащее функцию обучения нейронной сети с использованием по меньшей мере одного из следующих:набора изображений репрезентативных грузовых контейнеров, которые ранее были маркированы человеком; и алгоритма неконтролируемого обучения, реализуемого для выделения шаблонов в данных изображения.
- 17. Устройство по п.15, в котором нейронная сеть содержит сверточную нейронную сеть на основе маскирующей области.
- 18. Устройство по п.15, в котором указанный по меньшей мере один процессор функционально выполнен с возможностью обработки выбранного изображения посредством по меньшей мере одного из- 16 045770 следующих:обработки данных изображения для усиления затененных областей перед выполнением анализа полезного груза;выполнения очистки выбранного изображения для коррекции искажений изображения, создаваемых съемочной оптикой, связанной с камерой, перед идентификацией интересующей области полезного груза; и разрежения пикселей исходного выбранного изображения для получения разреженного изображения с уменьшенным количеством пикселей перед идентификацией интересующей области полезного груза.
- 19. Устройство по п.18, в котором выходные данные нейронной сети идентифицируют граничные пиксели, демаркирующие интересующую область полезного груза в пределах разреженного изображения, причем выполнение анализа полезного груза включает определение соответствующих граничных пикселей в пределах исходного выбранного изображения и обработку участков исходного выбранного изображения в пределах соответствующих граничных пикселей.
- 20. Устройство по п.1, в котором указанный по меньшей мере один процессор функционально выполнен с возможностью определения размеров грузового контейнера транспортного средства посредством одного из следующих:определения идентификатора транспортного средства, связанного с выбранным изображением, и считывания из базы данных параметров, определяющих размеры грузового контейнера для идентифицированного транспортного средства; и выполнения дальнейшей обработки для транспортного средства с пустым грузовым контейнером и определение размеров грузового контейнера на основе пустого грузового контейнера.
- 21. Устройство по п.20, в котором указанный по меньшей мере один процессор функционально выполнен с возможностью идентификации транспортного средства посредством одного из следующих:обработки по меньшей мере одного из последовательных изображений для выделения идентификатора транспортного средства, обозначенного на транспортном средстве, в пределах поля обзора камеры;приема идентификатора от датчика радиочастотной идентификации (radio-frequency identification, RFID), расположенного для считывания RFID-метки, размещенной на транспортном средстве; или обработки по меньшей мере одного из последовательно полученных изображений с использованием нейронной сети, которая была предварительно обучена осуществлению идентификации транспортного средства на основе полученного изображения.
- 22. Устройство по п.20, в котором процессор функционально выполнен с возможностью проведения анализа полезного груза путем определения объема полезного груза посредством определения высоты заполнения полезным грузом внутренней области грузового контейнера на основе трехмерных координат для точек внутри интересующей области полезного груза и вычисления объема полезного груза на основе высоты заполнения полезным грузом и определенных размеров грузового контейнера.
- 23. Устройство по п.1, в котором процессор функционально выполнен с возможностью проведения анализа полезного груза путем идентификации постороннего объекта в полезном грузе.
- 24. Устройство по п.23, в котором процессор функционально выполнен с возможностью идентификации постороннего объекта посредством обработки инфракрасных изображений полезного груза, причем посторонний объект идентифицируют путем обнаружения электромагнитного излучения с длинами волн в инфракрасной части спектра.
- 25. Устройство по п.1, в котором процессор функционально выполнен с возможностью:проведения анализа полезного груза путем вычисления смещения груза; и генерирования предупреждения о неравномерной загрузке, если смещение груза превысило предварительно определенное максимальное смещение груза.
- 26. Устройство по п.1, в котором процессор функционально выполнен с возможностью проведения анализа полезного груза путем проведения анализа сегментации в интересующей области полезного груза для определения размеров отличимых частей полезного груза.
- 27. Устройство по п.26, в котором процессор функционально выполнен с возможностью инициирования создания сигнала предупреждения в ответ на то, что по меньшей мере одна отличимая часть превысила пороговый размер или идентифицирована как объект, не являющийся полезным грузом.
- 28. Устройство по п.27, в котором полезный груз содержит полезный груз в виде добытой руды и в котором анализ сегментации включает одно из следующих:анализ фрагментации, который обеспечивает идентификацию отличимых частей как одного из части в виде породы, части в виде мелочи или промежутка между частями;распределение груза в пределах размеров грузового контейнера; и/или анализ влажности, который обеспечивает классификацию уровня влаги, связанного с полезным грузом.
- 29. Устройство по п.1, в котором транспортное средство представляет собой одно из карьерного самосвала, рельсовой тележки, баржи, вагонетки, транспортного средства для загрузки, откатки и выгрузки или шахтного скипа.-
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US62/949,299 | 2019-12-17 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| EA045770B1 true EA045770B1 (ru) | 2023-12-25 |
Family
ID=
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11494930B2 (en) | Techniques for volumetric estimation | |
| AU2020404468B2 (en) | Apparatus for analyzing a payload being transported in a load carrying container of a vehicle | |
| US11691648B2 (en) | Drivable surface identification techniques | |
| US11010622B2 (en) | Infrastructure-free NLoS obstacle detection for autonomous cars | |
| EP3136341B1 (en) | Surroundings monitoring system for working machine | |
| US9483952B2 (en) | Runway surveillance system and method | |
| US20210263152A1 (en) | Automated object detection in a dusty environment | |
| US11669972B2 (en) | Geometry-aware instance segmentation in stereo image capture processes | |
| US11995157B2 (en) | Intelligent LiDAR scanning | |
| US11436839B2 (en) | Systems and methods of detecting moving obstacles | |
| JP5902990B2 (ja) | 自走式産業機械の画像処理装置 | |
| JPWO2014073571A1 (ja) | 自走式産業機械の画像処理装置および自走式産業機械の画像処理方法 | |
| EA045770B1 (ru) | Устройство для анализа полезного груза, транспортируемого в грузовом контейнере транспортного средства | |
| WO2023232286A1 (en) | Identify carryback in unknown truck bed | |
| KR20230104333A (ko) | 라이다 및 영상 분석을 통한 도로정보변화 감지 시스템 및 방법 | |
| AU2008293060B2 (en) | Runway surveillance system and method | |
| CN115440050A (zh) | 一种矿山无人驾驶的信息传输优化方法及*** |