RU2606875C2 - Способ и система отображения масштабных сцен в режиме реального времени - Google Patents

Способ и система отображения масштабных сцен в режиме реального времени Download PDF

Info

Publication number
RU2606875C2
RU2606875C2 RU2015101179A RU2015101179A RU2606875C2 RU 2606875 C2 RU2606875 C2 RU 2606875C2 RU 2015101179 A RU2015101179 A RU 2015101179A RU 2015101179 A RU2015101179 A RU 2015101179A RU 2606875 C2 RU2606875 C2 RU 2606875C2
Authority
RU
Russia
Prior art keywords
scene
cameras
model
rendering
frames
Prior art date
Application number
RU2015101179A
Other languages
English (en)
Other versions
RU2015101179A (ru
Inventor
Владимир Викторович Уфнаровский
Михаил Николаевич Смирнов
Николай Александрович Пенкрат
Алексей Алексеевич Гориловский
Владимир Алексеевич Кочерыжкин
Иван Александрович Богданюк
Сергей Игоревич ФЕДОРЕНКО
Евгений Игоревич Бочаров
Original Assignee
Общество с ограниченной ответственностью "Системы Компьютерного зрения"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Общество с ограниченной ответственностью "Системы Компьютерного зрения" filed Critical Общество с ограниченной ответственностью "Системы Компьютерного зрения"
Priority to RU2015101179A priority Critical patent/RU2606875C2/ru
Publication of RU2015101179A publication Critical patent/RU2015101179A/ru
Application granted granted Critical
Publication of RU2606875C2 publication Critical patent/RU2606875C2/ru

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Изобретение относится к отображению масштабных сцен в режиме реального времени. Техническим результатом является снижение вычислительной нагрузки на устройство обработки при построении 3D модели. Способ отображения масштабных сцен в режиме реального времени, в котором получают видеопоток кадров из одной или более групп видеокамер, причем каждая группа имеет мастер-видеокамеру для синхронизации по параметрам съемки, снимающих требуемую сцену и расположенных на заранее заданных фиксированных позициях или на вычисленных позициях; проводят реконструкцию динамических элементов 3D модели сцены на основе полученного видеопотока кадров так, что статическая модель дополняется новыми объектами вместе с попиксельной привязкой текстурных координат к кадрам в наборе; формируют и накладывают текстуры объектов на 3D модель сцены в реальном времени; выставляют ракурсы отображения 3D модели сцены; проводят рендеринг 3D модели сцены в соответствии с конфигурацией устройств отображения; выводят результат рендеринга на по меньшей мере одно устройство отображения. 2 н. и 26 з.п. ф-лы, 2 ил.

Description

ОБЛАСТЬ ТЕХНИКИ
Изобретение относится, в общем, к графическому отображению многомерных объектов. Более конкретно, изобретение относится к графическому отображению трехмерной реалистичной сцены с разных ракурсов на основе 3D-модели и видеопотоков.
УРОВЕНЬ ТЕХНИКИ
Известен способ, описанный в заявке на патент US20140015832 «Система и способ для реализации трехмерных (3D) технологий», дата публикации 16.01.2014, патентообладатель(-и) Dmitry Kozko, Ivan Onuchin.
В изобретении раскрывается система реконструкции 3D модели по набору видеофайлов, снимающих одну сцену. Видеофайлы синхронизируются при помощи глобального события (например, вспышки), затем на каждом кадре вычисляется местоположение каждой видеокамеры (предполагается, что видеокамеры не закреплены абсолютно неподвижно), производится реконструкция 3D модели, выделяются и накладываются текстуры на 3D модель, распознаются и симулируются погодные явления. Данная система предназначена в основном для трекинга машин.
Недостатком данного изобретения является невозможность работы в режиме реального времени и с высоким разрешением, вызванная тем, что видеокамеры не располагаются абсолютно фиксировано и реконструкция происходит на каждом кадре.
Известен способ, описанный в патенте US6940538 «Извлечение карты глубины по данным камеры слежения и созданной трехмерной модели», дата публикации 06.09.2005, патентообладатель Sony Electronics Inc.
Система синтеза видео по данным с реальной видеокамеры и с дополнительным синтетическим объектом. Система состоит из одной зафиксированной видеокамеры, которая выдает текстуры для уже подготовленной модели. В модель вводится синтетический объект. Далее синтезируется видео с позиции реальной видеокамеры и полем зрения, совпадающим с реальной видеокамерой, на котором отображается синтетический объект так, как будто он является частью сцены.
Недостатком данного решения является то, что используется всего одна видеокамера, что не позволяет снимать масштабную сцену и не позволяет менять точку, с которой синтезируется видео.
Известен способ, описанный в патенте US6674461 «Расширенный вид морфинга», дата публикации 06.01.2004, патентообладатель Matthew H. Klapman.
В изобретении раскрывается принцип съемки сцены, в котором используются несколько видеокамер, с которых берётся изображение и накладывается на синтезированную виртуальную сцену.
Недостатком данного решения является то, что он ориентирован на съемку одного объекта, а не сцены, поэтому авторы не решают задачу различия освещенности в разных частях сцены и настройки видеокамер в реальном времени. Кроме того, система имеет ограничение в три видеокамеры, что является существенным сужением области применения.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Данное изобретение направлено на устранение недостатков, присущих существующим решениям.
Технический результат заключается в повышении эффективности работы системы в реальном времени, при которой снижается вычислительная нагрузка на построение модели, а также достигается максимально возможная точность моделирования до 1 пикселя входного изображения с видеокамеры. Данный технический эффект достигается благодаря использованию одновременно статического и динамического моделирования отдельных частей сцены.
Технический результат достигается благодаря способу отображения масштабных сцен в режиме реального времени, который согласно изобретению реализуется следующим образом: получают видеопоток кадров из одной или более групп видеокамер, причем каждая группа имеет мастер-видеокамеру для синхронизации, снимающих требуемую сцену и расположенных на заранее заданных фиксированных позициях или на вычисленных позициях; проводят реконструкцию динамических элементов 3D модели сцены на основе полученного видеопотока кадров так, что статическая модель дополняется новыми объектами вместе с попиксельной привязкой текстурных координат к кадрам в наборе; формируют и накладывают текстуры объектов на 3D модель в реальном времени; выставляют ракурсы отображения 3D модели; проводят рендеринг 3D модели в соответствии с конфигурацией устройств отображения; выводят результат рендеринга на, по меньшей мере, одно устройство отображения.
После получения кадров с нескольких видеокамер проводят комбинирование их для получения набора кадров, соответствующих одному моменту времени жизни сцены.
Для группы видеокамер известно их взаимное расположение и направление съемки в любой момент времени.
Направление съемки видеокамер выбирается, исходя из необходимости покрыть некоторую сцену, на которой расположены как неподвижные, так и подвижные объекты.
В группе видеокамер выделяют мастер-видеокамеры.
По меньшей мере, две камеры в наборе синхронизируются по экспозиции, балансу белого и частоте кадров в секунду в выдаваемом изображении.
По меньшей мере, две камеры могут регистрировать изображения последовательно с разными настройками.
Возможна одновременная работа, по меньшей мере, двух видеокамер с различными параметрами и настройками объективов, например фокусное расстояние, диафрагма, не ограничиваясь этим.
Возможна одновременная работа видеокамер, работающих в различном разрешении и с различной частотой кадров.
После получения кадров с нескольких видеокамер проводят стыковку изображений, по меньшей мере, двух камер для получения панорамного вида и/или для получения изображения объекта, который не попадает в область видимости одной камерой.
Составляют статическую и/или динамическую модель сцены на основе данных, полученных от видеокамер, расположенных на заранее заданных фиксированных позициях или на вычисленных позициях.
Составляют статическую 3D модель сцены в другом приложении, предназначенном для 3D моделирования.
В некоторых вариантах осуществления изобретения, при реконструкции динамических элементов трехмерной модели сцены отделяют объекты от их фона на основании данных о цветах и яркости объектов или фона для моделирования разных планов сцены.
При реконструкции динамических элементов трехмерной модели, выделяют объекты с использованием данных с нескольких видеокамер при помощи алгоритмов стереозрения.
При реконструкции динамических элементов трехмерной модели сцены получают карты глубин всей или части сцены при помощи алгоритмов стереозрения.
При наложении текстуры на трехмерную модель сцены проводят комбинирование фрагментов текстур из нескольких камер.
При наложении текстуры на трехмерную модель сцены совмещают текстуры одного объекта, по меньшей мере, двух камер в одну текстуру объекта.
При выставлении ракурсов отображения модели сцены доступен ручной или автоматический режим выбора.
В автоматическом режиме ракурс задается на основе данных от внешних датчиков.
В ручном режиме пользователь самостоятельно меняет ракурс в процессе работы системы атрибутов модели сцены.
При проведении рендеринга трехмерной модели сцены проводят рендеринг с одного или более ракурсов одновременно.
При выводе результата рендеринга добавляют в созданную модель сцены дополнительные элементы, которые отсутствовали на первоначальных кадрах изображений.
При выводе результата рендеринга изменяют существующие элементы сцены.
При выводе результата рендеринга добавляют смоделированные дополнительно погодные явления.
Данное изобретение может быть выполнено в виде системы отображения масштабных сцен в режиме реального времени, включающей одну или более групп видеокамер, синхронизированных по параметрам съемки, при этом видеокамеры выполнены с возможностью передачи данных на компьютерную систему и могут быть синхронизированы по параметрам съемки при помощи мастер-видеокамеры, по крайней мере, одну мастер-видеокамеру, в каждой из вышеупомянутых групп видеокамер, выполненную с возможностью передачи данных на компьютерную систему, одно или более устройство обработки команд, одно или более устройство хранения данных, одну или более программ, где одна или более программ хранятся на одном или более устройствах хранения данных и исполняются на одном и более процессорах, причем одна или более программ включают инструкции для реализации способа отображения масштабных сцен в режиме реального времени, описанного выше.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
На Фиг.1 - пример съемки здания с использованием нескольких видеокамер, включающих мастер-видеокамеру.
На Фиг.2 показана блок-схема реализации способа.
ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ
Ниже будут описаны понятия и определения, необходимые для подробного раскрытия осуществляемого изобретения.
3D-сцена - это часть 3D-мира, подлежащая расчёту и выводу на экран в соответствии с текущей точкой наблюдения.
SD-модель - комплекс параметров и свойств, который используется для формирования объекта, который называется трёхмерной моделью.
Статические модели относятся к объектам, практически неизменяющимся во времени или рассматриваемым в отдельные временные сечения.
Динамическая модель позволяет увидеть изменения объекта во времени.
Динамические модели воспроизводят изменения состояний («движение») объекта с учетом как внешних, так и внутренних факторов.
Рендеринг — термин в компьютерной графике, обозначающий процесс получения изображения по модели с помощью компьютерной программы.
Лидар — технология получения и обработки информации об удалённых объектах с помощью активных оптических систем, использующих явления отражения света и его рассеяния в прозрачных и полупрозрачных средах.
Текстура — растровое изображение, накладываемое на поверхность полигональной модели для придания ей цвета, окраски или иллюзии рельефа.
Мастер-камера - камера, задающая опорные настройки экспозиции и яркости. На основе опорных настроек вычисляются настройки для набора видеокамер, снимающих ту же сцену, что и мастер-камера.
Карта глубины (depth map) — это изображение, на котором для каждого пикселя, вместо цвета, хранится его расстояние до камеры. Карта глубины может быть получена с помощью специальной камеры глубины (например, сенсор Kinect является своего рода такой камерой), а также может быть построена по стереопаре изображений.
В компьютерной графике и компьютерном зрении трехмерная реконструкция (англ. 3D reconstruction) - это процесс получения формы и облика реальных объектов. Процесс может быть выполнен пассивными либо активными методами. В случае если форма модели может меняться во времени, говорят о нежесткой или пространственно-временной реконструкции. Трехмерная реконструкция может применяться для восстановления облика объектов или ландшафтов. Используется для получения трехмерной развертки местности, расстояния до земли, определения скорости.
Данное изобретение в различных своих вариантах осуществления может быть выполнено в виде способа, в том числе реализуемого на компьютере, в виде системы или машиночитаемого носителя, содержащего инструкции для выполнения вышеупомянутого способа.
В данном изобретении под системой подразумеваются компьютерная система, ЭВМ (электронно-вычислительная машина), ЧПУ (числовое программное управление), ПЛК (программируемый логический контроллер), компьютеризированные системы управления и любые другие устройства, способные выполнять заданную, чётко определённую последовательность операций (действий, инструкций).
Под устройством обработки команд подразумевается электронный блок либо интегральная схема (микропроцессор), исполняющая машинные инструкции (программы).
Устройство обработки команд считывает и выполняет машинные инструкции (программы) с одного или более устройств хранения данных. В роли устройства хранения данных могут выступать, но не ограничиваясь, жесткие диски (HDD), флеш-память, ПЗУ (постоянное запоминающее устройство), твердотельные накопители (SSD), оптические приводы.
Программа - последовательность инструкций, предназначенных для исполнения устройством управления вычислительной машины или устройством обработки команд.
Для достижения заявленного технического результата предлагается способ отображения масштабных сцен в режиме реального времени, включающий следующие шаги.
Предварительно проводят съемку сцены с тех же позиций, на которых расположены видеокамеры, после чего формируют статическую 3D модель в приложении, предназначенном для 3D моделирования (например, Autodesk 3Dmax studio, но не ограничиваясь).
Получают видеопоток кадров из одной или более групп видеокамер, причем каждая группа имеет мастер-видеокамеру для синхронизации, снимающих требуемую сцену и расположенных на заранее заданных фиксированных позициях или на вычисленных позициях.
Видеопоток кадров получают из группы видеокамер (Фиг.2), снимающих требуемую сцену. В системе видеокамер могут выделяться группы видеокамер, для которых устанавливаются мастер-видеокамеры. Поле зрения мастер-видеокамеры частично перекрывает поле зрения каждой видеокамеры в группе (Фиг.1). Такие группы видеокамер и мастер-видеокамеры выделяются и устанавливаются, исходя из необходимости синхронизировать параметры съемки видеокамер в группе для съемки отдельных участков сцены. В частном случае такая группа видеокамер может состоять из двух видеокамер с частично перекрывающимся полем зрения и имеющих синхронизированные параметры съемки. Видеопоток кадров обрабатывается и используется для динамического моделирования сцены. Каждому кадру проставляется временная метка. По временным меткам формируются наборы кадров со всех камер, так что каждый набор соответствует одному моменту жизни сцены. Фрагменты кадров, соответствующие участкам сцены, на которых необходимо проводить динамическую реконструкцию, обрабатываются для последующего выделения текстур. Например, если на сцене площадь, по которой ходят люди, то мы можем включить алгоритм вычисления фона (часть BGS например) и «удалить» людей из кадра.
Видеопоток кадров может передаваться в компрессированном виде, например, при помощи кодеров Н.264, VP8, MJPEG, JPEG, JPEG2000.
Видеопоток кадров может передаваться в виде отдельных файлов. При этом могут использоваться стандартные контейнеры, например, WebM, OGV, MKV, MP4, TS, JPG и др.
Проводят реконструкцию динамических элементов 3D модели сцены на основе полученного видеопотока кадров так, что статическая модель дополняется новыми объектами вместе с попиксельной привязкой текстурных координат к кадрам в наборе.
Для динамических фрагментов сцены происходит частичная реконструкция, так что статическая модель сцены дополняется новыми объектами вместе с попиксельной привязкой текстурных координат к кадрам в наборе. Например, человек выделяется по движению, так что мы одновременно получаем текстурные координаты в кадре для него и местоположение его на сцене. Также в модели сцены могут реконструироваться, например, погодные условия.
Формируют и накладывают текстуры объектов на 3D модель, соответствующие текущему моменту времени жизни сцены, в реальном времени.
Для элементов сцены, заданных в статической модели, текстуры также статически привязаны к фрагментам кадров с камер. Например, известно попиксельно, где в кадре дом, так как камера на заранее заданной позиции находится, так что затем можно взять эту часть кадра и натянуть на дом. А для динамических подвижных объектов используется целый ряд алгоритмов, работающих в реальном времени, по крайней мере, на фрагменте сцены, в зависимости от характера ожидаемого объекта. Например, людей и машины выделяют при помощи алгоритмов выделения движения (например, BGS, MOG). Птиц в небе выделяют простым анализом контрастности или при помощи алгоритмов сегментации.
Модель обновляется, и на модель накладываются текстуры, соответствующие текущему моменту времени жизни сцены.
Выставляют ракурсы отображения модели.
Ракурс может задаваться и изменяться вручную пользователем в процессе работы системы для получения желаемого вида. Можно перемещать виртуальную видеокамеру, позволяя пользователю увидеть сцену с наиболее интересных ракурсов в режиме реального времени или позднее в записи.
Также ракурс может задаваться автоматически на основе данных от внешних датчиков.
Например, для реализации «виртуального» окна в лифте ракурс задается в зависимости от показаний датчика высоты положения лифта. Перед началом рендеринга считываются показания внешних устройств (Фиг.2), и вычисляется положение виртуальной камеры в соответствии с заданной конфигурацией.
Проводят рендеринг модели в соответствии с конфигурацией устройств отображения.
Устройства отображения также могут быть сконфигурированы для отображения разных ракурсов сцены. Каждый ракурс может быть отображен сразу группой устройств отображения так, что отрендеренное изображение будет растянуто на них. В настоящем изобретении может применяться несколько технологий рендеринга, но не ограничиваясь, с возможностью комбинирования их вместе: Z-буфер, сканлайн, трассировка лучей, глобальное освещение.
Выводят результат рендеринга на, по меньшей мере, одно устройство отображения.
Отображение видеоданных на, по крайней мере, одном устройстве отображения производится через цифрой интерфейс передачи видео High-Definition Multimedia Interface (HDMI), HD-SDI или Low Voltage Differential Signaling (LVDS), сетевой интерфейс Fast Ethernet или Gigabit Ethernet.
В подсистему отображения на экранах передается только конечный результат обработки, в то время как подсистема процессинга вычислительного кластера производит захват с камер и всю необходимую обработку.
Предлагаемый способ может быть реализован на системе, описанной ниже, которая включает:
- одну или более групп видеокамер, синхронизированных по параметрам съемки, при этом видеокамеры выполнены с возможностью передачи данных на компьютерную систему и синхронизированы по параметрам съемки при помощи мастер-видеокамеры;
- по крайней мере, одну мастер-видеокамеру, в каждой из вышеупомянутых групп видеокамер, выполненную с возможностью передачи данных на компьютерную систему;
- компьютерную систему, включающую:
(i) одно или более устройств обработки команд;
(ii) одно или более устройств хранения данных;
(iii) одну или более программ,
где одна или более программ хранятся на одном или более устройствах хранения данных и исполняются на одном и более устройствах обработки команд, причем одна или более программ включают инструкции для выполнения способа по п. 1.
Получение видеопотока кадров производится через сетевой интерфейс Fast Ethernet или Gigabit Ethernet, через специализированный интерфейс передачи видео, например, High-Defmition Serial Digital Interface (HD-SDI), композитный аналоговый сигнал PAL/NTSC или последовательный интерфейс Universal Serial Bus (USB).
Видеопоток кадров может передаваться по беспроводным сетям, таким как GSM (Global System for Mobile Communications), CDMA (Code division multiple access), LTE (Long Term Evolution), Wi-Fi (Wireless Fidelity). В некоторых реализациях настоящего изобретения получение и/или отправка данных осуществляется с использованием нескольких технологий, описанных выше, или технологий приема/передачи данных, которые будут изобретены после подачи заявки на настоящее изобретение.
Запись видеоданных может производиться на жесткий диск (Hard Disk Drive, HDD), карту памяти (Memory Card), твердотельный диск (Solid State Drive, SSD) с различной организацией, такой как хранилище с прямым подключением (Direct Attached Storage, DAS), хранилище с сетевым подключением (Network Area Storage, NAS), RAID-массив дисков (Redundant Array of Independent Disks, RAID), диспетчер логических томов (Logical Volume Manager, LVM).
Сервер может быть отдельным физическим (выделенным) компьютером или виртуальным, то есть не ограничен реализацией, физической конфигурацией или географическим положением аппаратного обеспечения. В частности, сервер может представлять собой множество компьютеров, объединенных в единый облачный сервер.
Сервер и, по крайней мере, один источник видеоданных могут быть объединены в едином аппаратном и/или программном обеспечении.
Отображение результата рендеринга производится через цифрой интерфейс передачи видео High-Definition Multimedia Interface (HDMI), HD-SDI или Low Voltage Differential Signaling (LVDS), сетевой интерфейс Fast Ethernet или Gigabit Ethernet,
По крайней мере, один монитор может быть виртуальным, то есть отображение видеоданных может производиться на виртуализированном оборудовании, не ограниченном реализацией, физической конфигурацией или географическим положением аппаратного обеспечения. Например, виртуальный монитор может быть реализован в виде (соответствовать) видеостены, состоящей из множества мониторов. Виртуальный монитор может быть реализован в виде (соответствовать) группы мониторов различных пользователей (операторов) ситуационного центра.
Специалисту в данной области очевидно, что конкретные варианты осуществления способа отображения масштабных сцен в режиме реального времени были описаны здесь в целях иллюстрации, допустимы различные модификации, не выходящие за рамки и сущность объема изобретения.

Claims (41)

1. Способ отображения масштабных сцен в режиме реального времени, включающий следующие шаги:
- получают видеопоток кадров из одной или более групп видеокамер, причем каждая группа имеет мастер-видеокамеру для синхронизации по параметрам съемки, снимающих требуемую сцену и расположенных на заранее заданных фиксированных позициях или на вычисленных позициях;
- проводят реконструкцию динамических элементов 3D модели сцены на основе полученного видеопотока кадров так, что статическая модель дополняется новыми объектами вместе с попиксельной привязкой текстурных координат к кадрам в наборе;
- формируют и накладывают текстуры объектов на 3D модель сцены в реальном времени;
- выставляют ракурсы отображения 3D модели сцены;
- проводят рендеринг 3D модели сцены в соответствии с конфигурацией устройств отображения;
- выводят результат рендеринга на по меньшей мере одно устройство отображения.
2. Способ по п. 1, характеризующийся тем, что после получения кадров с нескольких видеокамер проводят их комбинирование для получения кадра объекта целиком.
3. Способ по п. 1, характеризующийся тем, что для группы видеокамер известно их взаимное расположение и направление съемки в любой момент времени.
4. Способ по п. 1, характеризующийся тем, что направление съемки видеокамер выбирается исходя из необходимости покрыть некоторую сцену, на которой расположены как неподвижные, так и подвижные объекты.
5. Способ по п. 1, характеризующийся тем, что по меньшей мере две камеры в группе синхронизируются по экспозиции, балансу белого и частоте кадров в секунду в выдаваемом изображении.
6. Способ по п. 1, характеризующийся тем, что по меньшей мере две камеры могут регистрировать изображения последовательно с разными настройками.
7. Способ по п. 1, характеризующийся тем, что возможна одновременная работа по меньшей мере двух видеокамер с различными параметрами и настройками объективов, например фокусное расстояние, диафрагма, не ограничиваясь этим.
8. Способ по п. 1, характеризующийся тем, что возможна одновременная работа видеокамер, работающих в различном разрешении и с различной частотой кадров.
9. Способ по п. 1, характеризующийся тем, что после получения кадров с нескольких видеокамер проводят стыковку изображений по меньшей мере двух камер для получения панорамного вида и/или для получения изображения объекта, который не снимается одной камерой.
10. Способ по п. 1, характеризующийся тем, что составляют статическую и/или динамическую модель на основе данных, полученных от видеокамер, расположенных на заранее заданных фиксированных позициях или на вычисленных позициях.
11. Способ по п. 1, характеризующийся тем, что предварительно составляют статическую 3D модель сцены в другом приложении, предназначенном для 3D моделирования.
12. Способ по п. 1, характеризующийся тем, что при реконструкции динамических элементов трехмерной модели сцены отделяют объекты от их фона на основании данных о цветах и яркости объектов или фона для моделирования разных планов сцены.
13. Способ по п. 1, характеризующийся тем, что при реконструкции динамических элементов трехмерной модели сцены выделяют объекты с использованием данных с нескольких видеокамер при помощи алгоритмов стереозрения.
14. Способ по п. 1, характеризующийся тем, что при реконструкции динамических элементов трехмерной модели сцены получают карты глубин всей или части сцены при помощи алгоритмов стереозрения.
15. Способ по п. 1, характеризующийся тем, что при наложении текстуры на трехмерную модель сцены проводят комбинирование фрагментов текстур из нескольких камер.
16. Способ по п. 1, характеризующийся тем, что при наложении текстуры на трехмерную модель сцены совмещают текстуры одного объекта по меньшей мере двух камер в одну текстуру объекта.
17. Способ по п. 1, характеризующийся тем, что при выставлении ракурсов отображения модели доступен ручной или автоматический режим выбора.
18. Способ по п. 18, характеризующийся тем, что в автоматическом режиме ракурс задается на основе данных от внешних датчиков.
19. Способ по п. 18, характеризующийся тем, что в ручном режиме пользователь самостоятельно меняет ракурс в процессе работы системы в конфигурируемых пределах ограничений модели.
20. Способ по п. 1, характеризующийся тем, что при проведении рендеринга трехмерной модели проводят рендеринг для по меньшей мере двух ракурсов одновременно.
21. Способ по п. 1, характеризующийся тем, что при проведении рендеринга трехмерной модели сцены проводят рендеринг, используя существующие технологии рендеринга например, Z-буфер, сканлайн, трассировка лучей, глобальное освещение, но не ограничиваясь.
22. Способ по п. 1, характеризующийся тем, что при выводе результата рендеринга добавляют в созданную модель сцены дополнительные элементы, которые отсутствовали на первоначальных кадрах изображений.
23. Способ по п. 1, характеризующийся тем, что при выводе результата рендеринга изменяют существующие элементы сцены.
24. Способ по п. 1, характеризующийся тем, что при выводе результата рендеринга добавляют смоделированные дополнительно погодные явления.
25. Система отображения масштабных сцен в режиме реального времени, включающая:
- одну или более групп видеокамер, синхронизированных по параметрам съемки, при этом видеокамеры выполнены с возможностью передачи данных на компьютерную систему и синхронизированы по параметрам съемки при помощи мастер-видеокамеры;
- по крайней мере одну мастер-видеокамеру в каждой из вышеупомянутых групп видеокамер, выполненную с возможностью передачи данных на компьютерную систему;
- компьютерную систему, включающую:
(i) одно или более устройств обработки команд;
(ii) одно или более устройств хранения данных;
(iii) одну или более программ,
где одна или более программ хранятся на одном или более устройствах хранения данных и исполняются на одном и более устройствах обработки команд, причем одна или более программ включают инструкции для выполнения способа по п. 1.
26. Система по п. 25, дополнительно включающая по крайней мере одну отдельную видеокамеру для получения вида сцены с независимыми параметрами съемки, выполненную с возможностью передачи данных на компьютерную систему.
27. Система по п. 25, дополнительно включающая по крайней мере один дисплей для отображения результирующего изображения.
28. Система по п. 25, дополнительно включающая по крайней мере одну камеру глубины для получения карты глубин при реконструкции динамических элементов трехмерной модели.
RU2015101179A 2015-01-16 2015-01-16 Способ и система отображения масштабных сцен в режиме реального времени RU2606875C2 (ru)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2015101179A RU2606875C2 (ru) 2015-01-16 2015-01-16 Способ и система отображения масштабных сцен в режиме реального времени

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2015101179A RU2606875C2 (ru) 2015-01-16 2015-01-16 Способ и система отображения масштабных сцен в режиме реального времени

Publications (2)

Publication Number Publication Date
RU2015101179A RU2015101179A (ru) 2016-08-10
RU2606875C2 true RU2606875C2 (ru) 2017-01-10

Family

ID=56612538

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2015101179A RU2606875C2 (ru) 2015-01-16 2015-01-16 Способ и система отображения масштабных сцен в режиме реального времени

Country Status (1)

Country Link
RU (1) RU2606875C2 (ru)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU188093U1 (ru) * 2018-10-31 2019-03-28 Общество с ограниченной ответственностью "Биганто" Сканер для получения панорамных снимков и трехмерных моделей окружающего пространства
WO2021119272A1 (en) * 2019-12-13 2021-06-17 Sony Group Corporation Rendering back plates
US11647177B2 (en) 2018-03-30 2023-05-09 Interdigital Madison Patent Holdings, Sas Method, apparatus and stream for volumetric video format
RU2807582C2 (ru) * 2018-03-30 2023-11-16 ИНТЕРДИДЖИТАЛ ВиСи ХОЛДИНГЗ, ИНК. Способ, устройство и поток для формата объемного видео

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274353B (zh) * 2023-11-20 2024-02-20 光轮智能(北京)科技有限公司 合成图像数据生成方法、控制装置及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030043270A1 (en) * 2001-08-29 2003-03-06 Rafey Richter A. Extracting a depth map from known camera and model tracking data
US20080181486A1 (en) * 2007-01-26 2008-07-31 Conversion Works, Inc. Methodology for 3d scene reconstruction from 2d image sequences
RU2421933C2 (ru) * 2009-03-24 2011-06-20 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Система и способ формирования и воспроизведения трехмерного видеоизображения
US20140015832A1 (en) * 2011-08-22 2014-01-16 Dmitry Kozko System and method for implementation of three dimensional (3D) technologies

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030043270A1 (en) * 2001-08-29 2003-03-06 Rafey Richter A. Extracting a depth map from known camera and model tracking data
US20080181486A1 (en) * 2007-01-26 2008-07-31 Conversion Works, Inc. Methodology for 3d scene reconstruction from 2d image sequences
RU2421933C2 (ru) * 2009-03-24 2011-06-20 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Система и способ формирования и воспроизведения трехмерного видеоизображения
US20140015832A1 (en) * 2011-08-22 2014-01-16 Dmitry Kozko System and method for implementation of three dimensional (3D) technologies

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11647177B2 (en) 2018-03-30 2023-05-09 Interdigital Madison Patent Holdings, Sas Method, apparatus and stream for volumetric video format
RU2807582C2 (ru) * 2018-03-30 2023-11-16 ИНТЕРДИДЖИТАЛ ВиСи ХОЛДИНГЗ, ИНК. Способ, устройство и поток для формата объемного видео
RU188093U1 (ru) * 2018-10-31 2019-03-28 Общество с ограниченной ответственностью "Биганто" Сканер для получения панорамных снимков и трехмерных моделей окружающего пространства
WO2021119272A1 (en) * 2019-12-13 2021-06-17 Sony Group Corporation Rendering back plates

Also Published As

Publication number Publication date
RU2015101179A (ru) 2016-08-10

Similar Documents

Publication Publication Date Title
CN108648257B (zh) 全景画面的获取方法、装置、存储介质及电子装置
EP2731082B1 (en) System and method of real time image playback
JP6599436B2 (ja) ユーザ選択可能な新規ビューを生成するためのシステムおよび方法
EP3631602B1 (en) Methods and systems for customizing virtual reality data
TWI547901B (zh) 模擬立體圖像顯示方法及顯示設備
CN109510975B (zh) 一种视频图像的提取方法、设备及***
RU2606875C2 (ru) Способ и система отображения масштабных сцен в режиме реального времени
US10255949B2 (en) Methods and systems for customizing virtual reality data
TWI813098B (zh) 用於新穎視圖合成之神經混合
CN112446939A (zh) 三维模型动态渲染方法、装置、电子设备及存储介质
US20190206138A1 (en) Methods and Systems for Generating a Customized View of a Real-World Scene
EP3057316B1 (en) Generation of three-dimensional imagery to supplement existing content
WO2022018454A1 (en) Method and system for generating a target image from plural multi-plane images
CN110096144B (zh) 一种基于三维重建的交互全息投影方法及***
JP6799468B2 (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
CN110870304A (zh) 向用户提供信息以观察多视图内容的方法和装置
Kuchelmeister et al. Affect and place representation in immersive media: The Parragirls Past, Present project
Kim et al. 3-d virtual studio for natural inter-“acting”
EP3716217A1 (en) Techniques for detection of real-time occlusion
KR20210090180A (ko) 화상 처리 디바이스, 화상 처리 방법, 프로그램, 및 표시 디바이스
Chen et al. A quality controllable multi-view object reconstruction method for 3D imaging systems
Ferreira et al. Reconstructing Conimbriga digital cantaber
US11682175B2 (en) Previsualization devices and systems for the film industry
CN111063034B (zh) 一种时域交互方法
Bhowmik et al. I1. 3: Invited Paper: Immersive Applications based on Depth‐Imaging and 3D‐Sensing Technology

Legal Events

Date Code Title Description
MM4A The patent is invalid due to non-payment of fees

Effective date: 20200117

NF4A Reinstatement of patent

Effective date: 20201106