RU2612378C1 - Способ замены объектов в потоке видео - Google Patents

Способ замены объектов в потоке видео Download PDF

Info

Publication number
RU2612378C1
RU2612378C1 RU2015139234A RU2015139234A RU2612378C1 RU 2612378 C1 RU2612378 C1 RU 2612378C1 RU 2015139234 A RU2015139234 A RU 2015139234A RU 2015139234 A RU2015139234 A RU 2015139234A RU 2612378 C1 RU2612378 C1 RU 2612378C1
Authority
RU
Russia
Prior art keywords
camera
image
orientation parameters
images
camera orientation
Prior art date
Application number
RU2015139234A
Other languages
English (en)
Inventor
Жан-Люк АФФАТИКАТИ
Original Assignee
ДиджитАрена СА
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ДиджитАрена СА filed Critical ДиджитАрена СА
Application granted granted Critical
Publication of RU2612378C1 publication Critical patent/RU2612378C1/ru

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/40—Hidden part removal
    • G06T15/405—Hidden part removal using Z-buffer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N5/2723—Insertion of virtual advertisement; Replacing advertisements physical present in the scene by virtual advertisement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Изобретение относится к обработке изображений, в частности к способу замены объектов в потоке видео. Техническим результатом является предоставление вставки заменяющих изображений в поток видео без необходимости получения и передачи параметров камеры через сенсорное оборудование, установленное на штативе камер и без необходимости в статической модели реальной окружающей среды. Указанный технический результат достигается тем, что создается стереоскопическое изображение поля, которое служит для измерения расстояния от камеры и для определения объектов переднего плана, объектов заднего плана и перекрывающих объектов. Стереоскопическое изображение может быть предоставлено 3D камерой, или оно может быть создано с помощью сигнала, исходящего от одной или нескольких камер. Текстура объектов, подлежащих замене, может быть статической или динамической. Способ не требует никакого особенного оборудования для отслеживания положения камеры, и он может быть использован для содержимого прямых трансляций, а также архивного материала. Изобретение использует преимущество исходного материала, подлежащего замене, в конкретном случае, когда объект, подлежащий замене, заполнен электронным образом. 3 н. и 18 з.п. ф-лы, 8 ил.

Description

Настоящее изобретение относится к обработке изображений и более конкретно к способу замены объектов в потоке видео, а также к компьютерной программе для выполнения способа.
Более конкретно, способ направлен на обнаружение и идентификацию объектов, подлежащих замене в потоке видео, и их замену заменяющим изображением или последовательностью изображений. Типичное применение настоящего способа может быть использовано во время прямой трансляции спортивных событий для замены рекламных изображений, появляющихся на щитах, по периметру окружающих поле или другие области на месте проведения. Это обеспечивает доставку нескольких рекламных объявлений, появляющихся в этих областях, при трансляции в различные места.
Виртуальная вставка, дополненная реальность и замена изображений представляли собой область исследований на протяжении последних 15 лет. Много различных способов было предложены для того, чтобы сделать виртуальные изображения как можно более реалистичными и естественными, принимая во внимание необходимость замены движущихся объектов, перекрывающих изображения переднего плана.
Существующие технологии могут быть разделены на четыре основные группы:
• для отслеживания оборудования камеры;
• для распознавания ориентиров;
• для ручного выбора объекта или области, подлежащих замене;
• для предшествующего распознавания изображения, подлежащего замене.
Такие технологии страдают от недостатков, делающих их или непрактичными, или ненадежными, особенно в прямой трансляции. Подразумевается, что замена изображений должна увеличивать доходы от спонсоров или рекламы, поэтому способы должны гарантировать работоспособность в различных случаях так, чтобы обеспечивать регулярные поступления. Однако существующие решения имеют серьезные недостатки.
Камеры слежения со штативами, использующие измерительное оборудование, могут только оказаться на месте события и требуют специального оборудования и операторов. Многие режимы вещания не могут позволить таких затрат на отслеживание.
Свободный обзор камеры, запрашиваемый для освещения игры, не гарантирует, что на запечатленном изображении будет виден какой-либо ориентир. Распознавание ориентиров может быть применено только для некоторых камер и некоторых кадров.
Ручное взаимодействие, особенно нанесение отметок в области замены на видеоизображении, занимает слишком много времени, чтобы использоваться в прямых трансляциях. Оно влечет задержку в несколько секунд, что является непрактичным.
Способы распознавания изображений применяют для распознавания объектных образов в запечатленном изображении. Эволюция динамической рекламы (размещение полнокадрового видео на рекламных щитах, периметрах, экранах и т. д.) делает эти способы устаревшими, поскольку изображение, подлежащее замене, как правило, предсказать нельзя.
Большинство существующих работ основаны на системах позиционирования камеры (головки слежения, GPS, основанные на линзах измерения) и/или видимые ориентиры (часто линии и фигуры на игровом поле).
Например, это имеет место в следующих документах.
WO 97/00581A1: требует, чтобы было видно по меньшей мере три ориентира.
WO 2009/018135A1: определение положения объектов на основе GPS с адаптацией 3D модели объекта.
US 7230653 B1: способ, основанный на слежении и сенсорной телеметрии с помощью GPS и измерения, указывающего на направление линзы; кроме того, этот патент определяет изображение по статической опорной CAD-модели, что делает его непрактичным для замены на LED-стендах.
Некоторые способы включают процесс ручной идентификации объектов, что делает их непрактичными для событий в реальном времени и замены нескольких объектов (например, щитов, окружающих периметр).
US 7689062 B2: внедрение контейнеров в сегменты исходного видео; это представляет собой чистый процесс последующей обработки, который не может быть использован в трансляции событий в реальном времени.
US 2010067865 A1: требуется выбранная пользователем область ввода, что делает его несоответствующим для событий в реальном времени, когда автоматическое определение областей должно быть выполнено в реальном времени.
Прошлые способы, когда содержимое расположенных по периметру щитов было статическим, не соответствуют требованиям динамического содержимого современных LED-стендов. Все эти способы требуют постоянной идентификации статических изображений, подлежащих замене.
US 7116342 B2 описывает способ, который основан на модели разделения цветов для идентификации, хранения и индексирования интересующих областей и таким образом не может быть использован с динамическим содержимым расположенных по периметру щитов.
При нахождении расположенных по периметру щитов в основном поле зрения камер во время игры способы, находящие области наименьшей важности для зрителей и за пределами игрового поля, попросту несущественны; это касается способа, раскрытого в GB 2416949 A, который фокусируется за пределами областей игры и продолжается за пределами самой игры.
Некоторые другие способы не применимы для объектов заднего плана видеоизображений, поскольку они сосредоточены на переднем плане. Например, в WO 2010067350 A1, определяются объекты переднего плана в потоке видео для добавления виртуальных вставок.
Камеры, используемые в современном телевизионном вещании новостей и спортивных событий, становятся быстрее и легче. Вещание становится все более мобильным, будучи освобожденным от тяжелых штативов. Положения камер и параметры камер могут меняться все чаще во время записи и больше не приемлемо сталкиваться с экономическими и функциональными ограничениями неподвижных камер с оборудованием слежения.
Нашу ежедневную жизнь заполоняет все больше и больше рекламных экранов. Эти экраны, изначально ограниченные статичным содержимым, постепенно перешли к вращающимся баннерам, а затем — к динамически подаваемому электронному содержимому. С помощью способов, раскрытых из предыдущего уровня техники, заменить электронное динамическое содержимое невозможно. В то же время расположение электронных экранов пользуется преимуществом наиболее выгодных рекламных пространств внутри телевизионной подачи.
Замена изображений должна быть доступна для прямых трансляций, повторов или даже исторических материалов. Это означает, что если на месте события требуется какое-либо специальное аппаратное обеспечение, то архив, записанный без этого элемента оборудования, может просто не быть использован для замены изображений. Применение чистых технологий машинного зрения (не требующих на месте никакого специального аппаратного обеспечения) делает замену изображений применимой к операциям в реальном времени и/или последующей обработке и архивным материалам.
Целью настоящего изобретения является устранение вышеупомянутых недостатков и предоставление способа вставки заменяющих изображений в поток видео без необходимости получения и передачи параметров камеры через дорогое сенсорное оборудование, установленное на штативе камер и без необходимости в статической модели реальной окружающей среды.
Другой целью настоящего изобретения является предоставление способа, который может быть применен для осуществления прямых трансляций, а также для последующей обработки, когда имеется доступ только к записанным изображениям. Предложенный способ адаптирован для замены динамических изображений, появляющихся на объектах заднего плана, таких как располагающиеся по периметру щиты или доски объявлений, имеющие динамическое содержимое.
Еще одной целью настоящего изобретения является предоставление компьютерной программы для осуществления способа. Компьютерная программа может быть представлена на среде записи или средстве связи. Каждый из среды записи и средства связи может предоставлять компьютерную программу машиночитаемым образом для компьютерной системы общего назначения, выполняющей множество программных кодов. С компьютерной программой, представленной машиночитаемым образом, компьютерная система выполняет процессы с учетом компьютерной программы.
Для этого целью настоящего изобретения является предоставление способа для создания представления видеоизображения, идентичного тому, которое увидел бы глаз человека, путем создания стереоскопического 3D изображения, как делает мозг человека. Используя стереоскопическую 3D интерпретацию изображения, предложенный способ может определять фактическое положение в изображении объектов, подлежащих замене, и возможных объектов переднего плана, перекрывающих настоящие объекты заднего плана.
Этой цели достигают с помощью способа, отличающегося этапами, представленными в пунктах 1 и 8 формулы изобретения.
Основными преимуществами раскрытого способа является то, что он не требует дорогого оборудования слежения на штативах камер; он может быть использован или для событий в реальном времени, или для записанных изображений; и он может заменять динамическое или статическое содержимое.
Дополнительные преимущества изобретения будут понятны на основании признаков, перечисленных в зависимых пунктах формулы изобретения, и из следующего подробного описания.
Теперь настоящее изобретение будет описано подробно со ссылкой на сопутствующие графические материалы, на которых:
фиг. 1 – изображение обычной трансляции в реальном времени спортивного события на месте события;
фиг. 2 – блок-схема, описывающая процесс замены изображения, когда доступны две подачи с камеры;
фиг. 3 – блок-схема, описывающая процесс замены изображения, когда доступна только одна подача с камеры;
фиг. 4 – блок-схема, описывающая процесс замены изображения, когда доступно электронное представление целевого изображения, подлежащего замене;
фиг. 5 – блок-схема, описывающая процесс замены изображения, когда подача с камеры идет в режиме 3D;
фиг. 6 – блок-схема, показывающая процесс получения информации камеры;
фиг. 7 – блок-схема, показывающая создание стереоскопического изображения, служащего для идентификации объектов переднего плана и заднего плана, информации положения и глубины, когда доступны две подачи с камеры;
фиг. 8 – блок-схема, показывающая создание стереоскопического изображения, служащего для идентификации объектов переднего плана и заднего плана, информации положения и глубины, когда доступна только одна подача с камеры.
Со ссылкой на фиг. 1 представлена обычная прямая спортивная трансляция события со стадиона или спортивной площадки. Обычное поле 1 для игры в футбол схематически представлено с движущимися по нему игроками a, b, c. Поле окружено расположенными по периметру щитами или электронными досками 2 объявлений, на которых могут быть отображены статические или динамические рекламные изображения. В обычном случае прямой трансляции имеется по меньшей мере две основные камеры 3, 4, непрерывно записывающие игру, тогда как еще одну камеру 5 (здесь и далее называемая камерой PGM) выводит в эфир режиссер трансляции. Часть целевого изображения, расположенные по периметру щиты 1, 2, видна в поле зрения каждой камеры. Нижнее левое уменьшенное изображение представляет точку зрения камеры 3; нижнее центральное уменьшенное изображение представляет точку зрения камеры 4; а нижнее правое изображение представляет то, что видно через камеру PGM. Некоторые игроки a, b частично перекрывают целевое изображение, тогда как в поле зрения PGM видна лишь часть перекрывающих объектов, как видно с двух других камер 3,4.
В кратком изложении способ согласно настоящему изобретению для замены объекта в потоке видео состоит из следующих этапов:
- создания стереоскопического изображения места действия;
- идентификации параметров камеры из видеоизображения;
- идентификации объекта, подлежащего замене в изображении;
- вычисления контура перекрывающих объектов;
- создания изображения заменяющего объекта с маской для него;
- наложения сгенерированного изображения на оригинальное изображение.
В способе, основанном на стереоскопическом машинном зрении, создают стереоскопическое 3D представление изображения (изображений) камеры, как при обработке стереоскопического зрения человека. Затем идентифицируют объекты с перспективным представлением и заменяют объекты в рамках желаемого содержимого, одновременно соблюдая глубину видимости новых объектов. Используя этот способ, можно преодолеть недостатки предыдущего уровня техники, которые обычно требуют дорогого оборудования отслеживания камеры. Кроме того, способ можно применять в среде реального времени или последующей обработки, и он работает с динамическим содержимым внутри изображений.
Стереоскопическое 3D представление создают двумя различными способами.
Стереоскопическое человеческое 3D представление текущего изображения создают из передач по меньшей мере с двух камер. Этот способ использует алгоритмы триангуляции камер.
В случае последующей обработки или когда доступна только одна подача с камеры, стереоскопическое 3D представление получают путем реконструкции пространственного окружения с помощью техник анализа изображения.
Используя стереоскопическое 3D представление изображения, способ определяет положение в изображении объекта, подлежащего замене, и возможные объекты переднего плана, перекрывающие объект заднего плана.
Обработка пиксельных различий между смоделированным изображением и реальным определяет область, в которую помещают маску для создания заменяющего изображения.
Предлагаются следующие способы замены объектов в потоке видео.
Наличие по меньшей мере одной двойной телевизионной подачи, двух или более камер, на месте события для создания стереоскопического 3D представления и таблицы глубины, служащей для расчета маски перекрытия для других объектов, помещаемых на переднем плане объекта, подлежащего замене. Способ описан здесь с двумя камерами, что является требующимся минимумом, но он также применим, когда доступно больше камер. Этот способ будет более подробно описан относительно фиг. 2.
Интерполирование стереоскопического изображения и создание таких же таблицы объектов и таблицы глубины для одной передачи, или изображения одной камеры. Этот способ описан относительно фиг. 3.
Дополнительный способ использует ранее вычисленное изображение объекта, подлежащего идентификации. Этот способ основан на различиях между тем, что фактически находится на изображении, и тем, что должно быть на нем без перекрывающих объектов. Этот способ имеет дело с динамической природой объектов, подлежащих замене. Он в принципе подобен замене статического изображения, но когда статическое изображение меняет каждое поле или кадр.
Четвертый способ состоит из сопоставления исходного динамического изображения, подлежащего замене, с записанным камерой изображением для определения пикселей, подлежащих замене. Наконец, процесс также приспособлен для случая высокопроизводительных камер, или в прямой трансляции, или в повторе.
С поступлением содержимого 3D камеры (камер) стереоскопическую информацию преобразуют прямо в стереоскопическое представление.
Настоящее изобретение применимо к любому формату камеры. Это включает потребительские форматы, а также вещательные форматы (SD, HD, 4K или наследующие их). Большее количество пикселей в формате приведет даже к более четкой трансформации.
Несколько процессов, представленных на чертежах, встроены в непрерывный поток операций, анализирующий поток видео изображение за изображением (или кадр за кадром, или поле за полем) и создающий опорные базы для нескольких камер и объектов.
Теперь будут описаны различные этапы способа, его различные процессы и расчеты.
В отношении различных способов, описанных выше, некоторые общие концепции применимы для различных вариантов изобретения и будут кратко описаны.
Концепция стереоскопического изображения, а также ее эквивалентный бинокуляр относятся к двум или более входящим сигналам, представляющим различные перспективы места действия или события, при этом эти входящие сигналы приходят от камеры или другого источника изображения. Варианты осуществления настоящего изобретения, требующие двух камер, равно применимы с любым большим числом камер.
Для осуществления способа потребуются различные элементы в зависимости от выбранного способа. Первый из них – это идентификация камеры, чтобы построить таблицу камер, в которой каждый раз при идентификации камеры сохраняют ее параметры, в основном координаты (x, y, z) и по меньшей мере некоторые из следующих параметров: панорамирование, наклон, детализация и фокус. Параметры камеры получают из анализируемых изображений, а не из внешних сигналов, таких как датчики, связанные со штативом камеры. Существующие технологии обнаружения машинного зрения применяют для определения положения (x, y, z) камеры, а также ее параметров. Технология обнаружения основана на идентификации геометрических элементов, линий, кругов, границ, углов, поверхностей и инвариантных точек. Матрица перспективного преобразования, построенная для сопоставления идентифицированных элементов с их представлением на изображении, определяет желаемые параметры камеры.
Объекты обнаруживают и помещают в полевом представлении, используя известные способы триангуляции камеры. Две разные камеры, снимающие один и тот же объект, обеспечат различные изображения, раскрывающие положение объекта.
В этом отношении процесс триангуляции камеры подобен человеческой обработке стереоскопического зрения, предоставляющей сознанию информацию о рельефе или глубине на основании разницы перспективы между двумя глазами. Сравнение двух изображений с двух разных камер позволяет извлекать объекты из двух разных изображений и определять контуры каждого объекта, внутренние пиксели и расстояние до камеры.
Когда изображение получено и обработано, определяют область заднего плана путем вычисления разницы между двумя последовательными изображениями одной последовательности с помощью известных алгоритмов обнаружения заднего плана. Подходящие способы, приспособленные для обнаружения заднего плана, для цели настоящего изобретения раскрыты в следующем документе: “Background subtraction techniques: a review” 2004 IEEE International Conference on Systems, Man и Cybernetics 0-7803-8566-7/04/© 2004 IEEE.
Что касается обнаружения перемещения камеры, разница представления между двумя последовательными изображениями последовательности является широко исследованной областью, предоставляющей множество способов и алгоритмов, как изложено в “Performance characterization of video-shot-change detection methods ” IEEE TRANSACTIONS ON CIRCUITS и SYSTEMS FOR VIDEO TECHNOLOGY, том 10, № 1, февраль 2000.
Когда параметры камеры были обновлены между двумя изображениями и обнаружен задний план, остальные пиксели изображения образуют объекты переднего плана. Дифференциальный анализ объектов переднего плана между двумя изображениями применяют и используют для обновления 3D модели объекта и расстояний до камеры.
В следующем описании также будет использовано понятие таблицы глубины. Как используется в настоящем изобретении, таблица глубины представляет собой собрание пикселей с одинаковым или эквивалентным значением z для текущих изображения и камеры. Пиксели с одинаковой глубиной группируют в объекты, создавая таблицу объектов, причем глубина объекта связана с ней для изображения определенной камеры.
Как правило, значение глубины для пикселя преобразуют в уровень серого, который может быть закодирован в 0-255 или даже большее значение. Таблица глубины фактически представляет собой изображение, состоящее из связанных значений серого реального изображения, чем темнее, тем дальше.
Таблица глубины (или z-таблица), полученная из стереоскопической или 3D камеры, может быть импортирована в таблицу глубины. То же самое касается и объектов переднего плана, определенных в процессе обнаружения переднего плана.
Описание изобретения иногда относится к стереоскопическому представлению или стереоскопическому изображению места действия. Это представление места действия, видимое с камер, включая все объекты, видимые с этой точки зрения. Объекты представлены как расстояние от камеры, набор пикселей, составляющих объект, положение в поле и его моделирующие и динамические параметры.
Стереоскопическое представление, таким образом, содержит собрание таблиц глубины для всех объектов переднего плана, параметры камеры и объект заднего плана.
Для объекта или зоны, подлежащих замене, держат дополнительные параметры, включая точную геометрическую 3D модель зоны, как ее видно из камеры (камер).
Для замены части изображения в конце процесса замены вводят понятие маски замены. Перекрытие происходит, когда имеется объект на переднем плане, частично перекрывающий область, подлежащую замене, на заднем плане.
Расчет перекрытия основан на стереоскопическом представлении. Маска перекрытия ограничена видимой камерой частью объекта, подлежащего замене, рассчитанной как внешний контур 3D модели объекта, как это видит камера. Это называют маской замены.
Для каждого одного объекта, хранимого в стереоскопическом изображении, часть объекта, включенная в маску замены, фактически перекрывает объект, подлежащий замене. Следовательно, маска перекрытия представляет собой сумму пересечения перекрывающих объектов с маской замены.
Сумму вычисляют (сортируют) по убывающему расстоянию до камеры. Это подобно наложению слоев в технологии создания изображений. Наложение слоистых объектов поверх маски создает одновременно контур маски и пиксели маски.
На фиг. 2 представлен процесс замены изображения, когда доступны две подачи с камеры; это случай прямой трансляции с места события. До события получают карту камеры, включающую предопределенное положение камеры или оси камеры в случае движущихся камер, таких как пауковая камера, и вводят в начальные установки системы. Во время всего события система получает изображения, производимые двумя основными камерами 3, 4. Обращаясь к фиг. 2, имеется цикл (этапы 101-105), обрабатываемый для каждого изображения.
Цикл начинается с получения изображений с каждой камеры 3, 4 на этапе 102, а также получения параллельно изображений с PGM камеры 5 на этапе 103.
С помощью изображений с камеры 3 и 4 на этапе 301 создают вид в перспективе места действия, подобный человеческому представлению бинокулярного зрения. Процесс для создания вида в перспективе будет подробнее описан со ссылкой на фиг. 6.
Параллельно с этапом 301 анализируют изображение PGM камеры 5, чтобы извлечь параметры камеры (или ориентацию камеры) на этапе 1031, позволяющие определить положение (x, y, z) PGM камеры, а также ее направление (панорамирование, наклон, детализация и фокус).
Используя стереоскопическое изображение и параметры ориентации PGM камеры, на этапе 1021 вычисляют точку зрения PGM камеры.
Из положения камеры объекты, идентифицированные как возможное перекрытие в виде в перспективе, созданном на этапе 301, пересчитывают на этапе 1022 и создают таблицу глубины для каждого объекта. Таблица глубины содержит контурную информацию обнаруженных объектов, а также, для каждого объекта в поле зрения камеры, расстояние до камеры (глубину или z-таблицу).
Целевое изображение и объекты переднего плана затем идентифицируют на этапе 1023. Контурную информацию объектов переднего плана затем используют для вычисления маски перекрытия на этапе 1024. Эта маска представляет собой представление (3D изображение) объекта, подлежащего замене, минус объекты в поле зрения, имеющие более низкое z, чем у объекта.
Затем вычисляют задний план заменяющего изображения с помощью положения PGM камеры на этапе 1032, и маску перекрытия накладывают на него, так что объект замены изображения накладывают как дополнительный слой на изображение с камеры PGM на этапе 104. Процесс затем продолжается со следующим изображением на этапе 105.
На фиг. 3 представлен процесс замены изображения, когда доступна только одна подача с камеры. Это может быть, например, видео в реальном времени, получаемое в вещательной студии, или записанное событие. Этот процесс подобен предыдущему случаю, описанному относительно фиг. 2, но отличается на двух этапах.
Поскольку доступна только одна подача с камеры, этап 102 предыдущего процесса двойной подачи удален. Создание вида в перспективе на этапе 301 фиг. 2 заменяют этапом 301bis, который создает вид в перспективе с помощью изображений, полученных из одной подачи. Процесс 301bis будет более подробно описан со ссылкой на фиг. 8. Другие этапы идентичны представленным на фиг. 2.
На фиг. 4 представлена блок-схема альтернативного процесса основного процесса замены изображения, как описано со ссылкой на фиг. 2. Фиг. 4 относится к случаю, в котором доступно электронное представление изображения, подлежащего замене. В этом случае нет необходимости создавать таблицу глубины объектов, а также вычислять контурную информацию и идентифицировать целевые объекты и объекты переднего плана, таким образом, обходя этапы 102, 1021, 1022, 1023 и 301, представленные на фиг. 2 и 3. Обрабатывают реальный вид целевого изображения, равно как обрабатывают и область в изображении, соответствующем целевому, на этапе 1025. Затем задний план целевого изображения вычисляют как комбинацию исходного изображения и параметров PGM камеры, ориентации камеры (этап 1026). Применяемая маска, вычисляемая на этапе 1024, соответствует пиксельной разнице между записью камеры целевого изображения, полученного на этапе 1025, и задним планом целевого изображения, полученным на этапе 1026.
Упрощение процесса, представленного на фиг. 4, происходит, когда электронное представление изображения, подлежащего замене, может быть определено в изображении камеры. Используя распознавание образов машинного зрения, можно идентифицировать исходное изображение и его замену и перспективу в определяемой картинке. Нет необходимости вычислять параметры камеры, поскольку коррекция перспективы для исходного изображения и заменяющего изображения является такой же, что и обнаруженная из изображения камеры. Результатом является составление изображения заменяющего изображения в перспективе вместе с маской перекрытия, вычисленной как разница пикселей между идентифицированным изображением и его перспективным скорректированным источником.
Со ссылкой на фиг. 5 подача с камеры уже представлена в 3D. Каждая камера обеспечивает левое изображение, правое изображение и таблицу глубины. Процесс замены изображения упрощается с помощью этой стереоскопической информации, полученной прямо из подач с камеры. Процесс очень похож на описанный со ссылкой на фиг. 2, с той разницей, что он проходит для обоих изображений, левого и правого, как представлено на этапе 103bis, заменяющем этап 103, представленный на фиг. 2. Второе отличие состоит в том, что информацию глубины о перекрывающих объектах получают с камер и, следовательно, нет необходимости их вычислять. Все другие этапы идентичны описанным со ссылкой на фиг. 2.
Со ссылкой на фиг. 6 подробно представлен процесс получения информации камеры. Для каждого полученного на этапах 102 или 103 изображения определяют, произошла ли резкая смена кадра с предыдущим изображением. Когда нет резкой смены кадра между предыдущим изображением и текущим, процесс является чисто разностным, вычисление изменяется относительно предыдущего изображения. Если резкой смены кадра с предыдущим изображением не произошло, информация заднего плана и установки PGM камеры из предыдущего изображения используют для вычисления изменений заднего плана на этапе 204, а также для определения изменения параметров камеры (если имеются). Когда адаптированные параметры камеры были вычислены, новые параметры камеры сохраняют на этапе 206. Используя новые параметры камеры и информацию заднего плана, смещение объектов переднего плана вычисляют на этапе 2051, и для каждого объекта переднего плана обновляют таблицу глубины на этапе 2052.
Если происходит резкая смена кадра, таблица камеры служит для идентификации возможных совпадений между текущим изображением и хранящимися изображениями, соответствующими существующим прошлым положениям камеры. На этапе 202 способы распознавания образов, особенно для линий поля или известных элементов, применяют для нахождения точного сопоставления и идентификации правильной камеры на этапе 203. Необязательно, пользовательский ввод может быть запрошен для обеспечения лучшего и более быстрого сопоставления в форме определения опорной точки (точек).
Выход на этапе 203 должен установить новые параметры ориентации камеры (этап 206).
На фиг. 7 представлено создание (301) перспективного 3D изображения, служащего для идентификации объектов переднего и заднего планов, информации о положении и глубине, с помощью двух доступных подач с камеры.
Первый этап устанавливает ориентацию камеры для первой и второй камеры, используя процесс 201 в случае отсутствия резкой смены кадра, поскольку обе камеры всегда доступны и производят непрерывную подачу.
Когда эти ориентации камер установлены, PGM изображением используют для определения информации заднего и переднего планов (этапы 204, 2051 и 2052) для PGM камеры таким же образом, как это описано для этих процессов на фиг. 6.
На фиг. 8 представлен процесс 301bis установки вида в перспективе как варианта процесса 301 (представленного на фиг. 7) в случае отсутствия двойной подачи.
Процесс начинается с получения ориентации (210) камеры. Обнаружение резкой смены кадра в этой точке уже было выполнено как часть этапа 201.
Когда резкая смена кадра не обнаружена между предыдущим и текущим изображением, этапы процесса обнаружения заднего плана (204) и анализа переднего плана (2051) служат для обновления таблицы (2052) глубины. Эти этапы идентичны описанным на фиг. 6.
Когда резкая смена кадра обнаружена, процесс получает следующее изображение (этап 103). С помощью информации об ориентации камеры и анализа различий между текущим и следующим изображениями таблицу глубины восстанавливают (2052), используя конструкции заднего плана (204) и переднего плана (2051).
Стереоскопическое изображение устанавливают (302) как результат ориентации (210) камеры, информации заднего плана (204), информации о переднем плане (2051) и таблицы (2052) глубины.
Способы и процессы, представленные выше, также применимы к высокопроизводительным камерам, где доступна собственная 3D видеоподача. Когда видеосигнал уже в 3D, левое и правое изображения доступны вместе с таблицей глубины или z-протяженностью. Способ замены изображения использует преимущество этой дополнительной информации несколькими путями, которые сокращают вычислительные ресурсы, необходимые для осуществления замены изображения. Аналогично двойная подача с двух камер доступна, замененная левым и правым изображением, и информация о глубине встроена в видеосигнал, или, если нет, она может быть извлечена дифференциальным анализом между левым изображением и правым изображением.
Когда видеозапись имеется только в 2D, существуют способы 3D преобразования для предоставления 3D видеосигнала, берущие оригинальную подачу как левую камеру и создающие видеосигнал правой камеры. Этот процесс добавляет задержку в несколько секунд при обработке сигнала, но облегчает замену изображения и, следовательно, подходит для применения объекта способа согласно настоящему изобретению к записанному видео.
Этапы способов, описанных выше, могут быть осуществлены с помощью аппаратного обеспечения, программного обеспечения или их сочетания. Если этапы способа выполняют с помощью программного обеспечения, компьютерная программа с последовательностью этапов способа может быть установлена в памяти компьютера, созданного в специальном аппаратном обеспечении, или установлена в компьютере общего назначения, выполняющего множество процессов. Компьютерная программа может быть предварительно записана в запоминающей среде. Затем компьютерная программа может быть установлена на компьютер. Компьютерная программа может быть получена через сеть, такую как локальная сеть (LAN) или Интернет, и затем установлена во внутренней запоминающей среде, такой как жесткий диск.
Выше были раскрыты способы для замены объектов в потоке видео в реальном времени или в записи. Хотя изобретение было описано со ссылкой на конкретные варианты осуществления, описание представляет собой пример изобретения и не должно считаться ограничивающим изобретение. Специалистам в данной области техники могут быть понятны различные модификации без отклонения от объема изобретения, который определен прилагающейся формулой изобретения.

Claims (108)

1. Способ замены объектов в потоке видео, включающий:
получение одного или нескольких изображений по меньшей мере с одной камеры;
анализ одного или нескольких изображений для извлечения параметров ориентации камеры, при этом параметры ориентации камеры содержат по меньшей мере координаты х, у и z, а также направление камеры;
создание стереоскопического представления с помощью таблицы глубины для объектов, которые видны в камере, при этом таблица глубины определяет расстояние вдоль оси z от линзы камеры до каждого объекта в поле зрения камеры, при этом таблица глубины содержит множество пикселей, имеющих значения z, при этом пиксели группируют в объекты на основании значений z;
идентификацию объекта переднего плана, перекрывающего объект заднего плана, с помощью стереоскопического представления и таблицы глубины;
обнаружение контуров объекта переднего плана;
создание маски перекрытия с помощью контуров объекта переднего плана;
расчет заменяющего изображения с помощью параметров ориентации камеры; и
наложение маски перекрытия на заменяющее изображение.
2. Способ по п. 1, отличающийся тем, что стереоскопическое представление создают с помощью изображений, полученных по меньшей мере с двух камер.
3. Способ по п. 1, отличающийся тем, что установление параметров ориентации камеры включает:
хранение полученных изображений;
обнаружение того, произошла ли резкая смена кадра между текущим полученным изображением и предыдущим полученным сохраненным изображением;
при этом если не произошла резкая смена кадра, то
применение информации заднего плана и параметров ориентации камеры предыдущего изображения при сравнении текущего изображения и предыдущего изображения для вычисления изменений заднего плана и определения модификации параметров ориентации камеры;
вычисление информации заднего плана из изменений заднего плана и новых параметров ориентации камеры из модификации параметров ориентации камеры; и
вычисление смещения объекта переднего плана с помощью информации заднего плана и новых параметров ориентации камеры, а также обновление таблицы глубины для объекта переднего плана.
4. Способ по п. 2, отличающийся тем, что установление параметров ориентации камеры включает:
хранение полученных изображений;
обнаружение того, произошла ли резкая смена кадра между текущим полученным изображением и предыдущим полученным сохраненным изображением;
при этом если произошла резкая смена кадра, то
идентификацию правильной камеры из возможных совпадений видов текущего изображения и сохраненного изображения, соответствующих существующим прошлым положениям камеры, при этом правильная камера представляет собой камеру, которая имеет точное сопоставление; и
установку новых параметров ориентации камеры.
5. Способ по п. 1, отличающийся тем, что создание стереоскопического представления включает:
установку параметров ориентации камеры с помощью информации заднего плана и параметров ориентации камеры предыдущего изображения при сравнении текущего изображения и предыдущего изображения для вычисления изменений заднего плана и определения модификации параметров ориентации камеры;
вычисление смещения объекта переднего плана с помощью информации заднего плана и новых параметров ориентации камеры, а также обновление таблицы глубины для каждого объекта переднего плана.
6. Способ по п. 1, отличающийся тем, что создание стереоскопического представления, когда доступна лишь одна камера, включает:
получение параметров ориентации камеры;
обнаружение резкой смены кадра между текущим и предыдущим изображением;
при этом если резкая смена кадра не обнаружена, то
обнаружение информации заднего плана и переднего плана и обновление таблиц глубины; и
если резкая смена кадра обнаружена, то
получение следующего изображения, применение параметров ориентации камеры для анализа различий между текущим и следующим изображением и применение информации заднего плана и переднего плана для обновления таблиц глубины.
7. Способ по п. 1, отличающийся тем, что одно или несколько изображений по меньшей мере с одной камеры образуют канал, который принимается в 3D, и информацию о глубине, относящуюся к объекту, получают непосредственно из канала.
8. Способ по п. 1, отличающийся тем, что дополнительно включает процесс замены, при этом процесс замены включает:
сопоставление исходного изображения, подлежащего замене в изображении из одного или нескольких изображений, с доступным представлением исходного изображения, при этом исходное изображение представляет собой электронное представление изображения, подлежащего замене;
расчет разницы между доступным представлением исходного изображения и исходным изображением, подлежащим замене; и
извлечение параметров ориентации камеры.
9. Способ по п. 1, отличающийся тем, что дополнительно включает
идентификацию исходного изображения, подлежащего замене, из изображения из одного или нескольких изображений с помощью распознавания образа, если представление исходного изображения не доступно.
10. Система для замены объектов в потоке видео, содержащая компьютер, сконфигурированный для:
получения одного или нескольких изображений по меньшей мере с одной камеры;
анализа одного или нескольких изображений для извлечения параметров ориентации камеры, при этом параметры ориентации камеры содержат по меньшей мере координаты х, y и z, а также направление камеры;
создания стереоскопического представления с помощью таблицы глубины для объектов, которые видны в камере, при этом таблица глубины определяет расстояние вдоль оси z от линзы камеры до каждого объекта в поле зрения камеры и при этом таблица глубины содержит множество пикселей, имеющих значения z, при этом пиксели сгруппированы в объекты на основании значений z;
идентификации объекта переднего плана, перекрывающего объект заднего плана, с помощью стереоскопического представления и таблицы глубины;
обнаружения контуров объекта переднего плана из идентифицированного объекта переднего плана;
создания маски перекрытия с помощью контуров объекта переднего плана;
расчета заменяющего изображения с помощью параметров ориентации камеры; и
наложения маски перекрытия на заменяющее изображение.
11. Система по п. 10, отличающаяся тем, что стереоскопическое представление создано с помощью изображений, полученных по меньшей мере с двух камер.
12. Система по п. 10, отличающаяся тем, что установление параметров ориентации камеры включает:
хранение полученных изображений;
обнаружение того, произошла ли резкая смена кадра между текущим полученным изображением и предыдущим полученным сохраненным изображением;
при этом если не произошло какой-либо резкой смены кадра, то
применение информации заднего плана и параметров ориентации камеры предыдущего изображения при сравнении текущего изображения и предыдущего изображения для вычисления изменений заднего плана и определения модификации параметров ориентации камеры;
вычисление информации заднего плана из изменений заднего плана и новых параметров ориентации камеры из модификации параметров ориентации камеры; и
вычисление смещения объекта переднего плана с помощью информации заднего плана и новых параметров ориентации камеры, а также обновление таблицы глубины для каждого объекта.
13. Система по п. 10, отличающаяся тем, что установление параметров ориентации камеры включает:
хранение полученных изображений;
обнаружение того, произошла ли резкая смена кадра между текущим полученным изображением и предыдущим полученным сохраненным изображением;
при этом если произошла резкая смена кадра, то
идентификацию правильной камеры из возможных совпадений видов текущего изображения и сохраненного изображения, соответствующих существующим прошлым положениям камеры, при этом правильная камера представляет собой камеру, которая имеет точное сопоставление; и
установку новых параметров ориентации камеры.
14. Система по п. 10, отличающаяся тем, что создание стереоскопического представления, когда доступна одна камера, включает:
получение параметров ориентации камеры; и
обнаружение резкой смены кадра между текущим и предыдущим изображением;
при этом если никакой резкой смены кадра не обнаружено, то
обнаружение информации заднего плана и переднего плана и обновление таблиц глубины; и
при этом если резкая смена кадра обнаружена, то
получение следующего изображения; и
применение параметров ориентации камеры для анализа различий между текущим и следующим изображением и применение информации заднего плана и переднего плана для обновления таблиц глубины.
15. Система по п. 10, отличающаяся тем, что одно или несколько изображений по меньшей мере с одной камеры составляют подачу, полученную в 3D, и информация о глубине для объекта получена непосредственно из подачи с камеры.
16. Система по п. 10, отличающаяся тем, что компьютер дополнительно сконфигурирован для процесса замены, при этом процесс замены включает:
сопоставление исходного изображения, подлежащего замене в изображении из одного или нескольких изображений, с доступным представлением исходного изображения, при этом исходное изображение представляет собой электронное представление изображения, подлежащего замене;
расчет разницы между доступным представлением исходного изображения и исходным изображением, подлежащим замене; и
извлечение параметров ориентации камеры.
17. Система по п. 10, отличающаяся тем, что компьютер дополнительно сконфигурирован для
идентификации исходного изображения, подлежащего замене, из изображения из одного или нескольких изображений с помощью распознавания образа, если представление исходного изображения не доступно, при этом исходное изображение представляет собой электронное представление изображения, подлежащего замене.
18. Постоянный машиночитаемый носитель с командами, сохраненными на нем, для замены объектов в потоке видео, при выполнении которых процессором выполняются этапы, включающие:
получение одного или нескольких изображений по меньшей мере с одной камеры;
анализ одного или нескольких изображений для извлечения параметров ориентации камеры, при этом параметры ориентации камеры содержат по меньшей мере координаты х, y и z, а также направление камеры;
создание стереоскопического представления с помощью таблицы глубины для объектов, которые видны в камере, при этом таблица глубины определяет расстояние вдоль оси z от линзы камеры до каждого объекта в поле зрения камеры и при этом таблица глубины содержит множество пикселей, имеющих значения z, при этом пиксели сгруппированы в объекты на основании значений z;
идентификацию объекта переднего плана, перекрывающего объект заднего плана, с помощью стереоскопического представления и таблицы глубины;
обнаружение контуров объекта переднего плана из идентифицированного объекта переднего плана;
создание маски перекрытия с помощью контуров объекта переднего плана;
расчет заменяющего изображения с помощью параметров ориентации камеры; и
наложение маски перекрытия на заменяющее изображение.
19. Постоянный машиночитаемый носитель по п. 18, отличающийся тем, что установление параметров ориентации камеры включает:
хранение полученных изображений;
обнаружение того, произошла ли резкая смена кадра между текущим полученным изображением и предыдущим полученным сохраненным изображением;
при этом если не произошло какой-либо резкой смены кадра, то
применение информации заднего плана и параметров ориентации камеры предыдущего изображения при сравнении текущего изображения и предыдущего изображения для вычисления изменений заднего плана и определения модификации параметров ориентации камеры;
вычисление информации заднего плана из изменений заднего плана и новых параметров ориентации камеры из модификации параметров ориентации камеры; и
вычисление смещения объекта переднего плана с помощью информации заднего плана и новых параметров ориентации камеры, а также обновление таблицы глубины для каждого объекта.
20. Постоянный машиночитаемый носитель по п. 18, отличающийся тем, что установление параметров ориентации камеры включает:
хранение полученных изображений;
обнаружение того, произошла ли резкая смена кадра между текущим полученным изображением и предыдущим полученным сохраненным изображением;
при этом если произошла резкая смена кадра, то
идентификацию правильной камеры из возможных совпадений видов текущего изображения и сохраненного изображения, соответствующих существующим прошлым положениям камеры, при этом правильная камера представляет собой камеру, которая имеет точное сопоставление; и
установку новых параметров ориентации камеры.
21. Постоянный машиночитаемый носитель по п. 18, отличающийся тем, что создание стереоскопического представления, когда доступна одна камера, включает:
получение параметров ориентации камеры; и
обнаружение резкой смены кадра между текущим и предыдущим изображением;
при этом если никакой резкой смены кадра не обнаружено, то
обнаружение информации заднего плана и переднего плана и обновление таблиц глубины; и
при этом если резкая смена кадра обнаружена, то
получение следующего изображения; и
применение параметров ориентации камеры для анализа различий между текущим и следующим изображением и применение информации заднего плана и переднего плана для обновления таблиц глубины.
RU2015139234A 2013-03-08 2013-03-08 Способ замены объектов в потоке видео RU2612378C1 (ru)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2013/000318 WO2014135910A1 (en) 2013-03-08 2013-03-08 Method of replacing objects in a video stream and computer program

Publications (1)

Publication Number Publication Date
RU2612378C1 true RU2612378C1 (ru) 2017-03-09

Family

ID=48095926

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2015139234A RU2612378C1 (ru) 2013-03-08 2013-03-08 Способ замены объектов в потоке видео

Country Status (5)

Country Link
US (1) US10205889B2 (ru)
EP (2) EP3518528A1 (ru)
CN (1) CN105191287B (ru)
RU (1) RU2612378C1 (ru)
WO (1) WO2014135910A1 (ru)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2672144C1 (ru) * 2017-07-17 2018-11-12 Александр Константинович Еремея Способ оптической коррекции пространственной формы помещений

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014145722A2 (en) * 2013-03-15 2014-09-18 Digimarc Corporation Cooperative photography
CN104735466B (zh) * 2015-03-31 2018-04-10 北京奇艺世纪科技有限公司 一种更换视频中商标图案的方法及装置
US20170006219A1 (en) 2015-06-30 2017-01-05 Gopro, Inc. Image stitching in a multi-camera array
US9930271B2 (en) 2015-09-28 2018-03-27 Gopro, Inc. Automatic composition of video with dynamic background and composite frames selected based on frame criteria
US10152802B2 (en) * 2016-03-31 2018-12-11 Radiant Geospatial Solutions Llc Method and apparatus for imaging the silhouette of an object occluding a light source using a synthetic aperature
DE102016119639A1 (de) 2016-10-14 2018-04-19 Uniqfeed Ag System zur dynamischen Kontrastmaximierung zwischen Vordergrund und Hintergrund in Bildern oder/und Bildsequenzen
DE102016119637A1 (de) 2016-10-14 2018-04-19 Uniqfeed Ag Fernsehübertragungssystem zur Erzeugung angereicherter Bilder
DE102016119640A1 (de) 2016-10-14 2018-04-19 Uniqfeed Ag System zur Erzeugung angereicherter Bilder
WO2018133011A1 (zh) * 2017-01-19 2018-07-26 深圳市奥拓电子股份有限公司 一种视频转播方法及***
CN106920253A (zh) * 2017-02-10 2017-07-04 华中科技大学 一种基于遮挡分层的多目标跟踪方法
JP6944272B2 (ja) * 2017-04-25 2021-10-06 キヤノン株式会社 動体検出装置およびその制御方法
FR3071123B1 (fr) * 2017-09-14 2019-09-27 Jean-Luc AFFATICATI Methode de masquage d'objets dans un flux video
JP2021511729A (ja) * 2018-01-18 2021-05-06 ガムガム インコーポレイテッドＧｕｍｇｕｍ， Ｉｎｃ． 画像、又はビデオデータにおいて検出された領域の拡張
CN110326028A (zh) * 2018-02-08 2019-10-11 深圳市大疆创新科技有限公司 图像处理的方法、装置、计算机***和可移动设备
GB2586389B (en) * 2018-03-29 2022-03-30 Mitsubishi Electric Corp Image processing device, image processing method, and monitoring system
US11006154B2 (en) * 2018-04-04 2021-05-11 DISH Technologies L.L.C. Selected replacement of digital imagery portions using augmented reality
US10902626B2 (en) 2018-04-11 2021-01-26 International Business Machines Corporation Preventing intrusion during video recording or streaming
CN112514369B (zh) * 2018-07-27 2023-03-10 阿帕里奥全球咨询股份有限公司 视频流中动态图像内容替换的方法和***
CN109151489B (zh) * 2018-08-14 2019-05-31 广州虎牙信息科技有限公司 直播视频图像处理方法、装置、存储介质和计算机设备
JP7434288B2 (ja) * 2018-09-13 2024-02-20 アパリオ グローバル ソリューションズ （アーゲーエス） アーゲー デジタル写真用カメラと物理ディスプレイ上に示される代替画像コンテンツを同期させるための方法およびデバイス
CN109729429B (zh) * 2019-01-31 2021-08-17 百度在线网络技术（北京）有限公司 视频播放方法、装置、设备和介质
FR3093886B1 (fr) 2019-03-14 2022-04-01 Affaticati Jean Luc Méthode de masquage d’objets dans un flux vidéo
CN110121034B (zh) * 2019-05-09 2021-09-07 腾讯科技（深圳）有限公司 一种在视频中植入信息的方法、装置、设备及存储介质
EP3984236B1 (en) 2019-06-14 2024-04-10 Telefonaktiebolaget LM Ericsson (publ) A method of providing video content to a production studio by selecting an input video stream from a plurality of wireless video cameras, as well as a corresponding stream controller
CN110677559B (zh) * 2019-09-10 2021-07-09 深圳市奥拓电子股份有限公司 一种区别显示转播视频的方法、装置及存储介质
DE102020108910B3 (de) * 2020-03-31 2021-07-22 Sick Ag Austausch einer Kamera
CN111491124B (zh) * 2020-04-17 2023-02-17 维沃移动通信有限公司 视频处理方法、装置及电子设备
US11776578B2 (en) 2020-06-02 2023-10-03 Trapelo Corp. Automatic modification of values of content elements in a video
CN111861561B (zh) * 2020-07-20 2024-01-26 广州华多网络科技有限公司 广告信息定位、展示方法及其相应的装置、设备、介质
KR20240050413A (ko) * 2021-09-27 2024-04-18 바이트댄스 아이엔씨 비디오 처리를 위한 방법, 장치 및 매체

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2108005C1 (ru) * 1994-03-14 1998-03-27 Скитекс Америка Корпорейшн Способ имплантации изображения и устройство для его осуществления
WO2001035641A1 (en) * 1999-11-08 2001-05-17 Mirage Systems, Inc. Method and apparatus for real time insertion of images into video
US20030043262A1 (en) * 2001-08-30 2003-03-06 Sanyo Electric Co., Ltd. Method and apparatus for handling stereoscopic images utilizing parallax images
US20100315510A1 (en) * 2009-06-11 2010-12-16 Motorola, Inc. System and Method for Providing Depth Imaging
EP2408193A2 (en) * 2004-04-16 2012-01-18 James A. Aman Visible and non-visible light sensing camera for videoing and object tracking
US20120051631A1 (en) * 2010-08-30 2012-03-01 The Board Of Trustees Of The University Of Illinois System for background subtraction with 3d camera
RU2460233C2 (ru) * 2007-12-17 2012-08-27 Инклуду Холдинг Ас Система вставки видео в режиме реального времени
US20120250980A1 (en) * 2011-03-29 2012-10-04 Sony Corporation Method, apparatus and system

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU6276096A (en) 1995-06-16 1997-01-15 Princeton Video Image, Inc. System and method for inserting static and dynamic images into a live video broadcast
US5917553A (en) 1996-10-22 1999-06-29 Fox Sports Productions Inc. Method and apparatus for enhancing the broadcast of a live event
US7230653B1 (en) 1999-11-08 2007-06-12 Vistas Unlimited Method and apparatus for real time insertion of images into video
EP1551190B1 (en) * 2002-08-20 2018-08-08 Kazunari Era Method and device for creating 3-dimensional view image
US7116342B2 (en) 2003-07-03 2006-10-03 Sportsmedia Technology Corporation System and method for inserting content into an image sequence
SG119229A1 (en) 2004-07-30 2006-02-28 Agency Science Tech & Res Method and apparatus for insertion of additional content into video
US7689062B2 (en) 2006-07-16 2010-03-30 Seambi Ltd. System and method for virtual content placement
US8558883B2 (en) 2007-07-27 2013-10-15 Sportvision, Inc. Providing graphics in images depicting aerodynamic flows and forces
KR101419979B1 (ko) * 2008-01-29 2014-07-16 톰슨 라이센싱 2ｄ 이미지 데이터를 스테레오스코픽 이미지 데이터로 변환하기 위한 방법 및 시스템
US8228327B2 (en) * 2008-02-29 2012-07-24 Disney Enterprises, Inc. Non-linear depth rendering of stereoscopic animated images
US8477246B2 (en) 2008-07-11 2013-07-02 The Board Of Trustees Of The Leland Stanford Junior University Systems, methods and devices for augmenting video content
IL195848A0 (en) 2008-12-10 2009-09-01 Artivision Technologies Ltd A method and device for processing video frames
US20110222757A1 (en) * 2010-03-10 2011-09-15 Gbo 3D Technology Pte. Ltd. Systems and methods for 2D image and spatial data capture for 3D stereo imaging
WO2012070010A1 (en) * 2010-11-24 2012-05-31 Stergen High-Tech Ltd. Improved method and system for creating three-dimensional viewable video from a single video stream
US9497435B2 (en) * 2011-08-15 2016-11-15 Telefonaktiebolaget Lm Ericsson (Publ) Encoder, method in an encoder, decoder and method in a decoder for providing information concerning a spatial validity range
US20130063556A1 (en) * 2011-09-08 2013-03-14 Prism Skylabs, Inc. Extracting depth information from video from a single camera

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2108005C1 (ru) * 1994-03-14 1998-03-27 Скитекс Америка Корпорейшн Способ имплантации изображения и устройство для его осуществления
WO2001035641A1 (en) * 1999-11-08 2001-05-17 Mirage Systems, Inc. Method and apparatus for real time insertion of images into video
US20030043262A1 (en) * 2001-08-30 2003-03-06 Sanyo Electric Co., Ltd. Method and apparatus for handling stereoscopic images utilizing parallax images
EP2408193A2 (en) * 2004-04-16 2012-01-18 James A. Aman Visible and non-visible light sensing camera for videoing and object tracking
RU2460233C2 (ru) * 2007-12-17 2012-08-27 Инклуду Холдинг Ас Система вставки видео в режиме реального времени
US20100315510A1 (en) * 2009-06-11 2010-12-16 Motorola, Inc. System and Method for Providing Depth Imaging
US20120051631A1 (en) * 2010-08-30 2012-03-01 The Board Of Trustees Of The University Of Illinois System for background subtraction with 3d camera
US20120250980A1 (en) * 2011-03-29 2012-10-04 Sony Corporation Method, apparatus and system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2672144C1 (ru) * 2017-07-17 2018-11-12 Александр Константинович Еремея Способ оптической коррекции пространственной формы помещений

Also Published As

Publication number Publication date
WO2014135910A1 (en) 2014-09-12
CN105191287A (zh) 2015-12-23
EP3518528A1 (en) 2019-07-31
US20160028968A1 (en) 2016-01-28
CN105191287B (zh) 2019-06-21
US10205889B2 (en) 2019-02-12
EP2965506A1 (en) 2016-01-13

Similar Documents

Publication Publication Date Title
RU2612378C1 (ru) Способ замены объектов в потоке видео
Rematas et al. Soccer on your tabletop
CN109348119B (zh) 一种全景监控***
US20190222776A1 (en) Augmenting detected regions in image or video data
JP5954712B2 (ja) 画像処理装置、画像処理方法、及びそのプログラム
Feng et al. Object-based 2D-to-3D video conversion for effective stereoscopic content generation in 3D-TV applications
US20230419438A1 (en) Extraction of standardized images from a single-view or multi-view capture
US20120013711A1 (en) Method and system for creating three-dimensional viewable video from a single video stream
US20130278727A1 (en) Method and system for creating three-dimensional viewable video from a single video stream
US20200258309A1 (en) Live in-camera overlays
US20180112978A1 (en) Curated photogrammetry
CN107257494B (zh) 一种体育赛事拍摄方法及其拍摄***
US11017587B2 (en) Image generation method and image generation device
CN108605119B (zh) 2d到3d视频帧转换
US9380263B2 (en) Systems and methods for real-time view-synthesis in a multi-camera setup
US20100220893A1 (en) Method and System of Mono-View Depth Estimation
CN110120012A (zh) 基于双目摄像头的同步关键帧提取的视频拼接方法
Inamoto et al. Immersive evaluation of virtualized soccer match at real stadium model
KR101718309B1 (ko) 색상 정보를 활용한 자동 정합·파노라믹 영상 생성 장치 및 방법
JP6396932B2 (ja) 画像合成装置、画像合成装置の動作方法およびコンピュータプログラム
CN113763545A (zh) 图像确定方法、装置、电子设备和计算机可读存储介质
JP2017103672A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
Heindl et al. Capturing photorealistic and printable 3d models using low-cost hardware
US10674207B1 (en) Dynamic media placement in video feed
JP2017102784A (ja) 画像処理装置、画像処理方法及び画像処理プログラム

Legal Events

Date Code Title Description
MM4A The patent is invalid due to non-payment of fees

Effective date: 20210309