RU2480832C2 - Совмещение игрового поля на основе модели - Google Patents
Совмещение игрового поля на основе модели Download PDFInfo
- Publication number
- RU2480832C2 RU2480832C2 RU2011101370/08A RU2011101370A RU2480832C2 RU 2480832 C2 RU2480832 C2 RU 2480832C2 RU 2011101370/08 A RU2011101370/08 A RU 2011101370/08A RU 2011101370 A RU2011101370 A RU 2011101370A RU 2480832 C2 RU2480832 C2 RU 2480832C2
- Authority
- RU
- Russia
- Prior art keywords
- video image
- key points
- points
- field
- allocated
- Prior art date
Links
- 238000012545 processing Methods 0.000 claims abstract description 41
- 239000011159 matrix material Substances 0.000 claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 24
- 230000008569 process Effects 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000012552 review Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 7
- 230000001133 acceleration Effects 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract description 2
- 239000000126 substance Substances 0.000 abstract 1
- 239000002245 particle Substances 0.000 description 15
- 238000001514 detection method Methods 0.000 description 12
- 230000002452 interceptive effect Effects 0.000 description 10
- 230000007704 transition Effects 0.000 description 9
- 238000013507 mapping Methods 0.000 description 8
- 238000013459 approach Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000001914 filtration Methods 0.000 description 6
- 230000003993 interaction Effects 0.000 description 5
- 230000004888 barrier function Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 244000025254 Cannabis sativa Species 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000009472 formulation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 241000894007 species Species 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000004260 weight control Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Изобретение относится к области формирования видеоизображения. Техническим результатом является повышение стабильности поиска и его ускорение, уменьшение поискового пространства. Способ, устройство и система для совмещения игрового поля на основе модели. Обрабатывают входное видеоизображение. Обработка видеоизображения включает в себя выделенные ключевые точки, относящиеся к видеоизображению. Кроме того, определяют, достаточное ли количество ключевых точек, относящихся к видеоизображению, было выделено, и выполняют прямую оценку видеоизображения, если было выделено достаточное количество ключевых точек, и затем генерируют гомографическую матрицу конечного видеоизображения на основе прямой оценки. 3 н. и 9 з.п. ф-лы, 11 ил.
Description
Область техники, к которой относится изобретение
Область изобретения, в общем, относится к компьютерным наукам и, более конкретно, к формированию видеоизображения.
Уровень техники
Задача совмещения изображения часто встречается при обработке последовательностей видеоизображений. Как правило, совмещение изображений используют при обработке изображений для поиска соответствия между двумя или больше видеопоследовательностями, снятыми в разное время, полученными из разных датчиков или снятыми с разных точек съемки. Однако, несмотря на некоторый прогресс в области совмещения изображений, сохраняются искажения в изображениях. Такие искажения включают в себя неправильное совмещение (т.е. несовмещенность изображений). Кроме отсутствия возможности устранения таких часто встречающихся искажений, такие обычные алгоритмы совмещения изображений потребляют большое количество пространства поиска при очень незначительных достижениях. Кроме того, поиск, выполняемый с использованием обычных алгоритмов совмещения изображения, является нестабильным.
Краткое описание чертежей
Варианты осуществления настоящего изобретения представлены в качестве примера, а не для ограничений, на приложенных чертежах, на которых одинаковыми номерами ссылочных позиций обозначены одинаковые элементы, на которых:
на фиг.1 представлен процесс для выполнения совмещения поля;
на фиг.2 показан вариант осуществления гомографической матрицы модели поля, имеющей реальную точку и виртуальную точку;
на фиг.3 иллюстрируется вариант осуществления гомографического отображения между моделью поля и изображениями на экране и, кроме того, переход движения между изображениями на экране;
на фиг.4 иллюстрируется вариант осуществления детектирования линии Хафа (Hough) и выделение точек пересечения;
на фиг.5A-5G иллюстрируется вариант осуществления совмещения игрового поля на основе модели в спортивных видеопередачах;
на фиг.6 иллюстрируется вариант осуществления процесса многообъектного отслеживания на основе усиленного фильтра интерактивно распределенных частиц;
на фиг.7 показан вариант осуществления усиленного фильтра интерактивно распределенных частиц;
на фиг.8 иллюстрируются объекты, взаимодействующие друг с другом, формирующие группу (например, группу G);
на фиг.9 иллюстрируется вариант осуществления результатов отслеживания выполнения вариантов осуществления настоящего изобретения, когда такое выполнение осуществляют для двух видеоклипов с разрешением 720×576 и 960×544;
на фиг.10 иллюстрируется другой вариант осуществления результатов отслеживания выполнения вариантов осуществления настоящего изобретения;
на фиг.11 иллюстрируется вариант осуществления вычислительной системы, имеющей варианты осуществления настоящего изобретения, воплощенные как гибрид из программных и аппаратных компонентов.
Подробное описание изобретения
В одном варианте осуществления раскрыта технология совмещения поля для поиска геометрического соответствия между изображением на экране и моделью поля, с последующим отображением игрового поля с изображением экрана стандартной модели поля. Спортивные игры, в общем, и футбол, в частности, используются в данном документе просто как примеры и для краткости и ясности изложения. При этом предполагается, что варианты осуществления, раскрытые в данном документе, могут быть применены к любым видеоизображениям, независимо от их содержания. Продолжая на примере спортивных игр, ключевой компонент в видеоизображениях спортивных игр представляет собой отображение мяча и игроков, перемещающихся по траекториям по модели поля. При выполнении такого отображения каждые относительные положения игрока в системе координат поля могут быть получены из совмещенного поля. Такие относительные положения включают в себя направление движения игрока, приблизительную скорость и активность. Такие показатели могут помочь при анализе построения команды и тактических приемов, действий на основе восстановления сцены, обогащения и редактирования видеосодержания, организации интерактивных игр и игр с погружением, расширенной реальности и т.д., в областях визуальных расчетов и вычерчивания графиков с помощью компьютеров.
В одном варианте осуществления предусмотрен новый алгоритм совмещения поля, основанный на соответствующих аппаратных компонентах совмещения поля, для обеспечения эффективного и практического совмещения поля видеоизображений. При таком новом подходе вначале выполняют классификацию типа просмотра и затем применяют преобразование Хафа, для детектирования маркировочных линий поля и их соответствующих точек пересечения. Эти точки пересечения используются как ключевые точки для совмещения поля. Когда имеется достаточное количество ключевых точек (например, в количестве большем чем или равном 4 ключевым точкам), осуществляют непосредственное сопоставление для поиска оптимального отображения. Для эффективного поиска используют карту расстояния, генерируемую в результате преобразования расстояния, для расчета ошибки сопоставления. Кроме того, для ускорения поиска были исследованы несколько критериев быстрой сортировки, которые используются для ускорения процесса. В случае когда количество ключевых точек недостаточно (например, меньше 4 ключевых точек), гомографическая матрица не может быть получена непосредственно; но вместо этого, ее получают опосредованно путем оценки глобального движения между последовательными кадрами и путем комбинирования текущего перехода движения с любой предыдущей матрицей для отображения модели поля, для того чтобы определить текущую гомографическую матрицу отображения. Эта технология и ее эффективность и возможности применения на практике дополнительно описаны в предыдущих параграфах.
Эта новая и практичная технология совмещения поля работает с любыми типами и количеством случаев видеоизображений и с достаточным количеством ключевых точек или без них. Такое передовое и разумное решение упрощает трудности выполнения задачи совмещения поля. В технологии совмещения поля используется преобразование расстояния для измерения ошибки соответствия, что обеспечивает возможность сделать ошибку непрерывной и делает поиск более стабильным; кроме того, изобрели несколько критериев быстрой отбраковки для уменьшения пространства поиска и ускорения процесса.
На фиг.1 представлен процесс для выполнения совмещения поля. При обработке в блоке 102, входное видеоизображение принимают через физический интерфейс, который соединен с видеоустройством, таким как камера, имеющая вычислительную систему, включающую в себя процессор. В блоке 104 обработки выполняют предварительную обработку принятого видеоизображения. Предварительная обработка включает в себя выполнение изучения доминирующих цветов и классификацию типа обзора в блоке 106 обработки. Доминирующий цвет в видеоизображении получают в результате накопления значения оттенка и насыщенности (HSV) цветных гистограмм, которые соответствуют цвету травы игрового поля. Как упомянуто выше, следует снова отметить, что спортивные игры (и, в частности, игра в футбол) используются в качестве просто примера для краткости и ясности и что вариант осуществления настоящего изобретения не ограничивается видеоизображениями спортивных игр. Например, вместо цвета травы игрового поля (как используется здесь), цвет может представлять собой цвет пола в Конгрессе США во время политических дебатов, или цвет травы во время ралли, или цвет гостиного помещения во время телевизионного сериала или кинофильма. Сегментацию доминирующих цветов и морфологическую фильтрацию затем используют вместе с анализом подключенных компонентов для выделения игрового поля. После этого каждый вид классифицируют на один из четырех типов вида: (1) глобальный вид; (2) средний вид; (3) вид крупного плана и (4) за пределами вида, в то время как глобальный вид может быть подан в модуль совмещения поля для дальнейшей классификации.
В блоке 108 обработки, выполняют детектирование линии Хафа и выделение ключевых точек пересечения. Преобразование Хафа выполняют для детектирования меток линии путем выделения области извлечения игрового поля, затем резервируя любое количество пикселей, не соответствующих доминирующему цвету в пределах области игрового поля и формируя двухуровневое (двоичное) изображение. После этого преобразование Хафа применяют к двухуровневому изображению, для детектирования горизонтальных и вертикальных линейных отметок, и затем получают их ключевые точки пересечения. Далее, детектируют и используют как реальные, так и виртуальные точки пересечения. Это показано на фиг.4.
В блоке 110 принятия решения, определяют, достаточно ли ключевых точек. Если имеется достаточное количество точек, выполняют новую оценку непосредственного отображения в блоке 112 обработки. Такую новую оценку непосредственного отображения выполняют, используя генерирование гипотезы соответствия в блоке 114 обработки, после чего производят оценку гипотезы и поиск оптимального соответствия в блоке 116 обработки. Если точек недостаточно, выполняют оценку опосредованного отображения в блоке 118 обработки. Оценка с опосредованным отображением включает в себя детектирование ключевых точек, фильтрацию и оценку глобального движения в блоке 120 обработки, после чего выполняют транзакцию текущего отображения в блоке 122 обработки. В любом случае (то есть при оценке прямого или опосредованного отображения), процесс продолжается генерированием гомографической матрицы (Ht) 124.
Как упомянуто выше, когда достаточно много точек (например, больше чем четыре соответствующих точки), выполняют поиск пересечения, по меньшей мере, двух горизонтальных линий и, по меньшей мере, двух вертикальных линий между изображением экрана и моделью поля, прямую оценку в блоке 112 обработки, для оценки гомографической матрицы. Такая прямая оценка включает в себя определение, какая пара точек соответствует друг другу и модели поля, и эти возможные случаи нумеруют и выполняют поиск оптимальных точек, используя оценку ошибок. В одном варианте осуществления модель поля относится к любому фоновому изображению или полю видеоизображения, для которого выполнены эти варианты осуществления. Однако, продолжая тему игры в футбол, стандартное поле для спортивной игры в футбол, как определено "Federation Internationale de Football Association" (FIFA), используется в данном варианте осуществления как модель поля. В одном варианте осуществления, как реальные точки пересечения (например, пересечение двух реальных линий, например горизонтальных и вертикальных линий), так и любые виртуальные точки пересечения (например, пересечение одной реальной линии и одной продолженной реальной линии или пересечение двух продолженных реальных линий) используются в модели поля. Эти виртуальные точки пересечения также являются ключевыми точками модели поля, и их можно использовать для калибровки видеоустройства (например, камеры).
Кроме того, что касается генерирования гипотезы отображения, для упрощения процедуры отображения, используют линии - метки, для направления каждого соответствия ключевой точки пересечения. Lh обозначает количество горизонтальных линий, и Lv обозначает количество вертикальных линий (например, Lh=10 горизонтальных линий, и Lv=7 вертикальных линий) в модели поля. Учитывая также, что существует m горизонтальных линий (Lh=m) и n вертикальных линий (Lv=n), существует , (С (n, k) представляет собой операцию комбинации возможных комбинаций, например, 4 пар точек соответствия и возможных комбинаций 4 пар точек соответствия. Каждая комбинация может обозначаться как гипотеза, отражающая возможное соответствие между детектируемыми линиями изображения и линейными метками модели поля.
Для каждой оценки гипотезы получают матрицу Н отображения из внешних координат для плана изображения. Для оценки доверительности каждой гипотезы, модель поля отображают на плоскость изображения и рассчитывают расстояние между отображаемым изображением и исходным изображением. На основе детектируемых линий, используют технологию преобразования расстояния, для получения карты расстояния для измерения любой ошибки. Если карта расстояния равняется "D", ошибка может быть представлена как: , где N представляет общее количество ненулевых пикселей и τ представляет собой постоянную для ограничения максимальной ошибки. Ошибка и отображение могут быть обратно пропорциональными друг другу, например, чем меньше ошибка, тем лучше отображение. Оптимальная гипотеза используется как конечное согласование.
Поскольку пространство поиска велико, оценка гипотезы может быть трудоемкой в смысле требований к мощности расчетов. В одном варианте осуществления, для уменьшения пространства поиска, используются один или больше следующих критериев для быстрой отбраковки некоторой гипотезы. (1) На основе углов детектируемых линий (в частности, вертикальных линий), могут быть получены оценки стороны поля (например, с левой, правой или средней стороны). Например, если положение игры находится на левой стороне поля, линии, которые должны быть согласованы с моделью поля, не находятся с правой стороны. Аналогично обрабатывается правая сторона и наоборот. Некоторые гипотезы фильтруют, используя этот критерий. (2) Если две или больше горизонтальных линий или две или больше вертикальных линий были согласованы между моделью поля и данным изображением, выполняют оценку размера модели поля. Кроме того, если размер оценки значительно отличается от стандартной модели поля, эта гипотеза может быть отброшена и может использоваться другая гипотеза, с другим критерием. (3) Другой быстрый способ отброса обстоит в оценке самой гомографической матрицы. Гомографическая матрица имеет несколько (например, восемь) степеней свободы, но процесс формирования реального изображения может иметь другое количество параметров (например, семь), например три для положения камеры, три для поворота камеры и одну для фокусного расстояния. Остальная степень свободы включает в себя β (неизотропное масштабирование), которое относится к нелинейному масштабированию в горизонтальном и вертикальном направлениях (типично равно "1" в реальном мире). Это значение может быть получено на основе теории калибровки камеры. Кроме того, для тех оценок параметров камеры, которые не являются идеально точными и расчет которых является чувствительным к цифровой обработке, диапазон допуска параметра установлен как 0,5<β<2.
Как упомянуто выше, когда отсутствует достаточное количество ключевых точек (например, 4) в текущем кадре, выполняют опосредованную оценку отображения, в блоке 118 обработки, выполняя трансляцию движения камеры из предыдущего в текущий кадр для дедуктивного вывода текущей матрицы гомографического отображения при обработке в блоке 124. В одном варианте осуществления такая процедура оценки опосредованного отображения включает в себя детектирование одной или больше особых точек, точек, соответствующих двум последовательным изображениям, фильтрацию пары точек через консенсус случайной выборки (RANSAC) и расчет глобального движения с оценкой наименьших квадратов. Первый процесс включает в себя детектирование ключевых точек, при котором можно использовать угловые точки, точки Гарриса, надежные особые элементы ускорения (SURF) и т.д. Кроме того, можно применять свойство масштабного инвариантного преобразования элементов (SIFT) для характеризации ключевых точек.
После детектирования ключевых точек в предыдущем и текущем кадрах, соответственно, устанавливается соответствие между предыдущим и текущим кадрами. Для каждой точки в предыдущем кадре рассчитывают расстояние от каждой точки предыдущего кадра до каждой точки в текущем кадре, и ближайшие точки или кратчайшее расстояние принимают как их соответствие. Набор соответствия ключевой точки также может включать в себя некоторые посторонние значения данных, например, для поиска соответствия шумов или фальшивых элементов. В этом случае, используют алгоритм RANSAC, который применяют для фильтрации таких посторонних значений данных. Алгоритм RANSAC относится к алгоритму для надежной подгонки моделей поля в присутствии и при работе с любым количеством посторонних значений данных. Затем рассчитывают параметры глобального движения, используя соответствующую модель, применяя последовательное соответствие точек, используя оценку наименьших квадратов. Например, матрица гомографического отображения в момент времени t равна Ht, и матрица перехода движения с момента времени t-1 до момента t представляет собой Мt-1. Как только эти значения становятся известны, может быть получена матрица гомографического отображения с использованием следующей формулы: Ht=Мt-1*Нt-1.
На фиг.2 иллюстрируется вариант осуществления гомографической матрицы 200 модели поля, имеющего реальную точку 202 и виртуальную точку 204. В одном варианте осуществления 3-мерная точка с гомогенными координатами обозначена как Р=[X, Y, Z, 1]', и компонент Z трехмерной точки на плоскости равен нулю, поэтому она может быть обозначена как Р=[X, Y, 1]'. Двумерная точка на сетчатке глаза может быть представлена как р=[х, y, 1]'. Для камеры с точечным отверстием 3-мерная точка Р в системе координат реального мира и ее соответствующая точка р двумерного изображения имеет следующие взаимосвязи: р=Н*Р, где Н представляет собой матрицу размером 3×3, параметризованную в отношении присущих и внешних параметров. Она называется матрицей томографа между плоскостью в реальном мире и изображением на экране.
Кроме того, матрицу Н определяют до коэффициента масштабирования, имеющего несколько (например, восемь) независимых параметров. Для определения значения, например, используются восемь параметров, по меньшей мере, в четырех парах точек соответствия между положениями изображения и положениями модели поля. Поскольку поле обычно не имеет очевидных свойств точки, используются пересечения линий в пределах игрового поля для оценки соответствия точек. Любые реальные точки 202 взаимного пересечения и точки 204 виртуального пересечения, которые представляют собой пересечения реальных линий и продолжений реальных линий (например, виртуальных линий), рассматриваются как ключевые точки, и оба эти вида можно использовать для калибровки камеры.
На фиг.3 иллюстрируется вариант осуществления гомографического отображения 310-314 между моделью 302 поля и изображениями 304-308 на экране и, кроме того, переход 316-318 движения между изображениями 304-308 на экране. Продолжая пример игры в футбол, если камера фокусируется на ближайшей области вратарской площадки, будет легко найти более чем четыре пары соответствующих точек. Однако для области ближайшей части центра поля или при смазанном или неясном изображении (например, из-за быстрого движения камеры), может оказаться трудным детектировать линии, поскольку может оказаться недостаточным количество доступных соответствующих ключевых точек. Для решения этой задачи, в одном варианте осуществления, используют переход глобального движения и гомографическую матрицу предыдущего кадра для приблизительного определения текущей гомографической матрицы 310-314. Здесь представлены гомографическая матрица 310-314 (как обозначено стрелками 310-314) между моделью 302 поля и изображениями 304-308 на экране, а также переход 316-318 движения (как обозначено стрелками 316-318) между последовательными изображениями 304-308 на экране.
Если предположить, что глобальная модель движения является перспективной моделью, преобразование которой также является матрицей размером 3×3, оценка текущего кадра от его предыдущего кадра, It-1 и глобальное преобразование Мt-1 движения (фиг.5A-5G) могут быть отформатированы с использованием следующей формулы: It=Ht·F (формула 1). Обозначая модель поля как F, отображение из модели поля на изображение может быть представлено как: It-1=Нt-1·F (формула 2) и It=Мt-1·It-1 (формула 3). Если подставить формулу 2 в формулу 1, получим следующую формулу: It=Мt-1·Нt-1·F (формула 4). Теперь, если сравнить формулу 1 с формулой 4, получим следующую формулу: Ht=Мt-1·Нt-1=Мt-1·Мt-2·Ht-2=…=Мt-1…Mt-k·Ht-k.
На фиг.4 представлен вариант осуществления детектирования линии Хафа и выделение линии 400 пересечения. В одном варианте осуществления используют преобразование Хафа для детектирования меток линии. Вначале выделяют 402 область игрового поля и затем пиксели, не соответствующие доминирующему цвету, резервируют в пределах игрового поля 402 и преобразуют в двухуровневое изображение 404. Затем применяют преобразование Хафа для двухуровневого изображения, для детектирования каких-либо горизонтальных и вертикальных линейных меток 406. В конечном итоге получают точки пересечения горизонтальных и вертикальных линий и также детектируют и используют как реальные, так и виртуальные точки пересечения 408.
На фиг.5A-5G иллюстрируется вариант осуществления совмещения игрового поля на основе модели для видеоизображения 500 спортивной игры. В столбцах представлены номера 501 кадров исходных изображений 502 на экране, результаты 504 детектирования линий Хафа (имеющие вертикальные и горизонтальные линии), результаты отображения модели поля на реальные изображения 506 и результаты 508 совмещения поля. Результаты выполнения совмещения поля по видеоклипу представляют в формате MPEG2 (например, размер кадра 720×576 и 25 кадров/секунду).
Серая область представляет собой область фокусирования камеры. На представленных кадрах фигуры 5А, 5В, кадры 2-26 представляют собой левое поле модели поля, на фигурах 5С-5Е кадры 120-180 представляют левую часть центрального поля модели поля, и на фигурах 5F, 5G кадры 1200-1250 представляют собой правую часть поля модели поля. Получаемые в результате кадры 2, 26, 120, 180, 1200 и 1250 принимают в результате прямой оценки, в то время как результат кадра 130 получают в результате опосредованной оценки. Кроме того, как показано, изображение линии Хафа отсутствует в кадре 130, поскольку недостаточное количество ключевых точек было получено, из-за размытости или несфокусированности изображения 540.
На фиг.6 иллюстрируется вариант осуществления процесса для отслеживания множества объектов на основе усиленного фильтра интерактивно распределенных частиц. Входное видеоизображение принимают в блоке 602 обработки. Входное видеоизображение может быть принято через видеоинтерфейс/интерфейс шины из одного видеоустройства в другое видеоустройство, причем каждое устройство имеет программное приложение, или в пределах того же видеоустройства (например, камеры, имеющей процессор/ЦПУ). В блоке 604 обработки, выполняют моделирование фона и выделение переднего плана входных видеоданных. В одном варианте осуществления усиленное детектирование 608 объекта и усиленный фильтр 610 интерактивно распределенных частиц интегрируют для выполнения надежного и эффективного отслеживания множества объектов в блоке 606 обработки. Для выполнения этого, предусмотрены программные и аппаратные средства усиленного фильтра интерактивно распределенных частиц (BIDPF) для решения задачи автоматического отслеживания множества объектов (МОТ) в различных приложениях (например, в приложениях отслеживания игрока в спортивных играх, например приложение отслеживания игрока в футбол). В блоке 612 обработки информацию отслеживания объекта (например, положение и количество) изображений получают и предоставляют. И снова, в данном случае игрок в футбол используется здесь просто как пример и для краткости и ясности, и предусматривается, что варианты осуществления настоящего изобретения можно использовать с любым количеством приложений и они не ограничиваются спортивными играми или приложениями для спорта.
В одном варианте осуществления применяют технологию усиленного фильтра интерактивно распределенных частиц (IDPF), блок 610 обработки выполнен с возможностью обрабатывать взаимные преграды между разными целями. Предложенное распределение, с использованием модели смеси, которая включает информацию из динамической модели и усиления детектирования, вводят в рабочие рамки IDPF. Предложенное усиленное распределение, при обработке блока 608, позволяет быстро детектировать цели, в то время как обработка IDPF обеспечивает возможность поддержания идентичности таких целей во время взаимных преград. При видеосъемке спортивных игр выделяют передний план в блоке 604 обработки, используя автоматически изученную модель цвета заданного игрового поля, как для ускорения усиленного детектирования, так и для уменьшения количества ложных тревог. Передний план также используется для разработки потенциальной модели, управляемой данными, для улучшения характеристик IDPF. Некоторые из результатов этого нового подхода, выполняемого для нескольких видеопоследовательностей, демонстрировали отслеживание различного количества объектов и правильно поддерживали их идентичность в динамичной сцене при движении камеры и взаимном затенении (как показано на предыдущих фигурах).
На фиг.7 иллюстрируется вариант осуществления усиленного фильтра интерактивно распределенных частиц. Цветную модель поля изучают путем накопления гистограмм цветов "HSV". Поле затем выделяют, используя пороговую обработку доминантного цвета, морфологическую фильтрацию и анализ 702 соединенных компонентов. Передний план на поле получают путем фильтрации цвета поля, используя модель 704 доминирующего цвета. Затем детектор усиления сканирует изображение переднего плана, используя множество масштабов 706. Такой процесс ускоряет детектирование и уменьшает количество фальшивых тревог. Кроме того, для обработки взаимодействия между целями принят интерактивный распределенный подход; при таком подходе распространение условной плотности для каждого объекта формулируют путем моделирования взаимодействия среди наблюдений объектов в распределенной схеме. При воплощении на основе фильтрации частиц, любые проблемы, связанные с затенением, решают путем регулировки веса каждой частицы.
В одном варианте осуществления состояние цели i в момент времени t и соответствующее наблюдение обозначают как xi t и yi t. Состояние, установленное до момента времени t, представляет собой xi 0:t, где х0 представляет собой исходное состояние и наблюдение, установленное до момента времени t, представляет собой yi 0:t. Интерактивные наблюдения yi t в момент времени t обозначены как yJ t t, где элементы Jt представляют собой показатели объектов наблюдения, которые взаимодействуют с yi t. Назначение отслеживания состоит в том, чтобы получить апостериорную оценку на основе всех наблюдений . Когда уi не имеет взаимодействия с другими объектами, , эта формулировка соответствует обычному подходу фильтра частиц. Используя свойства условной независимости, распространение плотности для каждого интерактивного следящего устройства формулируется следующим образом: , где представляет собой локальную вероятность, представляет собой плотность перехода состояния, которые аналогичны байесовским подходам отслеживания.
Уравнение известно как интерактивная вероятность, которая характеризуется взаимодействием между целями. В отсутствие любой интеграции между целями, такая формулировка может быть деградирована до множества независимых байесовских рамок объектов.
При воплощении фильтра частиц апостериорная вероятность характеризуется набором взвешенных выборок , где (где N представляет собой количество выборок). В соответствии с важностью теории выборок, веса обновляют как:
На фиг.8 иллюстрируется объект 802-806, имеющий взаимодействие с каждым из других объектов, формирующих группу (например, группу G). Управляемая данными потенциальная модель предложена на основе наблюдений переднего плана для оценки
интерактивной вероятности для регулировки веса частиц. Кроме того, буквой G обозначена группа изображений, сформированная интерактивными объектами, FG 802 как передний план изображения и SG 804 как объединение областей изображений всех игроков в G, р11 представляет собой вероятность того, что пиксель в области игрока принадлежит переднему плану, и р10 представляет собой вероятность того, что пиксель в области игрока не принадлежит переднему плану, p01 представляет собой вероятность того, что пиксель, находящийся за пределами игроков, представляет передний план, и р00 представляет собой вероятность того, что пиксель, находящийся за пределами игроков представляет задний план, в котором р11+р10=1, р11>р10, p01+p00=1 и p01<р00.
Если предположить, что пиксели являются независимыми, получим следующую вероятность:
где CG представляет собой нормализованную постоянную, в которой λ10 и λ01 представляют собой два коэффициента, зависящие от р10 и p01, соответственно, и ∩ представляет собой взаимное пересечение двух областей. Вероятность зависит от N10 и N01. Как показано в 806, белые пиксели формируют за пределами прямоугольников 808 N10 и черные пиксели формируют внутри прямоугольников 810 N01. Используя предложенную потенциальную модель, интерактивная вероятность уменьшает вероятность того, что оценки объектов плохо интерпретируют наблюдения; поэтому можно разделить наблюдение в условиях препятствий и, таким образом, решить задачу слияния.
Для решения задачи установки меток, в одном варианте осуществления, выполняют оценку вероятности перехода состояния по формуле: , где представляет собой плотность перехода традиционного состояния, и ее оценка может быть получена, используя модель ускорения постоянной. Кроме того, вес ϕi t(.) инерции определяется как: где σθ, σν представляют собой исходные константы, которые характеризуют допустимые вариации направления и скорости вектора движения, соответственно. представляет собой вектор движения n-й частицы i-го объекта ; представляет опорный вектор движения из до . представляет угол между и . представляет собой норму L2.
Проблема в поддержании эффективности фильтрации частиц состоит в том, как сконструировать распределение предложения. В одном варианте осуществления используют смесь гауссовой модели, которая комбинирует обе динамики, как предшествующего детектирования, так и детектирования с усилением: Параметры σq динамически обновляют путем перекрытия между гауссовым распределением детектирования усиления и динамики перед этим. Алгоритм "ближайшего соседа" используется для идентификации данных при назначении направления усиления для существующих дорожек.
Что касается локальной вероятности наблюдение цели представлено как оценка плотности ядра распределения цветов, выделенных из области R(xi t), с центром в местоположении xi t. Коэффициент Бхаттачарья (Bhattacharyya) применяется для оценки схожести между текущим наблюдением К (xt) и опорной моделью Кроме того, для кодирования пространственной информации наблюдений, применяют цветную модель, состоящую из множества частей, которая разделяет объект вертикально на две части. Таким образом, локальную вероятность цели I определяют как: .
На фиг.9 иллюстрируется вариант осуществления результатов отслеживания при воплощении вариантов осуществления настоящего изобретения, когда воплощение осуществляют в двух видеоклипах с разрешением 720×576 и 960×544. Иллюстрации рядов 902-906, в частности, фокусируются на вводе на сцену нового игрока. В одном варианте осуществления игрока, попадающего на сцену, быстро детектируют и отслеживают надежно даже при относительно высокой степени заграждения. Как показано, в ряду 904 показаны виды крупным планом эллиптической области, помеченной на первом изображении рядом 902. В одной технологии, цвет окружающего прямоугольника (например, рамки объекта) 908-912 для каждого игрока может быть уникальным, если игроки не взаимодействуют друг с другом. В противном случае, цвет рамки объекта может изменяться на черный. Правильная идентификация поддерживается во время образования преграды, что является преимуществом предложенной схемы регулирования весов для частиц, несмотря на интерактивную вероятность. В строке 904 иллюстрируются рамки объекта, слившиеся вместе, когда объекты приближаются друг к другу (например, при преобразовании из трех рамок 914-918 в две рамки 914-916 объектов и так далее). Кроме того, новая рамка объекта может быть сформирована, если одна рамка будет разделена на две рамки объекта таким образом, чтобы метки той же цели могли быть разными после образования преграды.
На фиг.10 иллюстрируется другой вариант осуществления результатов отслеживания выполнения вариантов осуществления настоящего изобретения. В варианте осуществления строки 1002-1008 представляют результаты отслеживания игроков. Каждого игрока 1010-1019 индивидуально отслеживают, используя соответствующую рамку 1020-1029 игрока, и, как показано, каждого игрока 1010-1019 индивидуально отслеживают и его идентичность правильно поддерживают, независимо от любых частичных или полных преград.
На фиг.11 показан вариант осуществления вычислительной системы 1100, в которой воплощаются варианты осуществления настоящего изобретения как гибрид программных и аппаратных компонентов. Некоторые функции вариантов осуществления воплощены в аппаратных средствах, и некоторые другие функции воплощены как программное средство. Как показано, микросхема 1102 CPU разработана для работы с видеосопроцессором 1110. Видеосопроцессор 1110 может представлять собой часть видеоустройства (например, видеокамеры), имеющего другие модули обработки, например модуль графической обработки (GPU)). В одном варианте осуществления видеосопроцессор 1110 использует любое количество новой программной логики и аппаратной логики 1100 для работы с другой обычной программной и аппаратной логикой, для выполнения вариантов осуществления настоящего изобретения совместно с любыми обычными операциями.
Оперативное запоминающее устройство (RAM) 1106 содержит базу данных приложения, имеющую информацию об объекте. Контроллер 1104 памяти обращается к данным в RAM 1106 и пересылает их в CPU 1102 и/или видеосопроцессор 1110 для обработки. RAM 1106 может включать в себя RAM с двойной скоростью передачи данных (DDR RAM), RAM с расширенными возможностями вывода данных (EDO RAM) и т.д. Любые данные (например, видеоизображения или другие входные данные, предназначенные для обработки) могут быть сохранены в запоминающем устройстве 1108, и позже любые полученные в результате данные (например, конечные видеоизображения и любую соответствующую информацию) 1212 затем передают в устройство 1112 дисплея. В качестве альтернативы, видеоконтроллер может быть сформирован в той же микросхеме, что и ЦПУ 1102, и может совместно использовать тот же кэш и запоминающее устройство, которое может использовать контроллер. Дисплей 1112 может быть разных типов, таких как электронно-лучевая трубка (CRT), тонкопленочный транзистор (TFT), жидкокристаллический дисплей (LCD), DPL и т.д.
В одном варианте осуществления некоторые процессы графического конвейера обработки, как описано выше, воплощены в программном средстве, в то время как остальные воплощены в аппаратных средствах. Запоминающее устройство 208 может содержать заранее выделенную область буфера; однако для специалиста в данной области техники должно быть понятно, что изобретение не ограничивается этим и что можно использовать любое запоминающее устройство, доступное для нижнего конвейера графической обработки. Вычислительная система 1100 может дополнительно включать в себя концентратор управления вводом/выводом (I/O) (ICH), одно или больше устройство ввода/вывода и т.д.
ЦПУ 1102 может включать в себя один или больше процессор для выполнения инструкций, для выполнения того, что воплощено в программных процедурах вычислительной системы. Инструкции часто включают в себя своего рода операции, выполняемые над данными. Как данные, так и инструкции сохраняют в системной памяти 1108 и в любом выделенном кэше. Кэш обычно разрабатывают так, чтобы он имел более короткое время задержки, чем системная память 1108; например, кэше может быть интегрирован на том же кремниевом кристалле (кристаллах), что и процессор (процессоры) и/или построен на основе более быстрого статического RAM (SRAM), в то же время системная память 1108 может быть построена на более медленных микросхемах динамического RAM (DRAM). Учитывая тенденцию более частого сохранения используемых инструкций и данных в кэш, в отличие от системного запоминающего устройства 1108, общая эффективность рабочих характеристик вычислительной системы 1100 улучшается.
Системное запоминающее устройство 1108 преднамеренно сделано доступным для других компонентов в вычислительной системе 1100. Например, данные (например, входные графические данные), принимаемые из различных интерфейсов в вычислительную систему 1100 (например, клавиатура и мышь, порт принтера, порт локальной вычислительной сети (LAN), порт модема и т.д.), могут быть получены из внутреннего накопительного элемента вычислительной системы 1100 (например, накопителя на жестком магнитном диске) и часто по времени выстраиваются в очередь в системной памяти 1108 перед их выполнением одним или большим количеством процессоров (процессорами) при выполнении прикладной программы. Аналогично, данные, которые определяет прикладная программа, которые должны быть переданы из вычислительной системы 1100 во внешний объект через один из интерфейсов вычислительной системы или сохранены во внутреннем накопительном элементе, часто по времени выстраивают в очереди в системной памяти 1108, прежде чем они будут переданы или сохранены.
ICH может использоваться для обеспечения, что такие данные будут правильно переданы между системной памятью 1108 и соответствующим интерфейсом вычислительной системы (и внутренним устройством-накопителем, если вычислительная система разработана таким образом) и могут иметь двунаправленные соединения типа точка с точкой друг с другом и наблюдаемыми устройствами ввода/вывода. Контроллер 1104 памяти может использоваться для управления различными соперничающими запросами для выделения системной памяти 1108 между ЦПУ 1102, интерфейсами и внутренними элементами-накопителями, которые могут возникать рядом друг с другом во времени в отношении друг друга.
Одно или больше устройств ввода/вывода также воплощено путем передачи данных в и/или из вычислительной системы 1100 (например, сетевого адаптера); или для объемного энергонезависимого устройства-накопителя в пределах вычислительной системы 1100 (например, накопитель на жестком магнитном диске).
Участки различных вариантов осуществления настоящего изобретения могут быть предусмотрены как компьютерный программный продукт, который может включать в себя считываемый компьютером носитель информации, на котором записаны инструкции компьютерной программы, которые могут использоваться для программирования компьютера (или других электронных устройств), для выполнения обработки в соответствии с вариантами осуществления настоящего изобретения. Считываемый устройством носитель информации может включать в себя, но не ограничивается этим, гибкие дискеты, оптические диски, постоянное запоминающее устройство на компакт-дисках (CD-ROM) и магнитооптические диски, ROM, RAM, стираемое программируемое постоянное запоминающее устройство (EPROM), электрически программируемое постоянное запоминающее устройство EPROM (EEPROM), магнитные или оптические карты, запоминающее устройство типа флэш или другого типа носитель/считываемые устройством носители информации, пригодные для сохранения электронных инструкций.
В приведенном выше описании изобретение было описано со ссылкой на конкретные примерные варианты его осуществления, однако должно быть понятно, что различные модификации и изменения могут быть выполнены в отношении него, без выхода за более широко определенные сущность и объем изобретения, которые установлены в приложенной формуле изобретения. Описание и чертежи, соответственно, следует рассматривать скорее как иллюстрацию, а не в ограничительном смысле.
Claims (12)
1. Способ для выполнения совмещения изображения игрового поля, содержащий этапы, на которых:
обрабатывают входное видеоизображение, при этом обработка включает в себя выделение ключевых точек, относящихся к видеоизображению;
детектируют, было ли выделено достаточное количество ключевых точек, относящихся к видеоизображению;
выполняют прямую оценку видеоизображения, если было выделено достаточное количество ключевых точек;
генерируют гомографическую матрицу конечного видеоизображения на основе прямой оценки, отличающийся тем, что выполнение прямой оценки включает поиск оптимального отображения, при этом поиск включает вычисление ошибки сопоставления с использованием карты расстояния, генерируемой в результате преобразования расстояния.
обрабатывают входное видеоизображение, при этом обработка включает в себя выделение ключевых точек, относящихся к видеоизображению;
детектируют, было ли выделено достаточное количество ключевых точек, относящихся к видеоизображению;
выполняют прямую оценку видеоизображения, если было выделено достаточное количество ключевых точек;
генерируют гомографическую матрицу конечного видеоизображения на основе прямой оценки, отличающийся тем, что выполнение прямой оценки включает поиск оптимального отображения, при этом поиск включает вычисление ошибки сопоставления с использованием карты расстояния, генерируемой в результате преобразования расстояния.
2. Способ по п.1, в котором прямая оценка содержит генерирование гипотезы отображения путем детектирования и оценки ключевых точек, относящихся по меньшей мере, к двум горизонтальным линиям, пересекающим, по меньшей мере, две вертикальные точки.
3. Способ по п.1, дополнительно содержащий этап, на котором выполняют опосредованную оценку видеоизображения, если достаточное количество ключевых точек еще не было выделено.
4. Способ по п.3, в котором опосредованная оценка содержит выполнение оценки глобального движения, включающей в себя сопоставление точек между двумя последовательными изображениями.
5. Способ по п.1, дополнительно содержащий предварительную обработку видеоизображения, включающую в себя выполнение классификации типа просмотра видеоизображения.
6. Способ по п.1, дополнительно содержащий этап, на котором отображают конечное видеоизображение в устройстве дисплея.
7. Система обработки данных, имеющая носитель информации и процессор, соединенный с носителем информации, при этом процессор, предназначенный для:
обработки входного видеоизображения, при этом обработка включает в себя, выделение ключевых точек, относящихся к видеоизображению;
детектирования, было ли выделено достаточное количество ключевых точек в отношении видеоизображения;
выполнения прямой оценки видеоизображения, если достаточное количество ключевых точек было выделено;
генерирования гомографической матрицы конечного видеоизображения на основе прямой оценки, отличающийся тем, что выполнение прямой оценки включает поиск оптимального отображения, при этом поиск включает вычисление ошибки сопоставления с использованием карты расстояния, генерируемой в результате преобразования расстояния.
обработки входного видеоизображения, при этом обработка включает в себя, выделение ключевых точек, относящихся к видеоизображению;
детектирования, было ли выделено достаточное количество ключевых точек в отношении видеоизображения;
выполнения прямой оценки видеоизображения, если достаточное количество ключевых точек было выделено;
генерирования гомографической матрицы конечного видеоизображения на основе прямой оценки, отличающийся тем, что выполнение прямой оценки включает поиск оптимального отображения, при этом поиск включает вычисление ошибки сопоставления с использованием карты расстояния, генерируемой в результате преобразования расстояния.
8. Система обработки данных по п.7, в которой прямая оценка содержит генерирование гипотезы отображения путем детектирования и оценки ключевых точек, относящихся, по меньшей мере, к двум горизонтальным линиям, пересекающим, по меньшей мере, две вертикальные точки.
9. Система обработки данных по п.7, в которой процессор дополнительно предназначен для выполнения опосредованной оценки видеоизображения, если достаточное количество ключевых точек не было выделено.
10. Система обработки данных по п.9, в которой опосредованная оценка содержит выполнение глобальной оценки движения, включающей в себя сопоставление точек между двумя последовательными изображениями.
11. Система обработки данных по п.7, в которой процессор дополнительно предназначен для предварительной обработки видеоизображения, включающей в себя выполнение классификации типа обзора видеоизображения.
12. Считываемый устройством носитель информации, содержащий инструкции, которые при их выполнении обеспечивают выполнение устройством способа по любому из пп.1-6.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/646,807 US8553982B2 (en) | 2009-12-23 | 2009-12-23 | Model-based play field registration |
US12/646,807 | 2009-12-23 |
Publications (2)
Publication Number | Publication Date |
---|---|
RU2011101370A RU2011101370A (ru) | 2012-07-20 |
RU2480832C2 true RU2480832C2 (ru) | 2013-04-27 |
Family
ID=43859766
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2011101370/08A RU2480832C2 (ru) | 2009-12-23 | 2011-01-13 | Совмещение игрового поля на основе модели |
Country Status (7)
Country | Link |
---|---|
US (1) | US8553982B2 (ru) |
EP (1) | EP2357611A3 (ru) |
JP (1) | JP5335762B2 (ru) |
KR (1) | KR101232509B1 (ru) |
CN (1) | CN102110293B (ru) |
RU (1) | RU2480832C2 (ru) |
TW (1) | TWI512683B (ru) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10243592B2 (en) | 2012-09-24 | 2019-03-26 | Huawei Technologies Co., Ltd. | Method and apparatus for generating hybrid polar code |
RU2729705C2 (ru) * | 2017-04-21 | 2020-08-11 | Зенимакс Медиа Инк. | Системы и способы компенсации движения на основании ввода игрока |
RU2813614C2 (ru) * | 2017-04-21 | 2024-02-13 | Зенимакс Медиа Инк. | Системы и способы компенсации движения на основании ввода игрока |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104011772B (zh) | 2011-10-19 | 2017-02-15 | 克朗设备公司 | 基于识别和跟踪图像场景中的多个对象来控制车叉 |
US20130335635A1 (en) * | 2012-03-22 | 2013-12-19 | Bernard Ghanem | Video Analysis Based on Sparse Registration and Multiple Domain Tracking |
US8849041B2 (en) * | 2012-06-04 | 2014-09-30 | Comcast Cable Communications, Llc | Data recognition in content |
US20130335579A1 (en) * | 2012-06-15 | 2013-12-19 | Palo Alto Research Center Incorporated | Detection of camera misalignment |
US8873845B2 (en) | 2012-08-08 | 2014-10-28 | Microsoft Corporation | Contextual dominant color name extraction |
CN103065311A (zh) * | 2012-12-26 | 2013-04-24 | 中国土地勘测规划院 | 基于基准影像库的卫星影像自动配准方法 |
CN103927507A (zh) * | 2013-01-12 | 2014-07-16 | 山东鲁能智能技术有限公司 | 一种改进的变电站巡检机器人的多仪表读数识别方法 |
US9374532B2 (en) | 2013-03-15 | 2016-06-21 | Google Inc. | Cascaded camera motion estimation, rolling shutter detection, and camera shake detection for video stabilization |
KR102144394B1 (ko) * | 2013-08-20 | 2020-08-13 | 한화테크윈 주식회사 | 영상 정합 장치 및 이를 이용한 영상 정합 방법 |
US10664687B2 (en) * | 2014-06-12 | 2020-05-26 | Microsoft Technology Licensing, Llc | Rule-based video importance analysis |
JP6456244B2 (ja) * | 2015-05-25 | 2019-01-23 | Kddi株式会社 | カメラキャリブレーション方法および装置 |
CN105868733A (zh) * | 2016-04-21 | 2016-08-17 | 腾讯科技(深圳)有限公司 | 一种人脸活体验证方法及装置 |
US9990535B2 (en) | 2016-04-27 | 2018-06-05 | Crown Equipment Corporation | Pallet detection using units of physical length |
JP6583923B2 (ja) * | 2016-08-19 | 2019-10-02 | Kddi株式会社 | カメラのキャリブレーション装置、方法及びプログラム |
US10210411B2 (en) * | 2017-04-24 | 2019-02-19 | Here Global B.V. | Method and apparatus for establishing feature prediction accuracy |
CN110033476A (zh) * | 2018-01-11 | 2019-07-19 | 富士通株式会社 | 目标速度估计方法、装置和图像处理设备 |
RU2705423C1 (ru) * | 2019-01-17 | 2019-11-07 | Общество с ограниченной ответственностью "РАСТР ТЕХНОЛОДЖИ" | Способ совмещения одновременно получаемых изображений от матричных фотоприёмников разного спектрального диапазона |
US11593581B2 (en) * | 2019-02-28 | 2023-02-28 | Stats Llc | System and method for calibrating moving camera capturing broadcast video |
JP7297720B2 (ja) * | 2020-07-28 | 2023-06-26 | Kddi株式会社 | カメラキャリブレーション方法、装置およびプログラム |
US11468578B2 (en) | 2020-09-14 | 2022-10-11 | Amazon Technologies, Inc. | Systems and methods for video-based sports field registration |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2108005C1 (ru) * | 1994-03-14 | 1998-03-27 | Скитекс Америка Корпорейшн | Способ имплантации изображения и устройство для его осуществления |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8564661B2 (en) * | 2000-10-24 | 2013-10-22 | Objectvideo, Inc. | Video analytic rule detection system and method |
JP4036328B2 (ja) | 2002-09-30 | 2008-01-23 | 株式会社Kddi研究所 | 動画像データのシーン分類装置 |
JP2006309529A (ja) | 2005-04-28 | 2006-11-09 | Fujitsu Ltd | 画像抽出方法、装置、および証明書用写真生成装置 |
JP4712487B2 (ja) * | 2005-08-25 | 2011-06-29 | 株式会社リコー | 画像処理方法及び装置、デジタルカメラ装置、並びに画像処理プログラムを記録した記録媒体 |
GB2431717A (en) * | 2005-10-31 | 2007-05-02 | Sony Uk Ltd | Scene analysis |
US7877706B2 (en) * | 2007-01-12 | 2011-01-25 | International Business Machines Corporation | Controlling a document based on user behavioral signals detected from a 3D captured image stream |
JP2008219063A (ja) * | 2007-02-28 | 2008-09-18 | Sanyo Electric Co Ltd | 車両周辺監視装置及び方法 |
JP5465657B2 (ja) | 2007-03-26 | 2014-04-09 | トムソン ライセンシング | 色分割および形状解析によってサッカービデオの関心対象を検出するための方法と装置 |
JP5084374B2 (ja) * | 2007-07-06 | 2012-11-28 | 株式会社トプコン | 位置計測装置及び位置計測方法 |
JP2009251940A (ja) | 2008-04-07 | 2009-10-29 | Sony Corp | 情報処理装置および方法、並びにプログラム |
JP5040796B2 (ja) * | 2008-05-09 | 2012-10-03 | 大日本印刷株式会社 | 室内調度品購入支援システム、方法、プログラム、媒体 |
-
2009
- 2009-12-23 US US12/646,807 patent/US8553982B2/en not_active Expired - Fee Related
-
2010
- 2010-12-08 TW TW099142781A patent/TWI512683B/zh not_active IP Right Cessation
- 2010-12-13 JP JP2010277067A patent/JP5335762B2/ja not_active Expired - Fee Related
- 2010-12-21 EP EP20100252179 patent/EP2357611A3/en not_active Ceased
- 2010-12-22 KR KR1020100132829A patent/KR101232509B1/ko active IP Right Grant
- 2010-12-23 CN CN201010625051.5A patent/CN102110293B/zh not_active Expired - Fee Related
-
2011
- 2011-01-13 RU RU2011101370/08A patent/RU2480832C2/ru not_active IP Right Cessation
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2108005C1 (ru) * | 1994-03-14 | 1998-03-27 | Скитекс Америка Корпорейшн | Способ имплантации изображения и устройство для его осуществления |
Non-Patent Citations (1)
Title |
---|
Yang Liu et al, «A new method to calculate the camera focusing area and player position on playfield in soccer video», Visual Communications and Image Processing 2005, найдено по адресу: http://ebookbrowse.com/a-new-method-to-calculate-the-camera-focusing-area-and-player-position-on-playfield-in-soccer-video-pdf-d 19799121. Wenlong Li et al,«Optimization and Parallelization on a Multimedia Application», 01.07.2007 найдено по адресу: http://www.researchgate.net/ researcher/12728012_Wenlong_Li. Reza P. et al, «Robust Calibration of Soccer Video using Genetic Algorithm», 2008, найдено по адресу: http://profdoc.um.ас.ir/articles/a/1007405.pdf. * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10243592B2 (en) | 2012-09-24 | 2019-03-26 | Huawei Technologies Co., Ltd. | Method and apparatus for generating hybrid polar code |
US10886950B2 (en) | 2012-09-24 | 2021-01-05 | Huawei Technologies Co., Ltd. | Method and apparatus for generating a code word |
RU2729705C2 (ru) * | 2017-04-21 | 2020-08-11 | Зенимакс Медиа Инк. | Системы и способы компенсации движения на основании ввода игрока |
US11323740B2 (en) | 2017-04-21 | 2022-05-03 | Zenimax Media Inc. | Systems and methods for player input motion compensation by anticipating motion vectors and/or caching repetitive motion vectors |
US11330291B2 (en) | 2017-04-21 | 2022-05-10 | Zenimax Media Inc. | Systems and methods for player input motion compensation by anticipating motion vectors and/or caching repetitive motion vectors |
US11503332B2 (en) | 2017-04-21 | 2022-11-15 | Zenimax Media Inc. | Systems and methods for player input motion compensation by anticipating motion vectors and/or caching repetitive motion vectors |
US11533504B2 (en) | 2017-04-21 | 2022-12-20 | Zenimax Media Inc. | Systems and methods for player input motion compensation by anticipating motion vectors and/or caching repetitive motion vectors |
US11601670B2 (en) | 2017-04-21 | 2023-03-07 | Zenimax Media Inc. | Systems and methods for player input motion compensation by anticipating motion vectors and/or caching repetitive motion vectors |
US11695951B2 (en) | 2017-04-21 | 2023-07-04 | Zenimax Media Inc. | Systems and methods for player input motion compensation by anticipating motion vectors and/or caching repetitive motion vectors |
RU2813614C2 (ru) * | 2017-04-21 | 2024-02-13 | Зенимакс Медиа Инк. | Системы и способы компенсации движения на основании ввода игрока |
Also Published As
Publication number | Publication date |
---|---|
TW201142750A (en) | 2011-12-01 |
KR101232509B1 (ko) | 2013-02-12 |
US20110150275A1 (en) | 2011-06-23 |
CN102110293B (zh) | 2014-12-31 |
RU2011101370A (ru) | 2012-07-20 |
KR20110073367A (ko) | 2011-06-29 |
EP2357611A3 (en) | 2012-03-07 |
JP5335762B2 (ja) | 2013-11-06 |
CN102110293A (zh) | 2011-06-29 |
US8553982B2 (en) | 2013-10-08 |
JP2011134322A (ja) | 2011-07-07 |
TWI512683B (zh) | 2015-12-11 |
EP2357611A2 (en) | 2011-08-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2480832C2 (ru) | Совмещение игрового поля на основе модели | |
Tang et al. | A two-stage approach for automatic liver segmentation with Faster R-CNN and DeepLab | |
Ammar Abbas et al. | A geometric approach to obtain a bird's eye view from an image | |
Ruan et al. | Multi-correlation filters with triangle-structure constraints for object tracking | |
Oron et al. | Extended lucas-kanade tracking | |
US20190295266A1 (en) | Point cloud matching method | |
CN103299610B (zh) | 用于视频***的方法和设备 | |
Candemir et al. | Graph-cut based automatic lung boundary detection in chest radiographs | |
US11170246B2 (en) | Recognition processing device, recognition processing method, and program | |
US12014459B2 (en) | Image processing device, image processing method, and program for forming an accurate three-dimensional map | |
Morais et al. | A multiple camera methodology for automatic localization and tracking of futsal players | |
CN114782499A (zh) | 一种基于光流和视图几何约束的图像静态区域提取方法及装置 | |
Romero-Ramirez et al. | Tracking fiducial markers with discriminative correlation filters | |
Zhu et al. | ASPP-DF-PVNet: atrous Spatial Pyramid Pooling and Distance-Filtered PVNet for occlusion resistant 6D object pose estimation | |
Deng et al. | Active cardiac model and its application on structure detection from early fetal ultrasound sequences | |
CN113240656A (zh) | 视觉定位方法及相关装置、设备 | |
Mori et al. | Good keyframes to inpaint | |
CN113570535A (zh) | 视觉定位方法及相关装置、设备 | |
Chen et al. | Towards real time guide wire shape extraction in fluoroscopic sequences: a two phase deep learning scheme to extract sparse curvilinear structures | |
JP2020126514A (ja) | 高さ推定装置及びプログラム | |
Jiang et al. | Real-time multiple people hand localization in 4d point clouds | |
US11941820B1 (en) | Method for tracking an object in a low frame-rate video and object tracking device using the same | |
KR20190025267A (ko) | 직교 소실점을 이용한 단일 영상의 내벽 구조 검출 장치 및 방법 | |
Meng et al. | Weighted local mutual information for 2D-3D registration in vascular interventions | |
Sun | Automated and interactive approaches for optimal surface finding based segmentation of medical image data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20180114 |