RU2426172C1 - Способ и система выделения данных об изображении объекта переднего плана на основе данных о цвете и глубине - Google Patents

Способ и система выделения данных об изображении объекта переднего плана на основе данных о цвете и глубине Download PDF

Info

Publication number
RU2426172C1
RU2426172C1 RU2010101846/09A RU2010101846A RU2426172C1 RU 2426172 C1 RU2426172 C1 RU 2426172C1 RU 2010101846/09 A RU2010101846/09 A RU 2010101846/09A RU 2010101846 A RU2010101846 A RU 2010101846A RU 2426172 C1 RU2426172 C1 RU 2426172C1
Authority
RU
Russia
Prior art keywords
image
difference
mask
background
data
Prior art date
Application number
RU2010101846/09A
Other languages
English (en)
Inventor
Екатерина Витальевна ТОЛСТАЯ (RU)
Екатерина Витальевна ТОЛСТАЯ
Виктор Валентинович БУЧА (RU)
Виктор Валентинович Буча
Original Assignee
Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд."
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." filed Critical Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд."
Priority to RU2010101846/09A priority Critical patent/RU2426172C1/ru
Priority to US13/011,419 priority patent/US20110175984A1/en
Application granted granted Critical
Publication of RU2426172C1 publication Critical patent/RU2426172C1/ru

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

Изобретение относится к области распознавания и сегментации изображений, и в частности к способу и системе для выделения целевого объекта из фонового изображения и изображения объекта путем создания маски, используемой для выделения целевого объекта. Техническим результатом является создание усовершенствованного способа выделения данных об изображении объекта, используя данные о глубине изображения. Указанный технический результат достигается тем, что создают скалярное изображение разности изображения объекта и фона на основе разности освещенности, а в областях, где разность освещенности ниже заранее установленного порогового значения, на основе разности цвета; инициализируют маску по результатам, полученным из предыдущего видеокадра, где скалярное изображение разности меньше заранее установленного порога, если эти результаты доступны, при этом маску объекта заполняют нулями и единицами, где единица означает, что соответствующий пиксель принадлежит объекту, и нуль в ином случае; кластеризуют скалярное изображение разности и данные по глубине на основе нескольких кластеров; создают маску для каждого положения пикселя видеокадра, используя центры тяжести кластеров скалярной разности и данные по глубине для текущего положения пикселя; компенсируют изменения фона сцены во времени путем обновления изображения фона на основе использования созданной маски и изображения разности. 2 н. и 10 з.п. ф-лы, 4 ил.

Description

Изобретение относится к области цифровой фотографии, а более конкретно - к способу и системе для выделения целевого объекта из фонового изображения и изображения объекта путем создания маски, используемой для выделения целевого объекта. Подобные системы широко используются в задачах сегментации человеческого силуэта и фона для дальнейшего распознавания.
Одно из конкретных применений подобной системы - это хромакей-метод (способ цветовой рирпроекции), где равномерно освещенный монохроматический фон используется для того, чтобы снять объект таким образом, чтобы впоследствии он мог быть заменен другим изображением (The Television Society technical Report, vol.12, pp.29-34, 1988) [1]. Данная система представляет собой самый простой случай, где фон можно легко распознать на изображении. Более сложные случаи включают фон.
Выделение фона, хотя это упрощенно определятся как разность между фоновым изображением без целевых объектов и наблюдаемым изображением, предполагает необходимость решения множества проблем, таких как наличие одинаково окрашенных объектов и теней объектов. Этим проблемам посвящены многочисленные исследования.
Например, в патенте США №6167167 [2] маску объекта определяют на основе изображения целевого объекта и изображения фона только за счет введения порогового значения различий между этими изображениями. Данный подход ненадежен, так как встает вопрос о методике выбора порогового значения.
В патентах США №6661918 [3] и №7317830 [4] объект и фон сегментируют путем моделирования фонового изображения, которое изначально недоступно. При этом для моделирования фона используют данные о дальности (глубине). Однако в случае, когда фоновое изображение доступно, результаты сегментации являются намного более надежными.
Данные о дальности (глубине) используются также в патенте США №6188777 [5], где Булева маска, соответствующая силуэту человека, изначально рассчитывается как «объединение всех связанных, слабо отличающихся значений дальности (глубины)». Это означает, что для выделения силуэта используются только данные о глубине. Однако в случае, когда человек стоит на полу, значения глубины ног человека очень близки к значениям глубины пола под ногами. Поэтому данные о глубине не могут надежно помогать в выделении силуэта стоящего человека. Несмотря на указанный недостаток, решение [5] выбрано в качестве прототипа заявляемого изобретения.
Анализ известных решений показал, что способы, основанные исключительно на пороговом принципе, страдают от недостоверности при выборе порога. Если данные о глубине не используются, то маска объекта может быть ненадежной из-за некоторых ограничений, таких как тени и одинаково окрашенные объекты. В случае, если данные о глубине доступны, а целевой объект (далее упоминаемый как «объект») размещен на некоторой поверхности, то его основание имеет такой же показатель о глубине, как и поверхность, поэтому использование только данных о глубине не обеспечит точного решения, для этого необходимо изображение фона. Фоновые условия (например, освещение, тени и т.д.) могут измениться и в случае продолжительного отслеживания объекта во времени, именно поэтому изображение постоянного фона смещается все дальше от реального фона объекта с течением времени, что может сильно сказаться на точности отделения объекта от фона на изображении.
Таким образом, задача, на решение которой направлено заявляемое изобретение, состоит в том, чтобы разработать усовершенствованный способ выделения данных об изображении объекта из последовательности видеокадров и продолжить систему, реализующую такой усовершенствованный способ.
Технический результат достигается за счет разработки нового способа выделения данных об изображении объекта из последовательности видеокадров, из изображения фона, не содержащего данных об изображении объекта, и из последовательности данных о глубине, соответствующих видеокадрам, на основе создаваемой маски объекта для каждого видеокадра, при этом заявляемый способ предусматривает выполнение следующих операций:
- создание скалярного изображения разности изображения объекта и фона на основе разности освещенности (lightness), а в областях, где разность освещенности ниже заранее установленного порогового значения, - на основе разности цвета;
- инициализация маски по результатам, полученным из предыдущего видеокадра, где скалярное изображение разности меньше заранее установленного порога, если эти результаты доступны, и нулей в ином случае;
- кластеризация скалярного изображения разности и данных о глубине на основе нескольких кластеров;
- создание маски для каждого положения пикселя видеокадра, используя центры тяжести кластеров скалярной разности и центры тяжести кластеров данных о глубине для текущего положения пикселя;
- компенсация изменений фона сцены во времени путем обновления изображения фона на основе использования созданной и изображения разности.
Для реализации заявляемого способа разработана система, включающая в себя две цифровые видеокамеры, удаленные одна от другой и выполненные с возможностью съемки сцены в стереоформате, причем одна из цифровых видеокамер выполняет роль эталонной камеры; обработчик данных по цвету, выполненный с возможностью преобразования данных от камер в цветовые данные RGB; обработчик данных о дальности (глубине), выполненный с возможностью определения соответствия между пикселями в изображениях от каждой из двух цифровых видеокамер: обработчик данных по фону, выполненный с возможностью обработки фона для каждого видеокадра и запускающийся цветным цифровым изображением сцены, не содержащей целевого объекта, от эталонной камеры; оценщик разности, выполненный с возможностью вычисления разности в освещенности и цвете фонового и текущего видеокадра; детектор фона/переднего плана, выполненный с возможностью определения принадлежности конкретного пикселя фону или целевому объекту.
В качестве отличительных признаков заявляемого изобретения следует отметить следующие моменты, что это решение предлагает
- вычисление цветовой разности только для пикселей, где разность в освещенности является достаточно малой;
- данные о цветовой разнице и данные по глубине кластеризуются с помощью кластеризации k-средних;
- одновременное использование кластеризованных данных по цветовой разнице и глубине для сегментации объекта и видео.
Далее сущность заявляемого изобретения поясняется с привлечением графических материалов.
Фиг.1. Схема основных компонентов системы.
Фиг.2. Основные этапы способа.
Фиг.3. Процесс вычисления изображения разности между текущим видеокадром и изображением фона.
Фиг.4. Процесс маски объекта.
Сегментация фонового объекта и объекта на переднем плане в изображении основано на одновременном использовании данных о глубине и данных о цвете. Данные о глубине независимы от данных цветного изображения и, следовательно, не затронуты ограничениями, связанными с сегментацией, основанной на цвете, такими как тени и одинаково окрашенные объекты.
Фиг.1 описывает схему функционирования основных компонентов системы, которые реализуют заявляемый способ сегментации. Изображения сцены снимаются парой цифровых видеокамер 101, 102, которые разнесены одна от другой, чтобы обеспечить стереоизображение сцены. Эти камеры откалиброваны и выдают два типа данных для каждого пикселя каждого изображения в видеопоследовательности. Один тип данных - это цветовые величины пикселя в RGB (иди другом цветовом пространстве). Одна из этих двух камер, например камера 101, может быть выбрана в качестве эталонной (опорной) камеры, и значения RGB от этой камеры передаются в обработчик 103 данных по цвету, аналогичный описанному в [4], как данные по цвету для каждого изображения в последовательности видеоизображений. Другой тип данных - это значение расстояния d для каждого пикселя в сцене. Значение расстояния вычисляется в обработчике 105 данных о глубине (дальности) путем определения соответствия между пикселями в изображениях, полученных от каждой из этих двух камер 101 и 102. Расстояние (дальность) между положениями соответствующих пикселей называют диспарантностью (или глубиной). В сущности, диспарантность обратно пропорциональна расстоянию до объекта, представленного этим пикселем. Из уровня техники известно большое число методов вычисления диспарантности, которые могут быть реализованы в обработчике 105 данных о глубине (дальности).
В рассматриваемом примере в составе системы были использованы известные из уровня техники устройства, в частности:
обработчик данных по цвету, известный из [4],
обработчик данных по глубине, известный, например, из RU 200814011 [6], RU 2008144840 [7], RU 2009110511 [8] или публикации D.Scharstein and R.Szeliski. «А taxonomy and evaluation of dense two-frame stereo correspondence algorithms», International Journal of Computer Vision, 47(1/2/3):7-42, April-June 2002 [9].
Описанный пример реализации не исключает и других конкретных вариантов осуществления изобретения.
Информация, получаемая из снятых видеокамерами изображений, включает в себя многомерную величину данных (R, G, В, d) для каждого пикселя в каждом кадре видеопоследовательности. Эти данные, наряду с фоновым изображением B от обработчика 106 данных по фону, передаются в оценщик 104 разности, который вычисляет разность ΔI по освещенности и цвету между фоновым изображением и текущим видеокадром (детали вычисления приведены ниже и проиллюстрированы на Фиг.3). В приведенном примере реализации изобретения фоновое изображение B инициализируется с самого начала цветным цифровым изображением сцены, в которой отсутствует целевой объект, полученной от эталонной камеры. После этого с помощью детектора 107 фона/переднего плана для каждого пикселя определяют (выносят решение), принадлежит ли он фону, или целевому объекту, и на основе таких решений строят маску М объекта: там, где пиксель принадлежит объекту, маске M присваивается значение 1, там, где пиксель не принадлежит объекту, маске М присваивается значение 0. Работа детектора 107 в деталях иллюстрируется на Фиг.4 и описывается ниже. Затем обработчик 106 данных по фону обновляет фоновое изображение B в тех пикселях, где маска M объекта, полученная от детектора 107 фона/переднего плана, равна 0, по формуле (4), используя текущее фоновое изображение Bold, заданный параметр α. Каждый компонент заявляемой системы может быть реализован в виде интегральной схемы (ИС).
В другом варианте реализации система состоит из одной цифровой видеокамеры 101, камеры 102, измеряющей глубину, как например, Minolta VIVID 700 Non-Contact 3D Digitizer, или такая, как описано, например, в патенте США №6897946 [10]. RGB изображение передается от камеры 101 в обработчик 103 данных по цвету, а данные по глубине обрабатываются в обработчике 105 данных по глубине.
Фиг.2 иллюстрирует последовательность основных этапов заявляемого способа сегментации объекта переднего плана с помощью данных по цвету и глубине. Сначала на шаге 201 оценщик 104 разности вычисляет скалярное изображение разности между видеокадром объекта и фоновым изображением (детали вычислений представлены ниже). На шаге 202 инициализируется маска объекта: для каждого пикселя, где разность изображения ниже значения некоторого порога, значение маски задается равным результату, полученному для предыдущего кадра. В ином случае (или в случае, когда данные по предыдущему кадру недоступны) для данного пикселя маска задается равной нулю. На шаге 203 детектор 107 фона/переднего плана заполняет маску объекта нулями и единицами, где единица означает, что соответствующий пиксель принадлежит объекту, нуль - в ином случае (детали представлены ниже). На шаге 204 обработчик 106 данных по фону обновляют фоновые изображения с помощью вычислительной маски и текущего видеокадра, чтобы согласовать возможные изменения в освещении и тенях.
Фиг.3 иллюстрирует работу оценщика 104, который вычисляет изображение разности ΔI по освещенности и цвету между фоновым изображением и текущим видеокадром. Процесс выполняется для каждого пикселя, начиная с начала (шаг 301). Пусть Ib={Rb,Gb,Bb} - цветное изображение фона и I={R,G,B} - цветной видеокадр, ΔL - разность в освещенности, ΔС - разность в цвете, ΔI - изображение разностей. Тогда
Figure 00000001
Figure 00000002
На шаге 302 вычисляют значение D максимальной разности в цветовых каналах. Далее проверяется условие 303, выбирается константа δ в пределах 25-30 для 24-битового цветного изображения (где значения в цветовых каналах меняется от 0 до 255). Если D<δ, то цветовая разность вычисляется по формуле, приведенной выше. Суммируя все вышесказанное,
Figure 00000003
Если текущий пиксель оказывается последним (шаг 306), процесс останавливают, определяют (выносят решение), принадлежит ли он фону, или целевому объекту.
Фиг.4 иллюстрирует работу детектора 107 фона/переднего плана, результатом вычисления которого является маска объекта, на шагах 401 и 402 выполняют кластеризацию k-средних для данных о глубине и скалярного изображения разности. Для первого видеокадра центры тяжести кластеров равномерно распределяют в интервале [0, MAX_DEPTH] и [0, 255] соответственно. На последующих кадрах центры тяжести кластеров инициализируются от предыдущих кадров. Начиная с первого пикселя (шаг 403), маску объекта заполняют для каждого положения пикселя. Для текущего положения пикселя определяют размер и центр тяжести кластера (шаг 404), при этом данные о глубине и скалярная разность в этом положении пикселя принадлежат:
Cd - центру тяжести класса глубины текущего положения пикселя.
Ci - центру тяжести класса скалярной разности текущего положения пикселя.
Nd - Cd - размер класса.
Затем на шагах 405-407 проверяют выполнение нескольких условий. Если все эти условия выполнены, то выносят решение, что текущее положение пикселя принадлежит целевому объекту, и маску объекта для этого положения заполняют единицами. В ином случае, если хотя бы одно из условий не выполнено, то маску объекта в этом положении задают нулем. Константы T1, T2 и T3 являются достаточно очевидными и основаны на здравом смысле:
T1: разность изображения должна превышать некоторое значение для того, чтобы показать, что разность действительно существует. В приведенном примере реализации T1 задано, как 10 (максимально возможным значением, которое принимает Ci - это 255).
T2 и T3: обычно T2 известна из модуля вычисления глубины, это минимальная глубина, которая может быть достоверно определена. T3 может быть оценена априорно на основе длины базы устройства ввода (стереокамеры). Также она может быть вычислена из тех пикселей, где разность изображения является достаточно существенной, с тем, чтобы можно было с уверенностью утверждать, что местоположение этих пикселей соответствует целевому объекту.
T4: размер класса текущей глубины должен быть заметно существенным. В рассматриваемом варианте реализации изобретения примера осуществления, по меньшей мере, десять пикселей должны принадлежать данному классу (что составляет менее 0,02% от общего числа положений пикселей).
Следует отметить, что все вышеупомянутые условия достаточно приблизительные; ни одно из них не может самостоятельно гарантировать примерный результат. Но при совместном использовании они могут обеспечить достаточно приемлемую точность.
На шаге 410 проверяется условие, достигнут ли последний пиксель. Если так, то процесс прекращается. В ином случае вычисления продолжают в отношении следующего пикселя.
После вычисления маски объекта обработчик 106 данных по фону обновляет фоновое изображение B с помощью маски объекта. Пиксели фонового изображения в положениях, где маска равна нулю и где разность меньше некоторого значения (например, меньше чем 15 для 8-битовой разности), обрабатывают с помощью метода «скользящего среднего»:
Figure 00000004
где α является показателем того, насколько быстро фоновое изображение аккомодируется к изменению освещенности сцены. Значения, близкие к еденице, свидетельствуют о замедленной аккомодации, а значения ниже 0,5 свидетельствуют о слишком быстрой аккомодации. Быстрая аккомодация может привести к ненужным изменениям в изображении фона, что вызовет появление артефактов в маске объекта. Поэтому значения α в пределах от 0,9 до 0,99 ведут к хорошим результатам.
Заявляемое изобретение предназначено, в первую очередь, для практического применения в программном обеспечении систем съемки движения человека. Кроме того, заявляемый способ может найти применение в мониторах, снабженных стереокамерами, или в системах съемки движения на основе двух цифровых видеокамер. Возможно также применение заявляемого изобретения в интерактивных играх, графических спецэффектах и т.д.
Следует отметить, что помимо описанного варианта реализации заявляемых способа и системы возможны и другие варианты осуществления изобретения, не выходящие за границы притязаний, изложенных в материалах данной заявки. При этом подразумевается, что чертежи и описание должны рассматриваться лишь в качестве иллюстративных материалов.

Claims (12)

1. Способ выделения данных об изображении объекта из последовательности видеокадров, из изображения фона, не содержащего данных об изображении объекта, и из последовательности данных о глубине, соответствующих видеокадрам, на основе создаваемой маски объекта для каждого видеокадра, при этом заявляемый способ предусматривает выполнение следующих операций:
- создают скалярное изображение разности изображения объекта и фона на основе разности освещенности, а в областях, где разность освещенности ниже заранее установленного порогового значения, на основе разности цвета;
- инициализируют маску по результатам, полученным из предыдущего видеокадра, где скалярное изображение разности меньше заранее установленного порога, если эти результаты доступны, при этом маску объекта заполняют нулями и единицами, где единица означает, что соответствующий пиксель принадлежит объекту, и нуль в ином случае;
- кластеризуют скалярное изображение разности и данные о глубине на основе нескольких кластеров;
- создают маску для каждого положения пикселя видео кадра на основе использования данных относительно центров тяжести кластеров скалярной разности и данных о глубине для текущего положения пикселя;
- компенсируют изменения фона сцены во времени путем обновления изображения фона на основе использования созданной маски и изображения разности.
2. Способ по п.1, отличающийся тем, что разность цвета вычисляют как угол между векторами, представленными величинами цветовых каналов.
3. Способ по п.1, отличающийся тем, что кластеризацию выполняют с помощью применения метода кластеризации k-средних.
4. Способ по п.1, отличающийся тем, что при создании маски решение относительно величины маски объекта принимают с учетом Булевых условий, касающихся свойств кластера текущего положения пикселя.
5. Способ по п.1, отличающийся тем, что фоновое изображение обновляют во времени на основе вычисленной маски и текущего видеокадра.
6. Способ по п.1, отличающийся тем, что изображение разностей ΔI вычисляют с помощью следующего уравнения:
Figure 00000005
;
где ΔС - разность в цвете, ΔI - изображение разностей, ΔL - разность в освещенности, δ - константа в пределах 25-30 для 24-битового цветного изображения.
7. Способ по п.6, отличающийся тем, что разность освещенности изображения ΔL вычисляют с помощью следующего уравнения
Figure 00000006
;
где Rb, Gb, Bb - характеризуют цветное изображение фона, R, G, В - характеризуют цветной видео кадр.
8. Способ п.6, отличающийся тем, что разность цвета изображения ΔС вычисляют с помощью следующего уравнения:
Figure 00000007
9. Способ п.1, отличающийся тем, что на этапе создания маски объекта выделяют глубину объекта из кадра глубины с помощью логической операции "AND".
10. Способ п.9, отличающийся тем, что полученную карту глубины объекта обрабатывают медианным фильтром, удаляющим мелкие отверстия, порожденные ошибками маски объекта.
11. Система, реализующая способ выделения данных об изображении объекта из последовательности видеокадров, из изображения фона, не содержащего данных об изображении объекта, и из последовательности данных о глубине, соответствующих видеокадрам, на основе создаваемой маски объекта для каждого видеокадра, включающая в себя две цифровые видеокамеры, удаленные одна от другой и выполненные с возможностью съемки сцены в стерео формате, причем одна из цифровых видеокамер выполняет роль эталонной камеры; обработчик данных по цвету, выполненный с возможностью преобразования данных от камер в цветовые данные RGB; обработчик данных о глубине, выполненный с возможностью определения соответствия между пикселями в изображениях от каждой из двух цифровых видеокамер; обработчик данных по фону, выполненный с возможностью обработки фона для каждого видеокадра и запускающийся цветным цифровым изображением сцены, не содержащей объекта, от эталонной камеры; оценщик разности, выполненный с возможностью вычисления разности в освещенности и цвете фонового изображения и текущего видеокадра; детектор фона/переднего плана, выполненный с возможностью определения принадлежности конкретного пикселя фону или объекту.
12. Система по п.11, отличающаяся тем, что одна из цифровых видеокамер выполнена с возможностью измерения глубины.
RU2010101846/09A 2010-01-21 2010-01-21 Способ и система выделения данных об изображении объекта переднего плана на основе данных о цвете и глубине RU2426172C1 (ru)

Priority Applications (2)

Application Number Priority Date Filing Date Title
RU2010101846/09A RU2426172C1 (ru) 2010-01-21 2010-01-21 Способ и система выделения данных об изображении объекта переднего плана на основе данных о цвете и глубине
US13/011,419 US20110175984A1 (en) 2010-01-21 2011-01-21 Method and system of extracting the target object data on the basis of data concerning the color and depth

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2010101846/09A RU2426172C1 (ru) 2010-01-21 2010-01-21 Способ и система выделения данных об изображении объекта переднего плана на основе данных о цвете и глубине

Publications (1)

Publication Number Publication Date
RU2426172C1 true RU2426172C1 (ru) 2011-08-10

Family

ID=44277337

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2010101846/09A RU2426172C1 (ru) 2010-01-21 2010-01-21 Способ и система выделения данных об изображении объекта переднего плана на основе данных о цвете и глубине

Country Status (2)

Country Link
US (1) US20110175984A1 (ru)
RU (1) RU2426172C1 (ru)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2517266C1 (ru) * 2012-03-08 2014-05-27 Мицубиси Электрик Корпорейшн Устройство составления изображений
RU2542876C2 (ru) * 2013-05-27 2015-02-27 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Южно-Российский государственный университет экономики и сервиса" (ФГБОУ ВПО "ЮРГУЭС") Устройство выделения высокодетализированных объектов на изображении сцены
RU2557484C1 (ru) * 2014-03-27 2015-07-20 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Тамбовский государственный технический университет" ФГБОУ ВПО ТГТУ Способ сегментации изображения
RU2572377C1 (ru) * 2014-12-30 2016-01-10 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Донской государственный технический университет" (ФГБОУ ВПО "ДГТУ") Устройство редактирования видеопоследовательностей
RU2669470C1 (ru) * 2017-12-25 2018-10-12 федеральное государственное бюджетное образовательное учреждение высшего образования "Донской государственный технический университет" (ДГТУ) Устройство для удаления логотипов и субтитров с видеопоследовательностей

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8565479B2 (en) 2009-08-13 2013-10-22 Primesense Ltd. Extraction of skeletons from 3D maps
US8787663B2 (en) * 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
US9527115B2 (en) * 2010-03-13 2016-12-27 Carnegie Mellon University Computer vision and machine learning software for grading and sorting plants
US8594425B2 (en) * 2010-05-31 2013-11-26 Primesense Ltd. Analysis of three-dimensional scenes
US9208571B2 (en) * 2011-06-06 2015-12-08 Microsoft Technology Licensing, Llc Object digitization
US20130063556A1 (en) * 2011-09-08 2013-03-14 Prism Skylabs, Inc. Extracting depth information from video from a single camera
AU2011224051B2 (en) * 2011-09-14 2014-05-01 Canon Kabushiki Kaisha Determining a depth map from images of a scene
US9117281B2 (en) * 2011-11-02 2015-08-25 Microsoft Corporation Surface segmentation from RGB and depth images
US9165187B2 (en) * 2012-01-12 2015-10-20 Kofax, Inc. Systems and methods for mobile image capture and processing
US11321772B2 (en) 2012-01-12 2022-05-03 Kofax, Inc. Systems and methods for identification document processing and business workflow integration
US9047507B2 (en) 2012-05-02 2015-06-02 Apple Inc. Upper-body skeleton extraction from depth maps
CN102881018B (zh) * 2012-09-27 2014-10-29 清华大学深圳研究生院 一种图像深度图生成方法
TWI489090B (zh) 2012-10-31 2015-06-21 Pixart Imaging Inc 偵測系統
CN103808305B (zh) * 2012-11-07 2017-11-07 原相科技股份有限公司 检测***
US10127636B2 (en) 2013-09-27 2018-11-13 Kofax, Inc. Content-based detection and three dimensional geometric reconstruction of objects in image and video data
US10783615B2 (en) 2013-03-13 2020-09-22 Kofax, Inc. Content-based object detection, 3D reconstruction, and data extraction from digital images
US11620733B2 (en) 2013-03-13 2023-04-04 Kofax, Inc. Content-based object detection, 3D reconstruction, and data extraction from digital images
US9191643B2 (en) * 2013-04-15 2015-11-17 Microsoft Technology Licensing, Llc Mixing infrared and color component data point clouds
US9852519B2 (en) 2013-06-25 2017-12-26 Pixart Imaging Inc. Detection system
US10467465B2 (en) 2015-07-20 2019-11-05 Kofax, Inc. Range and/or polarity-based thresholding for improved data extraction
US10043279B1 (en) 2015-12-07 2018-08-07 Apple Inc. Robust detection and classification of body parts in a depth map
US10587858B2 (en) * 2016-03-14 2020-03-10 Symbol Technologies, Llc Device and method of dimensioning using digital images and depth data
US10366278B2 (en) 2016-09-20 2019-07-30 Apple Inc. Curvature-based face detector
US11170511B2 (en) * 2017-03-31 2021-11-09 Sony Semiconductor Solutions Corporation Image processing device, imaging device, and image processing method for replacing selected image area based on distance
TWM547115U (zh) * 2017-05-15 2017-08-11 Lips Corp 擴充式雙鏡頭裝置
CN107368188B (zh) * 2017-07-13 2020-05-26 河北中科恒运软件科技股份有限公司 介导现实中的基于多重空间定位的前景抽取方法及***
CN107742306B (zh) * 2017-09-20 2021-03-23 徐州工程学院 一种智能视觉中运动目标跟踪算法
US10803350B2 (en) 2017-11-30 2020-10-13 Kofax, Inc. Object detection and image cropping using a multi-detector approach
US10515463B2 (en) * 2018-04-20 2019-12-24 Sony Corporation Object segmentation in a sequence of color image frames by background image and background depth correction
US11774593B2 (en) * 2019-12-27 2023-10-03 Automotive Research & Testing Center Method of simultaneous localization and mapping
CN111862511B (zh) * 2020-08-10 2021-08-24 湖南海森格诺信息技术有限公司 基于双目立体视觉的目标入侵检测装置及其方法
CN112702615B (zh) * 2020-11-27 2023-08-08 深圳市创成微电子有限公司 一种网络直播音视频处理方法及***
CN112991293B (zh) * 2021-03-12 2024-04-26 东南大学 一种快速自适应的实时彩色背景提取方法
CN113902938B (zh) * 2021-10-26 2022-08-30 稿定（厦门）科技有限公司 一种图像的聚类方法和装置以及设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3679512B2 (ja) * 1996-07-05 2005-08-03 キヤノン株式会社 画像抽出装置および方法
US6188777B1 (en) * 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6661918B1 (en) * 1998-12-04 2003-12-09 Interval Research Corporation Background estimation and segmentation based on range and color

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DARRELL Т. et al, A virtual mirror interface using real-time robust face tracking, PROCEEDINGS THIRD IEEE INTERNATIONAL CONFERENCE ON AUTOMATIC FACE AND GESTURE RECOGNITION, PROCEEDINGS THIRD IEEE INTERNATIONAL CONFERENCE ON AUTOMATIC FACE AND GESTURE RECOGNITION, Japan, 14-16 April 1998, c.c.616-621. ГОНСАЛЕС P., ВУДС Р. Цифровая обработка изображений, Техносфера. - М., 2006, глава 10, 12, с.872-873, 893-904. ШАПИРО Л., СТОКМАН ДЖ. Компьютерное зрение, Бином. Лаборатория знаний. - М., 2006, с.363-377. *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2517266C1 (ru) * 2012-03-08 2014-05-27 Мицубиси Электрик Корпорейшн Устройство составления изображений
RU2542876C2 (ru) * 2013-05-27 2015-02-27 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Южно-Российский государственный университет экономики и сервиса" (ФГБОУ ВПО "ЮРГУЭС") Устройство выделения высокодетализированных объектов на изображении сцены
RU2557484C1 (ru) * 2014-03-27 2015-07-20 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Тамбовский государственный технический университет" ФГБОУ ВПО ТГТУ Способ сегментации изображения
RU2572377C1 (ru) * 2014-12-30 2016-01-10 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Донской государственный технический университет" (ФГБОУ ВПО "ДГТУ") Устройство редактирования видеопоследовательностей
RU2669470C1 (ru) * 2017-12-25 2018-10-12 федеральное государственное бюджетное образовательное учреждение высшего образования "Донской государственный технический университет" (ДГТУ) Устройство для удаления логотипов и субтитров с видеопоследовательностей

Also Published As

Publication number Publication date
US20110175984A1 (en) 2011-07-21

Similar Documents

Publication Publication Date Title
RU2426172C1 (ru) Способ и система выделения данных об изображении объекта переднего плана на основе данных о цвете и глубине
US10867430B2 (en) Method and system of 3D reconstruction with volume-based filtering for image processing
JP6438403B2 (ja) 結合された深度キューに基づく平面視画像からの深度マップの生成
Crabb et al. Real-time foreground segmentation via range and color imaging
US9741125B2 (en) Method and system of background-foreground segmentation for image processing
JP6489551B2 (ja) 画像のシーケンスにおいて前景を背景から分離する方法およびシステム
US11443454B2 (en) Method for estimating the pose of a camera in the frame of reference of a three-dimensional scene, device, augmented reality system and computer program therefor
Weinzaepfel et al. Learning to detect motion boundaries
KR100953076B1 (ko) 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치
Fernandez-Sanchez et al. Background subtraction model based on color and depth cues
CN109640066B (zh) 高精度稠密深度图像的生成方法和装置
WO2018053952A1 (zh) 一种基于场景样本库的影视图像深度提取方法
CN108605119B (zh) 2d到3d视频帧转换
CN105809716B (zh) 融合超像素与三维自组织背景减除法的前景提取方法
KR102525030B1 (ko) 포인트 클라우드를 생성하는 방법 및 장치
CN107481267A (zh) 一种基于双目视觉的摄像投影交互***及方法
CN115035235A (zh) 三维重建方法及装置
JP2018055367A (ja) 画像処理装置、画像処理方法、及びプログラム
CN110443228B (zh) 一种行人匹配方法、装置、电子设备及存储介质
Prasad et al. Epipolar geometry based learning of multi-view depth and ego-motion from monocular sequences
Camplani et al. Accurate depth-color scene modeling for 3D contents generation with low cost depth cameras
JP7163049B2 (ja) 情報処理装置、情報処理方法及びプログラム
Zhao et al. Real-time and temporal-coherent foreground extraction with commodity RGBD camera
CN116704111A (zh) 图像处理方法和设备
Calagari et al. Data driven 2-D-to-3-D video conversion for soccer

Legal Events

Date Code Title Description
MM4A The patent is invalid due to non-payment of fees

Effective date: 20160122