RU2481636C2

RU2481636C2 - Method, device and computer software product for creation of orientation-independent face detector

Info

Publication number: RU2481636C2
Application number: RU2011126944A
Authority: RU
Inventors: Конг Цяо ВАНГ; Цзянвэй ЛИ; Лэй СЮ
Original assignee: Нокиа Корпорейшн
Priority date: 2008-12-04
Filing date: 2009-12-01
Publication date: 2013-05-10

Abstract

FIELD: information technologies.

SUBSTANCE: method for face detection independently on orientation includes generation of multiple mosaic images on the basis of an inlet image, which have different scale, using multiple variously oriented detectors of contours for detection of controus in multiple mosaic images, including combination of contours of multiple mosaic images, having different scales, and face detection in areas that correspond to specified variously oriented detectors of contours, on the basis of appropriate criteria maps created by specified variously oriented detectors of contours. Besides, a device and a machine-readable data medium are disclosed, which correspond to the proposed method.

EFFECT: provision of face detection independently on orientation, provision of quickness and reliability of face detection.

17 cl, 15 dwg

Description

ОБЛАСТЬ ТЕХНИКИFIELD OF TECHNOLOGY

Варианты осуществления настоящего изобретения в целом относятся к технологии обработки изображений, а более конкретно - к способу, устройству и компьютерному программному продукту для выполнения обнаружения лиц независимо от ориентации.Embodiments of the present invention generally relate to image processing technology, and more particularly, to a method, apparatus, and computer program product for performing face detection regardless of orientation.

УРОВЕНЬ ТЕХНИКИBACKGROUND

Обнаружение и распознание лиц становится все более важной областью техники. В этом отношении обнаружение лиц может быть полезным, например, в биометрии, в пользовательском интерфейсе и в других областях, таких как создание контекста для получения доступа к сообществам в мобильном домене. Обнаружение лиц может также быть важным прогрессом в рамках таких инициатив, как стандартизация метаданных.Face detection and recognition is becoming an increasingly important area of technology. In this regard, face detection can be useful, for example, in biometrics, in the user interface, and in other areas, such as creating context for accessing communities in a mobile domain. Face detection can also be important progress in initiatives such as standardization of metadata.

Хотя способы обнаружения лиц продолжают улучшаться, для многих из них требуется либо высокая вычислительная мощность (например, в статистических способах обнаружения лиц путем сканирования с преобразованием в нескольких масштабах), либо эти способы обеспечивают лишь ограниченное обнаружение лиц (например, структурные способы с относительно высоким процентом ложного обнаружения лиц). Кроме того, некоторые статистические механизмы обнаружения лиц обладают худшими характеристиками при обнаружении лиц в нескольких ракурсах по сравнению с обнаружением лиц анфас. Другим усложняющим фактором является то, что лица, встречающиеся на конкретном изображении, не всегда ориентированы в одинаковом направлении относительно камеры, что отрицательно влияет на обнаружение. Например, в некоторых случаях поворот в плоскости (например, лица, которое повернуто относительно оси, идущей от лица до наблюдателя) может усложнить обнаружение лиц.Although methods for detecting faces continue to improve, many of them require either high computational power (for example, in statistical methods for detecting faces by scanning with multi-scale conversion), or these methods provide only limited detection of faces (for example, structural methods with a relatively high percentage false detection of faces). In addition, some statistical mechanisms for detecting faces have worse characteristics when detecting faces from several angles compared to detecting faces in full. Another complicating factor is that the faces encountered in a particular image are not always oriented in the same direction relative to the camera, which negatively affects detection. For example, in some cases, turning in a plane (for example, a face that is rotated about an axis going from the face to the observer) may complicate the detection of faces.

Соответственно, имеющаяся тенденция к разработке устройств с непрерывным повышением их способности к созданию контента, хранению контента и/или приему контента относительно быстро после запроса, тенденция в современном мире к всеохватывающему использованию электронных устройств (например, мобильных электронных устройств, таких как мобильные телефоны) и стремление к непрерывному совершенствованию интерфейса и механизмов доступа с целью повышения возможностей таких устройств могут сделать желательным обеспечение дальнейшего усовершенствования в области обнаружения лиц.Accordingly, there is a tendency to develop devices with a continuous increase in their ability to create content, store content and / or receive content relatively quickly after a request, a tendency in the modern world to the comprehensive use of electronic devices (for example, mobile electronic devices such as mobile phones) and the desire for continuous improvement of the interface and access mechanisms in order to increase the capabilities of such devices may make it desirable to provide further adoption improvements in face detection.

КРАТКИЙ ОБЗОР НЕКОТОРЫХ ПРИМЕРОВSUMMARY OF SOME EXAMPLES

Поэтому предложены способ, устройство и компьютерный программный продукт, обеспечивающие механизм обнаружения лиц независимо от ориентации. Например, в некоторых данных в качестве примера вариантах осуществления изобретения предложен способ, позволяющий обнаруживать лица в диапазоне возможных углов вращения в плоскости 360 градусов. Кроме того, некоторые варианты осуществления обеспечивают относительно быстрый и надежный способ обнаружения лиц в множестве ракурсов с использованием схемы структурного обнаружения с операцией верификации, в которой используется статистический способ (например, статистическая верификация на основе адаптивного усиления (Adaboost, adaptive boosting)) для уменьшения количества ложных обнаружений. Кроме того, в некоторых вариантах осуществления настоящего изобретения предусмотрена возможность обнаружения нескольких возможных лиц способом многомасштабного структурного обнаружения, в котором затем используется множество детекторов лиц для верификации (например, использование детекторов лиц Adaboost, обладающих способностью обнаружения лиц анфас и повернутых в плоскости на 90 градусов) возможных лиц после их поворота к вертикальному положению на основании линии, соединяющей два обнаруженных глаза.Therefore, a method, device, and computer program product are provided that provide a mechanism for detecting faces regardless of orientation. For example, in some data, as an example, embodiments of the invention, a method is provided for detecting faces in the range of possible angles of rotation in a plane of 360 degrees. In addition, some embodiments provide a relatively quick and reliable way to detect faces from multiple angles using a structural detection scheme with a verification operation that uses a statistical method (e.g., adaptive boosting based statistical verification (Adaboost) to reduce the number of false detections. In addition, in some embodiments of the present invention, it is possible to detect several possible faces by a multi-scale structural detection method, which then uses a plurality of face detectors for verification (for example, using Adaboost face detectors capable of detecting full faces and rotated 90 degrees in a plane) possible persons after turning to a vertical position on the basis of the line connecting the two detected eyes.

В данном в качестве примера варианте осуществления настоящего изобретения предложен способ обнаружения лиц независимо от ориентации. Способ может включать формирование из входного изображения множества мозаичных изображений, имеющих различный масштаб, использование множества по-разному ориентированных детекторов контуров для обнаружения контуров множества мозаичных изображений, включая комбинирование контуров множества мозаичных изображений, имеющих различные масштабы, и выполнение обнаружения лиц в областях, соответствующих по-разному ориентированным детекторам контуров, на основании соответствующих карт признаков, созданных по-разному ориентированными детекторами контуров.In this as an example embodiment of the present invention, a method for detecting faces regardless of orientation. The method may include generating from the input image a plurality of mosaic images having different scales, using a plurality of differently oriented contour detectors to detect the contours of a plurality of mosaic images, including combining the contours of a plurality of mosaic images having different scales, and performing face detection in areas corresponding to differently oriented loop detectors based on the corresponding feature maps created by differently oriented children circuit editors.

В еще одном данном в качестве примера варианте осуществления настоящего изобретения предложен компьютерный программный продукт для обеспечения обнаружения лиц независимо от ориентации. Компьютерный программный продукт включает по меньшей мере один машиночитаемый носитель данных, включающий хранящиеся на нем выполняемые компьютером программные инструкции. Выполнимые компьютером программные инструкции могут включать программные инструкции для формирования на основе входного изображения множества мозаичных изображений, имеющих различный масштаб, использование множества по-разному ориентированных детекторов контуров для обнаружения контуров в множестве мозаичных изображений, включая комбинирование контуров множества мозаичных изображений, имеющих различные масштабы, и программные инструкции для выполнения обнаружения лиц в областях, соответствующих по-разному ориентированным детекторам контуров, на основе соответствующей карты признаков, созданной по-разному ориентированными детекторами контуров.In yet another exemplary embodiment of the present invention, there is provided a computer program product for providing face detection regardless of orientation. A computer program product includes at least one computer-readable storage medium including computer program instructions stored thereon. Computer-executable program instructions may include program instructions for generating, based on the input image, a plurality of mosaic images having different scales, using a plurality of differently oriented edge detectors to detect outlines in a plurality of mosaic images, including combining the outlines of a plurality of mosaic images having different scales, and program instructions for performing face detection in areas corresponding to differently oriented children contour cores based on the corresponding feature map created by differently oriented contour detectors.

В еще одном данном в качестве примера варианте осуществления настоящего изобретения предложено устройство для обнаружения лиц независимо от ориентации. Устройство может включать процессор. Процессор может осуществлять формирование по входному изображению множества мозаичных изображений, имеющих различный масштаб, использование множества по-разному ориентированных детекторов контуров для обнаружения контуров в множестве мозаичных изображений, включая комбинирование контуров множества мозаичных изображений, имеющих различные масштабы, и выполнение обнаружения лиц в областях, соответствующих по-разному ориентированным детекторам контуров, на основе соответствующей карты признаков, созданной по-разному ориентированными детекторами контуров.In another given as an example embodiment of the present invention, a device for detecting faces regardless of orientation. The device may include a processor. The processor may generate multiple mosaic images of varying scales from the input image, use a variety of differently oriented edge detectors to detect edges in multiple mosaic images, including combining the edges of multiple mosaic images of different scales, and perform face detection in areas corresponding to differently oriented edge detectors, based on the corresponding feature map created in differently oriented loop detectors.

В еще одном данном в качестве примера варианте осуществления настоящего изобретения предложено устройство для осуществления обнаружения лица независимо от ориентации. Устройство может включать средство для формирования по входному изображению множества мозаичных изображений, имеющих различный масштаб, средство для использования множества по-разному ориентированных детекторов контуров для обнаружения контуров в множестве мозаичных изображений, включая комбинирование контуров множества мозаичных изображений, имеющих различные масштабы, и средство для выполнения обнаружения лиц в областях, соответствующих по-разному ориентированным детекторам контуров, на основе соответствующей карты признаков, созданной по-разному ориентированными детекторами контуров.In another given as an example embodiment of the present invention, a device for detecting faces regardless of orientation. The device may include means for generating a plurality of mosaic images having different scales from the input image, means for using a plurality of differently oriented edge detectors to detect outlines in a plurality of mosaic images, including combining the outlines of a plurality of mosaic images having different scales, and means for performing detecting faces in areas corresponding to differently oriented edge detectors based on the corresponding feature map, created by differently oriented loop detectors.

Варианты осуществления настоящего изобретения обеспечивают создание способа, устройства и компьютерного программного продукта для использования, например, в мобильной или неподвижной среде. В результате, например, пользователи вычислительного устройства получают улучшенные возможности по обнаружению лиц.Embodiments of the present invention provide a method, device, and computer program product for use, for example, in a mobile or stationary environment. As a result, for example, users of a computing device receive enhanced face detection capabilities.

КРАТКОЕ ОПИСАНИЕ СОПРОВОЖДАЮЩИХ ЧЕРТЕЖЕЙBRIEF DESCRIPTION OF THE Accompanying Drawings

Таким образом, после краткого описания некоторых вариантов осуществления настоящего изобретения будут описаны сопровождающие чертежи, которые не обязательно представлены в масштабе и на которых:Thus, after a brief description of some embodiments of the present invention, the accompanying drawings will be described, which are not necessarily to scale and in which:

на фиг.1 показан пример блок-схемы устройства, предназначенного для обнаружения лиц независимо от ориентации, согласно одному из вариантов осуществления настоящего изобретения;figure 1 shows an example block diagram of a device for detecting faces regardless of orientation, according to one embodiment of the present invention;

на фиг.2 показан пример преобразования входного изображения в мозаичное согласно одному из вариантов осуществления настоящего изобретения;figure 2 shows an example of the conversion of the input image into a mosaic according to one of the embodiments of the present invention;

на фиг.3 показан пример секторного охвата четырьмя детекторами контуров, ориентированных так, чтобы обеспечить полный охват круговой области при повороте в плоскости согласно одному из вариантов осуществления настоящего изобретения;figure 3 shows an example of sector coverage by four contour detectors oriented so as to provide full coverage of the circular region when turning in a plane according to one embodiment of the present invention;

на фиг.4 показана блок-схема, иллюстрирующая совместную работу модификатора изображения и детектора контуров согласно одному из вариантов осуществления настоящего изобретения;FIG. 4 is a flowchart illustrating the operation of an image modifier and a loop detector according to one embodiment of the present invention;

на фиг.5А показан пример изображения, которое в одном из вариантов осуществления настоящего изобретения может быть введено в качестве исходного изображения;on figa shows an example image, which in one of the embodiments of the present invention can be entered as a source image;

на фиг.5В показан пример карты признаков изображений для исходного изображения при повороте контуров на 0 градусов при преобразовании в полутоновое представление с уровнем бинаризации 60 согласно одному из вариантов осуществления настоящего изобретения;Fig. 5B shows an example of a feature map of images for the original image when the contours are rotated 0 degrees when converted to a grayscale representation with a binarization level of 60 according to one embodiment of the present invention;

на фиг.5С показан пример результата обнаружения лиц согласно одному из вариантов осуществления настоящего изобретения;5C shows an example of a face detection result according to one embodiment of the present invention;

на фиг.6 (включая фиг.6А и 6В) показаны примеры эластичного шаблона лица согласно одному из вариантов осуществления настоящего изобретения;6 (including FIGS. 6A and 6B) show examples of an elastic face template according to one embodiment of the present invention;

на фиг.7 показаны примеры семи различных примитивов Хаара, которые могут использоваться в одном из вариантов осуществления настоящего изобретения;7 shows examples of seven different Haar primitives that can be used in one embodiment of the present invention;

на фиг.8 показана схема штрафов для использования в самонастройке согласно одному из вариантов осуществления настоящего изобретения;on Fig shows a scheme of fines for use in self-tuning according to one of the embodiments of the present invention;

на фиг.9 показана блок-схема операций, выполняемых согласно одному из вариантов осуществления настоящего изобретения;figure 9 shows a block diagram of operations performed according to one of the embodiments of the present invention;

на фиг.10 показана блок-схема мобильного терминала, который может получить положительный эффект при использовании вариантов осуществления настоящего изобретения; иfigure 10 shows a block diagram of a mobile terminal that can get a positive effect when using embodiments of the present invention; and

на фиг.11 показана последовательность операций согласно примеру способа обнаружения лиц независимо от ориентации согласно одному из вариантов осуществления настоящего изобретения.11 shows a sequence of operations according to an example of a method for detecting faces regardless of orientation according to one embodiment of the present invention.

ПОДРОБНОЕ ОПИСАНИЕ НЕКОТОРЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ НАСТОЯЩЕГО ИЗОБРЕТЕНИЯDETAILED DESCRIPTION OF SOME EMBODIMENTS FOR CARRYING OUT THE INVENTION

Ниже некоторые варианты осуществления настоящего изобретения описаны более полно со ссылками на сопровождающие чертежи, на которых показаны некоторые, но не все такие варианты. Различные варианты осуществления настоящего изобретения могут быть реализованы во многих различных формах и не должны рассматриваться как ограничивающие варианты осуществления настоящего изобретения; приведенные варианты осуществления настоящего изобретения даны лишь для того, чтобы настоящее раскрытие удовлетворяло соответствующим юридическим требованиям. Одинаковыми позициями повсюду обозначены одинаковые элементы. В контексте настоящего документа термины "данные", "содержание", "информация" и аналогичные термины могут быть использованы взаимозаменяемо для описания данных, которые можно передать, принять и/или сохранить согласно различным вариантам осуществления настоящего изобретения. Кроме того, в контексте настоящего описания выражение "данный в качестве примера" не несет какой-либо качественной оценки, а просто описывает пример. Кроме того, термины "близко" и "далеко" используются в относительном смысле для описания объектов, расположенных ближе и дальше друг относительно друга от некоторой точки, но не для количественного описания какого-либо положения. Таким образом, использование любых таких терминов не ограничивает духа и объема вариантов осуществления настоящего изобретения.Below, some embodiments of the present invention are described more fully with reference to the accompanying drawings, in which some, but not all such embodiments are shown. Various embodiments of the present invention may be implemented in many different forms and should not be construed as limiting the embodiments of the present invention; The above embodiments of the present invention are given only to ensure that the present disclosure satisfies the relevant legal requirements. Identical elements throughout denote the same elements. In the context of this document, the terms “data”, “content”, “information” and similar terms can be used interchangeably to describe data that can be transmitted, received and / or stored in accordance with various embodiments of the present invention. In addition, in the context of the present description, the expression "given as an example" does not carry any qualitative assessment, but simply describes an example. In addition, the terms “close” and “far” are used in a relative sense to describe objects located closer and further relative to each other from some point, but not to quantify any position. Thus, the use of any such terms does not limit the spirit and scope of embodiments of the present invention.

Некоторые варианты осуществления настоящего изобретения обеспечивают способ, посредством которого можно усовершенствовать обнаружение лиц. В этом отношении, например, некоторые варианты осуществления настоящего изобретения могут предусматривать схемы обнаружения лиц в реальном времени или близко к реальному времени, которые могут применяться для присвоения метаданных, для биометрии и множества других действий с помощью переносного компьютера или других вычислительных устройств.Some embodiments of the present invention provide a method by which face detection can be improved. In this regard, for example, some embodiments of the present invention may include real-time or near-real-time face detection schemes that can be used to assign metadata, biometrics, and many other actions using a laptop computer or other computing devices.

На фиг.1 показан пример блок-схемы устройства, обеспечивающего обнаружение лиц независимо от ориентации, согласно одному из вариантов осуществления настоящего изобретения. Ниже этот вариант осуществления настоящего изобретения описан со ссылкой на фиг.1, где показаны некоторые элементы устройства, позволяющие обнаружить лица независимо от ориентации. Устройство, показанное на фиг.1, может использоваться, например, в мобильном терминале (например, в мобильном терминале 10 на фиг.11) или в множестве других устройств, как мобильных, так и стационарных (таких как, например, сетевое устройство, персональный компьютер, ноутбук или аналогичное устройство). Альтернативно, варианты осуществления настоящего изобретения могут использоваться в комбинации устройств. Соответственно, некоторые варианты осуществления настоящего изобретения могут быть полностью реализованы в единственном устройстве (например, в мобильном терминале 10) или в устройствах, которые взаимодействуют соответственно иерархии клиент-сервер. Кроме того, следует отметить, что устройства или элементы, описанные ниже, возможно, не являются обязательными и, таким образом, в определенных вариантах осуществления настоящего изобретения некоторые из них могут быть опущены.Figure 1 shows an example block diagram of a device for detecting faces regardless of orientation, according to one embodiment of the present invention. Below this embodiment of the present invention is described with reference to figure 1, which shows some elements of the device to detect faces regardless of orientation. The device shown in FIG. 1 can be used, for example, in a mobile terminal (for example, in a mobile terminal 10 in FIG. 11) or in a variety of other devices, both mobile and stationary (such as, for example, a network device, a personal computer, laptop or similar device). Alternatively, embodiments of the present invention may be used in combination of devices. Accordingly, some embodiments of the present invention can be fully implemented in a single device (for example, in a mobile terminal 10) or in devices that communicate according to a client-server hierarchy. In addition, it should be noted that the devices or elements described below may not be necessary and, therefore, in certain embodiments of the present invention, some of them may be omitted.

На фиг.1 показано устройство, обеспечивающее обнаружение лиц независимо от ориентации. Устройство может включать или быть связано с процессором 70, пользовательским интерфейсом 72, интерфейсом 74 связи и запоминающим устройством 76. Запоминающее устройство 76 может включать, например, энергозависимую и/или энергонезависимую память. Запоминающее устройство 76 может быть выполнено с возможностью хранения информации, данных, приложений, инструкций и т.п. для того, чтобы устройство могло выполнять различные функции в соответствии с данными в качестве примера вариантами осуществления настоящего изобретения. Например, запоминающее устройство 76 может использоваться для буферизации входных данных с последующей обработкой их процессором 70. Дополнительно или альтернативно, запоминающее устройство 76 может хранить инструкции для выполнения их процессором 70. В еще одном варианте запоминающее устройство 76 может быть одной из множества баз данных, в которых хранят информацию и/или медиаконтент.Figure 1 shows a device for detecting faces regardless of orientation. The device may include or be associated with a processor 70, a user interface 72, a communication interface 74, and a storage device 76. The storage device 76 may include, for example, volatile and / or non-volatile memory. The storage device 76 may be configured to store information, data, applications, instructions, and the like. so that the device can perform various functions in accordance with the data as an example, embodiments of the present invention. For example, memory 76 may be used to buffer input data and subsequently processed by processor 70. Additionally or alternatively, memory 76 may store instructions for execution by processor 70. In yet another embodiment, memory 76 may be one of a variety of databases, which store information and / or media content.

Процессор 70 может быть выполнен множеством различных способов. Например, процессор 70 может быть выполнен как различные обрабатывающие средства, такие как обрабатывающий элемент, сопроцессор, контроллер или различные другие обрабатывающие устройства, включая интегральные схемы, например специализированную интегральную микросхему (ASIC, application specific integrated circuit), программируемую логическую матрицу (FPGA, field programmable gate array), аппаратный ускоритель и т.п.. В данном в качестве примера варианте осуществления настоящего изобретения процессор 70 может использоваться для выполнения инструкций, хранящихся в запоминающем устройстве 76 или доступных для процессора 70 в какой-либо иной форме. Кроме того, независимо от того, сформирован ли процессор 70 аппаратными средствами, с помощью программного обеспечения или с использованием комбинации перечисленного, он при соответствующем конфигурировании может представлять собой объект, способный производить операции согласно вариантам осуществления настоящего изобретения.The processor 70 may be implemented in many different ways. For example, processor 70 may be implemented as various processing means, such as a processing element, coprocessor, controller, or various other processing devices, including integrated circuits, for example, a specialized integrated circuit (ASIC, application specific integrated circuit), programmable logic array (FPGA, field programmable gate array), hardware accelerator, and the like. In this exemplary embodiment of the present invention, processor 70 may be used to execute instructions stored in a memory present apparatus 76 or accessible to processor 70 in any other form. In addition, regardless of whether the processor 70 is configured in hardware, using software, or using a combination of the above, it can, with appropriate configuration, be an object capable of performing operations according to embodiments of the present invention.

В то же время интерфейсом 74 связи могут быть любые средства, например устройство или схема, которые воплощены в рамках аппаратных средств, программного обеспечения или путем комбинации аппаратных средств и программного обеспечения и которые выполнены с возможностью приема данных из сети и/или передачи данных в сеть и/или любого другого устройства или модуля, имеющего связь с описываемым устройством. В этом отношении интерфейс 74 связи может включать, например, антенну (или множество антенн) и поддерживающие аппаратные средства и/или программное обеспечение, которые обеспечивают связь с сетью беспроводной связи (например, сетью 78). В неизменной окружающей среде интерфейс 74 связи может, альтернативно или дополнительно, поддерживать проводную связь. Кроме того, интерфейс 74 связи, может включать модем связи и/или другие аппаратные средства/программное обеспечение, предназначенные для осуществления связи по кабелю, цифровой абонентской линии (DSL), универсальной последовательной шине (USB) или с помощью других средств.At the same time, the communication interface 74 can be any means, for example, a device or circuit, which are embodied in hardware, software, or by a combination of hardware and software and which are capable of receiving data from the network and / or transmitting data to the network and / or any other device or module in communication with the described device. In this regard, the communication interface 74 may include, for example, an antenna (or multiple antennas) and supporting hardware and / or software that communicate with a wireless communication network (e.g., network 78). In a constant environment, communication interface 74 may, alternatively or additionally, support wired communication. In addition, the communication interface 74 may include a communication modem and / or other hardware / software for communication via cable, digital subscriber line (DSL), universal serial bus (USB), or other means.

Пользовательский интерфейс 72 может быть связан с процессором 70 для индикации ввода пользователем данных в пользовательский интерфейс 72 и/или обеспечивать звуковой, визуальный, механический или другой выход для пользователя. При этом пользовательский интерфейс 72 может включать, например, клавиатуру, "мышь", джойстик, дисплей, сенсорный экран, микрофон, динамик или другие механизмы ввода/выхода. В данном в качестве примера варианте осуществления настоящего изобретения, в котором устройство выполнено в виде сервера или некоторых других сетевых устройств, пользовательский интерфейс 72 может иметь ограниченные функции или отсутствовать. Однако в том варианте осуществления настоящего изобретения, в котором рассматриваемое устройство выполнено в виде мобильного терминала, пользовательский интерфейс 72 может включать, помимо других устройств или элементов, любой из следующих элементов: динамик, микрофон, дисплей, клавиатуру и т.п.User interface 72 may be coupled to processor 70 to indicate user input to user interface 72 and / or provide a sound, visual, mechanical, or other output to the user. The user interface 72 may include, for example, a keyboard, mouse, joystick, display, touch screen, microphone, speaker, or other input / output mechanisms. In this exemplary embodiment of the present invention, in which the device is implemented as a server or some other network devices, the user interface 72 may have limited functions or may not exist. However, in that embodiment of the present invention, in which the device in question is designed as a mobile terminal, the user interface 72 may include, in addition to other devices or elements, any of the following elements: speaker, microphone, display, keyboard, and the like.

В данном в качестве примера варианте осуществления настоящего изобретения процессор 70 может включать модификатор 80 изображения, детектор 82 контуров, детектор 84 лиц, устройство 86 поворота возможного лица и верификатор 88 или может быть выполнен с возможностью управления этими устройствами. Модификатор 80 изображения, детектор 82 контуров, детектор 84 лиц, устройство 86 поворота возможного лица и верификатор 88 могут представлять собой любое средство, такое как устройство или схема, воплощенные в аппаратных средствах, программном обеспечении или комбинации аппаратных средств и программного обеспечения (например, процессор 70 может работать под управлением программного обеспечения, процессор 70 может быть выполнен как специализированная интегральная микросхема (ASIC), программируемая логическая матрица (FPGA), специально предназначенная для выполнения вышеописанных операций, или их комбинация), которые предназначены для выполнения соответствующий функций модификатора 80 изображения, детектора 82 контуров, детектора 84 лиц, устройства 86 поворота возможного лица и верификатора 88 соответственно, как описано ниже.In an exemplary embodiment of the present invention, processor 70 may include an image modifier 80, a loop detector 82, a face detector 84, a possible face rotation device 86, and a verifier 88, or may be configured to control these devices. The image modifier 80, the loop detector 82, the face detector 84, the possible face rotation device 86, and the verifier 88 may be any means such as a device or circuit embodied in hardware, software, or a combination of hardware and software (e.g., processor 70 can run under software control, processor 70 can be implemented as a specialized integrated circuit (ASIC), programmable logic array (FPGA), specifically designed constant prices for performing the above described operations, or a combination thereof), which are designed to perform the functions corresponding image modifier 80, detector circuit 82, the detector 84 persons, devices 86 and rotatably face verifier 88, respectively, as described below.

В данном в качестве примера варианте осуществления настоящего изобретения любой из модификатора 80 изображения, детектора 82 контуров, детектора 84 лиц, устройства 86 поворота возможного лица и верификатора 88 может включать инструкции, коды, модули, приложения и/или электронные схемы для выполнения соответствующих частей процесса обнаружения лиц. Однако следует отметить, что код, электронная схема и/или инструкции, связанные с модификатором 80 изображения, детектором 82 контуров, детектором 84 лиц, устройством 86 поворота возможного лица и верификатором 88, не обязательно должны быть модульными. В некоторых вариантах осуществления настоящего изобретения связи между модификатором 80 изображения, детектором 82 контуров, детектором 84 лиц, устройством 86 поворота возможного лица и верификатором 88 осуществляются через процессор 70. Однако альтернативно, в других вариантах осуществления настоящего изобретения, модификатор 80 изображения, детектор 82 контуров, детектор 84 лиц, устройство 86 поворота возможного лица и верификатор 88 могут находиться в непосредственной связи друг с другом или могут не иметь никакой связи друг с другом.In this exemplary embodiment of the present invention, any of the image modifier 80, the loop detector 82, the face detector 84, the possible face rotator 86, and the verifier 88 may include instructions, codes, modules, applications, and / or electronic circuits for performing the relevant parts of the process face detection. However, it should be noted that the code, electronic circuitry and / or instructions associated with the image modifier 80, the loop detector 82, the face detector 84, the possible face rotator 86 and the verifier 88 need not be modular. In some embodiments of the present invention, communications between the image modifier 80, the loop detector 82, the face detector 84, the possible face rotation device 86, and the verifier 88 are via processor 70. However, alternatively, in other embodiments of the present invention, the image modifier 80 is a loop detector 82 , a face detector 84, a possible face rotation device 86, and a verifier 88 may be in direct communication with each other or may have no connection with each other.

В данном в качестве примера варианте осуществления настоящего изобретения модификатор 80 изображения модифицирует входное изображение из данных уровня пикселей в данные уровня признаков, и, таким образом, детектор 82 контуров может выполнить обнаружение контура на уровне признаков. Затем детектор 84 лиц обнаруживает возможные лица с использованием эластичного шаблона лица, как описано ниже, при этом он способен обнаружить лица при их повороте в плоскости в диапазоне 360 градусов. После того как возможные лица обнаружены, устройство 86 поворота возможного лица поворачивает обнаруженные возможные лица в вертикальное положение, после чего верификатор 88 проверяет, соответствуют ли возможные лица лицам.In an exemplary embodiment of the present invention, the image modifier 80 modifies the input image from the pixel level data into the characteristic level data, and thus, the edge detector 82 can perform edge detection at the attribute level. Then, the face detector 84 detects possible faces using an elastic face pattern, as described below, while it is able to detect faces when they are rotated in a plane in the range of 360 degrees. After the possible faces are detected, the possible face rotation device 86 rotates the detected possible faces to a vertical position, after which the verifier 88 checks whether the possible faces match the faces.

В данном в качестве примера варианте осуществления настоящего изобретения модификатор 80 изображения может быть связан с модулем захвата среды (например, модулем 37 фотокамеры на фиг.11) для приема данных изображения с целью их использования при анализе, как описано ниже. Однако в альтернативных вариантах осуществления настоящего изобретения модификатор 80 изображения может принимать изображения из хранилища (например, запоминающего устройства 76) или другого устройства. Модификатор 80 изображения может формировать на основании входного изображения мозаичное изображение. В этом отношении модификатор 80 изображения в некоторых вариантах осуществления настоящего изобретения выполнен с возможностью преобразования данных уровня пикселей изображения в данные уровня признаков.In this exemplary embodiment of the present invention, the image modifier 80 may be coupled to a medium capture module (for example, the camera module 37 of FIG. 11) for receiving image data for use in analysis, as described below. However, in alternative embodiments of the present invention, the image modifier 80 may receive images from a storage (e.g., storage device 76) or other device. The image modifier 80 may generate a mosaic image based on the input image. In this regard, the image modifier 80 in some embodiments of the present invention is configured to convert image pixel level data into feature level data.

На фиг.2 показан пример формирования мозаичного изображения на основании входного сигнала согласно данному в качестве примера варианту осуществления настоящего изобретения. В этом примере модификатор 80 изображения осуществляет построение на основании входного изображения (например, исходного изображения) многомасштабных мозаичных изображений. В некоторых случаях можно использовать четыре масштаба размеров мозаичных ячеек, обозначенные как 2×2, 4×4, 6×6 и 8×8 соответственно. Как показано на фиг.2, размеры каждой мозаичной ячейки можно вычислить, усредняя количество всех пикселей во входном изображении, которые находятся в соответствующем определенном окне. Вследствие сильной корреляции между любыми двумя соседними мозаичными ячейками при усреднении может быть желательно учесть перекрытие между ячейками на определенный процент. Например, у каждой из мозаичных ячеек А, В, С и D на фиг.2 могут быть большие или меньшие перекрывающиеся части с другими конкретными ячейками (например, ячейка А перекрывается с каждой из ячеек В и С на 50%, с ячейкой D перекрывается только на 25%). Таким образом, согласно данному в качестве примера варианту осуществления настоящего изобретения создание мозаичного изображения с использованием модификатора 80 изображения эффективно удаляет тонкие структуры лица и выделяет более крупные признаки лица (например, глаза, рот и границы лица), поскольку мозаичное изображение состоит из мозаичных ячеек, а не из пикселей.Figure 2 shows an example of the formation of a mosaic image based on the input signal according to this as an example embodiment of the present invention. In this example, the image modifier 80 builds multi-scale mosaic images based on the input image (for example, the original image). In some cases, you can use four sizes of sizes of mosaic cells, designated as 2 × 2, 4 × 4, 6 × 6 and 8 × 8, respectively. As shown in FIG. 2, the sizes of each tile can be calculated by averaging the number of all pixels in the input image that are in the corresponding specific window. Due to the strong correlation between any two adjacent mosaic cells during averaging, it may be desirable to take into account the overlap between cells by a certain percentage. For example, each of the mosaic cells A, B, C, and D in Fig. 2 may have larger or smaller overlapping parts with other specific cells (for example, cell A overlaps with each of cells B and C by 50%, with cell D overlaps only 25%). Thus, according to an exemplary embodiment of the present invention, creating a mosaic image using the image modifier 80 effectively removes subtle face structures and highlights larger facial features (e.g., eyes, mouth, and face borders) because the mosaic image consists of mosaic cells, not from pixels.

Созданное модификатором 80 изображения на основании входного изображения мозаичное изображение, включая различные масштабы, может быть передано в детектор 82 контуров. В некоторых вариантах осуществления настоящего изобретения для обнаружения признаков контура детектор 82 контуров преобразует мозаичные изображения, имеющие различный масштаб, в бинарную форму. При этом в одном из вариантов осуществления настоящего изобретения детектор 82 контуров может действовать как многомасштабный и многоуровневый детектор признаков контура. Например, в одном варианте осуществления настоящего изобретения могут использоваться четыре детектора контуров, при этом упомянутые четыре детектора контуров повернуты на 0, 45, 90 и 135 градусов. Такая ориентация четырех детекторов контуров обеспечивает точное обнаружение контура в широком диапазоне ориентации (например, 360 градусов). На фиг.3 показан пример того, как четыре детектора контуров, ориентированные как описано выше, способны обеспечить охват всего диапазона поворотов в плоскости. Как показано в примере на фиг.3, детектор контуров с ориентацией 0 градусов используется для обнаружения лиц в диапазоне приблизительно от 337,5 градусов до 22,5 градусов и приблизительно от 157,5 градусов до 202,5 градусов. Детектор контуров с ориентацией 45 градусов используется для обнаружения лиц в диапазоне приблизительно от 22,5 градусов до 67,5 градусов и приблизительно от 202,5 градусов до 247,5 градусов. Детектор контуров с ориентацией 90 градусов используется для обнаружения лиц в диапазоне приблизительно от 67,5 градусов до 112,5 градусов и приблизительно от 247,5 градусов до 292,5 градусов. Наконец, детектор контуров с ориентацией 135 градусов используется для обнаружения лиц в диапазоне приблизительно от 112,5 градусов до 157,5 градусов и приблизительно от 292,5 градусов до 337,5 градусов. Однако следует отметить, что вариант осуществления настоящего изобретения, показанный на фиг.3, представляет собой просто один из примеров возможных ориентаций детектора контуров, и альтернативно можно использовать другие ориентации, обеспечивающие покрытие диапазона 360 градусов.The mosaic image created by the image modifier 80 based on the input image, including various scales, can be transmitted to the edge detector 82. In some embodiments of the present invention, for detecting features of a contour, the edge detector 82 converts mosaic images having different scales into a binary shape. Moreover, in one embodiment of the present invention, the loop detector 82 may act as a multi-scale and multi-level loop feature detector. For example, in one embodiment of the present invention, four loop detectors may be used, wherein said four loop detectors are rotated 0, 45, 90, and 135 degrees. This orientation of the four loop detectors provides accurate loop detection over a wide range of orientations (e.g. 360 degrees). Figure 3 shows an example of how four loop detectors, oriented as described above, are able to cover the entire range of turns in the plane. As shown in the example of FIG. 3, a 0 degree edge detector is used to detect faces in the range of about 337.5 degrees to 22.5 degrees and about 157.5 degrees to 202.5 degrees. A 45-degree edge detector is used to detect faces in the range of approximately 22.5 degrees to 67.5 degrees and approximately 202.5 degrees to 247.5 degrees. A 90-degree edge detector is used to detect faces in the range of approximately 67.5 degrees to 112.5 degrees and approximately 247.5 degrees to 292.5 degrees. Finally, a contour detector with an orientation of 135 degrees is used to detect faces ranging from about 112.5 degrees to 157.5 degrees and from about 292.5 degrees to 337.5 degrees. However, it should be noted that the embodiment of the present invention shown in FIG. 3 is just one example of the possible orientations of the loop detector, and alternatively other orientations that cover a 360 degree range can be used.

В общем случае, если в качестве примера взять человеческое лицо в вертикальном положении, глаза и рот на лице при низком разрешении могут представлять собой изогнутые горизонтальные признаки. Соответственно, можно выявить лица путем обнаружения этих признаков и попытки сгруппировать их в модель, которая соответствует ожидаемой модели глаз и рта на лице. Поэтому область лица можно идентифицировать, если часть признаков, присутствующих в изображении, согласуется с заранее заданной структурой лица, соответствующей ожидаемой модели. В практических ситуациях лица могут быть повернуты в плоскости на любой угол, что усложняет вышеописанный процесс. Соответственно, применение детекторов контуров с множеством различных ориентаций, как описано выше, позволяет охватить все возможные углы поворота в плоскости. В приведенном выше примере каждый детектор контуров позволяет покрыть два 45-градусных сектора, лежащих под углом 180 градусов друг относительно друга. Соответственно, если имеется ML уровней бинаризации, можно создать 4·ML карт признаков контуров. Поскольку признаки контуров определены в результате комбинирования контуров для множества масштабов, каждый из признаков контуров позволяет грубо выявить направление и форму объекта, анализируемого по данному признаку.In the general case, if we take the human face in an upright position as an example, the eyes and mouth on the face at low resolution can be curved horizontal features. Accordingly, you can identify faces by detecting these signs and trying to group them into a model that matches the expected model of the eyes and mouth on the face. Therefore, the face region can be identified if some of the features present in the image are consistent with a predetermined face structure corresponding to the expected model. In practical situations, faces can be rotated in a plane to any angle, which complicates the above process. Accordingly, the use of loop detectors with many different orientations, as described above, allows you to cover all possible angles of rotation in the plane. In the above example, each loop detector allows you to cover two 45-degree sectors lying at an angle of 180 degrees relative to each other. Accordingly, if there are ML binarization levels, you can create 4 · ML contour feature maps. Since the features of the contours are determined by combining the contours for a variety of scales, each of the features of the contours allows you to roughly identify the direction and shape of the object analyzed by this feature.

На фиг.4 показана блок-схема, иллюстрирующая совместную работу модификатора 80 изображения и детектора контуров согласно данному в качестве примера варианту осуществления настоящего изобретения. При этом входное изображение 100 может быть преобразовано в мозаичное модификатором 80 изображения с формированием множества мозаичных изображений, имеющих различный масштаб. Например, модификатор 80 изображения может сформировать мозаичное изображение в масштабе 1 (операция 102), масштабе 2 (операция 104), в любом количестве дополнительных масштабов до масштаба n (операция 106). Затем в операции 108 детектор 82 контуров может установить порог ТН. В операции 110 можно извлечь контуры с направлением на основе сравнения мозаичного изображения в масштабе 1 с порогом ТН. В операциях 112 и 114 соответственно контуры с направлением можно извлечь на основе порога ТН для каждого соответствующего масштаба (например, 2 и n). В некоторых случаях детектор 82 контуров переводит в бинарную форму все мозаичные изображения (например, со шкалой интенсивности 0-255), отфильтрованные операторами контуров с направлением, в определенном порядке с формированием соответствующих бинарных карт контуров (например, соответствующих детекторам контуров с ориентацией 0, 45, 90 и 135 градусов). В некоторых вариантах осуществления настоящего изобретения бинаризация может быть произведена для различных уровней (например, для значений шкал интенсивности 20, 40 и 60) для различных масштабов. Затем выходные данные, соответствующие каждому масштабу, могут быть обработаны операцией 116 логического ИЛИ с формированием (операция 118) карты признаков контуров с направлением с порогом ТН. При этом контурные карты признаков контуров могут быть созданы путем комбинирования всех соответствующих карт признаков контуров для различных масштабов с одним уровнем бинаризации. Поэтому карты признаков контуров с направлением можно создать по соответствующим изображениям контуров с направлением на том же самом уровне посредством операции 116 ИЛИ.4 is a flowchart illustrating the combined operation of the image modifier 80 and the edge detector according to an exemplary embodiment of the present invention. In this case, the input image 100 can be converted into a mosaic image modifier 80 with the formation of many mosaic images with different scales. For example, the image modifier 80 may generate a mosaic image in scale 1 (operation 102), scale 2 (operation 104), in any number of additional scales up to scale n (operation 106). Then, in operation 108, the loop detector 82 can set the threshold of the VT. In operation 110, contours with a direction can be extracted based on a comparison of a mosaic image on a scale of 1 with a TH threshold. In operations 112 and 114, respectively, the contours with direction can be extracted based on the threshold of the VT for each corresponding scale (for example, 2 and n). In some cases, the edge detector 82 translates into binary form all mosaic images (for example, with an intensity scale of 0-255) filtered by the edge operators in a certain order with the formation of the corresponding binary edge maps (for example, corresponding to edge detectors with an orientation of 0, 45 , 90 and 135 degrees). In some embodiments of the present invention, binarization can be performed at different levels (for example, for intensity scales of 20, 40, and 60) for different scales. Then, the output data corresponding to each scale can be processed by logical OR operation 116 with the formation (operation 118) of a contour sign map with a direction with a threshold TH. In this case, contour feature maps of contours can be created by combining all the corresponding contour feature maps for different scales with one level of binarization. Therefore, contour feature maps with direction can be created from the corresponding contour images with direction at the same level through OR operation 116.

На фиг.5А показан пример изображения, которое в варианте осуществления настоящего изобретения может быть введено в качестве исходного изображения. На фиг.5В показан пример карты признаков контуров в направлении 0 для исходного изображения с уровнем бинаризации по шкале интенсивности 60. На фиг.5С показан пример результата обнаружения лиц (например, детектором 84 лиц), который более подробно описан ниже.FIG. 5A shows an example of an image that, in an embodiment of the present invention, may be introduced as a source image. On figv shows an example of a map of signs of contours in the direction 0 for the original image with the binarization level on a scale of intensity 60. On figs shows an example of the result of face detection (for example, a detector 84 faces), which is described in more detail below.

В данном в качестве примера варианте осуществления настоящего изобретения в детекторе 84 лиц используется механизм распознания лиц на основе шаблона. В некоторых примерах в детекторе 84 лиц используется эластичный или гибкий процесс обнаружения лиц. При этом для обнаружения возможного лица на картах признаков контуров с направлением, выдаваемых, например, детектором 82 контуров, может быть определен эластичный шаблон лица. Эластичный шаблон лица определяют на основе специфического строения человеческого лица. Например, глаза и рот человеческого лица (когда видны оба глаза) образуют треугольник, как показано на фиг.5С. На фиг.6 (которая включает фиг.6А и 6В) показан пример эластичного шаблона лица согласно данному в качестве примера варианту осуществления настоящего изобретения. На фиг.6А показано пять частей или блоков, образующих эластичный шаблон согласно одному из примеров. Пять блоков могут включать блок (1) верхней части лица, блок (2) ноздрей, блок (3) верхней губы и блоки (4) и (5) левой и правой щек соответственно. Таким образом, блоки эластичного шаблона могут помочь определить местоположение носа и рта на возможном лице на основе первоначального обнаружения пары глаз. Эластичный шаблон называют гибким или эластичным, поскольку ширина (W) и высота (Н) шаблона не фиксированы. Вместо этого ширину (W) шаблона можно определить по расстоянию между глазами в обнаруженной паре глаз. Высоту (Н) можно определить на основе расстояния между ртом (или возможным ртом) и линией, соединяющей пару глаз. На фиг.6В показано, что эластичный шаблон наложен на пару глаз и рот, при этом пара глаз повернута в плоскости на 9 градусов.In this exemplary embodiment of the present invention, the face detector based on the pattern is used in the face detector 84. In some examples, the 84 face detector uses an elastic or flexible face detection process. In this case, for detecting a possible face on the feature maps of the contours with a direction issued, for example, by the contour detector 82, an elastic face pattern can be determined. An elastic face pattern is determined based on the specific structure of the human face. For example, the eyes and mouth of a human face (when both eyes are visible) form a triangle, as shown in FIG. 6 (which includes FIGS. 6A and 6B) shows an example of an elastic face template according to an exemplary embodiment of the present invention. On figa shows five parts or blocks forming an elastic pattern according to one example. Five blocks may include a block (1) of the upper part of the face, a block (2) of the nostrils, a block (3) of the upper lip and blocks (4) and (5) of the left and right cheeks, respectively. Thus, the blocks of the elastic template can help determine the location of the nose and mouth on a possible face based on the initial detection of a pair of eyes. An elastic template is called flexible or elastic since the width (W) and height (H) of the template are not fixed. Instead, the width (W) of the pattern can be determined by the distance between the eyes in the detected pair of eyes. Height (H) can be determined based on the distance between the mouth (or possible mouth) and the line connecting the pair of eyes. On figv shows that the elastic pattern is superimposed on a pair of eyes and mouth, while a pair of eyes rotated in the plane by 9 degrees.

В данном в качестве примера варианте осуществления настоящего изобретения детектор 84 лиц вначале ищет пару глаз. После нахождения пары глаз детектор 84 лиц согласно данному примеру пытается определить возможное лицо, накладывая эластичный шаблон на найденную пару глаз (или потенциальную пару глаз). При этом после нахождения пары глаз детектор 84 лиц может определить ширину эластичного шаблона лица на основе расстояния между глазами. Ориентация глаз друг относительно друга показывает угол поворота в плоскости (например, θ на фиг.6В) и также может быть определена детектором 84 лиц. При этом эластичный шаблон можно поворачивать для того, чтобы верхняя сторона эластичного шаблона стала параллельной соединительной линии между глазами. Кроме того, центр левого глаза и центр правого глаза можно поместить в левый верхний и правый верхний углы эластичного шаблона соответственно (см. фиг.6В, где дан пример поворачиваемого эластичного шаблона). Однако в некоторых случаях эффективность обнаружения можно улучшить с использованием карт признаков контуров с направлением, имеющих диапазон, который включает угол (θ) наклона для определенной пары глаз. При этом, например:In this exemplary embodiment of the present invention, the face detector 84 first searches for a pair of eyes. After finding a pair of eyes, the 84 face detector according to this example tries to determine a possible face by applying an elastic pattern to the found pair of eyes (or potential pair of eyes). Moreover, after finding a pair of eyes, the face detector 84 can determine the width of the elastic face template based on the distance between the eyes. The orientation of the eyes relative to each other shows the angle of rotation in the plane (for example, θ in FIG. 6B) and can also be detected by the 84 face detector. In this case, the elastic template can be rotated so that the upper side of the elastic template becomes parallel to the connecting line between the eyes. In addition, the center of the left eye and the center of the right eye can be placed in the upper left and upper right corners of the elastic pattern, respectively (see FIG. 6B, for an example of a rotatable elastic pattern). However, in some cases, the detection efficiency can be improved using feature maps of outlines with a direction having a range that includes the angle (θ) of inclination for a particular pair of eyes. In this case, for example:

1) в диапазонах -22,5°<θ<22,5° (0°<θ<22,5° или 337,5°<θ<360°) или 157,5°<θ<202,5° для обнаружения лица используют карты признаков контуров с направлением 0°;1) in the range of -22.5 ° <θ <22.5 ° (0 ° <θ <22.5 ° or 337.5 ° <θ <360 °) or 157.5 ° <θ <202.5 ° for face detection uses contour feature maps with a 0 ° direction;

(2) в диапазонах 22,5°<θ<67,5° или 202,5°<θ<247,5° для обнаружения лица используют карты признаков контуров с направлением 45°;(2) in the ranges 22.5 ° <θ <67.5 ° or 202.5 ° <θ <247.5 °, face signs are used with contour maps with a direction of 45 °;

(3) в диапазонах 67,5°<θ<112,5° или 247,5°<θ<292,5° для обнаружения лица используют карты признаков контуров с направлением 90° и(3) in the ranges 67.5 ° <θ <112.5 ° or 247.5 ° <θ <292.5 °, face detection cards using contour signs with a 90 ° direction and

(4) в диапазонах 112,5°<θ<157,5° или 292,5°<θ<337,5° для обнаружения лица используют карты признаков контуров с направлением и -45°.(4) in the ranges 112.5 ° <θ <157.5 ° or 292.5 ° <θ <337.5 °, face detection cards are used for contour signs with a direction of -45 °.

Работа детектора 84 лиц с каждой соответствующей картой признаков контуров, выдаваемой детектором 82 контуров, позволяет детектору 84 лиц обнаружить все возможные лица во всем диапазоне 360 градусов возможных углов поворота в плоскости. Кроме того, работа детектора 84 лиц с картой признаков контуров, соответствующей диапазону, который перекрывает угол поворота пары глаз в плоскости, в некоторых случаях повышает эффективность распознавания.The operation of the face detector 84 with each corresponding contour feature card provided by the loop detector 82 allows the face detector 84 to detect all possible faces in the entire range of 360 degrees of possible rotation angles in the plane. In addition, the operation of the detector 84 faces with a map of signs of contours corresponding to a range that overlaps the angle of rotation of a pair of eyes in the plane, in some cases increases the recognition efficiency.

При выявлении возможного лица детектор 84 лиц может также определить высоту (Н) эластичного шаблона. При этом, например, если предполагается, что имеются признаки контуров N1, N2, N3, N4 и N5 в областях 1, 2, 3, 4 и 5 эластичного шаблона соответственно, может быть дано подтверждение для области лица, если выполнены следующие условия:When identifying a possible face, the 84 face detector can also determine the height (H) of the elastic template. In this case, for example, if it is assumed that there are signs of the contours N1, N2, N3, N4 and N5 in areas 1, 2, 3, 4 and 5 of the elastic template, respectively, confirmation can be given for the face area if the following conditions are met:

и

and

(2) N<2 и N2<3 и N3=N4=N5=0.(2) N <2 and N2 <3 and N3 = N4 = N5 = 0.

Преимущество детектора 84 лиц состоит в том, что с использованием эластичного шаблона детектор 84 лиц может непосредственно обнаружить лица на картах признаков контуров с направлением в диапазоне поворотов 360°. На фиг.5С показан пример результатов обнаружения лиц с использованием детектора 84 лиц согласно данному в качестве примера варианту осуществления настоящего изобретения. Поскольку обнаружение лица производят путем обработки карт признаков контуров с направлением, полученных из детектора 82 контуров, и количество включенных признаков контуров относительно ограничено, обработке может подвергаться намного меньшее количество пикселей, чем полное количество исходных пикселей изображения, и, следовательно, скорость обнаружения может быть выше. Несмотря на это усовершенствование, поскольку карты признаков контуров могут в некоторых случаях иметь информацию только о структуре изображения без деталей структуры исходного изображения, в некоторых случаях возможно ложное распознавание. Соответственно, для отсеивания данных и уменьшения количества ложных распознаваний можно использовать верификатор 88.An advantage of the face detector 84 is that, using an elastic pattern, the face detector 84 can directly detect faces on contour feature maps with a direction in a rotation range of 360 °. FIG. 5C shows an example of face detection results using a face detector 84 according to an exemplary embodiment of the present invention. Since face detection is performed by processing the path feature maps with direction obtained from the path detector 82 and the number of path features turned on is relatively limited, a much smaller number of pixels can be processed than the total number of source image pixels, and therefore the detection speed may be higher . Despite this improvement, since contour feature maps may in some cases only have information about the image structure without details of the structure of the original image, in some cases false recognition is possible. Accordingly, to verify the data and reduce the number of false recognition, you can use the verifier 88.

Верификатор 88 может выполнять операции проверки для подтверждения того, что возможное обнаружение фактически коррелирует с обнаружением лица. В данном в качестве примера варианте осуществления настоящего изобретения для проверки верификатор 88 может использовать технологию Adaboost. Однако Adaboost представляет собой просто один из примеров конкретного осуществления верификатора 88, и альтернативно могут использоваться другие механизмы. Adaboost представляет собой алгоритм машинного самообучения, который может быть использован совместно с другими механизмами обучения (например, механизмом обнаружения лиц, выполняемым модификатором 80 изображения, детектором 82 контуров и детектором 84 лиц, описанными выше) для повышения эффективности распознавания.Verifier 88 may perform verification operations to confirm that possible detection actually correlates with face detection. In this exemplary embodiment of the present invention, verifier 88 may use Adaboost technology for verification. However, Adaboost is merely one example of a particular implementation of Verifier 88, and other mechanisms may alternatively be used. Adaboost is a self-learning machine algorithm that can be used in conjunction with other learning mechanisms (for example, a face detection engine executed by an image modifier 80, a path detector 82, and a face detector 84 described above) to increase recognition efficiency.

В некоторых вариантах осуществления настоящего изобретения можно модифицировать верификатор 88 для создания нового определения пространства признаков для Adaboost. При этом, например, вычисление в реальном времени в рамках Adaboost может идти от простых структур признаков и использования полного изображения. Adaboost типично может использоваться в соединении с четырьмя видами определенных примитивов Хаара, значения которых можно быстро вычислить с использованием полного изображения. Некоторые варианты осуществления настоящего изобретения позволяют расширить эти возможности путем определения семи видов признаков (показанных в качестве примера на фиг.7). Эти расширенные признаки позволяют осуществить более гибкий выбор кодирования существенных структур лица, так чтобы требовались менее слабые классификаторы для предварительного распознавания. Кроме того, возможно и обобщение механизма, поскольку представленные признаки также могут иметь простые структуры.In some embodiments of the present invention, the verifier 88 can be modified to create a new feature space definition for Adaboost. At the same time, for example, real-time calculation within the framework of Adaboost can come from simple feature structures and the use of a full image. Adaboost can typically be used in conjunction with four kinds of specific Haar primitives, whose values can be quickly calculated using the full image. Some embodiments of the present invention allow these capabilities to be expanded by defining seven kinds of features (shown by way of example in FIG. 7). These advanced features allow for a more flexible selection of coding of significant facial structures, so that less weak classifiers for preliminary recognition are required. In addition, a generalization of the mechanism is possible, since the presented features can also have simple structures.

В некоторых случаях варианты осуществления настоящего изобретения могут предусматривать схему штрафов при самонастройке. Например, при каскадном обучении в рамках Adaboost может использоваться самонастройка для сбора новых положительных и отрицательных сэмплов для следующего каскада. Кроме того, в некоторых вариантах осуществления настоящего изобретения в самонастройку введен штрафной коэффициент. Например, заданному фрагменту х изображения (например, отрицательному сэмплу, после того как он прошел через предыдущие и настоящий каскады) можно присвоить соответствующий балл С(х) фрагмента изображения. Если этот балл больше, чем заданный порог а (С(х)>а), этот фрагмент изображения может быть сделан новым учебным сэмплом. Однако, как показано на фиг.8А, если некоторые положительные и отрицательные выборки очень близки к границе 150 каскада, классификация может быть ненадежной из-за шумов в изображении. Для решения этой проблемы с ненадежностью граничные условия можно ослабить (как обозначено границей 160 на фиг.8В), позволяя пройти большему количеству выборок с выходными значениями больше чем (а-а0), но меньшими чем а, где а0 - положительная константа, а именно штрафной коэффициент. С использованием этой стратегии отрицательные выборки с низкой достоверностью можно переконфигурировать для следующего каскада, обеспечивая более эффективное распознавание. В данном в качестве примера варианте осуществления настоящего изобретения значение а0 может быть установлено равным 0,001, в то время как а определяют с использованием коэффициента ложного пропуска (FAR, False Accept Rate) и коэффициента ложного отказа (False Reject Rate, FRR) (каждый из которых может также быть установлен равным 0,001) в соответствующем каскаде.In some cases, embodiments of the present invention may include a self-tuning penalty scheme. For example, in cascading training under Adaboost, self-tuning can be used to collect new positive and negative samples for the next cascade. In addition, in some embodiments of the present invention, a penalty factor is introduced into self-tuning. For example, a given fragment x of the image (for example, a negative sample after it has passed through the previous and present cascades), you can assign the corresponding score C (x) of the image fragment. If this score is greater than the given threshold a (C (x)> a), this fragment of the image can be made a new training sample. However, as shown in FIG. 8A, if some positive and negative samples are very close to the cascade boundary 150, the classification may be unreliable due to image noise. To solve this problem with unreliability, the boundary conditions can be weakened (as indicated by the boundary 160 in Fig. 8B), allowing more samples to pass with output values greater than (a-a0), but smaller than a, where a0 is a positive constant, namely penalty factor. Using this strategy, negative samples with low confidence can be reconfigured for the next stage, providing more efficient recognition. In this exemplary embodiment of the present invention, a0 can be set to 0.001, while a is determined using a False Accept Rate (FAR) and a False Reject Rate (FRR) (each of which can also be set to 0.001) in the corresponding cascade.

В данном в качестве примера варианте осуществления настоящего изобретения верификатор 88 может включать устройство 86 поворота возможного лица или предшествовать ему, при этом это устройство 86 поворота возможного лица способно поворачивать каждое возможное лицо в вертикальное положение на основе значения угла поворота в плоскости. Затем возможное лицо, повернутое в вертикальное положение, может быть обработано верификатором 88 (например, модифицированным верификатором Adaboost, как описано выше) для дальнейшей верификации. В некоторых вариантах осуществления настоящего изобретения можно использовать три верификатора для проверки случаев с углами поворота -45, 0, +45 градусов в плоскости соответственно. Если возможное лицо может пройти один из верификаторов, это возможное лицо можно считать действительным лицом и вывести его. Кроме того, ориентацию лица (например, углы поворота в плоскости и не в плоскости) также можно зарегистрировать.In this exemplary embodiment of the present invention, the verifier 88 may include or precede a device for rotating a possible face 86, and this possible face turning device 86 is able to rotate each possible face in a vertical position based on the value of the angle of rotation in the plane. Then, a possible person, turned in a vertical position, can be processed by the verifier 88 (for example, a modified verifier Adaboost, as described above) for further verification. In some embodiments of the present invention, three verifiers can be used to verify cases with rotation angles of -45, 0, +45 degrees in the plane, respectively. If a potential person can pass one of the verifiers, this potential person can be considered a valid person and withdraw it. In addition, face orientation (for example, rotation angles in a plane and not in a plane) can also be registered.

На фиг.9 показана блок-схема операций, выполняемых согласно данному в качестве примера варианту осуществления настоящего изобретения. Например, в операции 200 входное изображение может быть уменьшено и приведено в мозаичный вид в нескольких масштабах модификатором 80 изображения. Затем в операции 202 детектор 82 контуров может выполнить обнаружение признаков контуров с направлением. В операции 204 детектор 84 лиц может выполнить на основе шаблона обнаружение лица в диапазоне 360 градусов. В операции 206 устройство 86 поворота возможного лица может производить поворот возможных лиц в вертикальное положение. Затем в операции 208 верификатор 88 может, например, использовать улучшенный алгоритм Adaboost для верификации возможного лица и вывода его.9 is a flowchart of operations performed according to an exemplary embodiment of the present invention. For example, in operation 200, the input image may be reduced and mosaicized at several scales by the image modifier 80. Then, in operation 202, the loop detector 82 may perform detection of loop signs with a direction. In operation 204, the face detector 84 may perform face detection in the 360 degree range based on the pattern. In operation 206, the candidate face rotation device 86 may rotate the possible faces into a vertical position. Then, in operation 208, the verifier 88 can, for example, use the improved Adaboost algorithm to verify a possible face and output it.

Соответственно, некоторые варианты осуществления настоящего изобретения предусматривают обнаружение лица на уровне признаков, а не на уровне пикселей. Следовательно, скорость обнаружения может быть увеличена. В некоторых случаях нет необходимости заранее изменять масштаб лица. Вместо этого масштаб лица может быть вычислен автоматически по обнаруженным на карте признаков контуров паре глаз и рту. Как только лицо обнаружено, положение этих двух глаз на лице можно найти точно. Некоторые варианты осуществления настоящего изобретения предусматривают обнаружение в плоскости в диапазоне углов 360 градусов с использованием четырех групп карт признаков контуров (например, с ориентацией 0, 45, 90 и 135 градусов). Кроме того, некоторые варианты осуществления настоящего изобретения, в которых используется верификатор 88, обеспечивают уменьшение ложных срабатываний.Accordingly, some embodiments of the present invention provide for face detection at the feature level, rather than at the pixel level. Therefore, the detection rate can be increased. In some cases, there is no need to change the scale of the face in advance. Instead, the face scale can be calculated automatically from a pair of eyes and mouths detected on the map of contour features. Once a face is detected, the position of these two eyes on the face can be found accurately. Some embodiments of the present invention provide for detection in a plane in a range of angles of 360 degrees using four groups of contour feature maps (for example, with orientations of 0, 45, 90, and 135 degrees). In addition, some embodiments of the present invention, which use the verifier 88, provide a reduction in false positives.

Как сказано выше, некоторые варианты осуществления настоящего изобретения могут быть реализованы в мобильных или стационарных устройствах. Пример мобильного устройства, в котором могут быть использованы варианты осуществления настоящего изобретения, показан на фиг.10. На фиг.10 показана блок-схема мобильного терминала 10, который может быть усовершенствован с использованием данных в качестве примера вариантов осуществления настоящего изобретения. Однако очевидно, что мобильный терминал, который иллюстрируется и описан ниже, дан просто как пример одного из типов мобильных терминалов, который может быть усовершенствован с использованием некоторых вариантов осуществления настоящего изобретения, и поэтому он не ограничивает объем настоящего изобретения. Варианты осуществления настоящего изобретения могут быть с пользой применены в нескольких типах мобильных терминалов, таких как персональные цифровые секретари (PDA), пейджеры, мобильные телевизионные приемники, игровые устройства, все типы компьютеров (например, ноутбуки или мобильные компьютеры), фотокамеры, аудио/видеопроигрыватели, радиоприемники, устройства глобальной системы навигации и определения положения (GPS) или любая комбинация перечисленных устройств и других типов систем связи.As stated above, some embodiments of the present invention can be implemented in mobile or stationary devices. An example of a mobile device in which embodiments of the present invention can be used is shown in FIG. 10. Figure 10 shows a block diagram of a mobile terminal 10, which can be improved using data as an example of embodiments of the present invention. However, it is obvious that the mobile terminal, which is illustrated and described below, is given simply as an example of one of the types of mobile terminals, which can be improved using some embodiments of the present invention, and therefore it does not limit the scope of the present invention. Embodiments of the present invention can be advantageously applied to several types of mobile terminals, such as personal digital assistants (PDAs), pagers, mobile televisions, gaming devices, all types of computers (e.g. laptops or mobile computers), cameras, audio / video players , radios, global navigation and positioning system (GPS) devices, or any combination of these devices and other types of communication systems.

В одном данном в качестве примера варианте осуществления настоящего изобретения мобильный терминал 10 содержит антенну 12 (или множество антенн), взаимодействующую с передатчиком 14 и приемником 16. Мобильный терминал 110 может дополнительно включать устройство, такое как контроллер 20 (например, процессор 70) или другой обрабатывающий элемент, который выдает сигналы на передатчик 14 и принимает сигналы из приемника 16 соответственно. Сигналы в некоторых случаях включают информацию о сигнализации в соответствии со стандартом радиоинтерфейса применяемой сотовой системы и/или могут также включать данные, соответствующие речи, принятые данные и/или данные, созданные/переданные пользователем. Мобильный терминал 10 может осуществлять действия в рамках одного или большего количества стандартов радиоинтерфейсов, протоколов связи, типов модуляции и типов доступа. Например, мобильный терминал 10 может осуществлять действия в соответствии с любым из протоколов связи первого, второго, третьего и/или четвертого поколения или аналогичных. Мобильный терминал 10 может работать в соответствии с протоколами IS-136 беспроводной связи второго поколения (2G) (множественный доступ с временным разделением каналов, TDMA), глобальной системы навигации и определения положения (GPS) и IS-95 (множественный доступ с кодовым разделением каналов, CDMA) или протоколами беспроводной связи третьего поколения (3G), такими как универсальная система мобильной связи (UMTS), CDMA2000, широкополосная CDMA (WCDMA) и синхронная с временным разделением CDMA (TD-SCDMA), с протоколом беспроводной связи 3.9G, например Е-UTRAN (усовершенствованная универсальная сеть наземного радиодоступа), протоколами беспроводной связи четвертого поколения (4G) и т.п. Альтернативно (или дополнительно), мобильный терминал 10 может осуществлять действия в соответствии с механизмами, не относящимися к сотовой связи. Например, мобильный терминал 10 может осуществлять связь в беспроводной локальной сети (WLAN) или других системах связи.In one exemplary embodiment of the present invention, the mobile terminal 10 comprises an antenna 12 (or multiple antennas) communicating with a transmitter 14 and a receiver 16. The mobile terminal 110 may further include a device, such as a controller 20 (e.g., processor 70) or another a processing element that provides signals to the transmitter 14 and receives signals from the receiver 16, respectively. Signals in some cases include signaling information in accordance with the radio interface standard of the applicable cellular system and / or may also include data corresponding to speech, received data and / or data created / transmitted by the user. The mobile terminal 10 may operate within one or more radio interface standards, communication protocols, modulation types, and access types. For example, the mobile terminal 10 may perform actions in accordance with any of the communication protocols of the first, second, third and / or fourth generation or the like. Mobile terminal 10 can operate in accordance with the second generation (2G) wireless communication protocol IS-136 (time division multiple access, TDMA), global positioning system (GPS) and IS-95 (code division multiple access) , CDMA) or third generation (3G) wireless communication protocols such as Universal Mobile Telecommunications System (UMTS), CDMA2000, Broadband CDMA (WCDMA) and time division synchronous CDMA (TD-SCDMA), with a 3.9G wireless protocol, for example E-UTRAN (improvement universal universal terrestrial radio access network), fourth-generation wireless communication protocols (4G), etc. Alternatively (or additionally), the mobile terminal 10 may perform actions in accordance with mechanisms other than cellular communications. For example, the mobile terminal 10 may communicate in a wireless local area network (WLAN) or other communication systems.

В данном в качестве примера варианте осуществления настоящего изобретения контроллер 20 включает электрическую схему для выполнения, помимо прочего, аудио/видео и логических функций мобильного терминала 10. Например, контроллер 20 может включать устройство для обработки цифровых сигналов, микропроцессорное устройство и различные аналого-цифровые преобразователи, цифроаналоговые преобразователи и/или другие вспомогательные схемы. Функции по управлению и обработке мобильного терминала 10 могут быть распределены между этими устройствами согласно их возможностям. Таким образом, контроллер 20 может включать функциональные возможности для кодирования и чередования сообщений и данных до их модуляции и передачи. Контроллер 20 может дополнительно включать внутренний вокодер и может включать внутренний модем данных. В некоторых случаях контроллер 20 дополнительно включает функциональные возможности по управлению одной или большим количеством программ, которые могут храниться в памяти. Например, контроллер 20 может осуществлять программу по осуществлению соединений, как обычный сетевой браузер. Программа по осуществлению соединений может затем позволять мобильному терминалу 10 передавать и принимать сетевой контент, например контент, зависящий от локализации, и/или другой контент веб-страниц например согласно протоколу приложений для беспроводной связи (WAP), протоколу передачи гипертекста (HTTP) и т.п.In this exemplary embodiment of the present invention, the controller 20 includes an electrical circuit for performing, inter alia, the audio / video and logic functions of the mobile terminal 10. For example, the controller 20 may include a device for processing digital signals, a microprocessor device, and various analog-to-digital converters , digital-to-analog converters and / or other auxiliary circuits. The management and processing functions of the mobile terminal 10 can be distributed between these devices according to their capabilities. Thus, the controller 20 may include functionality for encoding and interleaving messages and data prior to their modulation and transmission. The controller 20 may further include an internal vocoder and may include an internal data modem. In some cases, the controller 20 further includes functionality for controlling one or more programs that may be stored in memory. For example, the controller 20 may implement a connection program like a normal network browser. The connection program may then allow the mobile terminal 10 to transmit and receive network content, such as localization-dependent content and / or other web page content, for example, according to the Wireless Application Protocol (WAP), Hypertext Transfer Protocol (HTTP), and so on. .P.

Мобильный терминал 10 может также содержать пользовательский интерфейс, включая устройство вывода, такое как головной телефон или громкоговоритель 24, микрофон 26, дисплей 28, и пользовательский интерфейс ввода, который может быть функционально связан с контроллером 20. Пользовательский интерфейс ввода, который позволяет мобильному терминалу 10 принимать данные, может включать любое из многочисленных устройств, позволяющих мобильному терминалу 10 принимать данные, таких как клавиатура 30, сенсорный дисплей (не показан) или другое устройство ввода. В вариантах осуществления настоящего изобретения, включающих клавиатуру 30, клавиатура 30 может включать числовые (0-9) и связанные с ними (#, *) клавиши и другие клавиши постоянного назначения и программируемые клавиши, используемые для управления мобильным терминалом 10. Альтернативно, в некоторых вариантах осуществления настоящего изобретения клавиатура 30 включает клавиатуру со стандартным расположением клавиш (QWERTY). Клавиатура 30 может также включать различные программируемые клавиши с соответствующими функциями. Дополнительно или альтернативно, мобильный терминал 10 может включать интерфейсное устройство, такое как джойстик или другой пользовательский интерфейс ввода. Кроме того, мобильный терминал 10 содержит батарею 134, такую как вибрационный блок аккумуляторов, для питания различных схем, которые используются для управления мобильным терминалом 10, а также, в качестве опции, для создания механических вибраций в качестве обнаружимого выходного сигнала.The mobile terminal 10 may also comprise a user interface including an output device such as a headphone or speaker 24, a microphone 26, a display 28, and an input user interface that can be operatively connected to the controller 20. An input user interface that allows the mobile terminal 10 receive data may include any of a variety of devices allowing the mobile terminal 10 to receive data, such as a keyboard 30, a touch screen (not shown), or another device in ode. In embodiments of the present invention including a keyboard 30, the keyboard 30 may include numeric (0-9) and associated (#, *) keys and other fixed keys and programmable keys used to control the mobile terminal 10. Alternatively, in some embodiments of the present invention, the keyboard 30 includes a keyboard with a standard key layout (QWERTY). The keyboard 30 may also include various programmable keys with corresponding functions. Additionally or alternatively, the mobile terminal 10 may include an interface device, such as a joystick or other input user interface. In addition, the mobile terminal 10 includes a battery 134, such as a vibrating battery pack, for powering various circuits that are used to control the mobile terminal 10, and also, as an option, to generate mechanical vibrations as a detectable output signal.

В некоторых вариантах осуществления настоящего изобретения мобильный терминал 110 дополнительно включает модуль идентификации пользователя (UIM, user identity module) 38. Обычно модуль 38 идентификации пользователя представляет собой запоминающее устройство, имеющее встроенный процессор. Например, модуль 38 идентификации пользователя может включать модуль идентификации абонента (SIM), универсальную встроенную электронную карту (UICC universal integrated circuit card), универсальный модуль идентификации абонента (USIM), сменный модуль идентификации пользователя (R-UIM) и т.д. В некоторых случаях модуль 38 идентификации пользователя хранит элементы информации, связанные с мобильным абонентом. Помимо модуля 38 идентификации пользователя мобильный терминал 10 может содержать память. Мобильный терминал 10 может включать энергозависимую память 40 и/или энергонезависимую память 42. Например, энергозависимая память 40 может включать запоминающее устройство с произвольной выборкой (RAM), включая динамическую и/или статическую память RAM, внутрисхемную или внешнюю кэш-память и т.п. Энергонезависимая память 42, которая может быть встроенной или сменной, может включать, например, постоянную память, флеш-память, магнитные накопители (например, жесткие диски, дисководы, накопители на магнитной ленте и т.д.), оптические дисководы и/или носители, энергонезависимое запоминающее устройство с произвольной выборкой (NVRAM) и т.п. Как и энергозависимая память 40, энергонезависимая память 42 может включать область для временного хранения данных. Память может хранить любой из множества видов информации и данных, используемых мобильным терминалом 10 для выполнения функции мобильного терминала 10. Например, память может включать идентификатор, такой как международный идентификатор мобильного оборудования (IMEI, international mobile equipment identification), позволяющий единственным образом идентифицировать мобильный терминал 10. Кроме того, память может хранить инструкции для определения идентификатора соты. Более конкретно, память может хранить прикладную программу, предназначенную для выполнения контроллером 20, который определяет идентичность текущей соты, то есть идентификатор соты или информацию об идентичности соты, с которой мобильный терминал 10 осуществляет связь.In some embodiments of the present invention, the mobile terminal 110 further includes a user identity module (UIM) 38. Typically, the user identification module 38 is a storage device having an integrated processor. For example, the user identification module 38 may include a subscriber identity module (SIM), a universal integrated electronic card (UICC universal integrated circuit card), a universal subscriber identity module (USIM), a removable user identification module (R-UIM), etc. In some cases, the user identification module 38 stores information items associated with the mobile subscriber. In addition to the user identification module 38, the mobile terminal 10 may comprise a memory. Mobile terminal 10 may include volatile memory 40 and / or non-volatile memory 42. For example, volatile memory 40 may include random access memory (RAM), including dynamic and / or static RAM, in-circuit or external cache, and the like. . Non-volatile memory 42, which may be built-in or removable, may include, for example, read-only memory, flash memory, magnetic drives (e.g., hard disks, disk drives, magnetic tape drives, etc.), optical drives and / or media non-volatile random access memory (NVRAM) and the like Like volatile memory 40, non-volatile memory 42 may include a temporary storage area. The memory may store any of the many types of information and data used by the mobile terminal 10 to perform the function of the mobile terminal 10. For example, the memory may include an identifier, such as an international mobile equipment identification (IMEI), allowing the mobile terminal to be uniquely identified 10. In addition, the memory may store instructions for determining a cell identifier. More specifically, the memory may store an application program for execution by the controller 20, which determines the identity of the current cell, that is, the cell identifier or cell identity information with which the mobile terminal 10 is in communication.

В данном в качестве примера варианте осуществления настоящего изобретения мобильный терминал 10 может включать модуль захвата среды, такой как фотокамера, видео- и/или аудиомодуль, связанные с контроллером 20. Модуль захвата среды может быть любым средством, предназначенным для захвата изображения, видео- и/или аудиоданных с целью их хранения, воспроизведения или передачи. Например, в данном в качестве примера варианте осуществления настоящего изобретения, в котором модуль захвата среды представляет собой фотокамеру 37, этот модуль 37 фотокамеры может включать цифровую камеру, позволяющую создавать цифровой графический файл на основе захваченного изображения. Поэтому модуль 37 фотокамеры может включать все технические средства, такие как объектив или другое оптическое устройство, и программное обеспечение, необходимое для создания цифрового графического файла на основе захваченного изображения.In this exemplary embodiment of the present invention, the mobile terminal 10 may include a media capture module, such as a camera, video and / or audio module, associated with the controller 20. The media capture module may be any means for capturing images, video and / or audio data for the purpose of storage, playback or transmission. For example, in this exemplary embodiment of the present invention, in which the medium capture module is a camera 37, this camera module 37 may include a digital camera capable of creating a digital image file based on the captured image. Therefore, the camera module 37 may include all the technical means, such as a lens or other optical device, and the software necessary to create a digital graphic file based on the captured image.

На фиг.11 показана последовательность операций для системы, способа и программного продукта согласно некоторым данным в качестве примера вариантам осуществления настоящего изобретения. Очевидно, что каждый блок или шаг в последовательности операций и комбинации блоков в последовательности операций могут быть осуществлены различными средствами, такими как аппаратные средства, встроенные программы и/или программное обеспечение, включающее одну или большее количество программных инструкций. Например, одна или большее количество описанных выше процедур может быть реализовано в виде программных инструкций. В этом отношении программные инструкции, которые реализуют процедуры, описанные выше, могут храниться в памяти мобильного терминала или другого устройства согласно вариантам осуществления настоящего изобретения и выполняться процессором в мобильном терминале или другим устройством. Очевидно, что любые такие программные инструкции могут быть загружены в компьютер или другое программируемое устройство (то есть аппаратные средства), так чтобы инструкции, которые выполняются в компьютере (например, посредством процессора) или другом программируемом устройстве, сформировали средства для осуществления функций, определенных в блоке (блоках) или на шаге (шагах) последовательности операций. Эти программные инструкции могут также храниться в машиночитаемой памяти и могут заставить компьютер (например, процессор или другое вычислительное устройство) или другое программируемое устройство функционировать определенным образом, так что инструкции, хранимые в машиночитаемой памяти, приводят к созданию изделия, включая командные средства, которые реализуют функцию, определенную в блоке (блоках) или на шаге (шагах) последовательности операций. Кроме того, программные инструкции могут быть загружены в компьютер или другое программируемое устройство, чтобы заставить их выполнить ряд рабочих шагов и провести процесс таким образом, что инструкции, которые выполняются в компьютере или другом программируемом устройстве, обеспечивают выполнение шагов для реализации функций, определенных в блоке (блоках) или на шаге (шагах) последовательности операций.Figure 11 shows the sequence of operations for a system, method and software product according to some data as an example, embodiments of the present invention. Obviously, each block or step in the sequence of operations and combinations of blocks in the sequence of operations can be implemented by various means, such as hardware, firmware, and / or software, including one or more software instructions. For example, one or more of the procedures described above may be implemented as program instructions. In this regard, program instructions that implement the procedures described above can be stored in the memory of a mobile terminal or other device according to embodiments of the present invention and executed by a processor in a mobile terminal or other device. Obviously, any such program instructions can be downloaded to a computer or other programmable device (i.e., hardware), so that instructions that are executed on a computer (e.g., through a processor) or other programmable device form means for performing the functions defined in block (s) or step (s) of the sequence of operations. These program instructions can also be stored in machine-readable memory and can cause a computer (eg, processor or other computing device) or other programmable device to function in a certain way, so that instructions stored in machine-readable memory lead to the creation of the product, including command tools that implement a function defined in a block (s) or step (s) of a sequence of operations. In addition, program instructions can be downloaded to a computer or other programmable device to force them to perform a number of work steps and carry out the process in such a way that the instructions that are executed on a computer or other programmable device provide steps to implement the functions defined in the block (blocks) or step (s) of the sequence of operations.

Соответственно, блоки или шаги последовательности операций поддерживают комбинации средств для выполнения указанных функций, комбинации шагов для выполнения указанных функций и программные средства для выполнения указанных функций. Очевидно также, что один или большее количество блоков или шагов в последовательности операций и комбинации блоков или шагов в последовательности операций могут быть осуществлены компьютерной системой на базе специализированных аппаратных средств, которые выполняют указанные функции или шаги, или комбинацией специализированных аппаратных средств и компьютерных инструкций.Accordingly, the blocks or steps of the sequence of operations support combinations of means for performing the specified functions, combinations of steps for performing the specified functions and software for performing the specified functions. It is also obvious that one or more blocks or steps in the sequence of operations and combinations of blocks or steps in the sequence of operations can be implemented by a computer system based on specialized hardware that perform these functions or steps, or by a combination of specialized hardware and computer instructions.

В этом отношении один из вариантов способа обнаружения лиц независимо от ориентации, как иллюстрируется, например, на фиг.11, может включать формирование (шаг 300) на основании входного изображения множества мозаичных изображений, при этом каждое из множества мозаичных изображений имеет масштаб, отличный от масштабов других мозаичных изображений множества. Кроме того, способ может включать использование множества по-разному ориентированных детекторов контуров для выполнения обнаружения (шаг 310) контуров в множестве мозаичных изображений, включая комбинирование контуров множества мозаичных изображений, имеющих различный масштаб, и выполнение (шаг 320) обнаружения лица в областях, соответствующих по-разному ориентированным детекторам контуров, на основе соответствующих карт признаков контуров, созданных по-разному ориентированными детекторами контуров.In this regard, one of the methods for detecting faces regardless of orientation, as illustrated, for example, in FIG. 11, may include generating (step 300) based on the input image of the plurality of mosaic images, each of the plurality of mosaic images having a scale different from scales of other mosaic images set. Furthermore, the method may include using a plurality of differently oriented path detectors to perform detection (step 310) of the paths in the plurality of tile images, including combining the paths of the plurality of tile images of different scales and performing (step 320) face detection in areas corresponding to differently oriented loop detectors, based on the corresponding path feature maps created by differently oriented loop detectors.

В некоторых вариантах осуществления настоящего изобретения указанный способ может включать дополнительные операции, некоторые примеры которых показаны на фиг.11 штриховыми линиями. В различных альтернативных вариантах осуществления настоящего изобретения дополнительные операции могут быть выполнены в любом порядке и/или в комбинации друг с другом. Кроме того, способ может дополнительно включать операцию поворота (шаг 340) возможного лица в вертикальное положение и/или выполнение верификации (шаг 350) возможного лица, обнаруженного на предыдущих шагах.In some embodiments of the present invention, the method may include additional operations, some examples of which are shown in FIG. 11 by dashed lines. In various alternative embodiments of the present invention, additional operations may be performed in any order and / or in combination with each other. In addition, the method may further include the operation of turning (step 340) the possible face into a vertical position and / or performing verification (step 350) of the possible face detected in the previous steps.

В некоторых вариантах осуществления настоящего изобретения некоторые перечисленные выше операции могут быть модифицированы или дополнительно усилены, как описано ниже. Очевидно, что каждая модификация или усиление, описанные ниже, могут быть включены в описанные выше операции или по отдельности, или в комбинации с любыми другими признаками, описанными в настоящем документе. Например, выполнение верификации может включать использование верификации Adaboost более чем по четырем примитивам Хаара и/или может использоваться самонастройка со штрафным коэффициентом, применяемым к выборкам, ближайшим к границе каскада. В некоторых случаях использование множества по-разному ориентированных детекторов контуров может включать использование детекторов контуров, ориентированных с одинаковым угловым смещением между детекторами контуров, при этом детекторы контуров ориентированы так, чтобы охватывать триста шестьдесят градусов возможных углов поворота в плоскости для возможных лиц соответствующими секторами равного размера. В данном в качестве примера варианте осуществления настоящего изобретения выполнение обнаружения лица может включать использование эластичного шаблона лица к данным на соответствующей карте признаков для обнаружения возможного лица на основе того, что признаки возможного лица соответствуют эластичному шаблону лица, и/или использование эластичного шаблона лица, имеющего ширину, соответствующую расстоянию между глазами в обнаруженной паре глаз, и высоту, соответствующую расстоянию между линией, соединяющей обнаруженную пару глаз и потенциальный рот возможного лица. В некоторых случаях формирование множества мозаичных изображений может включать усреднение количества пикселей в каждом из множества ячеек для формирования такого мозаичного представления входного изображения, которое включает множество ячеек и использует множество уровней бинаризации мозаичных изображений, имеющих различные масштабы.In some embodiments of the present invention, some of the above operations may be modified or further enhanced, as described below. Obviously, each modification or enhancement described below can be included in the operations described above either individually or in combination with any other features described herein. For example, performing verification may include using Adaboost verification for more than four Haar primitives and / or self-tuning with a penalty factor applied to samples closest to the boundary of the cascade can be used. In some cases, the use of multiple differently oriented loop detectors may include the use of loop detectors oriented with the same angular displacement between the loop detectors, while the loop detectors are oriented so as to cover three hundred and sixty degrees of possible rotation angles in the plane for possible faces with corresponding sectors of equal size . In an exemplary embodiment of the present invention, performing face detection may include using an elastic face pattern to data on a corresponding feature map to detect a possible face based on the fact that the features of the possible face match an elastic face pattern and / or using an elastic face pattern having the width corresponding to the distance between the eyes in the detected pair of eyes, and the height corresponding to the distance between the line connecting the detected pair of eyes and potentially mouth possible person. In some cases, the formation of multiple mosaic images may include averaging the number of pixels in each of the multiple cells to form such a mosaic representation of the input image, which includes many cells and uses many binarization levels of mosaic images with different scales.

В данном в качестве примера варианте осуществления настоящего изобретения устройство для реализации способа, который иллюстрируется на фиг.11, может включать процессор (например, процессор 70), предназначенный для выполнения некоторых или всех операций (300-340), описанных выше. Процессор может выполнять, например, операции (300-340) путем выполнения логических функций, встроенных в аппаратные средства, путем выполнения хранящихся инструкций или путем выполнения алгоритмов для осуществления каждой из операций. Альтернативно, устройство может включать средства для выполнения каждой из операций, описанных выше. В этом отношении согласно вариантам осуществления настоящего изобретения примеры средств для выполнения операций 300-340 могут включать процессор 70, модификатор 80 изображения, детектор 82 контуров, детектор 84 лиц, устройство 86 поворота возможного лица, верификатор 88 и/или алгоритм, выполняемый процессором 70, для обработки информации, как описано выше.In this exemplary embodiment of the present invention, an apparatus for implementing the method illustrated in FIG. 11 may include a processor (eg, processor 70) for performing some or all of the operations (300-340) described above. A processor can perform, for example, operations (300-340) by performing logical functions embedded in hardware, by executing stored instructions, or by executing algorithms for performing each of the operations. Alternatively, the device may include means for performing each of the operations described above. In this regard, according to embodiments of the present invention, examples of means for performing operations 300-340 may include a processor 70, an image modifier 80, an edge detector 82, a face detector 84, a possible face rotation device 86, a verifier 88, and / or an algorithm executed by the processor 70, to process information as described above.

Специалистам в данной области техники после изучения предыдущего описания и сопутствующих чертежей станут очевидны многочисленные модификации и другие варианты осуществления настоящего изобретения. Поэтому очевидно, что изобретение не должно быть ограничено конкретными раскрытыми вариантами его осуществления и что модификации и другие варианты осуществления настоящего изобретения считаются охваченными пунктами формулы изобретения. Кроме того, хотя предыдущее описание и сопутствующие чертежи описывают примеры вариантов осуществления настоящего изобретения в контексте определенных комбинаций элементов и/или функций, очевидно, что в альтернативных вариантах осуществления настоящего изобретения могут быть даны другие комбинации элементов и/или функций без отхода от объема формулы изобретения. Например, можно рассмотреть другие комбинации элементов и/или функций, нежели явно описанные выше, как предложено в некоторых из пунктов формулы изобретения. Хотя в настоящем документе используются специфические термины, они использованы только в типичном и описательном смысле, а не для ограничения.Numerous modifications and other embodiments of the present invention will become apparent to those skilled in the art after studying the previous description and the accompanying drawings. Therefore, it is obvious that the invention should not be limited to the particular embodiments disclosed and that modifications and other embodiments of the present invention are considered to be covered by the claims. In addition, although the previous description and the accompanying drawings describe examples of embodiments of the present invention in the context of certain combinations of elements and / or functions, it is obvious that in alternative embodiments of the present invention other combinations of elements and / or functions can be given without departing from the scope of the claims . For example, you can consider other combinations of elements and / or functions than explicitly described above, as proposed in some of the claims. Although specific terms are used in this document, they are used only in a typical and descriptive sense, and not for limitation.

Claims

1. Способ обнаружения лиц независимо от ориентации, включающий
формирование на основании входного изображения множества мозаичных изображений, имеющих различный масштаб,
использование множества по-разному ориентированных детекторов контуров для выполнения обнаружения контуров в множестве мозаичных изображений, включая комбинирование контуров множества мозаичных изображений, имеющих различные масштабы, и
выполнение обнаружения лиц в областях, соответствующих указанным по-разному ориентированным детекторам контуров, на основании соответствующих карт признаков, созданных упомянутыми по-разному ориентированными детекторами контуров.1. A method for detecting faces regardless of orientation, including
forming, on the basis of the input image, a plurality of mosaic images having a different scale,
using a plurality of differently oriented edge detectors to perform edge detection in a plurality of mosaic images, including combining the outlines of a plurality of mosaic images having different scales, and
performing face detection in areas corresponding to the indicated differently oriented loop detectors based on the corresponding feature maps created by the differently oriented loop detectors mentioned.

2. Способ по п.1, дополнительно включающий выполнение верификации возможного лица, обнаруженного детектором лиц.2. The method according to claim 1, further comprising verifying a possible face detected by the face detector.

3. Способ по любому из пп.1-2, в котором использование множества по-разному ориентированных детекторов контуров включает использование детекторов контуров, ориентированных с одинаковым угловым смещением между каждым детектором контуров и по меньшей мере одним другим детектором контуров, при этом детекторы контуров ориентированы так, чтобы охватывать триста шестьдесят градусов возможных углов поворота в плоскости для возможных лиц соответствующими секторами равного размера.3. The method according to any one of claims 1 to 2, in which the use of many differently oriented loop detectors includes the use of loop detectors oriented with the same angular displacement between each loop detector and at least one other loop detector, wherein the loop detectors are oriented so as to cover three hundred and sixty degrees of possible angles of rotation in the plane for possible persons with corresponding sectors of equal size.

4. Способ по любому из пп.1-2, в котором выполнение обнаружения лица включает применение эластичного шаблона лица к данным на соответствующей карте признаков для обнаружения возможного лица на основе того, что признаки возможного лица соответствуют эластичному шаблону лица.4. The method according to any one of claims 1 to 2, wherein performing face detection includes applying an elastic face pattern to data on a corresponding feature map to detect a possible face based on the fact that the features of the possible face match the elastic face pattern.

5. Способ по любому из пп.1-2, в котором выполнение обнаружения лица включает использование эластичного шаблона лица, имеющего ширину, соответствующую расстоянию между глазами в обнаруженной паре глаз, и высоту, соответствующую расстоянию между линией, соединяющей обнаруженную пару глаз, и потенциальный рот возможного лица.5. The method according to any one of claims 1 to 2, in which the execution of face detection includes the use of an elastic face template having a width corresponding to the distance between the eyes in the detected pair of eyes and a height corresponding to the distance between the line connecting the detected pair of eyes and a potential mouth of a possible face.

6. Устройство для обнаружения лиц независимо от ориентации, включающее
средства для формирования на основании входного изображения множества мозаичных изображений, имеющих различный масштаб,
средства для использования множества по-разному ориентированных детекторов контуров для выполнения обнаружения контуров в множестве мозаичных изображений, включая комбинирование контуров множества мозаичных изображений, имеющих различные масштабы, и
средства для выполнения обнаружения лиц в областях, соответствующих указанным по-разному ориентированным детекторам контуров, на основании соответствующих карт признаков, созданных упомянутыми по-разному ориентированными детекторами контуров.6. A device for detecting faces regardless of orientation, including
means for forming, on the basis of the input image, a plurality of mosaic images having a different scale,
means for using a plurality of differently oriented edge detectors to perform edge detection in a plurality of tile images, including combining the edges of a plurality of tile images of different scales, and
means for performing face detection in areas corresponding to the indicated differently oriented loop detectors, based on the corresponding feature maps created by the differently oriented loop detectors.

7. Устройство по п.6, включающее средства для выполнения верификации возможного лица, обнаруженного детектором лиц.7. The device according to claim 6, comprising means for verifying the possible face detected by the face detector.

8. Устройство по п.7, включающее средства для поворота возможного лица в вертикальное положение.8. The device according to claim 7, including means for turning a possible person into a vertical position.

9. Устройство по любому из пп.7, 8, в котором средства для выполнения верификации сконфигурированы для выполнения верификации с применением верификации на основе адаптивного усиления (Adaboost) с использованием более четырех примитивов Хаара.9. The device according to any one of paragraphs.7, 8, in which the means for performing verification are configured to perform verification using verification based on adaptive amplification (Adaboost) using more than four Haar primitives.

10. Устройство по любому из пп.7, 8, в котором средства для выполнения верификации сконфигурированы для выполнения верификации с использованием самонастройки со штрафным коэффициентом по отношению к выборкам, ближайшим к границе каскада.10. The device according to any one of paragraphs.7, 8, in which the means for performing verification are configured to perform verification using self-tuning with a penalty coefficient with respect to the samples closest to the boundary of the cascade.

11. Устройство по любому из пп.6-8, в котором упомянутые средства для использования сконфигурированы для использования множества по-разному ориентированных детекторов контуров путем использования детекторов контуров, ориентированных с одинаковым угловым смещением между каждым детектором контуров и по меньшей мере одним другим детектором контуров, при этом детекторы контуров ориентированы так, чтобы охватывать триста шестьдесят градусов возможных углов поворота в плоскости для возможных лиц соответствующими секторами равного размера.11. The device according to any one of claims 6 to 8, wherein said means for use are configured to use a plurality of differently oriented loop detectors by using loop detectors oriented with the same angular offset between each loop detector and at least one other loop detector , while the loop detectors are oriented so as to cover three hundred and sixty degrees of possible rotation angles in the plane for possible faces by corresponding sectors of equal size.

12. Устройство по любому из пп.6-8, в котором средства для выполнения обнаружения лиц сконфигурированы для выполнения обнаружения лица с применением эластичного шаблона лица к данным на соответствующей карте признаков для обнаружения возможного лица на основе того, что признаки возможного лица соответствуют эластичному шаблону лица.12. The device according to any one of claims 6 to 8, in which the means for performing face detection are configured to perform face detection using an elastic face template to the data on the corresponding feature map for detecting a possible face based on the fact that the features of the possible face correspond to the elastic template faces.

13. Устройство по любому из пп.6-8, в котором средства для выполнения обнаружения лиц сконфигурированы для выполнения обнаружения лица с использованием эластичного шаблона лица, имеющего ширину, соответствующую расстоянию между глазами в обнаруженной паре глаз, и высоту, соответствующую расстоянию между линией, соединяющей обнаруженную пару глаз, и потенциальный рот возможного лица.13. The device according to any one of claims 6 to 8, in which the means for performing face detection are configured to perform face detection using an elastic face template having a width corresponding to the distance between the eyes in the detected pair of eyes and a height corresponding to the distance between the line, connecting the detected pair of eyes, and the potential mouth of a possible face.

14. Устройство по любому из пп.6-8, включающее средства для формирования множества мозаичных изображений путем усреднения количества пикселей в каждой из множества ячеек для формирования мозаичного представления входного изображения, включающего множество ячеек, а также для использования множества уровней бинаризации мозаичных изображений, имеющих различные масштабы.14. The device according to any one of claims 6 to 8, comprising means for generating a plurality of mosaic images by averaging the number of pixels in each of a plurality of cells to form a mosaic representation of an input image including a plurality of cells, and also to use a plurality of binarization levels of mosaic images having various scales.

15. Устройство по любому из пп.6-8, в котором средства для выполнения обнаружения лиц сконфигурированы для выполнения обнаружения лица с использованием множества порогов для соответствующих мозаичных изображений с формированием соответствующих различных карт признаков для обнаружения лиц.15. The device according to any one of claims 6 to 8, in which the means for performing face detection are configured to perform face detection using a plurality of thresholds for the corresponding mosaic images with the formation of respective different feature maps for detecting faces.

16. Устройство по любому из пп.6-8, в котором упомянутые средства включают по меньшей мере один процессор и по меньшей мере одну память, включающую компьютерный программный код.16. The device according to any one of claims 6 to 8, in which said means include at least one processor and at least one memory including computer program code.

17. Машиночитаемый носитель данных, включающий хранящиеся на нем выполняемые компьютером программные инструкции, которые при выполнении процессором обеспечивают выполнение способа по любому из пп.1-5. 17. Machine-readable storage medium, including stored on it computer-executable program instructions that, when executed by the processor, ensure the execution of the method according to any one of claims 1 to 5.