JP2008287518A - Image processor, image processing program, recording medium and image processing method - Google Patents
Image processor, image processing program, recording medium and image processing method Download PDFInfo
- Publication number
- JP2008287518A JP2008287518A JP2007131965A JP2007131965A JP2008287518A JP 2008287518 A JP2008287518 A JP 2008287518A JP 2007131965 A JP2007131965 A JP 2007131965A JP 2007131965 A JP2007131965 A JP 2007131965A JP 2008287518 A JP2008287518 A JP 2008287518A
- Authority
- JP
- Japan
- Prior art keywords
- frame data
- region
- width
- skin color
- overlapping portion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、複数のフレームデータからなる動画像から人物の顔領域を認識する画像処理装置、画像処理プログラム、記録媒体、および画像処理方法に関する。 The present invention relates to an image processing apparatus, an image processing program, a recording medium, and an image processing method for recognizing a human face area from a moving image composed of a plurality of frame data.
従来より、画像処理装置による人物の顔領域抽出技術が提案されている。たとえば、特開２０００−３５４２４７号公報（特許文献１）に記載されているように、動き領域を検出することによって動き物体を認識し、更に検出した動き領域内から人物の顔部分の特徴である肌色領域を抽出することによって顔領域を抽出する技術がある。 Conventionally, a technique for extracting a human face region by using an image processing apparatus has been proposed. For example, as described in Japanese Patent Application Laid-Open No. 2000-354247 (Patent Document 1), a moving object is recognized by detecting a moving area, and is a feature of a human face portion from the detected moving area. There is a technique for extracting a face region by extracting a skin color region.
また、二次元的なパターンマッチングを用いて目や鼻などの領域を検出することによって、人物の特徴を精密に抽出し、人物の顔領域を認識する方法がある。
しかしながら、特開２０００−３５４２４７号公報（特許文献１）に記載されているような、動き領域の検出と肌色領域の検出とを組み合わせた方法においては、動き要素判定による動き領域の抽出と肌色要素判定による肌色領域の抽出とを行うためのアルゴリズムから生じる問題がある。すなわち、人物の顔部分以外の、動き成分や肌色成分を有する物体を、誤って人物の顔領域として抽出してしまう、という問題点があった。 However, in a method combining motion area detection and skin color area detection as described in Japanese Patent Application Laid-Open No. 2000-354247 (Patent Document 1), motion area extraction and skin color elements by motion element determination are performed. There is a problem arising from an algorithm for performing skin color region extraction by determination. That is, there is a problem that an object having a motion component or a skin color component other than the face portion of the person is erroneously extracted as the face area of the person.
また、特徴部の抽出にパターンマッチングを用いる方法においては、そもそも前記パターンマッチングを行うためにある程度の精度が必要となるため、前記パターンマッチングをソフトウェアによって実現する場合には、装置全体のパフォーマンスが低下してしまう、という問題点があった。 In addition, in the method using pattern matching for feature extraction, a certain degree of accuracy is required to perform the pattern matching in the first place, and therefore, when the pattern matching is realized by software, the performance of the entire apparatus is reduced. There was a problem that it would.
本発明は上記のような問題点を解決するためになされたものであって、本発明の主たる目的は、顔領域の認識性能の向上を図ることにある。 The present invention has been made to solve the above problems, and a main object of the present invention is to improve the recognition performance of a face area.
この発明のある局面に従えば、複数のフレームデータからなる動画像から人物の顔領域を認識する画像処理装置であって、複数のフレームデータの各々から、色相に基づいて肌色領域を抽出する第１の抽出手段と、複数のフレームデータのそれぞれから抽出された複数の肌色領域の第１の重複部分を抽出する第２の抽出手段と、第１の重複部分の横幅を算出する第１の横幅算出手段と、複数のフレームデータの各々から、第１の重複部分より下方の領域内における胴体候補領域を、所定の色パラメータに基づいて抽出する第３の抽出手段と、複数のフレームデータのそれぞれから抽出された複数の胴体候補領域の第２の重複部分を抽出する第４の抽出手段と、第２の重複部分の横幅を算出する第２の横幅算出手段と、第１の重複部分の横幅と第２の重複部分の横幅とを比較する比較手段と、比較手段にて得られた比較結果が所定の条件を満たす場合に、肌色領域を顔領域として認識する認識手段と、を備える。 According to an aspect of the present invention, there is provided an image processing apparatus for recognizing a human face region from a moving image composed of a plurality of frame data, wherein a skin color region is extracted from each of a plurality of frame data based on a hue. 1 extracting means, second extracting means for extracting a first overlapping portion of a plurality of skin color regions extracted from each of a plurality of frame data, and a first width for calculating a width of the first overlapping portion A calculation means; a third extraction means for extracting a body candidate area in an area below the first overlapping portion from each of the plurality of frame data based on a predetermined color parameter; and each of the plurality of frame data 4th extracting means for extracting the second overlapping portion of the plurality of trunk candidate regions extracted from the second width calculating means for calculating the width of the second overlapping portion, and the width of the first overlapping portion When It comprises comparing means for comparing the width of the second overlapping portion, when the comparison result obtained by the comparing means satisfies a predetermined condition, and recognition means for recognizing the skin color region as a face region.
この局面によれば、第１の重複領域（たとえば、顔候補の動き領域）と第２の重複領域（たとえば、肩候補の動き領域）との横幅に基づいて、肌色領域を人物の顔領域として認識するか否か判断するため、人物の形状をも考慮した精緻な判断を行うことができるようになり、その結果、顔領域の認識性能の向上を実現することができる。 According to this aspect, based on the horizontal width of the first overlap region (for example, the motion region of the face candidate) and the second overlap region (for example, the motion region of the shoulder candidate), the skin color region is set as the human face region. In order to determine whether or not to recognize, it becomes possible to make a precise determination in consideration of the shape of the person, and as a result, it is possible to improve the recognition performance of the face area.
好ましくは、比較手段は、第１の重複部分の横幅と第２の重複部分の横幅との比率を計算して、比率が予め定められた範囲内にあるか否かを判断し、認識手段は、比率が予め定められた範囲内にあると判断された場合に肌色領域を顔領域として認識する。 Preferably, the comparison means calculates a ratio between the width of the first overlapping portion and the width of the second overlapping portion, determines whether the ratio is within a predetermined range, and the recognition means When the ratio is determined to be within a predetermined range, the skin color area is recognized as a face area.
好ましくは、比較手段は、比率が１．４〜１．６の範囲内にあるか否かを判断し、認識手段は、比率が１．４〜１．６の範囲内にあると判断された場合に肌色領域を顔領域として認識する。 Preferably, the comparison means determines whether or not the ratio is in the range of 1.4 to 1.6, and the recognition means is determined to be in the range of 1.4 to 1.6. In this case, the skin color area is recognized as the face area.
好ましくは、所定の色パラメータは、フレームデータにおける画素毎の輝度値である。
好ましくは、複数のフレームデータの各々を縮小する画像縮小手段をさらに備える。
Preferably, the predetermined color parameter is a luminance value for each pixel in the frame data.
Preferably, the image processing device further includes image reduction means for reducing each of the plurality of frame data.
好ましくは、画像縮小手段は、複数のフレームデータの各々を１／２n（ｎ：整数）倍に縮小する。 Preferably, the image reducing means reduces each of the plurality of frame data by 1/2 n (n: integer) times.
好ましくは、第１の抽出手段は、複数のフレームデータの各々から、肌色領域または肌色領域以外の領域を示す２値のフレームデータを生成し、第２の抽出手段は、２値のフレームデータのそれぞれから抽出された複数の肌色領域の第１の重複部分を抽出する。 Preferably, the first extraction unit generates binary frame data indicating a skin color region or a region other than the skin color region from each of the plurality of frame data, and the second extraction unit stores the binary frame data. First overlapping portions of a plurality of skin color regions extracted from each are extracted.
この発明の別の局面に従えば、コンピュータに複数のフレームデータからなる動画像から人物の顔領域を認識させるための画像処理プログラムであって、複数のフレームデータの各々から、色相に基づいて肌色領域を抽出するステップと、複数のフレームデータのそれぞれから抽出された複数の肌色領域の第１の重複部分を抽出するステップと、第１の重複部分の横幅を算出するステップと、複数のフレームデータの各々から、第１の重複部分より下方の領域内における胴体候補領域を、所定の色パラメータに基づいて抽出するステップと、複数のフレームデータのそれぞれから抽出された複数の胴体候補領域の第２の重複部分を抽出するステップと、第１の重複部分の横幅と第２の重複部分の横幅とを比較するステップと、得られた比較結果が所定の条件を満たす場合に、肌色領域を顔領域として認識するステップと、をコンピュータに行わせる。 According to another aspect of the present invention, there is provided an image processing program for causing a computer to recognize a face area of a person from a moving image composed of a plurality of frame data, the skin color based on the hue from each of the plurality of frame data Extracting a region; extracting a first overlapping portion of a plurality of skin color regions extracted from each of the plurality of frame data; calculating a width of the first overlapping portion; and a plurality of frame data A body candidate region in a region below the first overlapping portion is extracted based on a predetermined color parameter, and a plurality of body candidate regions extracted from each of the plurality of frame data. Extracting the overlap portion of the first overlap portion, comparing the width of the first overlap portion with the width of the second overlap portion, and the comparison result obtained. There when a predetermined condition is satisfied, to perform the step of recognizing the skin color region as a face area, to the computer.
この発明の別の局面に従えば、コンピュータに複数のフレームデータからなる動画像から人物の顔領域を認識させるための画像処理プログラムを記録したコンピュータ読取可能な記録媒体であって、複数のフレームデータの各々から、色相に基づいて肌色領域を抽出するステップと、複数のフレームデータのそれぞれから抽出された複数の肌色領域の第１の重複部分を抽出するステップと、第１の重複部分の横幅を算出するステップと、複数のフレームデータの各々から、第１の重複部分より下方の領域内における胴体候補領域を、所定の色パラメータに基づいて抽出するステップと、複数のフレームデータのそれぞれから抽出された胴体候補領域の第２の重複部分を抽出するステップと、第２の重複部分の横幅を算出するステップと、第１の重複部分の横幅と第２の重複部分の横幅とを比較するステップと、得られた比較結果が所定の条件を満たす場合に、肌色領域を顔領域として認識するステップと、をコンピュータに実行させるための画像処理プログラムを記録した。 According to another aspect of the present invention, there is provided a computer-readable recording medium on which an image processing program for causing a computer to recognize a face area of a person from a moving image including a plurality of frame data is recorded. Extracting a skin color region from each of the plurality of skin data, extracting a first overlapping portion of the plurality of skin color regions extracted from each of the plurality of frame data, and calculating a width of the first overlapping portion. A step of calculating, a step of extracting a body candidate region in a region below the first overlapping portion from each of the plurality of frame data based on predetermined color parameters, and a plurality of frame data. Extracting a second overlapping portion of the torso candidate area, calculating a width of the second overlapping portion, In order to cause the computer to execute a step of comparing the width of the overlapping portion and the width of the second overlapping portion, and a step of recognizing the skin color region as a face region when the obtained comparison result satisfies a predetermined condition The image processing program was recorded.
この発明の別の局面に従えば、複数のフレームデータからなる動画像から人物の顔領域を認識する画像処理装置を使用した画像処理方法であって、画像処理装置は、動画像から抽出された複数のフレームデータを記憶する記憶部と、記憶部に記憶された複数のフレームデータに基づいて、フレームデータにおける人物の顔領域を認識する制御部と、を備え、画像処理方法は、制御部が、記憶部に記憶された複数のフレームデータの各々から、色相に基づいて肌色領域を抽出するステップと、制御部が、複数のフレームデータのそれぞれから抽出された複数の肌色領域の第１の重複部分を抽出するステップと、制御部が、第１の重複部分の横幅を算出するステップと、制御部が、記憶部に記憶された複数のフレームデータの各々から、第１の重複部分より下方の領域内における胴体候補領域を所定の色パラメータに基づいて抽出するステップと、制御部が、複数のフレームデータのそれぞれから抽出された胴体候補領域の第２の重複部分を抽出するステップと、制御部が、第２の重複部分の横幅を算出するステップと、制御部が、第１の重複部分の横幅と第２の重複部分の横幅とを比較するステップと、制御部が、得られた比較結果が所定の条件を満たす場合に、肌色領域を顔領域として認識するステップと、を備える。 According to another aspect of the present invention, there is provided an image processing method using an image processing device for recognizing a human face area from a moving image composed of a plurality of frame data, wherein the image processing device is extracted from the moving image. A storage unit for storing a plurality of frame data; and a control unit for recognizing a human face area in the frame data based on the plurality of frame data stored in the storage unit. Extracting a skin color area from each of the plurality of frame data stored in the storage unit based on the hue; and a first overlap of the plurality of skin color areas extracted from each of the plurality of frame data A step of extracting a portion, a step of calculating a lateral width of the first overlapping portion, and a portion of the control unit from the plurality of frame data stored in the storage unit. A step of extracting a body candidate region in a region below the portion based on a predetermined color parameter, and a step of extracting a second overlapping portion of the body candidate region extracted from each of the plurality of frame data by the control unit The controller calculates the width of the second overlapping portion, the controller compares the width of the first overlapping portion with the width of the second overlapping portion, and the controller obtains And a step of recognizing a skin color area as a face area when the comparison result obtained satisfies a predetermined condition.
以上に述べたように、本発明によって、顔領域の認識性能の向上が実現される。 As described above, the face area recognition performance is improved by the present invention.
以下、本発明の実施の形態について説明する。ただし、本発明は以下で説明する実施の形態に限定されるものではない。また、以下の説明では、同一の部品については同一の符号を付すものとし、前記部品の名称や機能が同一である場合には、前記部品についての詳細な説明は繰り返さない。 Embodiments of the present invention will be described below. However, the present invention is not limited to the embodiments described below. Further, in the following description, the same parts are denoted by the same reference numerals, and when the names and functions of the parts are the same, detailed description of the parts will not be repeated.
＜画像処理装置の全体構成＞
まず、本実施の形態に係る画像処理装置１０の全体構成について説明する。本実施の形態に係る画像処理装置１０は、複数のフレームデータからなる動画像の各種画像処理を行うための装置である。画像処理装置１０は、特に動画像符号化技術を使用した、テレビモニター付きインターフォン、監視カメラ、カメラ付き携帯電話、などのように対象画像内に人物が含まれることが想定される画像を処理するための機器に利用されるものである。画像処理装置１０よって行われる画像処理用の機能は、たとえば、パーソナルコンピュータまたはワークステーションなどのコンピュータ上で実行されるソフトウェアによって実現され得る。
<Overall configuration of image processing apparatus>
First, the overall configuration of the
ただし、本実施の形態においては、後述するように、各種の画像処理機能がパーソナルコンピュータまたはワークステーションなどのコンピュータ上で実行されるソフトウェアによって実現される構成としているが、各ブロックの機能や各ステップの処理をソフトウェアによって実現する代わりに、各々を専用のハードウェア回路等によって実現してもよい。 However, in this embodiment, as described later, various image processing functions are realized by software executed on a computer such as a personal computer or a workstation. Instead of realizing the above processing by software, each may be realized by a dedicated hardware circuit or the like.
図１は本実施の形態に係る画像処理装置１０のハードウェア構成を示す図である。図１に示すように、本実施の形態に係る画像処理装置１０は、内部バス１１と、ＣＰＵ（画像処理プロセッサ）１２と、メモリ（主記憶装置）１３と、固定ディスク（外部記憶装置）１４と、通信インターフェース１５と、入力装置１６と、出力装置１７と、ＦＤ（Flexible Disk）駆動装置１８と、ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory)駆動装置１９と、を備える。そして、画像処理装置１０には、複数のフレームデータから構成される動画像を入力するための撮像装置２１と、当該動画像をユーザ等へ表示するためのディスプレイ２０とが接続されている。
FIG. 1 is a diagram illustrating a hardware configuration of an
一般的に、前記ソフトウェアはＦＤ２８やＣＤ−ＲＯＭ２９などの記録媒体に格納されて、もしくはネットワークなどを介すことによって流通する。そして、前記ソフトウェアは、ＦＤ駆動装置１８やＣＤ−ＲＯＭ駆動装置１９などによって前記記録媒体から読取られて、もしくは通信インターフェース１５にて受信されて、固定ディスク１４に格納される。そして、固定ディスク１４からメモリ１３に読み出されてから、ＣＰＵ１２により実行される。つまり、図１に示すような画像処理装置１０のハードウェア自体は、一般的なコンピュータによって実現可能である。
In general, the software is distributed in a recording medium such as the FD 28 or the CD-
撮像装置２１は、小型カメラやイメージセンサやＣＣＤなどの撮像手段であって、動画像を形成するフレームデータを画像処理装置１０へと順次入力するものである。撮像装置２１は、たとえば、住宅の玄関に配置されて、住宅への訪問者を撮像するものである。
The
ディスプレイ２０は、液晶パネルやＣＲＴから構成されるものであって、ＣＰＵ１２が出力した画像等の情報を表示する。
The
ＣＰＵ１２は、画像処理装置１０の各要素を制御するものであって、各種の演算を実施する装置である。また、ＣＰＵ１２は、後述するように、画像縮小処理と、肌色領域抽出処理と、肌色動き領域抽出処理（第１の重複部分抽出処理）と、顔候補位置検出処理（第１の横幅算出処理）と、肩候補領域抽出処理と、肩候補動き領域抽出処理（第２の重複部分抽出処理）と、肩候補位置検出処理（第２の横幅算出処理）と、横幅比較処理と、顔領域判断処理等を行うものであって、当該判断結果を内部バス１１を介して出力装置１７やディスプレイ２０に出力する。ＣＰＵ１２は、各種の画像処理機能を実現することが出来るプログラム処理が実行可能な装置であればよく、たとえば専用の画像エンジン等であってもよい。
The
そして、本実施の形態に係る画像処理装置１０においては、顔部分が認識された際に、撮像装置２１に人物が撮像されている旨を、ＣＰＵ１２が出力装置１７に出力させる構成とすることができる。また、ＣＰＵ１２により、顔領域であると判断された画素の解像度や表示色を増加させる構成にすることも可能である。
In the
後述する各種の画像処理は、たとえば、固定ディスク１４に格納された各種処理手順（各種の画像処理用のアルゴリズム）に関するプログラムが一旦メモリ１３へと読み出され、読み出された前記プログラムがＣＰＵ１２上で実行されることによって、実現されるものである。また、ＣＰＵ１２は、内部バス１１を介してＣＰＵ１２に接続される撮像装置２１と、メモリ１３と、固定ディスク１４等との間でデータの授受を行ないながら、各種の画像処理を実行する。
In various image processing to be described later, for example, a program relating to various processing procedures (various image processing algorithms) stored in the
メモリ１３は、たとえば、ＤＲＡＭ（Dynamic Random Access Memory）、ＳＲＡＭ（Static Random Access Memory）、ＳＤＲＡＭ（Synchronous DRAM）等の揮発性の半導体メモリデバイスから構成される主記憶装置である。
The
固定ディスク（外部記憶装置）１４は、例えば、ハードディスクドライブやフレキシブルディスク等の不揮発性の磁気記録媒体、もしくはフラッシュメモリ等の不揮発性の半導体メモリデバイスから構成されており、各種の画像処理をＣＰＵ１２に実行させるためのコンピュータプログラムを記憶している。 The fixed disk (external storage device) 14 is composed of, for example, a nonvolatile magnetic recording medium such as a hard disk drive or a flexible disk, or a nonvolatile semiconductor memory device such as a flash memory. A computer program for execution is stored.
但し、内部バス１１と通信インターフェース１５を介して有線または無線で接続されたネットワーク２２を介すことによって、他のネットワーク機器２３の記憶装置等を画像処理装置１０の外部記憶装置として用いることもできる。また、上記コンピュータプログラムを、ＦＤ２８や、ＣＤ−ＲＯＭ２９や、ＤＶＤや、ハードディスクや、光ディスクや、光磁気ディスクや、磁気テープや、不揮発性のメモリカードや、その他の不揮発性メモリ等のような可搬型の記録媒体に格納しておく形態であってもよい。そして、当該記録媒体を画像処理装置１０に装着することによって、画像処理装置１０が当該記録媒体に格納されたプログラムコードを読み出し、メモリ１３に当該プログラムをロードしてからＣＰＵ１２が実行する形態としても構わない。また、当該記録媒体として高速アクセス可能な半導体メモリ等を利用して、当該記録媒体に格納されたプログラムコードを直接読み出しながらＣＰＵ１２が実行する形態であっても構わない。
However, the storage device or the like of another
入力装置１６は、たとえば、クリックされたりやスライドされることによってユーザから情報を受付けるマウスや、キー入力によりユーザから情報を受付ける前記キーボードから構成される。
The
出力装置１７は、撮像装置２１から入力された入力動画像を表示するための、画像処理装置１０に直接備えられたディスプレイやプリンタであってもよいし、ＣＰＵ１２にて算出された位置情報を電気信号として外部装置（外部のディスプレイ２０）に出力するだけのものであってもよい。また、出力装置１７は、ＣＰＵ１２にて判断された顔領域と認識された顔領域を示す情報とを前記入力動画像に重ねて表示してもよいし、顔領域が認識されたと判断された時にライトを点灯させる形態であってもよい。ただし、前述したように、画像処理装置１０の外部装置（たとえば外部のディスプレイ２０等）に、ＣＰＵ１２による判断結果や、撮像装置２１にて撮像され入力された入力動画像に関する映像データや音声データを出力する構成であってもよい。
The
通信インターフェース１５は、前記ＣＰＵ１２が出力した情報を電気信号へと変換するものであって、ＣＰＵ１２が出力した情報をその他の装置が利用できる信号へと変換する装置である。また、通信インターフェース１５は、本実施の形態に係るコンピュータの外部から入力された情報を受信して、ＣＰＵ１２が利用できる情報に変換する装置でもある。
The
つまり、ＣＰＵ１２で求めた判断結果を、内部バス１１と通信インターフェース１５とを介して有線または無線で接続されたネットワーク２２に出力し、他のネットワーク機器２３に接続されている外部装置（表示装置）に出力することも可能である。逆に、内部バス１１と直接つながっていない撮像装置が撮像した動画像に関する映像信号を、他のネットワーク機器２３からネットワーク２２を介して受信することによって、通信インターフェース１５と内部バス１１とを介してＣＰＵ１２に入力し、当該映像信号を入力動画像データとして入力可能な構成としてもよい。
That is, the determination result obtained by the
本実施の形態に係る画像処理装置１０は、外部のディスプレイ２０や撮像装置２１にアクセス可能に構成されているが、このような形態に限定するものではない。つまり、前述したように、画像処理装置１０が、ディスプレイ２０等の動画像の表示装置を装備しており、ＣＰＵ１２とディスプレイ２０とが内部バス１１によって接続される構成であってもよい。また、画像処理装置１０が、撮像装置２１等の動画像の入力装置を装備しており、ＣＰＵ１２と撮像装置２１とが内部バス１１によって接続される構成であってもよい。
The
＜画像処理装置の機能構成＞
図２は画像処理装置１０の機能構成を示す機能ブロック図である。図２に示すように、本実施の形態に係る画像処理装置１０は、記憶部１３−１と、画像縮小部１２−１と、肌色領域抽出部（第１の抽出手段）１２−２と、肌色動き領域抽出部（第２の抽出手段）１２−３と、顔候補位置検出部（第１の横幅算出手段）１２−４と、肩候補領域抽出部（第３の抽出手段）１２−５と、肩候補動き領域抽出部（第４の抽出手段）１２−６と、肩候補位置検出部（第２の横幅算出手段）１２−７と、横幅比較部（比較手段）１２−８と、顔領域判断部（認識手段）１２−９と、出力部１７−１と、を備えて構成されている。
<Functional configuration of image processing apparatus>
FIG. 2 is a functional block diagram showing a functional configuration of the
そして、本実施の形態に係る画像処理装置１０は、たとえば撮像装置２１と接続されており、撮像装置２１が撮像した動画像を構成するフレームデータが順次メモリ１３に格納されてから、順次画像縮小部１２−１に入力されるように構成されている。また、画像処理装置１０は、たとえばディスプレイ２０に接続されており、ＣＰＵ１２にて判定された結果が、出力部１７−１からディスプレイ２０に出力されるように構成されている。
The
＜各機能の説明＞
以下、各機能について説明する。まず、画像縮小部１２−１は、たとえば固定ディスク１４からメモリ１３へと読み出されたプログラムがＣＰＵ１２上で実行されることによって実現される。つまり、固定ディスク１４に記憶されたプログラムが一旦メモリ１３へと読み出されて、ＣＰＵ１２がメモリ１３から前記プログラムを読み出しながら順次実行することによって、以下の画像縮小処理機能が実現される。以上のようにして、画像縮小部１２−１は、撮像装置２１から入力された動画像を構成する前記複数のフレームデータの各々を縮小する。
<Description of each function>
Each function will be described below. First, the image reduction unit 12-1 is realized, for example, by executing a program read from the fixed
本実施の形態に係る画像処理装置１０においては、肌色動き領域や肩候補動き領域を抽出する際に、時間の異なる２枚のフレームデータの差異を利用する。その際にノイズが発生すると、当該ノイズを動き領域（成分）と誤認する場合がある。ＣＰＵ１２が各々のフレームデータの画像を一旦縮小してから動き領域を抽出する構成にすることによって、上記のような誤認を減らすことができるようになり、ノイズ等の差異を減少させることができる。言い換えれば、ノイズ等の差異が発生してしまった場合であっても、ノイズ等の差異を動き領域と誤認し難くなる。また、画像縮小処理を施すことによって、それぞれのフレームデータのデータ量が減り、ＣＰＵ１２による演算量を低減することができる。
In the
画像縮小処理には様々な方法があるが、必要なデータを残しつつ最低限の計算量にてノイズ成分のみを減少させるために、本実施の形態においては画像の縮小率を２n（ｎ：２以上の整数）としている。つまり、前記画像縮小部１２−１は、前記複数のフレームデータの各々を１／２n（ｎ：整数）倍に縮小する機能を有する。本実施の形態においては、縮小されたフレームデータの各々を生成するための演算は、縮小前のフレームデータの各々のデータ値を平均することによって行う。 There are various methods for image reduction processing. In this embodiment, the image reduction ratio is set to 2 n (n: An integer of 2 or more). That is, the image reduction unit 12-1 has a function of reducing each of the plurality of frame data by 1/2 n (n: integer) times. In the present embodiment, the calculation for generating each reduced frame data is performed by averaging the data values of the frame data before reduction.
例えば、縮小率２（ｎ＝１）のとき、縮小前の座標（ｘ，ｙ）の画素データをｇ（ｘ，ｙ）、縮小後の画素データをｆ（ｘ，ｙ）とすれば、縮小後の画素データｆ（ｘ，ｙ）は次式により求めることが出来る。より詳細には、ＣＰＵ１２が、４つの画素データを平均して、１つの画度データとして出力するのである。
For example, when the reduction ratio is 2 (n = 1), the pixel data at the coordinates (x, y) before reduction is g (x, y) and the pixel data after reduction is f (x, y). The subsequent pixel data f (x, y) can be obtained by the following equation. More specifically, the
シフト演算機能を有するプロセッサ（ＣＰＵ１２）を備える画像処理装置１０においては、２n（ｎ：整数）で表せる整数による除算（あるいは乗算）は、前記プロセッサによる１回のシフト演算のみにて為し得ることができるため、前記プロセッサによる演算処理を最低限に抑えることが出来る。
In the
肌色領域抽出部（第１の抽出手段）１２−２は、たとえば固定ディスク１４からメモリ１３へと読み出されたプログラムがＣＰＵ１２上で実行されることによって実現される。肌色領域抽出部１２−２は、画像縮小部１２−１によって縮小した複数のフレームデータの各々から、色相に基づいて肌色領域（肌色成分）を抽出する。ただし、色相のみに基づいて肌色領域を抽出する構成に限定するものではなく、画像処理装置１０は、他の方法を組み合わせて肌色領域を抽出する構成であってもよい。
The skin color area extracting unit (first extracting unit) 12-2 is realized by executing on the CPU 12 a program read from the fixed
本実施の形態においては、肌色領域抽出処理を色相計算に基づいて行っている。色相とは色空間のＨＳＶ（Hue, Saturation, Value）モデルの中の一つのパラメータであり、色相（Ｈｕｅ）は、０度〜３６０度で表現され、光の波長（例えば、赤色と黄色との間の区別）によって識別される色の種類を示す。一般的に、コンピュータで扱う画像データはＲ，Ｇ，Ｂフォーマットであり、たとえば入力された画像がＲ，Ｇ，Ｂの３成分から成り立っている場合、次式に示す式から色相Ｈｕを求めることができる。但し、次式中のＲ，Ｇ，Ｂは０〜１の範囲の数値であり、次式中のＭＡＸはＲ，Ｇ，Ｂの値の最大値であり、ＭＩＮはＲ，Ｇ，Ｂ値の最小値である。 In the present embodiment, the skin color area extraction processing is performed based on hue calculation. Hue is a parameter in the HSV (Hue, Saturation, Value) model of the color space, and the hue (Hue) is expressed by 0 degrees to 360 degrees, and the light wavelength (for example, red and yellow) The type of color identified by In general, image data handled by a computer is in R, G, B format. For example, when an input image is composed of three components of R, G, B, the hue Hu is obtained from the following equation. Can do. However, R, G, and B in the following equation are values in the range of 0 to 1, MAX in the following equation is the maximum value of R, G, and B, and MIN is the R, G, and B value. The minimum value.
これまでの実験により、Ｈｕの値が６〜３８の範囲にあれば肌色とみなせることが判っている。但し、本実施の形態に係る画像処理装置１０は、人物の顔画像を認識するための他の判断手段も有しているため、Ｈｕの値を広めに設定してもよい。たとえば、Ｈｕの値が０〜４５の範囲内にあれば肌色とみなす構成としてもよい。
According to previous experiments, it has been found that if the value of Hu is in the range of 6 to 38, it can be regarded as skin color. However, since the
図３は動画像から抽出された１つのフレームデータを示した概念図である。図４は動画像から抽出された２つのフレームデータを重ねて示した概念図である。図５は動画像から抽出された２つのフレームデータの肌色領域３０１ａを重ねて示した概念図である。図３〜図５に示すように、本実施の形態においては、肌色領域抽出部１２−２は、各々のフレームデータにおいてそれぞれの画素毎に、前記色相（Ｈｕ）の値が６〜３８の範囲である場合に「１」を設定し（図４および図５における領域３０１ａ）、前記色相（Ｈｕ）の値が６〜３８の範囲にない場合に「０」を設定することによって（図４および図５における領域３０１ａ以外の領域）、２値のフレームデータを生成する。つまり、本実施の形態においては、肌色領域抽出部１２−２が肌色領域を「１」とする２値のフレームデータを生成することによって、肌色領域を抽出する。
FIG. 3 is a conceptual diagram showing one frame data extracted from a moving image. FIG. 4 is a conceptual diagram showing two frame data extracted from a moving image in an overlapping manner. FIG. 5 is a conceptual diagram showing the
本実施の形態においては、前述したように、動き領域の抽出を行う際には、現フレームデータと現フレームデータより１つ以上前のフレームデータとの差異を求めるための演算をおこなうが、予めこれら対象となる２枚のフレームデータから必要な色成分を持つ領域を示す２値画像（２値のフレームデータ）を生成しておき、必要なエリアのみにおいて差異の違いを求める演算を行う。 In the present embodiment, as described above, when extracting a motion region, an operation for obtaining a difference between current frame data and one or more previous frame data is performed. A binary image (binary frame data) indicating a region having a necessary color component is generated from the two pieces of frame data to be processed, and an operation for obtaining a difference in only a necessary area is performed.
この場合には、一旦、動画像を構成するそれぞれのフレームデータを２値のフレームデータに変換にすることにより、２つのフレームデータの差異を求める処理がＡＮＤ演算もしくはＯＲ演算のみを行うことによって実現できるため、ＣＰＵ１２による演算量を減らすことが出来る。
In this case, by converting each frame data constituting the moving image into binary frame data, the process for obtaining the difference between the two frame data is realized by performing only an AND operation or an OR operation. Therefore, the calculation amount by the
肌色動き領域抽出部１２−３は、たとえば固定ディスク１４からメモリ１３へと読み出されたプログラムがＣＰＵ１２上で実行されることによって実現される。肌色動き領域抽出部１２−３は、前記複数のフレームデータのそれぞれから抽出された肌色領域（図５における領域３０１ａ）の第１の重複部分（図５における領域３０１ｂ）を抽出する。
The flesh color motion region extraction unit 12-3 is realized, for example, by executing a program read from the fixed
図４および図５に示すように、肌色動き領域抽出部１２−３は、肌色領域抽出部１２−２により求められた肌色領域を「１」とした２値のフレームデータのうち、最新のフレームデータと当該フレームデータよりも過去のフレームデータとの２枚フレームデータを用いて、それらのフレームデータにＡＮＤ処理を施すことによって、肌色動き領域（図５における領域３０１ｂ）を抽出する。前述したように、肌色領域抽出部１２−２によって生成されたフレームデータでは色相計算に基づいて肌色部分の画素には「１」が、肌色ではない部分の画素には「０」が設定されており、それらのフレームデータを用いて「１」が重複する領域を演算することによって肌色動き領域３０１ｂを抽出することができる。
As shown in FIGS. 4 and 5, the flesh color motion region extraction unit 12-3 is the latest frame of the binary frame data in which the flesh color region obtained by the flesh color region extraction unit 12-2 is “1”. The skin color motion region (
つまり、本実施の形態に係る画像処理装置１０においては、肌色領域抽出部１２−２は、前記複数のフレームデータの各々から、前記肌色領域３０１ａと前記肌色領域３０１ａ以外の領域とからなる２値のフレームデータを生成することによって、肌色領域３０１ａを抽出し、肌色動き領域抽出部１２−３は、前記２値のフレームデータのそれぞれから抽出された肌色領域３０１ａの第１の重複部分３０１ｂを抽出する構成になっている。
That is, in the
顔候補位置検出部（第１の横幅算出部）１２−４は、たとえば固定ディスク１４からメモリ１３へと読み出されたプログラムがＣＰＵ１２上で実行されることによって実現される。図２〜図５に示すように、顔候補位置検出部（第１の横幅算出部）１２−４は、肌色動き領域抽出部１２−３にて抽出した肌色動き領域（図３および図５の領域３０１ｂ）に基づいて、擬似的に矩形領域（図３および図５の領域３０２）を求め、その位置情報と当該矩形領域の横幅Ｗfを求める。つまり、顔候補位置検出部１２−４は、前記肌色動き領域３０１ｂの横幅Ｗfを算出する。
The face candidate position detection unit (first lateral width calculation unit) 12-4 is realized, for example, by executing a program read from the fixed
ここで、横幅Ｗfとは、肌色動き領域３０１ｂの、撮像装置２１によって撮像された際における実際の水平方向の長さをいい、表示された際や、画像処理を行う際の方向を指定しているものではない。言い換えれば、横幅とは、撮像対象である人物の顔や胴体の水平方向の長さ（横幅）をいうものとし、撮像装置２１から出力されるフレームデータの水平方向や垂直方向には関わりがない。
Here, the width W f, of the skin
擬似的に肌色動き領域３０１ｂを含む矩形領域（図３および図５の領域３０２）を求める方法は以下のようになる。まず、２枚の２値のフレームデータから求めた肌色動き領域３０１ｂにおいて、その肌色動き領域３０１ｂの水平方向の最大位置Ｘfmaxと垂直方向の最大位置Ｙfmaxから求められる座標Ｓ（Ｘfmax，Ｙfmax）を定義し、水平方向の最小位置Ｘfminと垂直方向の最小位置Ｙfminから求められる座標Ｔ（Ｘfmin，Ｙfmin）を定義する。そして、近似的に矩形領域３０２の横幅Ｗfを次式によって計算する。
A method of obtaining a rectangular region (
一方、近似的に矩形領域３０２の縦幅Ｈfを次式によって計算する。
On the other hand, the vertical width H f of the
ここで、ノイズなどの影響を受けにくくするために、矩形領域３０２の重心（Ｘfg，Ｙfg）と、肌色動き領域３０１ｂの水平方向および垂直方向の最大位置（Ｘfmax，Ｙfmax）と、水平方向および垂直方向の最小位置（Ｘfmin，Ｙfmin）とを求めることによって、求める矩形領域３０２の中心位置を肌色動き領域３０１ｂの重心（Ｘfg，Ｙfg）としてもよい。この場合は、求める矩形領域３０２の横幅Ｗfを次式のように計算する。
Here, in order to reduce the influence of noise or the like, the center of gravity (X fg , Y fg ) of the
ここでのＭＩＮは、与えられた２つの引数のうち小さい方の引数の値を返す関数のことである。この場合は、位置情報としての長方形の対角の２点の座標をＵ（Ｘfg＋Ｗf／２，Ｙfg＋Ｈf／２），Ｖ（Ｘfg−Ｗf／２，Ｙfg−Ｈf／２）と定義する。
MIN here is a function that returns the value of the smaller of the two given arguments. In this case, the coordinates of two points of the rectangle diagonal as the
縦幅Ｈfについても、（数５）と同様に、重心を介して算出する方法を採用することが好ましい。 As for the vertical width H f , it is preferable to employ a method of calculating via the center of gravity as in (Formula 5).
このように、横幅Ｗfと縦幅Ｈfとを重心を基準として求めることによって、抽出された肌色動き領域３０１ｂが、ノイズなどの影響などにより正しい肌色動き領域３０１ｂより遠くに検出された場合であっても、遠くに検出された成分による影響を低減することができ、その結果として映像上のノイズなどの影響を受け難くすることが出来るようになる。
As described above, when the horizontal width W f and the vertical width H f are obtained on the basis of the center of gravity, the extracted skin
より詳細には、たとえば、フレームデータ（動画像）の一方の端に肌色とみなせるようなノイズが発生したときに、上記のような単純に矩形領域３０２の中心を求める構成の場合には、肌色動き領域３０１ｂの中心が前記ノイズが発生した方向へ移動してしまうという不具合が生じる。しかし、本実施の形態に係る画像処理装置１０においては、横幅Ｗfを（数６）に基づいて算出するため、ＸfmaxとＸfminのどちらかにノイズが入ったとしてもＷfの値の変化を低減することができる。つまり、一般的に、位置を求める場合には、重心を採用する方法の方が、最大値と最小値の平均値を採用する方法よりも、ノイズの影響を小さくすることができる。
More specifically, for example, in the case of the configuration in which the center of the
肩候補領域抽出部１２−５は、たとえば固定ディスク１４からメモリ１３へと読み出されたプログラムがＣＰＵ１２上で実行されることによって実現される。肩候補領域抽出部１２−５は、前記複数のフレームデータの各々から、前記肌色動き領域（第１の重複領域）３０１ｂより下方の領域内における肩候補抽出対象エリア（図４における領域３０３）を設定する。
The shoulder candidate region extraction unit 12-5 is realized by executing a program read from the fixed
これによって、後述する肩候補動き領域抽出部１２−６が、画像縮小部１２−１が縮小して生成したフレームデータのうち、顔候補位置検出部（顔候補横幅算出部）１２−４によって得られた位置情報に基づいて定められる、前記肌色動き領域３０１ｂより下方にある特定の大きさの矩形領域（肩候補抽出対象エリア）の中のみにおいて、肩候補領域３０６ａおよび肩候補動き領域３０６ｂの抽出処理を行うことができる。
As a result, the shoulder candidate motion region extraction unit 12-6 described later is obtained by the face candidate position detection unit (face candidate width calculation unit) 12-4 out of the frame data generated by the image reduction unit 12-1 being reduced. The
これは、直立姿勢で前を向いている人物の場合、その人物の肩は、その人物の顔の下方に位置する所定の領域（本実施の形態においては、図３および図４の領域３０３）の中にあると予想されるからである。つまり、肌色動き領域抽出部１２−３にて得られた肌色動き領域（図３および図５の領域３０１ｂ）に人物の顔部分が存在する場合には、通常、その人物の肩部分は前記顔部分の下方に位置するからである。また、肩領域の大きさは顔領域の大きさに基づいてある程度の大きさに限定されるからである。
In the case of a person facing up in an upright posture, the shoulder of the person is a predetermined area located below the person's face (in this embodiment, the
図６は肩候補領域３０６ａを抽出するための抽出対象エリア３０３を示す概念図である。図７は抽出された肩候補領域３０６ａを示す概念図である。図６に示すように、本実施の形態においては、肩候補動き領域３０６ｂを抽出するために肩候補領域３０６ａを抽出する際において、当該肩候補動き領域３０６ｂを抽出するための抽出対象エリア３０３をある程度まで限定することができ、当該限定によってＣＰＵ１２による演算量を低減することが出来る。
FIG. 6 is a conceptual diagram showing an
より詳細には、肩候補領域抽出部１２−５は、前記顔候補位置検出部１２−４にて算出されたＳ（Ｘfmax，Ｙfmax）とＴ（Ｘfmin，Ｙfmin）との座標値に基づいて、あるいはＴ（Ｘfmin，Ｙfmin）の座標値と横幅Ｗfの値とに基づいて、肌色動き領域３０１ｂの下方に抽出対象エリア３０３を設定するのである。
More specifically, the shoulder candidate region extraction unit 12-5 has coordinate values of S (X fmax , Y fmax ) and T (X fmin , Y fmin ) calculated by the face candidate position detection unit 12-4. Or based on the coordinate value of T (X fmin , Y fmin ) and the value of the horizontal width W f , the
図６に示すように、本実施の形態においては、抽出対象エリア３０３は、肌色動き領域３０１ｂの下方に肌色動き領域３０１ｂに隣接して位置するものとして、肌色動き領域３０１ｂの左右中心と同じ左右中心を有するエリアとしている。そして、抽出対象エリア３０３の縦幅は肌色動き領域３０１ｂの縦幅Ｈfに所定の係数Ｂ（たとえば、Ｂ＝１）を乗じた値とし、抽出対象エリア３０３の横幅は肌色動き領域３０１ｂの横幅Ｗfに所定の係数Ｃ（たとえば、Ｃ＝２．２）を乗じた値としている。
As shown in FIG. 6, in the present embodiment, the
より詳細には、肩候補領域抽出部１２−５は、抽出対象エリア３０３のＸ方向の最大値Ｘsmaxを以下の式に基づいて算出する。
More specifically, the shoulder candidate region extraction unit 12-5 calculates the maximum value X smax in the X direction of the
そして、肩候補領域抽出部１２−５は、抽出対象エリアのＸ方向の最小値Ｘsminを以下の式に基づいて算出する。 And the shoulder candidate area | region extraction part 12-5 calculates the minimum value Xsmin of the X direction of an extraction object area based on the following formula | equation.
そして、肩候補領域抽出部１２−５は、抽出対象エリアのＹ方向の最大値Ｙsmaxを以下の式に基づいて算出する。 Then, the shoulder candidate region extraction unit 12-5 calculates the maximum value Y smax in the Y direction of the extraction target area based on the following equation.
そして、肩候補領域抽出部１２−５は、抽出対象エリアのＹ方向の最小値Ｙsmaxを以下の式に基づいて算出する。 Then, the shoulder candidate region extraction unit 12-5 calculates the minimum value Y smax in the Y direction of the extraction target area based on the following equation.
また、肩候補領域抽出部１２−５は、前記複数のフレームデータの各々から、所定の色パラメータに基づいて肌色動き領域（第１の重複部分）３０１ｂより下方の領域（抽出対象エリア３０３）内における肩候補領域３０６ａを抽出する。すなわち、ＣＰＵ１２が、それぞれのフレームデータを一旦２値のフレームデータに変換する。前記２値のフレームデータとは、あるレベルの輝度値（しきい値）より高いものを「１」、低いものを「０」としたデータをいう。すなわち、本実施の形態においては、前記所定の色パラメータは、前記フレームデータの各々における画素毎の輝度値としている。
Further, the shoulder candidate region extraction unit 12-5 includes a region (extraction target area 303) below the skin color movement region (first overlapping portion) 301b based on a predetermined color parameter from each of the plurality of frame data. The
図８は各々のフレームデータにおけるそれぞれの画素に対応する輝度値と当該輝度値が設定されている画素数との分布を示した概念図である。前記しきい値は、たとえば以下のようにして設定される。即ち、図３に示すような撮像画像が入力されている場合には、抽出対象エリア３０３に人物の肩部分とその背景の部分（肩以外の部分）とが含まれているため、当該フレームデータにおける輝度値と画素数との分布は、図８に示すような形状になると予想される。そこで、本実施の形態においては、当該分布の谷の部分に相当する輝度値をしきい値として設定する。
FIG. 8 is a conceptual diagram showing the distribution of the luminance value corresponding to each pixel in each frame data and the number of pixels for which the luminance value is set. The threshold value is set as follows, for example. That is, when a captured image as shown in FIG. 3 is input, the
上記のように、ＣＰＵ１２は、フレームデータの各々を、それぞれの画素の輝度値としきい値とに基づいて、２値のフレームデータに変換する。各々のフレームデータにおいては、肩候補領域３０６ａの画素に対して「１」が、それ以外の領域の画素に対して「０」が出力される。本実施の形態においては、肩候補領域３０６ａを求める際には、前述したように、抽出対象エリア３０３内のみにおいて演算を行う。
As described above, the
そして、肩候補動き領域抽出部１２−６は、たとえば固定ディスク１４からメモリ１３へと読み出されたプログラムがＣＰＵ１２上で実行されることによって実現される。肩候補動き領域抽出部１２−６は、肩候補領域抽出部１２−５にて設定した抽出対象エリア３０３において肩候補動き領域３０６ｂを求めるものであって、前記複数のフレームデータのそれぞれから抽出された肩候補領域３０６ａから肩候補動き領域３０６ｂ（第２の重複部分）を抽出する。
The shoulder candidate motion region extraction unit 12-6 is realized, for example, by executing a program read from the fixed
ここで、肩候補動き領域３０６ｂの算出方法について説明する。肩候補動き領域３０６ｂの抽出には、時間の異なる２枚のフレームデータの差異を利用する。撮像対象に動きがあると２枚のフレームデータ上に差異が生じるが、本実施の形態においては、肌色動き領域抽出処理において説明したように、ＣＰＵ１２による演算量を低減させるべく、ＣＰＵ１２が、それぞれのフレームデータを一旦２値のフレームデータに変換してから、２枚のフレームデータ間の差異の計算を行う。
Here, a method of calculating the shoulder
図９は撮像対象に動きがある場合の２枚の２値のフレームデータを重ねた概念図である。つまり、図９は時間の異なるフレームデータを２枚を重ねたイメージ図であって、図４および図５にも示したように、撮像時間が異なる２枚のフレームデータにおいては、撮像対象の画像がずれて撮像されている。前述したように、本実施の形態においては、肩候補動き領域３０６ｂを求める際には、抽出対象エリア３０３内のみにおいてフレームデータ間の差異を求める演算を行う。
FIG. 9 is a conceptual diagram in which two pieces of binary frame data are overlapped when there is a movement in the imaging target. That is, FIG. 9 is an image diagram in which two pieces of frame data having different times are overlapped. As shown in FIGS. 4 and 5, in two pieces of frame data having different imaging times, the image to be imaged is Images are taken out of position. As described above, in the present embodiment, when obtaining the shoulder
より詳細には、ＣＰＵ１２は、両フレームデータの論理積（ａｎｄ）を演算する。これによって、演算後のデータとしては肩候補領域３０６ａの重複部分３０６ｂのみが「１」として出力される（図９におけるドット領域）。ただし、論理積（ａｎｄ）を使う代わりに排他論理和（ｅｘ−ｏｒ）を用いてもよい。
More specifically, the
肩候補動き領域３０６ｂの求め方は、肌色動き領域３０１ｂの求め方と比べて、２値のフレームデータに変換する方法において、（数２）に示すような色相Ｈｕｅを用いるのではなく、輝度値を用いる点において異なる。本実施の形態における所定の色パラメータは、前記フレームデータの各々における画素毎の輝度値としているため、撮像する周辺環境によって前記しきい値を変化させることが好ましい。
The method of obtaining the shoulder
肩候補位置検出部１２−７は、たとえば固定ディスク１４からメモリ１３へと読み出されたプログラムがＣＰＵ１２上で実行されることによって実現される。肩候補位置検出部１２−７は、擬似的に肩候補動き領域３０６ｂが囲まれる矩形領域（図３および図９の領域３０５）を求め、その矩形領域の位置と横幅Ｗsとを求めるものである。つまり、肩候補位置検出部１２−７は、前記肩候補動き領域３０６ｂ（第２の重複部分）の横幅Ｗsを算出する。本実施の形態においては、肩候補動き領域抽出処理の演算後の肩候補動き領域３０６ｂの一番左端の部分（図４における線Ｄ）と右端の部分（図４における線Ｅ）との距離が、肩候補動き領域３０６ｂの横幅Ｗsとなる。横幅Ｗsの算出方法は、肌色動き領域３０１ｂの横幅Ｗfの算出方法（（数３）を参照。）と同様であるので、ここでは説明を繰り返さない。
The shoulder candidate position detection unit 12-7 is realized, for example, by executing a program read from the fixed
より詳細には、横幅Ｗsを算出する際には、図４に示すように、左右の動き量Δｄを考慮する必要があるが、ΔｄはＷsと比較して小さな数値であるため、本実施の形態においてはΔｄ＝０としている。ただし、２枚のフレームデータの時間間隔を大きく設定して、フレームデータ間の重複部分を求める場合には、Δｄの値が無視できなくなるため、算出されたＷsの値を補正することが好ましい。 More specifically, when calculating the lateral width W s , as shown in FIG. 4, it is necessary to consider the left and right motion amount Δd. However, since Δd is a smaller value than W s , In the embodiment, Δd = 0. However, when the time interval between the two pieces of frame data is set to be large and an overlapping portion between the frame data is obtained, the value of Δd cannot be ignored. Therefore, it is preferable to correct the calculated value of W s. .
横幅比較部（比較手段）１２−８は、たとえば固定ディスク１４からメモリ１３へと読み出されたプログラムがＣＰＵ１２上で実行されることによって実現される。横幅比較部１２−８は、肌色動き領域（第１の重複部分）３０１ｂの横幅Ｗsと肩候補動き領域（第２の重複部分）３０６ｂの横幅Ｗfとを比較する。言い換えれば、横幅比較部１２−８は、顔候補位置検出部１２−４にて算出した肌色動き領域３０１ｂの横幅（図３および図５の顔候補の横幅Ｗf）と肩候補位置検出部１２−７にて算出された肩候補動き領域３０６ｂの横幅（図３および図９の横幅Ｗs）に基づいて比較値を求める。
The horizontal width comparison unit (comparison means) 12-8 is realized by executing on the CPU 12 a program read from the fixed
本実施の形態においては、前記比較値として、肩候補位置検出部１２−７で求めた肩候補動き領域３０６ｂの横幅Ｗsを、顔候補位置検出部１２−４にて求めた肌色動き領域３０１の横幅Ｗfによって割り算することにより算出した、比較値Ｗs／Ｗfを用いる。
In the present embodiment, as the comparison value, the width W s of the shoulder
顔領域判断部（認識手段）１２−９は、たとえば固定ディスク１４からメモリ１３へと読み出されたプログラムがＣＰＵ１２上で実行されることによって実現される。顔領域判断部１２−９は、横幅比較部１２−８にて得られた比較値（比較結果）Ｗs／Ｗfが所定の条件を満たす場合に、前記肌色領域３０１ａを顔領域として認識する。すなわち、顔領域判断部１２−９は、横幅比較部１２−８にて求めた比較値Ｗs／Ｗfが予め設定された範囲内であれば、顔候補位置検出部（第１の横幅算出部）１２−４にて求めた位置（図３の領域３０１ｂが含まれる領域３０２）が人物の顔が存在する位置であると判断する。同時に、肩候補位置検出部１２−７にて求めた位置（図３における領域３０６ｂが囲まれる領域３０５）が肩が存在する位置であると判断する。
The face area determination unit (recognition means) 12-9 is realized, for example, by executing a program read from the fixed
本実施の形態においては、比較値Ｗs／Ｗfが１．４〜１．６の範囲に入っているときに、ＣＰＵ１２は、比較値（比較結果）Ｗs／Ｗfが所定の条件を満たしていると判断し、肌色領域３０１ａを人物の顔領域として認識する構成としている。但し、このＷs／Ｗfの１．４〜１．６の範囲はある実験環境によって求められたものであり、必ずしもこの範囲があらゆる状況においても適しているわけではないということは言うまでもない。
In the present embodiment, when the comparison value W s / W f is in the range of 1.4 to 1.6, the
ここで、顔領域判断部１２−９が、前記肌色動き領域（第１の重複部分）３０１ｂの横幅Ｗfと前記肩候補動き領域（第２の重複部分）３０６ｂの横幅Ｗsとに基づいて、前記肌色領域３０１ａを顔領域として認識するか否かを判断する構成であってもよい。より詳細には、顔領域判断部１２−９が、前記肌色動き領域（第１の重複部分）３０１ｂの横幅Ｗfと前記肩候補動き領域（第２の重複部分）３０６ｂの横幅Ｗsとの比率Ｗs／Ｗfを計算し、前記比率Ｗs／Ｗfが予め定められた範囲内にあるか否かを判断し、前記比率Ｗs／Ｗfが予め定められた範囲内にあると判断された場合に前記肌色領域３０１ａを顔領域として認識する構成であってもよい。
Here, the face area determination unit 12-9, the skin color motion region (first overlapping portion) said the horizontal width W f shoulder candidate motion region (second overlapping portion) of 301b based on the width W s of 306b The
本実施の形態においては、顔領域判断部１２−９は、前記肩候補動き領域（第２の重複部分）３０６ｂの横幅Ｗsを肌色動き領域（第１の重複部分）３０１ｂの横幅Ｗfで除することによって前記比率Ｗs／Ｗfを計算し、前記比率Ｗs／Ｗfが１．４〜１．６の範囲内にあると判断された場合に前記肌色領域３０１ａを顔領域として認識する。
In the present embodiment, the face area determination unit 12-9 uses the width W s of the shoulder candidate motion area (second overlap portion) 306b as the width W f of the skin color motion area (first overlap portion) 301b. The ratio W s / W f is calculated by dividing the
また、顔候補位置検出部１２−４と肩候補位置検出部１２−７とによって得られた肌色動き領域３０１ｂと肩候補動き領域３０６ｂの横幅Ｗs，Ｗfを比較する横幅比較処理および顔領域判断処理において、過去一回以上の顔肌色動き領域３０１ｂと肩候補動き領域３０６ｂの横幅Ｗs，Ｗfの平均値を算出してから、比較値Ｗs／Ｗfを求める構成にしてもよい。この場合にも、平均値から算出された当該比較値Ｗs／Ｗfが１．４〜１．６の範囲内にある場合に、肌色領域３０１ａを顔領域と判断したり、撮像装置２１によって人物が撮像されていると判断する構成にすることができる。
Also, a width comparison process for comparing the widths W s and W f of the skin
例えば、過去二回の平均Ａ2を求める場合において、動画像のｎ番目のフレームデータと（ｎ＋１）番目のフレームデータとを評価したときの肌色動き領域３０１ｂの横幅、肩補動き領域３０６ｂの横幅をそれぞれＷf（ｎ），Ｗs（ｎ）とすると、平均値に基づく前記比較値は、ＣＰＵ１２によって次式から算出される。
For example, when calculating the average A 2 of the past two times, the width of the flesh
同様に、過去ｍ回の平均を求める場合（ｍは２より大きい整数とする。）において、平均値に基づく前記比較値は、ＣＰＵ１２によって次式により算出される。
Similarly, when the average of the past m times is obtained (m is an integer greater than 2), the comparison value based on the average value is calculated by the
これにより、ノイズなどによる検出ミスを最低限に抑えることが出来る。
上記のような比較値を算出するための式（数１０）および（数１１）は、動画像中の連続するフレームデータに基づいて平均値を算出してから比較値を算出するものであるが、先に比較値を計算してから当該比較値の平均値を算出する構成であってもよい。
Thereby, detection errors due to noise or the like can be minimized.
The equations (Equation 10) and (Equation 11) for calculating the comparison value as described above are used for calculating the comparison value after calculating the average value based on continuous frame data in the moving image. Alternatively, the average value of the comparison values may be calculated after calculating the comparison values first.
また、たとえば、１フレーム飛ばし、または２フレーム飛ばしなどの飛び飛びのフレームデータを用いて平均値を算出してから比較値を算出する方法であってもよい。これらは、撮像装置２１のフレームレートの性能や、ＣＰＵ１２の性能などのハードウェア環境に応じて変化する、上記各種処理を行うために最適なフレームレートの間隔（１フレーム飛ばし、２フレーム飛ばしなど）に応じて、選択することが好ましい。
Further, for example, a method of calculating a comparison value after calculating an average value using skipped frame data such as skipping one frame or skipping two frames may be used. These vary according to the hardware environment such as the performance of the frame rate of the
尚、本実施の形態に係る画像処理装置１０においては、上述したように、肌色動き領域３０１ｂが含まれる矩形領域３０２に対して、横幅が２．２倍、縦幅が１．０倍となる矩形領域を抽出対象エリア３０３として定義しているが、抽出対象エリア３０３は、肌色動き領域３０１ｂの下方にある領域であればよい。そして、抽出対象エリア３０３は、通常の肩幅より大きい幅を有する領域に設定することが好ましい。
In the
本実施の形態に係る画像処理装置１０では、顔部分の下方に存在するはずの肩部分によって、肌色領域３０１ａが顔領域であるか否かを判断する形態としているが、肩部分に限定するものではなく、顔部分の下方に存在するはずの胴体の一部分によって、肌色領域３０１ａが顔領域であるか否かを判断する形態としてもよい。
The
ここで、撮像対象となる人物等が首部分を露出していると、当該首部分が肌色領域３０１ａおよび肌色動き領域３０１ｂに含まれるため、抽出対象エリア３０３や肩候補動き領域３０６ｂの位置も下方へ下がる。しかし、抽出対象エリア３０３が下方へ下がっても、肩候補動き領域３０６ｂの横幅Ｗsの値の変化は小さいため、顔領域の判断への影響は少ない。また、後述するように、重心を介して肌色動き領域３０１ｂを抽出する方法を採用する場合には、首部分の面積は顔部分の面積に比べて小さいため、首部分が肌色であっても抽出対象エリア３０３や肩候補動き領域３０６ｂが下方へ下がる程度を低減することができ、首部分による影響をさらに低減することができる。
Here, when a person or the like to be imaged has an exposed neck portion, the neck portion is included in the
＜顔領域認識処理＞
以下、本実施の形態に係る顔領域認識処理について説明する。図１０は顔領域認識処理を示すフローチャートである。図１１は顔領域認識処理の流れを概念的に示すイメージ図である。
<Face region recognition processing>
Hereinafter, face area recognition processing according to the present embodiment will be described. FIG. 10 is a flowchart showing face area recognition processing. FIG. 11 is an image diagram conceptually showing the flow of face area recognition processing.
図１０に示すように、まず、撮像装置２１から画像処理装置１０へ、動画像を構成するフレームデータＦ（ｎ）が入力され、ＣＰＵ１２は当該フレームデータＦ（ｎ）を順次メモリ１３に記憶する（ステップ１００、以下ステップをＳと略す。）。次に、ＣＰＵ１２等によって実現される画像縮小部１２−１が、メモリ１３に記憶されているフレームデータＦ（ｎ）を読み出して縮小処理を施し、縮小されたフレームデータＦ（ｎ）を再度メモリ１３に記憶する（Ｓ１０２）。
As shown in FIG. 10, first, frame data F (n) constituting a moving image is input from the
次に、図１１（ａ）に示すように、肌色領域抽出部１２−２が、縮小されたフレームデータＦ（ｎ）を２値のフレームデータに変換して、肌色領域３０１ａを抽出する（Ｓ１０４）。肌色動き領域抽出部１２−３が、肌色領域３０１ａの重複部分（肌色動き領域）３０１ｂ）を抽出する（Ｓ１０６）。図１１（ｃ）に示すように、顔候補位置検出部（第１の横幅算出部）１２−４が、肌色動き領域３０１ｂを含む矩形領域３０２を抽出して、当該矩形領域３０２のＸ，Ｙ方向の最大値と最小値とを算出する（Ｓ１０８）。顔候補位置検出部１２−４は、算出されたＸ，Ｙ方向の最大値と最小値とに基づいて、肌色動き領域３０１ｂの横幅Ｗfと高さＨfとを算出する（Ｓ１１０）。
Next, as shown in FIG. 11A, the skin color area extraction unit 12-2 converts the reduced frame data F (n) into binary frame data, and extracts the
次に、図１１（ｂ）に示すように、肩候補領域抽出部１２−５が、肌色動き領域３０１ｂのＸ，Ｙ方向の前記最大値と最小値とに基づいて、抽出対象エリア３０３（Ｆx（ｎ））を設定する（Ｓ１１２）。肩候補領域抽出部１２−５は、輝度値と画素数とからしきい値を算出し、もしくは予め固定ディスク１４等に記憶されているしきい値を読み出して、肩候補領域３０６ａを抽出すべく２値のフレームデータを生成する（Ｓ１１４）。肩候補動き領域１２−６は、肩候補領域３０６ａの重複部分（肩候補動き領域３０６ｂ）を抽出する（Ｓ１１６）。図１１（ｃ）に示すように、肩候補位置検出部１２−７が、肩候補動き領域３０６ｂを含む矩形領域３０５を抽出して、当該矩形領域３０５のＸ方向の最大値と最小値を算出して（Ｓ１１８）、肩候補動き領域３０６ｂの幅Ｗsを算出する（Ｓ１２０）。
Next, as illustrated in FIG. 11B, the shoulder candidate region extraction unit 12-5 performs the extraction target area 303 (F) based on the maximum value and the minimum value in the X and Y directions of the skin
次に、図１１（ｄ）に示すように、顔領域判断部１２−９が、肌色動き領域３０１ｂの横幅Ｗsと肩候補動き領域３０６の横幅Ｗfとの比率（比較値）Ｗs／Ｗfが、予め設定された範囲（たとえばＰ1〜Ｐ2の間；本実施の形態においては１．４〜１．６の間）内に属するか否かを判断する（Ｓ１２２）。そして、前記比率Ｗs／Ｗfが前記範囲内に属する場合、すなわちＰ1＜（Ｗs／Ｗf）＜Ｐ2の場合（Ｓ１２２においてＹＥＳの場合）、肌色領域３０１ａを人物の顔領域と判断する（Ｓ１２４）。逆に、前記比率Ｗs／Ｗfが前記範囲内に属しない場合（Ｓ１２２においてＮＯの場合）、前記肌色領域３０１ａを人物の顔領域ではないと判断する（言い換えれば、顔領域であるとは判断しない）（Ｓ１２６）。
Next, as illustrated in FIG. 11D, the face area determination unit 12-9 determines the ratio (comparison value) W s / of the lateral width W s of the skin
最後に、ＣＰＵ１２は、前記判断結果を出力部１７−１に出力し、出力部１７−１は判断結果を外部のユーザに向けて表示したり、判断結果を信号に変換して外部のディスプレイ２０やプリンタ等に出力する（Ｓ１２８）。
Finally, the
図１２は撮像装置２１に人物の顔が撮像された場合と人物の掌が撮像された場合のフレームデータを示したイメージ図である。図１２（ａ）に示すように、本実施の形態に係る画像処理装置１０は、顔候補領域の横幅Ｗfと肩候補領域の横幅Ｗsとの比率Ｗs／Ｗfが１．４＜Ｗs／Ｗf＜１．６の場合に、肌色動き領域を人物の顔領域であると判断するものである。たとえば、図１２（ｂ）に示すように撮像装置２１が人物の顔部分を撮像した場合には、Ｗs／Ｗf＝１．５となるので図１２（ｂ）の肌色動き領域は顔領域であると判断される（Ｓ１２４）。一方、図１２（ｃ）に示すように撮像装置２１が人物の手の平部分を撮像した場合には、Ｗs／Ｗf＝０．９５となるので図１２（ｃ）の肌色動き領域は顔領域ではないと判断される（Ｓ１２６）。
FIG. 12 is an image diagram showing frame data when a person's face is imaged by the
つまり、本実施の形態に係る画像処理装置１０は、人物の顔部分以外の、たとえば掌のような動き成分や肌色成分を有する物体を、誤って人物の顔領域として抽出してしまう可能性を低減することが可能となり、その結果、顔領域の認識性能が向上する。
In other words, the
上記各種の画像処理機能を有したプログラムは、それをコンピュータが読み取り可能な記録媒体、たとえば、フレキシブルディスク、メモリカード、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）、ＭＯディスク（Magneto Optical Disk）、リムーバブルディスクなどに記録して提供したり、配布することが可能である。これにより、上記記録媒体、または、ネットワークを介して、本システムと互換のあるコンピュータや、同等の機能のプロセッサや画像エンジンを持つシステムに、上記本発明に係るコンピュータプログラムをインストールすることによって、上記特徴の本発明に係る機器制御方法の人検出装置を該コンピュータまたは該システム上で実行することができる。 The above-mentioned programs having various image processing functions are recorded on a computer-readable recording medium such as a flexible disk, a memory card, a CD-ROM (Compact Disk Read Only Memory), a DVD-ROM (Digital Versatile Disk Read Only). It is possible to record and provide or distribute in a memory, MO disk (Magneto Optical Disk), removable disk or the like. Accordingly, by installing the computer program according to the present invention on a computer compatible with the present system or a system having a processor or an image engine having an equivalent function via the recording medium or the network, The human detection device of the device control method according to the present invention can be executed on the computer or the system.
前記開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内においてのすべての変更が含まれることが意図される。 The disclosed embodiments are to be considered in all respects as illustrative and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.
１０ 画像処理装置、１２ ＣＰＵ、１２−１ 画像縮小部、１２−２ 第１の抽出手段（肌色領域抽出部）、１２−３ 第２の抽出手段（肌色動き領域抽出部）、１２−４ 第１の横幅算出部（顔候補位置検出部）、１２−５ 第３の抽出手段（肩候補領域抽出部）、１２−６ 第４の抽出手段（肩候補動き領域抽出部）、１２−７ 第２の横幅算出部（肩候補位置検出部）、１２−８ 横幅比較部、１２−９ （判断手段）顔領域判断部、１３ メモリ、１４ 固定ディスク、１５ 通信インターフェース、１６ 入力装置、１７ 出力装置、２１ 撮像装置、３０１ａ 肌色領域、３０１ｂ 第１の重複部分（肌色動き領域）、３０３ 抽出対象エリア、３０６ａ 胴体候補領域（肩候補領域）、３０６ｂ 第２の重複部分（肩候補動き領域）。
DESCRIPTION OF
Claims (10)
前記複数のフレームデータの各々から、色相に基づいて肌色領域を抽出する第１の抽出手段と、
前記複数のフレームデータのそれぞれから抽出された複数の前記肌色領域の第１の重複部分を抽出する第２の抽出手段と、
前記第１の重複部分の横幅を算出する第１の横幅算出手段と、
前記複数のフレームデータの各々から、前記第１の重複部分より下方の領域内における胴体候補領域を、所定の色パラメータに基づいて抽出する第３の抽出手段と、
前記複数のフレームデータのそれぞれから抽出された複数の前記胴体候補領域の第２の重複部分を抽出する第４の抽出手段と、
前記第２の重複部分の横幅を算出する第２の横幅算出手段と、
前記第１の重複部分の横幅と前記第２の重複部分の横幅とを比較する比較手段と、
前記比較手段にて得られた比較結果が所定の条件を満たす場合に、前記肌色領域を顔領域として認識する認識手段と、を備える、画像処理装置。 An image processing apparatus for recognizing a human face area from a moving image composed of a plurality of frame data,
First extraction means for extracting a skin color region based on hue from each of the plurality of frame data;
Second extraction means for extracting first overlapping portions of the plurality of skin color regions extracted from each of the plurality of frame data;
First width calculation means for calculating a width of the first overlapping portion;
Third extracting means for extracting, from each of the plurality of frame data, a body candidate region in a region below the first overlapping portion based on a predetermined color parameter;
A fourth extraction means for extracting a second overlapping portion of the plurality of trunk candidate regions extracted from each of the plurality of frame data;
A second width calculating means for calculating a width of the second overlapping portion;
A comparing means for comparing a width of the first overlapping portion with a width of the second overlapping portion;
An image processing apparatus comprising: recognition means for recognizing the skin color area as a face area when a comparison result obtained by the comparison means satisfies a predetermined condition.
前記認識手段は、前記比率が予め定められた範囲内にあると判断された場合に前記肌色領域を顔領域として認識する、請求項１に記載の画像処理装置。 The comparing means calculates a ratio between a width of the first overlapping portion and a width of the second overlapping portion to determine whether the ratio is within a predetermined range;
The image processing apparatus according to claim 1, wherein the recognition unit recognizes the skin color region as a face region when it is determined that the ratio is within a predetermined range.
前記認識手段は、前記比率が１．４〜１．６の範囲内にあると判断された場合に前記肌色領域を顔領域として認識する、請求項２に記載の画像処理装置。 The comparing means determines whether the ratio is within a range of 1.4 to 1.6;
The image processing apparatus according to claim 2, wherein the recognition unit recognizes the skin color area as a face area when the ratio is determined to be within a range of 1.4 to 1.6.
前記第２の抽出手段は、前記２値のフレームデータのそれぞれから抽出された複数の前記肌色領域の第１の重複部分を抽出する、請求項１から６のいずれか１項に記載の画像処理装置。 The first extraction unit generates binary frame data indicating the skin color region or a region other than the skin color region from each of the plurality of frame data,
The image processing according to any one of claims 1 to 6, wherein the second extraction unit extracts a first overlapping portion of the plurality of skin color regions extracted from each of the binary frame data. apparatus.
前記複数のフレームデータの各々から、色相に基づいて肌色領域を抽出するステップと、
前記複数のフレームデータのそれぞれから抽出された複数の前記肌色領域の第１の重複部分を抽出するステップと、
前記第１の重複部分の横幅を算出するステップと、
前記複数のフレームデータの各々から、前記第１の重複部分より下方の領域内における胴体候補領域を、所定の色パラメータに基づいて抽出するステップと、
前記複数のフレームデータのそれぞれから抽出された複数の前記胴体候補領域の第２の重複部分を抽出するステップと、
前記第１の重複部分の横幅と前記第２の重複部分の横幅とを比較するステップと、
得られた比較結果が所定の条件を満たす場合に、前記肌色領域を顔領域として認識するステップと、をコンピュータに行わせるための画像処理プログラム。 An image processing program for causing a computer to recognize a human face area from a moving image composed of a plurality of frame data,
Extracting a skin color region based on hue from each of the plurality of frame data;
Extracting a first overlapping portion of the plurality of skin color regions extracted from each of the plurality of frame data;
Calculating a width of the first overlapping portion;
Extracting a body candidate region in a region below the first overlapping portion from each of the plurality of frame data based on a predetermined color parameter;
Extracting a second overlapping portion of the plurality of fuselage candidate regions extracted from each of the plurality of frame data;
Comparing the width of the first overlap with the width of the second overlap;
An image processing program for causing a computer to perform the step of recognizing the skin color area as a face area when the obtained comparison result satisfies a predetermined condition.
前記複数のフレームデータの各々から、色相に基づいて肌色領域を抽出するステップと、
前記複数のフレームデータのそれぞれから抽出された複数の前記肌色領域の第１の重複部分を抽出するステップと、
前記第１の重複部分の横幅を算出するステップと、
前記複数のフレームデータの各々から、前記第１の重複部分より下方の領域内における胴体候補領域を、所定の色パラメータに基づいて抽出するステップと、
前記複数のフレームデータのそれぞれから抽出された胴体候補領域の第２の重複部分を抽出するステップと、
前記第２の重複部分の横幅を算出するステップと、
前記第１の重複部分の横幅と前記第２の重複部分の横幅とを比較するステップと、
得られた比較結果が所定の条件を満たす場合に、前記肌色領域を顔領域として認識するステップと、をコンピュータに実行させるための画像処理プログラムを記録したコンピュータ読取可能な記録媒体。 A computer-readable recording medium on which an image processing program for causing a computer to recognize a face area of a person from a moving image composed of a plurality of frame data is recorded,
Extracting a skin color region based on hue from each of the plurality of frame data;
Extracting a first overlapping portion of the plurality of skin color regions extracted from each of the plurality of frame data;
Calculating a width of the first overlapping portion;
Extracting a body candidate region in a region below the first overlapping portion from each of the plurality of frame data based on a predetermined color parameter;
Extracting a second overlapping portion of the body candidate region extracted from each of the plurality of frame data;
Calculating a width of the second overlapping portion;
Comparing the width of the first overlap with the width of the second overlap;
A computer-readable recording medium recording an image processing program for causing a computer to execute the step of recognizing the skin color area as a face area when the obtained comparison result satisfies a predetermined condition.
前記画像処理装置は、
前記動画像から抽出された前記複数のフレームデータを記憶する記憶部と、
前記記憶部に記憶された前記複数のフレームデータに基づいて、前記フレームデータにおける人物の顔領域を認識する制御部と、を備え、
前記画像処理方法は、
前記制御部が、前記記憶部に記憶された前記複数のフレームデータの各々から、色相に基づいて肌色領域を抽出するステップと、
前記制御部が、前記複数のフレームデータのそれぞれから抽出された複数の前記肌色領域の第１の重複部分を抽出するステップと、
前記制御部が、前記第１の重複部分の横幅を算出するステップと、
前記制御部が、前記記憶部に記憶された前記複数のフレームデータの各々から、前記第１の重複部分より下方の領域内における胴体候補領域を所定の色パラメータに基づいて抽出するステップと、
前記制御部が、前記複数のフレームデータのそれぞれから抽出された胴体候補領域の第２の重複部分を抽出するステップと、
前記制御部が、前記第２の重複部分の横幅を算出するステップと、
前記制御部が、前記第１の重複部分の横幅と前記第２の重複部分の横幅とを比較するステップと、
前記制御部が、得られた比較結果が所定の条件を満たす場合に、前記肌色領域を顔領域として認識するステップと、を備える、画像処理方法。 An image processing method using an image processing apparatus for recognizing a human face area from a moving image composed of a plurality of frame data,
The image processing apparatus includes:
A storage unit for storing the plurality of frame data extracted from the moving image;
A control unit for recognizing a human face area in the frame data based on the plurality of frame data stored in the storage unit,
The image processing method includes:
The control unit extracting a skin color region based on a hue from each of the plurality of frame data stored in the storage unit;
The control unit extracting a first overlapping portion of the plurality of skin color regions extracted from each of the plurality of frame data;
The controller calculates a width of the first overlapping portion;
The control unit extracting, from each of the plurality of frame data stored in the storage unit, a body candidate region in a region below the first overlapping portion based on a predetermined color parameter;
The control unit extracting a second overlapping portion of the body candidate region extracted from each of the plurality of frame data;
The controller calculates a width of the second overlapping portion;
The control unit comparing a width of the first overlapping portion with a width of the second overlapping portion;
And a step of recognizing the skin color area as a face area when the obtained comparison result satisfies a predetermined condition.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007131965A JP2008287518A (en) | 2007-05-17 | 2007-05-17 | Image processor, image processing program, recording medium and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007131965A JP2008287518A (en) | 2007-05-17 | 2007-05-17 | Image processor, image processing program, recording medium and image processing method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2008287518A true JP2008287518A (en) | 2008-11-27 |
Family
ID=40147175
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007131965A Withdrawn JP2008287518A (en) | 2007-05-17 | 2007-05-17 | Image processor, image processing program, recording medium and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2008287518A (en) |
-
2007
- 2007-05-17 JP JP2007131965A patent/JP2008287518A/en not_active Withdrawn
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9460337B2 (en) | Information processor and information processing method | |
| JP6115335B2 (en) | Information processing apparatus, information processing method, and program | |
| US9542755B2 (en) | Image processor and image processing method | |
| US8417059B2 (en) | Image processing device, image processing method, and program | |
| KR102068719B1 (en) | Motion detection in images | |
| JP5272886B2 (en) | Moving object detection apparatus, moving object detection method, and computer program | |
| US9674441B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| JP2019109765A (en) | Object tracking program, object tracking device, and object tracking method | |
| JP5484184B2 (en) | Image processing apparatus, image processing method, and program | |
| JP5839796B2 (en) | Information processing apparatus, information processing system, information processing method, and program | |
| JP2008035301A (en) | Mobile body tracing apparatus | |
| JP5173549B2 (en) | Image processing apparatus and imaging apparatus | |
| TWI671707B (en) | Image analysis method, electronic system and non-transitory computer-readable recording medium | |
| JP5983749B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP5935118B2 (en) | Object detection apparatus and object detection method | |
| JP2008287518A (en) | Image processor, image processing program, recording medium and image processing method | |
| JPWO2018155269A1 (en) | Image processing apparatus and method, and program | |
| US9159118B2 (en) | Image processing apparatus, image processing system, and non-transitory computer-readable medium | |
| US10346680B2 (en) | Imaging apparatus and control method for determining a posture of an object | |
| JP4622141B2 (en) | Image processing apparatus, image processing method, recording medium, and program | |
| JP7338174B2 (en) | Object detection device and object detection method | |
| JP2011155365A (en) | Image processing apparatus and image processing method | |
| JP4622140B2 (en) | Image processing apparatus, image processing method, recording medium, and program | |
| JP5834671B2 (en) | Image processing apparatus, image processing method, and program | |
| US10885348B2 (en) | Information processing device, information processing method, and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20100803 |