JP5407742B2 - Shape recognition method and shape recognition device - Google Patents
Shape recognition method and shape recognition device Download PDFInfo
- Publication number
- JP5407742B2 JP5407742B2 JP2009242080A JP2009242080A JP5407742B2 JP 5407742 B2 JP5407742 B2 JP 5407742B2 JP 2009242080 A JP2009242080 A JP 2009242080A JP 2009242080 A JP2009242080 A JP 2009242080A JP 5407742 B2 JP5407742 B2 JP 5407742B2
- Authority
- JP
- Japan
- Prior art keywords
- infrared
- image
- matching
- face
- shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
本発明は形状認識方法及び形状認識装置に係り、特に物体の発する赤外線を検知して得た赤外線画像に基づいて、上記物体の形状を認識する形状認識方法及び形状認識装置に関する。 The present invention relates to a shape recognition method and a shape recognition device, and more particularly to a shape recognition method and a shape recognition device for recognizing the shape of an object based on an infrared image obtained by detecting infrared rays emitted from the object.
赤外線カメラは、熱源から発する赤外線（例えば、波長８μｍ〜１４μｍ）を検知し、その赤外線を映像化して赤外線画像を出力する。従って、この赤外線画像は、撮影対象を熱源として、この熱源から発する赤外線による発光体の画像である。一方、人間は光源（太陽など）からの可視光を物体が反射した反射光を見ている。つまり、人間は物体を反射体として見ている。 The infrared camera detects an infrared ray (for example, a wavelength of 8 μm to 14 μm) emitted from a heat source, visualizes the infrared ray, and outputs an infrared image. Therefore, this infrared image is an image of a luminous body by infrared rays emitted from this heat source with the object to be photographed as a heat source. On the other hand, human beings see reflected light that an object reflects visible light from a light source (such as the sun). That is, humans see objects as reflectors.
このため、赤外線画像は、人間が可視光でみる画像とは異なり、人間の目からは非常に違和感が強い。特に人間を赤外線カメラで撮像して得られた赤外線画像は、被写体の人間が誰であるかが分らなくなり、個人の識別が極めて困難である。また、赤外線画像には色がないので、人間には見づらい。 For this reason, an infrared image is very uncomfortable from the human eye, unlike an image viewed by humans with visible light. In particular, an infrared image obtained by capturing an image of a person with an infrared camera cannot know who the subject is, and it is extremely difficult to identify an individual. Also, since infrared images have no color, it is difficult for humans to see.
そこで、赤外線カメラにより撮像された赤外線画像を加工することにより、被写体である物体の形状を見易くする方法が従来から提案されている（例えば、特許文献１、２参照）。特許文献１には、赤外線カメラをサーモグラフとして用いる場合に、被写体の温度毎に色と輝度を変えて、赤外線画像の温度情報を読み取りやすくする方法について記載されている。この特許文献１記載の方法によれば、温度分布が分かり易くなる。また、特許文献２には、赤外線の分光特性から被写体である物体の元の色を推定し、それに基づいて赤外線画像に色をつける方法が記載されている。 In view of this, a method has been conventionally proposed in which an infrared image captured by an infrared camera is processed to make it easier to see the shape of an object that is a subject (see, for example, Patent Documents 1 and 2). Patent Document 1 describes a method for making it easier to read temperature information of an infrared image by changing the color and brightness for each temperature of a subject when an infrared camera is used as a thermograph. According to the method described in Patent Document 1, the temperature distribution can be easily understood. Further, Patent Document 2 describes a method of estimating an original color of an object that is a subject from infrared spectral characteristics and coloring an infrared image based on the estimated color.
赤外線カメラを監視カメラに使用する場合に問題になるのが、前述したように、赤外線カメラの撮影対象は熱により赤外線を発している発光体であるのに対し、人間の目は、物体からの反射光によってその物体を識別するので、発光体をそのまま表示する赤外線画像によっては物体の識別が難しいことである。 When using an infrared camera as a surveillance camera, the problem is that, as described above, the subject to be photographed by the infrared camera is a luminous body that emits infrared rays by heat, whereas the human eye Since the object is identified by the reflected light, it is difficult to identify the object depending on the infrared image that displays the light emitter as it is.
これを回避するための一つの方法が、反射体としての映像を取得することである。例えば赤外線カメラは温度検出機能に専念し、人物や車などの高温の物体が出現すると、可視光や近赤外のカメラで確認するという方法である。 One way to avoid this is to acquire an image as a reflector. For example, an infrared camera is devoted to the temperature detection function, and when a high-temperature object such as a person or a car appears, it is confirmed by a visible light or near-infrared camera.
しかし、この方法は、昼はよいが、夜にこの方法を使うと光がないために光源（ライト）を使う必要がある。しかし、可視光ライトの光は肉眼で見え、近赤外ライトの光も携帯電話に付いているカメラで簡単に知ることができる。従って、監視していることを気づかれたくない場合には、この方法は使えない。 However, this method is good in the daytime, but if there is no light when using this method at night, it is necessary to use a light source (light). However, the visible light can be seen with the naked eye, and the near-infrared light can be easily detected with the camera attached to the mobile phone. Therefore, if you do not want to be aware that you are monitoring, you cannot use this method.
そこで、赤外線カメラの画像情報のみを使い、人間に認識できるように画像を変換することが望まれるが、従来の方法では画像を認識できることを考えて変換していない。前述した特許文献１記載の方法では温度分布を精度良く色分けできるが、その画像を見てもそれが誰なのか判別することは難しい。 Therefore, it is desired to use only the image information of the infrared camera and convert the image so that it can be recognized by humans. However, the conventional method does not convert the image considering that the image can be recognized. In the method described in Patent Document 1 described above, the temperature distribution can be accurately color-coded, but it is difficult to determine who the image is by looking at the image.
また、特許文献２記載の方法では色を推定しているので、人物の判定が可能になる可能性がある。しかし、この特許文献２記載の方法では光源がないと色の推定ができないので、夜間等、光源がないときには使用できない。 In addition, since the method described in Patent Document 2 estimates a color, there is a possibility that a person can be determined. However, the method described in Patent Document 2 cannot be used when there is no light source, such as at night, because the color cannot be estimated without the light source.
本発明は以上の点に鑑みなされたもので、赤外線カメラによる赤外線画像であっても、撮影対象の形状を、人間に容易に認識させることが可能な形状認識方法及び形状認識装置を提供することを目的とする。 The present invention has been made in view of the above points, and provides a shape recognition method and a shape recognition device that allow a human to easily recognize the shape of a subject to be photographed even with an infrared image from an infrared camera. With the goal.
上記の目的を達成するため、本発明の形状認識方法は、波長８〜１４μｍを捉える複数の赤外線カメラでそれぞれ同一の発光体である撮影対象を撮像して得られた複数の赤外線画像を、それらの赤外線画像から得られる温度分布に基づいて、それらの赤外線画像における撮影対象の特徴的な領域をそれぞれマッチングする第１のステップと、マッチングして得られた赤外線画像に基づいて、撮影対象の３次元形状を確定する第２のステップと、３次元形状に対して仮想の可視光光源を設定し、その可視光光源からの可視光を３次元形状に照射して、３次元形状の反射体画像を生成する第３のステップとを含むことを特徴とする。 In order to achieve the above object, the shape recognition method of the present invention uses a plurality of infrared images obtained by imaging a subject to be photographed as the same illuminant with a plurality of infrared cameras capturing wavelengths of 8 to 14 μm. The first step of matching the characteristic regions of the shooting target in the infrared images based on the temperature distribution obtained from the infrared images of the three, and 3 of the shooting target based on the infrared images obtained by the matching A second step of determining a three-dimensional shape, and setting a virtual visible light source for the three-dimensional shape, irradiating the three-dimensional shape with visible light from the visible light source, and reflecting the three-dimensional shape of the reflector image And generating a third step.
また、上記の目的を達成するため、本発明の形状認識装置は、波長８〜１４μｍを捉える複数の赤外線カメラでそれぞれ同一の発光体である撮影対象を撮像して得られた複数の赤外線画像を、それらの赤外線画像から得られる温度分布に基づいて、それらの赤外線画像における撮影対象の特徴的な領域をそれぞれマッチングするマッチング手段と、マッチングして得られた赤外線画像に基づいて、撮影対象の３次元形状を確定する形状確定手段と、３次元形状に対して仮想の可視光光源を設定し、その可視光光源からの可視光を３次元形状に照射して、３次元形状の反射体画像を生成する反射体変換手段とを有することを特徴とする。 In order to achieve the above object, the shape recognition apparatus of the present invention captures a plurality of infrared images obtained by imaging a subject to be photographed that is the same illuminant with a plurality of infrared cameras that capture a wavelength of 8 to 14 μm. Based on the temperature distribution obtained from these infrared images, matching means for matching the characteristic regions of the photographing object in those infrared images, and 3 of the photographing object based on the infrared image obtained by the matching A shape determining means for determining a three-dimensional shape and a virtual visible light source for the three-dimensional shape are set, and the three-dimensional shape is reflected by irradiating the three-dimensional shape with visible light from the visible light source. And a reflecting body conversion means for generating.
また、上記の目的を達成するため、本発明の形状認識装置は、複数の赤外線カメラから出力される複数の赤外線画像のそれぞれが複数の撮影対象を検知しているときは、その中の任意の一の撮影対象を指定する指定手段を更に有することを特徴とする。 Further, in order to achieve the above object, the shape recognition device of the present invention, when each of a plurality of infrared images output from a plurality of infrared cameras detects a plurality of photographing objects, any of them It further has a designation means for designating one photographing object.
また、上記の目的を達成するため、本発明の形状認識装置は、一以上の撮影対象のそれぞれについて、その撮影対象の赤外線画像の温度分布の特徴とその撮影対象の属性情報とが対応付けて予め記憶されているデータベースと、複数の赤外線カメラでそれぞれ同一の撮影対象を撮像して得られた複数の赤外線画像を、それらの赤外線画像から得られる温度分布に基づいて、それらの赤外線画像における撮影対象の特徴的な領域をそれぞれマッチングするマッチング手段と、マッチングして得られた赤外線画像の温度分布の特徴を抽出して、データベースの温度分布の特徴と比較照合する照合手段と、照合手段により照合一致の比較結果が得られたときに、マッチングして得られた赤外線画像の温度分布の特徴を示す撮影対象の属性情報をデータベースから取得して撮影対象を特定する特定手段とを有することを特徴とする。 In order to achieve the above object, the shape recognition apparatus of the present invention associates, for each of one or more shooting targets, the characteristics of the temperature distribution of the infrared image of the shooting target with the attribute information of the shooting target. Shooting in the infrared image based on the temperature distribution obtained from the infrared image obtained from the database stored in advance and each infrared image obtained by imaging the same subject with multiple infrared cameras. Matching means for matching each characteristic area of the object, matching means for extracting the temperature distribution features of the infrared image obtained by matching and comparing with the temperature distribution characteristics of the database, and matching by the matching means When a matching comparison result is obtained, the attribute information of the object to be photographed indicating the characteristics of the temperature distribution of the infrared image obtained by matching is displayed as data. And having a specific means for obtaining from the base by specifying the imaging target.
本発明によれば、赤外線カメラによる赤外線画像であっても、撮影対象の形状を、人間に容易に認識させることができる。 According to the present invention, even if it is an infrared image by an infrared camera, the shape of the subject can be easily recognized by a human.
まず、本発明の基本的な概要について説明する。図１は、本発明の一例の概要説明図を示す。同図に示すように、本発明は、撮影対象１の発する赤外線を、互いに異なる方向からそれぞれ検知する例えば３台の赤外線カメラ２、３及び４からの赤外線画像に基づいて、撮影対象１の３次元形状を認識する形状認識手段５と、撮影対象１を反射体として見た反射体変換手段６とからなる。なお、必要に応じて表示手段７及び記録／再生手段８が設けられる。 First, the basic outline of the present invention will be described. FIG. 1 is a schematic explanatory diagram of an example of the present invention. As shown in the figure, the present invention is based on infrared images from, for example, three infrared cameras 2, 3, and 4 that detect infrared rays emitted from a subject 1 from different directions, respectively. It comprises a shape recognition means 5 for recognizing a three-dimensional shape and a reflector conversion means 6 for viewing the object 1 as a reflector. A display means 7 and a recording / reproducing means 8 are provided as necessary.
赤外線カメラ２、３及び４は、撮影対象１の発する波長８μｍ〜１４μｍの赤外線を検知する。赤外線カメラの台数は少なくとも２台必要で、この図では３台使用している。表示手段７は、反射体変換手段６により得られた反射体画像を確認するために表示する。この表示手段７としては液晶やプラズマ・ディスプレイ・パネル（ＰＤＰ）、陰極線管等で作られたモニタがある。記録／再生手段８は、反射体変換手段６により得られた反射体画像を記録し、必要に応じて再生し、表示手段７に表示する。 The infrared cameras 2, 3, and 4 detect infrared rays having a wavelength of 8 μm to 14 μm emitted from the subject 1. At least two infrared cameras are required, and three are used in this figure. The display means 7 displays the reflector image obtained by the reflector conversion means 6 for confirmation. As the display means 7, there is a monitor made of a liquid crystal, a plasma display panel (PDP), a cathode ray tube or the like. The recording / reproducing means 8 records the reflector image obtained by the reflector converting means 6, reproduces it as necessary, and displays it on the display means 7.
このように、複数の赤外線カメラ２〜４を用いて、撮影対象１の３次元形状を確認し、更に人間に認識可能な反射体画像に変換することにより、撮影対象１を光源を用いることなく人間により認識しやすくするというのが発明の要旨である。 In this way, by using the plurality of infrared cameras 2 to 4 to confirm the three-dimensional shape of the photographing object 1 and further converting it into a reflector image that can be recognized by humans, the photographing object 1 can be used without using a light source. The gist of the invention is to make it easier for humans to recognize.
次に、本発明の各実施の形態について図面と共に詳細に説明する。 Next, each embodiment of the present invention will be described in detail with reference to the drawings.
（第１の実施の形態）
図２は、本発明になる形状認識装置の第１の実施の形態を有する撮像装置のブロック図を示す。同図中、図１と同一構成部分には同一符号を付してある。
(First embodiment)
FIG. 2 shows a block diagram of an imaging apparatus having the first embodiment of the shape recognition apparatus according to the present invention. In the figure, the same components as those in FIG.
撮像装置１００は、第１の実施の形態の形状認識装置Ａを構成する形状認識部１１３と反射体変換部１１４とを有する。形状認識部１１３、反射体変換部１１４は、図１の形状認識手段５、反射体変換手段６に相当する。また、撮像装置１００は、形状認識装置Ａの他に、３台の赤外線カメラ２、３及び４と、赤外線カメラ制御部１１０と、設定部１１１と、表示部１１２と、記録／再生部１１５と、通信部１１６とを有する。表示部１１２、記録／再生部１１５は、図１の表示手段７、記録／再生手段８に相当する。
The imaging device 100 includes a shape recognition unit 113 and a reflector conversion unit 114 that form the shape recognition device A according to the first embodiment. The shape recognition unit 113 and the reflector conversion unit 114 correspond to the shape recognition unit 5 and the reflector conversion unit 6 in FIG. In addition to the shape recognition apparatus A, the imaging apparatus 100 includes three infrared cameras 2, 3 and 4, an infrared camera control unit 110, a setting unit 111, a display unit 112, and a recording / reproducing unit 115. And a communication unit 116. The display unit 112 and the recording / reproducing unit 115 correspond to the display unit 7 and the recording / reproducing unit 8 of FIG.
赤外線カメラ２、３及び４は、それぞれ同一構成で、撮影対象である発光体が発する赤外線（波長８μｍ〜１４μｍ）を検出してアナログ画像信号を出力する赤外線撮像部２０１、３０１、４０１と、赤外線撮像部２０１、３０１、４０１から出力されたアナログ画像信号をデジタル画像信号に変換するＡ／Ｄ変換器２０２、３０２、４０２と、Ａ／Ｄ変換器２０２、３０２、４０２から出力されたデジタル画像信号を１フレーム分蓄積するフレームメモリ２０３、３０３、４０３とからなる。フレームメモリ２０３、３０３、４０３は、例えば、ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）により構成されている。 The infrared cameras 2, 3, and 4 have the same configuration, respectively, and infrared imaging units 201, 301, and 401 that detect infrared rays (wavelengths of 8 μm to 14 μm) emitted from a light-emitting object to be imaged and output analog image signals; A / D converters 202, 302, 402 for converting analog image signals output from the imaging units 201, 301, 401 to digital image signals, and digital image signals output from the A / D converters 202, 302, 402 Is composed of frame memories 203, 303, and 403 for storing one frame. The frame memories 203, 303, and 403 are composed of, for example, dynamic random access memory (DRAM).
フレームメモリ２０３、３０３、４０３に蓄積されたデジタル画像信号は、赤外線カメラ２、３及び４により撮像して得られた赤外線画像信号として、表示部１１２、形状認識部１１３、記録／再生部１１５へ供給される。 Digital image signals stored in the frame memories 203, 303, and 403 are transmitted to the display unit 112, the shape recognition unit 113, and the recording / reproduction unit 115 as infrared image signals obtained by imaging with the infrared cameras 2, 3, and 4. Supplied.
赤外線カメラ制御部１１０は、設定部１１１からの指示により、赤外線撮像部２０１、３０１、４０１の例えば撮影範囲の設定、ズームの設定、フォーカスの設定、温度範囲の設定などを行う。 In response to an instruction from the setting unit 111, the infrared camera control unit 110 performs setting of, for example, a shooting range, zoom setting, focus setting, and temperature range of the infrared imaging units 201, 301, and 401.
設定部１１１は、設定画面を表示部１１２に表示させたりしながら、設定を変更することができる。このときの入力デバイスはキーボードやマウス、あるいは表示部１１２の上に置かれたタッチパネルなどである。また、設定部１１１は、表示方法の設定、例えば赤外線カメラ２、３、４からの各赤外線画像信号を表示部１１２のウィンドウを割り当てて表示するか、時間的に切り替えるか、あるいはいずれか一つの赤外線カメラからの赤外線画像を表示し続けるかなどの設定を行う。 The setting unit 111 can change the setting while displaying the setting screen on the display unit 112. The input device at this time is a keyboard, a mouse, or a touch panel placed on the display unit 112. In addition, the setting unit 111 sets display methods, for example, assigns and displays each infrared image signal from the infrared cameras 2, 3, and 4 by assigning a window of the display unit 112, or changes over time, or any one of them. Make settings such as whether to continue to display infrared images from the infrared camera.
また、設定部１１１は、記録／再生部１１５の設定も行い、例えば不要な画像情報を削除するとかの画像ファイル管理や過去何分間の画像を蓄積するかなどといった設定や、記録内容のデータ編集を行う。また、設定部１１１は、形状認識部１１３の設定、例えば対象とする物体の温度の範囲を設定する。更に、設定部１１１は、反射体変換部１１４のパラメータ、例えば仮の光源の設定などを行うことができる。 The setting unit 111 also sets the recording / playback unit 115. For example, settings such as image file management for deleting unnecessary image information, how many past images are accumulated, and data editing of recorded contents I do. Further, the setting unit 111 sets the setting of the shape recognition unit 113, for example, the temperature range of the target object. Further, the setting unit 111 can set parameters of the reflector conversion unit 114, for example, setting of a temporary light source.
表示部１１２は、例えば液晶モニタであり、３つの赤外線画像信号をそれぞれ個別の領域（ウィンドウ）に同時に表示し、又は切り替えてどれか一つの赤外線画像を表示できるようになっている。また、通信部１１６は、表示部１１２の画像情報を外部に送る。 The display unit 112 is, for example, a liquid crystal monitor, and can display three infrared image signals simultaneously in individual areas (windows) or display any one infrared image by switching. In addition, the communication unit 116 sends the image information of the display unit 112 to the outside.
また、記録／再生部１１５は、赤外線カメラ２、３及び４からの３つの赤外線画像信号を、赤外線画像撮像時の時間情報と共に記録媒体に記録する。記録／再生部１１５の記録媒体は、ハードディスク、記録用ＤＶＤ（Digital Versatile Disc）、記録用ブルーレイディスク、あるいはフラッシュメモリである。記録/再生部１１５は、記録媒体に記録された赤外線画像信号を適宜再生して表示部１１２に表示することができる。 The recording / reproducing unit 115 records the three infrared image signals from the infrared cameras 2, 3, and 4 on the recording medium together with time information at the time of capturing the infrared image. The recording medium of the recording / reproducing unit 115 is a hard disk, a recording DVD (Digital Versatile Disc), a recording Blu-ray disc, or a flash memory. The recording / reproducing unit 115 can appropriately reproduce the infrared image signal recorded on the recording medium and display it on the display unit 112.
形状認識部１１３は、赤外線カメラ２、３及び４からの３つの赤外線画像信号に基づき、撮影対象の物体の３次元情報を得る。その方法については後述する。記録／再生部１１５は、形状認識部１１３で得られた、３次元情報、あるいは温度分布に関する特徴などの情報を記録する。形状認識部１１３は、記録／再生部１１５により記録媒体から再生された画像情報から３次元情報を認識することもできる。 Based on the three infrared image signals from the infrared cameras 2, 3, and 4, the shape recognition unit 113 obtains three-dimensional information of the object to be imaged. The method will be described later. The recording / reproducing unit 115 records the three-dimensional information obtained by the shape recognizing unit 113 or information such as characteristics relating to the temperature distribution. The shape recognition unit 113 can also recognize three-dimensional information from the image information reproduced from the recording medium by the recording / reproducing unit 115.
また、反射体変換部１１４は、形状認識部１１３からの形状認識画像に基づき、赤外線画像を反射体画像に変換する。反射体変換部１１４は、変換して得た反射体画像を表示部１１２で表示したり、あるいは記録／再生部１１５に供給して記録媒体に記録させる。この反射体画像の記録時には、時間情報も同時に記録する。この時間情報は、反射体画像の基となる赤外線カメラ２〜４で撮影された赤外線画像の撮像時間であり、これにより基の赤外線画像を参照できるようにしておく。 In addition, the reflector conversion unit 114 converts the infrared image into a reflector image based on the shape recognition image from the shape recognition unit 113. The reflector conversion unit 114 displays the reflector image obtained by the conversion on the display unit 112 or supplies it to the recording / reproducing unit 115 to record it on the recording medium. When recording the reflector image, time information is also recorded. This time information is the imaging time of the infrared image taken by the infrared cameras 2 to 4 that is the basis of the reflector image, and this allows the reference infrared image to be referenced.
次に、本実施の形態の形状認識装置Ａを構成する形状認識部１１３と反射体変換部１１４の動作について、図３のフローチャート、図４〜図７の模式図を用いて説明する。ここでは、撮影対象として人間の顔を取り上げる。個人の識別をするときに人間の顔は最も識別に必要な情報だからである。 Next, operations of the shape recognition unit 113 and the reflector conversion unit 114 constituting the shape recognition device A of the present embodiment will be described with reference to the flowchart of FIG. 3 and the schematic diagrams of FIGS. Here, a human face is taken up as a subject to be photographed. This is because the human face is the most necessary information for identification when identifying individuals.
まず、形状認識部１１３は、３台の赤外線カメラ２〜４からそれぞれ供給される赤外線画像信号が示す温度情報に基づき、撮影対象である人体を検出する（ステップＳ１１）。人体の表面は摂氏３０度程度なので、この温度から人体を検出することができる。なお、上記の赤外線画像信号は、３台の赤外線カメラ２〜４により、光源を用いることなく撮影対象の発光体である人体を撮影して得られた画像信号である。 First, the shape recognizing unit 113 detects a human body to be imaged based on temperature information indicated by infrared image signals supplied from the three infrared cameras 2 to 4 (step S11). Since the surface of the human body is about 30 degrees Celsius, the human body can be detected from this temperature. In addition, said infrared image signal is an image signal obtained by image | photographing the human body which is a light-emitting body of imaging | photography object with the three infrared cameras 2-4, without using a light source.
続いて、形状認識部１１３は、検出した人体の赤外線画像中から目と口などの特徴から顔を抽出する（ステップＳ１２）。赤外線画像の発光体の顔を見ても人物の判定は難しいが、顔かどうかの判断はできる。これは目の周辺と口の周辺には筋肉や毛細血管が集まっていて周辺よりも温度が高いので、この温度の高い部分が逆三角形の形状に並んでいるところを顔と判断する。 Subsequently, the shape recognition unit 113 extracts a face from features such as eyes and mouth from the detected infrared image of the human body (step S12). It is difficult to determine a person by looking at the face of the illuminant in the infrared image, but it is possible to determine whether it is a face. This is because muscles and capillaries are gathered around the eyes and around the mouth, and the temperature is higher than the surroundings. Therefore, it is judged that the face is where the high temperature parts are arranged in an inverted triangle shape.
続いて、形状認識部１１３は、３台の赤外線カメラ２〜４からそれぞれ供給される赤外線画像信号の各温度分布から顔のマッチングを行う（ステップＳ１３）。このマッチングは、各赤外線カメラ２〜４がそれぞれ撮像した顔の赤外線画像のうち、どの部分が共通部分であるかを判断するための処理である。 Subsequently, the shape recognition unit 113 performs face matching from the temperature distributions of the infrared image signals respectively supplied from the three infrared cameras 2 to 4 (step S13). This matching is a process for determining which part of the infrared image of the face captured by each of the infrared cameras 2 to 4 is a common part.
例えば、図４は赤外線カメラ３が捉えた顔の赤外線画像であり、図５が赤外線カメラ２が捉えた顔の赤外線画像であるとする。また、既に目の位置と口の位置の判別はついているとする。ここでは、図４に示す顔の赤外線画像２１において、目は２２で、口は２３である。また、図５に示す顔の赤外線画像３１において、目は３２で、口は３３である。 For example, FIG. 4 is an infrared image of a face captured by the infrared camera 3, and FIG. 5 is an infrared image of a face captured by the infrared camera 2. Further, it is assumed that the eye position and the mouth position have already been determined. Here, in the infrared image 21 of the face shown in FIG. 4, the eyes are 22 and the mouth is 23. In the infrared image 31 of the face shown in FIG. 5, the eyes are 32 and the mouth is 33.
そこで、ステップＳ１３では目と口のマッチングをまず行う。顔の温度分布にはその個人特有の熱の分布が発生するので、その温度分布の特徴、例えば周囲よりも低い部分の特徴を抽出し、その情報もマッチングに使用する。例えば、図４の２４ａ、２４ｂ、２４ｃは赤外線カメラ３で捉えた温度の低い部分であり、これらは図５の３４ａ、３４ｂ、３４ｃにそれぞれ対応することを判断する。このとき目と口との位置関係も参考にする。このように、目、口、低温部のマッチングを温度分布から行う。赤外線カメラが３台あるときには３台の赤外線カメラ２〜４からの赤外線画像のそれぞれについて上記のマッチングを行う。 Therefore, in step S13, eye-to-mouth matching is first performed. Since the heat distribution unique to the individual is generated in the temperature distribution of the face, the characteristics of the temperature distribution, for example, the characteristics of the part lower than the surroundings are extracted, and the information is also used for matching. For example, 24a, 24b, and 24c in FIG. 4 are low temperature portions captured by the infrared camera 3, and it is determined that these correspond to 34a, 34b, and 34c in FIG. 5, respectively. At this time, the positional relationship between the eyes and the mouth is also referred to. In this way, matching of the eyes, mouth, and low temperature part is performed from the temperature distribution. When there are three infrared cameras, the above matching is performed for each of the infrared images from the three infrared cameras 2 to 4.
続いて、形状認識部１１３は、３つの赤外線画像のそれぞれの顔の温度分布の特徴から、画像毎に顔の表面を複数の領域（平面）に分割する（ステップＳ１４）。顔であれば，目と口の位置を頼りに、大まかに、おでこ、鼻、頬などと分割しておいて、その中で細かく分割するようにすれば効率的であるが、必ずしもこの方法にこだわる必要はない。 Subsequently, the shape recognition unit 113 divides the surface of the face into a plurality of regions (planes) for each image based on the characteristics of the temperature distribution of each face of the three infrared images (step S14). If it is a face, depending on the position of the eyes and mouth, it is efficient to roughly divide it into the forehead, nose, cheek, etc., and then divide it finely, but this method is not necessarily There is no need to stick to it.
図６は、赤外線カメラ３が捉えた顔の赤外線画像２１において、上記ステップＳ１４において大まかに分割したときの額の領域を２５で示し、細かく分割したときの１つの領域（平面）を２６で表している。なお、図６中、図４と同一部分には同一符号を付してある。 FIG. 6 shows, in the infrared image 21 of the face captured by the infrared camera 3, the forehead area when roughly divided in step S <b> 14 is indicated by 25, and one area (plane) when finely divided is indicated by 26. ing. In FIG. 6, the same parts as those in FIG. 4 are denoted by the same reference numerals.
続いて、形状認識部１１３は、ステップＳ１４で分割した３つの各赤外線画像のそれぞれの分割領域に基づいて、各領域の向いている方向を決定し、３次元形状を確定する（ステップＳ１５）。すなわち、このステップＳ１５では、まず分割した各領域の平面がどの方向を向いているか、３台の赤外線カメラ２〜５の見え方から判別する。各領域平面の法線ベクトルは３次元であるから、赤外線カメラが本実施の形態のように３台のとき、法線ベクトルは確定する。赤外線カメラが２台のときには情報が足りないが、対象が人間の顔であるなら形状はかなり限定的なので推定が可能である。各領域が滑らかに繋がるか確認を行い、顔の３次元形状を確定する。ここまでが、形状認識部１１３が行う処理である。 Subsequently, the shape recognition unit 113 determines the direction in which each region is directed based on the respective divided regions of the three infrared images divided in step S14, and determines the three-dimensional shape (step S15). That is, in this step S15, it is first determined from the appearance of the three infrared cameras 2-5 which direction the plane of each divided area is facing. Since the normal vector of each area plane is three-dimensional, the normal vector is determined when there are three infrared cameras as in the present embodiment. When there are two infrared cameras, there is not enough information, but if the target is a human face, the shape is quite limited and can be estimated. It is confirmed whether each region is smoothly connected, and the three-dimensional shape of the face is determined. This is the process performed by the shape recognition unit 113.
次に、反射体変換部１１４は、仮の可視光光源を設定し、ステップＳ１５で確定した３次元形状の各領域の反射率を仮定し、仮の可視光光源からの可視光を３次元形状に照射した場合の３次元形状の画像である反射体の画像を生成する（ステップＳ１６）。これは通常のコンピュータグラフィックの映像技術がそのまま使える。 Next, the reflector conversion unit 114 sets a temporary visible light source, assumes the reflectance of each region of the three-dimensional shape determined in step S15, and converts the visible light from the temporary visible light source into a three-dimensional shape. An image of the reflector, which is a three-dimensional shape image when irradiated with (2), is generated (step S16). You can use normal computer graphics video technology as it is.
図７は、上記の反射体変換部１１４によるステップＳ１６の処理内容の説明図を示す。図７に示すように、反射体変換部１１４は、確定した顔の３次元形状に対して、例えば斜め上方に仮の光源４１を設定し、３次元形状の面の方向から反射光の強さを計算する。これにより、仮の光源４１から可視光を３次元形状に照射したときの３次元形状である反射体表現された対象物体４２が計算できる。これが反射体変換部１１４の行っている処理である。 FIG. 7 is an explanatory diagram of the processing content of step S16 performed by the reflector conversion unit 114 described above. As shown in FIG. 7, the reflector conversion unit 114 sets a temporary light source 41 obliquely upward, for example, with respect to the determined three-dimensional shape of the face, and the intensity of the reflected light from the direction of the surface of the three-dimensional shape. Calculate Thereby, the target object 42 expressed as a reflector having a three-dimensional shape when visible light is irradiated from the temporary light source 41 into the three-dimensional shape can be calculated. This is the process performed by the reflector conversion unit 114.
このように、本実施の形態によれば、照明のない夜や室内など肉眼や可視光でのカメラでは全く発見することができない場合であっても、撮影対象の赤外線画像から得られた反射体表現の対象物体４２を表示部１１２により表示することができるため、その表示画像は人間にとって違和感のない画像として表示されるので、撮影対象（ここでは個人）の認識力が大幅に向上する。 As described above, according to the present embodiment, a reflector obtained from an infrared image to be photographed even when it cannot be found at all with a naked-eye or visible-light camera such as a night or room without illumination. Since the target object 42 of expression can be displayed on the display unit 112, the display image is displayed as an image that does not feel uncomfortable for humans, so that the recognition power of the photographing target (in this case, an individual) is greatly improved.
（第２の実施の形態）
次に、本発明の第２の実施の形態について説明する。
(Second Embodiment)
Next, a second embodiment of the present invention will be described.
本実施の形態の形状認識装置は、図２に示した撮像装置１００において、形状認識部１１３と反射体変換部１１４とに加えて、更に設定部１１１と記録／再生部１１５とを含む構成である。本実施の形態の形状認識装置は、赤外線画像信号に基づいて形状認識する際に、複数の発光体が存在した場合に、任意の発光体の任意の部分を形状認識する構成である。 The shape recognition apparatus according to the present embodiment is configured to include a setting unit 111 and a recording / reproducing unit 115 in addition to the shape recognition unit 113 and the reflector conversion unit 114 in the imaging apparatus 100 illustrated in FIG. is there. The shape recognition device of the present embodiment is configured to recognize the shape of an arbitrary portion of an arbitrary light emitter when a plurality of light emitters exist when shape recognition is performed based on an infrared image signal.
次に、本実施の形態の動作について、図８のフローチャート及び図９の説明図と共に説明する。ここでは、第１の実施の形態と同様に、撮影対象として人間の顔を取り上げる。まず、図２に示した形状認識部１１３は、３台の赤外線カメラ２〜４からそれぞれ供給される赤外線画像信号が示す温度情報に基づき、撮影対象である人体を検出する（ステップＳ２１）。人体の表面は摂氏３０度程度なので、この温度から人体を検出することができる。 Next, the operation of the present embodiment will be described with reference to the flowchart of FIG. 8 and the explanatory diagram of FIG. Here, as in the first embodiment, a human face is taken up as an imaging target. First, the shape recognition unit 113 shown in FIG. 2 detects a human body that is a subject to be photographed based on temperature information indicated by infrared image signals respectively supplied from the three infrared cameras 2 to 4 (step S21). Since the surface of the human body is about 30 degrees Celsius, the human body can be detected from this temperature.
続いて、形状認識部１１３は、ステップＳ２１で検出した人体が、図９に５１、５２、５３で示すように、表示部１１２の画面５０に複数存在する場合、どの人体の形状を認識するかが分らなくなるので、複数の人体検出を設定部１１１に通知する（ステップＳ２２）。すると、ユーザが表示部１１２の画像を確認しながら、設定部１１１により認識対象（領域）を指定する（ステップＳ２３）。図９に示す領域５４は、上記のステップＳ２３で指定された領域を示す。続いて、設定部１１１は、指定された認識対象（図９の領域５４）をズームする（ステップＳ２４）。これにより、図９の領域５４内にある人体５１の顔の部分が拡大される。 Subsequently, the shape recognizing unit 113 recognizes the shape of the human body when there are a plurality of human bodies detected in step S21 on the screen 50 of the display unit 112, as indicated by 51, 52, and 53 in FIG. Therefore, a plurality of human body detections are notified to the setting unit 111 (step S22). Then, the user designates the recognition target (area) by the setting unit 111 while confirming the image on the display unit 112 (step S23). An area 54 shown in FIG. 9 indicates the area specified in step S23. Subsequently, the setting unit 111 zooms the designated recognition target (area 54 in FIG. 9) (step S24). As a result, the face portion of the human body 51 in the region 54 of FIG. 9 is enlarged.
次に、形状認識部１１３は、検出した人体の赤外線画像中から目と口などの顔の特徴を抽出する（ステップＳ２５）。前述したように、目の周辺と口の周辺には筋肉や毛細血管が集まっていて周辺よりも温度が高いので、この温度の高い部分が逆三角形の形状に並んでいるところを顔と判断することができ、更にその形状分布により顔の特徴を抽出することができる。 Next, the shape recognition unit 113 extracts facial features such as eyes and mouth from the detected infrared image of the human body (step S25). As mentioned above, muscles and capillaries are gathered around the eyes and around the mouth and the temperature is higher than the surroundings, so it is judged that the face is where the high temperature parts are arranged in an inverted triangle shape. Furthermore, facial features can be extracted from the shape distribution.
そして、設定部１１１は、ステップＳ２５で抽出した顔の個人の名前などの個人属性情報を入力あるいは編集し、抽出した顔の特徴情報と共に記録／再生部１１５に保存する（ステップＳ２６）。これにより、記録／再生部１１５の記録媒体には、抽出した顔の特徴情報とその顔の個人属性情報とが対応して保存されたデータベースが作成される。 Then, the setting unit 111 inputs or edits the personal attribute information such as the personal name of the face extracted in step S25, and stores it in the recording / playback unit 115 together with the extracted facial feature information (step S26). As a result, a database in which the extracted facial feature information and the personal attribute information of the face are stored in correspondence with each other is created on the recording medium of the recording / reproducing unit 115.
このようにして、本実施の形態によれば、複数の発光体が存在した場合に、任意の発光体の任意の部分を形状認識し、その発光体の形状認識情報を個人属性情報と共にデータベース化することを実現できる。このデータベースを用いれば、第１の実施の形態で形状認識した人物の顔の反射体画像と共に、その人物の個人属性情報を表示することが可能となる。 Thus, according to the present embodiment, when there are a plurality of light emitters, any part of any light emitter is shape-recognized, and the shape recognition information of the light emitter is databased together with personal attribute information. Can be realized. If this database is used, it is possible to display the personal attribute information of the person along with the reflector image of the face of the person whose shape has been recognized in the first embodiment.
（第３の実施の形態）
次に、本発明の第３の実施の形態について説明する。
(Third embodiment)
Next, a third embodiment of the present invention will be described.
本実施の形態の形状認識装置は、図２に示した撮像装置１００において、形状認識部１１３に加えて、記録／再生部１１５で再生可能なデータベース（図２では図示せず）を含む構成である。 The shape recognition apparatus according to the present embodiment includes a database (not shown in FIG. 2) that can be reproduced by the recording / reproduction unit 115 in addition to the shape recognition unit 113 in the imaging apparatus 100 shown in FIG. is there.
第１の実施の形態では、赤外線カメラ２〜４が取得した発光体の画像を、人物の識別を可能とするように反射体画像に変換する方法について説明した。本実施の形態は、形状認識装置を監視カメラシステムに用いるものとした場合、事前に登録された人物であるかないかを判断する際には反射体画像に変換しなくても、発光体としての温度分布データを、登録された人物の温度分布データと比較照合することで、事前登録された人物かどうか判断することができるようにしたものである。 In the first embodiment, the method of converting the image of the illuminant acquired by the infrared cameras 2 to 4 into the reflector image so that the person can be identified has been described. In the present embodiment, when the shape recognition device is used for a surveillance camera system, it is possible to determine whether a person is registered in advance as a light emitter without converting to a reflector image. By comparing the temperature distribution data with the temperature distribution data of a registered person, it is possible to determine whether the person is a pre-registered person.
次に、本実施の形態の動作について、図１０のフローチャート及び図１１のデータベースの内容の一例を示す図と共に説明する。ここでは、第１の実施の形態と同様に、撮影対象として人間の顔を取り上げる。 Next, the operation of the present embodiment will be described with reference to the flowchart of FIG. 10 and a diagram illustrating an example of the contents of the database of FIG. Here, as in the first embodiment, a human face is taken up as an imaging target.
まず、図２に示した形状認識部１１３は、３台の赤外線カメラ２〜４からそれぞれ供給される赤外線画像信号が示す温度情報に基づき、人体を検出する（ステップＳ３１）。人体の表面は摂氏３０度程度なので、この温度から人体を検出することができる。 First, the shape recognition unit 113 shown in FIG. 2 detects a human body based on temperature information indicated by infrared image signals respectively supplied from the three infrared cameras 2 to 4 (step S31). Since the surface of the human body is about 30 degrees Celsius, the human body can be detected from this temperature.
続いて、形状認識部１１３は、検出した人体の赤外線画像中から目と口などの特徴から顔を抽出する（ステップＳ３２）。この抽出方法は、第１の実施の形態と同様である。続いて、形状認識部１１３は、３台の赤外線カメラ２〜４からそれぞれ供給される赤外線画像信号の各温度分布から顔のマッチングを行う（ステップＳ３３）。このマッチングは、各赤外線カメラ２〜４がそれぞれ撮像した顔の赤外線画像のうち、どの部分が共通部分であるかを判断するための処理である。 Subsequently, the shape recognition unit 113 extracts a face from features such as eyes and mouth from the detected infrared image of the human body (step S32). This extraction method is the same as in the first embodiment. Subsequently, the shape recognition unit 113 performs face matching from each temperature distribution of the infrared image signals supplied from the three infrared cameras 2 to 4 (step S33). This matching is a process for determining which part of the infrared image of the face captured by each of the infrared cameras 2 to 4 is a common part.
続いて、形状認識部１１３は、ステップＳ３３でマッチングして得られた顔の温度分布の特徴を抽出し、データベースに予め登録されている顔の特徴情報とを照合する（ステップＳ３４）。 Subsequently, the shape recognizing unit 113 extracts the feature of the face temperature distribution obtained by matching in step S33, and collates it with the feature information of the face registered in advance in the database (step S34).
上記のデータベースには、図１１に示すように、両目、口の中心座標を（０，０，０）としたときの両目、口の相対座標６１と、顔の中心座標の温度を摂氏３０度としたときの顔の相対温度６２とを対応付けた顔の温度分布データである特徴点６３が予め記録されている。この特徴点６３の複数の集合は、ある個人の顔の温度分布データを示す顔の特徴情報である。また、上記のデータベースには、１人以上の個人の顔の特徴情報がその顔の個人名と共に対応付けて予め記録されている。このデータベースは、例えば記録／再生部１１５により再生可能とされている。 In the above database, as shown in FIG. 11, the relative coordinates 61 of both eyes and mouth when the center coordinates of both eyes and mouth are (0, 0, 0) and the temperature of the face center coordinates are 30 degrees Celsius. A feature point 63, which is temperature distribution data of the face associated with the relative temperature 62 of the face, is recorded in advance. A plurality of sets of the feature points 63 is face feature information indicating temperature distribution data of a face of an individual. In addition, in the above database, face characteristic information of one or more individuals is recorded in advance in association with the personal names of the faces. This database can be reproduced by the recording / reproducing unit 115, for example.
そして、形状認識部１１３は、ステップＳ３４での照合が一致したかどうかを判定する（ステップＳ３５）。照合一致の比較結果が得られた場合は、ステップＳ３４で照合一致した特徴点の個人名を、３つの赤外線画像をマッチングして得られた顔の個人名であると推定して、表示部１１２に表示する（ステップＳ３６）。また、照合一致の比較結果が得られない場合には、個人名推定不可として事前登録者外人物が認識されたとみなしてアラームを発生する（ステップＳ３７）。 And the shape recognition part 113 determines whether the collation in step S34 corresponded (step S35). If the comparison result of the matching match is obtained, the personal name of the feature point matched in step S34 is estimated to be the personal name of the face obtained by matching the three infrared images, and the display unit 112 (Step S36). If the comparison result of the matching match is not obtained, it is assumed that the person other than the pre-registrant is recognized as the personal name cannot be estimated, and an alarm is generated (step S37).
このように、本実施の形態によれば、個人の特徴である顔の温度分布を示す顔の特徴情報を個人名と対応付けてデータベース化しておき、赤外線カメラ２〜４で認識された人物の顔の温度分布を示す赤外線画像とデータベースの顔の特徴情報とを比較照合することにより、照合一致した場合は照合一致した顔の特徴情報を持つ事前登録されている個人の名前を推定して表示部１１２に表示することができる。 As described above, according to the present embodiment, facial feature information indicating the temperature distribution of a face, which is a personal feature, is stored in a database in association with the personal name, and the personal information recognized by the infrared cameras 2 to 4 is stored. By comparing and matching the infrared image showing the temperature distribution of the face with the facial feature information in the database, if there is a matching match, the name of the pre-registered individual who has the matching facial feature information is estimated and displayed It can be displayed on the part 112.
このため、本実施の形態によれば、暗闇でも撮像が可能な赤外線カメラを用いて監視を行う用途に適用した場合は、得られた被監視対象者の３次元温度分布データとデータベースに事前登録してある個人の顔の特徴情報とを比較することにより、反射体変換を行わなくても被監視対象者の個人認証が可能になる。 For this reason, according to the present embodiment, when applied to an application for monitoring using an infrared camera capable of imaging even in the dark, it is pre-registered in the obtained three-dimensional temperature distribution data and database of the monitored person By comparing the information with the facial feature information of an individual, the person to be monitored can be personally authenticated without performing reflector conversion.
（第４の実施の形態）
次に、本発明の第４の実施の形態について説明する。本実施の形態では人間の顔の各部分の特有な温度差を利用して、撮影された赤外線画像から周辺に比べ明るさが異なる３点を探して顔と認識する。
(Fourth embodiment)
Next, a fourth embodiment of the present invention will be described. In the present embodiment, using a temperature difference peculiar to each part of a human face, three points having different brightness from the surroundings are searched for and recognized as a face.
人間の目の眼球は人体内部器官で体温に近い。また、目の周辺は毛細血管が集まっている。しかし、顔の他の皮膚の裏面は外気にさらされており、また、外気温が高い、或いは太陽光などを浴びている時でも発汗作用により、体温より低くなる。そのため、目の部分は顔の他の部分より必ず温度が高い。そして口の部分も同様、唇部分は毛細血管が集まり、人体内部器官の口腔がつながっており、鼻からの息により周辺よりも温度が高いので、顔の他の部分より温度が高い。この目、口が顔の他の部分より温度が高い顔は、赤外線での画像においては３点が明るく写る。この温度の高い部分が逆三角形の形状に並んでいるところを顔と判断する。 The eyeball of the human eye is an internal organ and close to body temperature. In addition, capillaries are gathered around the eyes. However, the back surface of the other skin of the face is exposed to the outside air, and even when the outside air temperature is high or the sun is exposed to sunlight, the back surface of the skin becomes lower than the body temperature due to the sweating action. Therefore, the temperature of the eyes is always higher than that of other parts of the face. Similarly, in the mouth part, capillaries gather in the lip part, the oral cavity of the internal organs of the human body are connected, and since the temperature is higher than the surroundings due to breath from the nose, the temperature is higher than other parts of the face. In the face where the temperature of the eyes and mouth is higher than that of other parts of the face, three points appear bright in the infrared image. A place where these high temperature parts are arranged in an inverted triangle shape is determined as a face.
しかし、人間は目や口を眼鏡やマスクにより隠されていることも多い。マスクでは息により口付近では、他の顔の部分より温度が高くなるので問題はない。一方、眼鏡をかけている場合はマスクとは異なり、眼鏡は逆に他の顔の部分より温度が低くなる。その場合は暗い２点と明るい１点で構成された逆三角形の形状に並んでいるところを頭と判断する。 However, humans often have their eyes and mouth hidden by glasses and masks. In the mask, there is no problem because the temperature near the mouth is higher than that of other face parts due to breath. On the other hand, when wearing spectacles, unlike glasses, the temperature of spectacles is lower than that of other facial parts. In that case, it is determined that the head is located in the shape of an inverted triangle composed of two dark points and one bright point.
このように、目の部分は、裸眼の場合には温度が高いので明るくなるのに対して、眼鏡をかけている場合には暗くなるので、人間の顔の認識方法が別になる。そこで、本実施の形態では裸眼の場合と眼鏡をかけた場合の２つの認識手段をもつことを特徴とする。 In this way, the eye portion becomes bright because the temperature is high in the case of the naked eye, but becomes dark when wearing glasses, so that the human face recognition method is different. Therefore, the present embodiment is characterized by having two recognition means for the case of naked eyes and the case of wearing glasses.
図１２は、本発明になる形状認識装置の第４の実施の形態のブロック図を示す。本実施の形態の形状認識装置１２０は、赤外線カメラ１２１、フレームメモリ１２２、画像処理回路１２３及び画像表示信号発生回路１２４から構成される。 FIG. 12 shows a block diagram of a fourth embodiment of a shape recognition apparatus according to the present invention. The shape recognition device 120 according to the present embodiment includes an infrared camera 121, a frame memory 122, an image processing circuit 123, and an image display signal generation circuit 124.
赤外線カメラ１２１は、撮影対象である発光体の発する赤外線（波長８μｍ〜１４μｍ）を検出し、更にＡＤ変換してデジタル画像信号である赤外線画像データを出力する。フレームメモリ１２２は、赤外線画像データを１フレーム分蓄積する。フレームメモリ１２３は、例えば、ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）により構成されている。 The infrared camera 121 detects infrared rays (wavelength: 8 μm to 14 μm) emitted from a light emitting object to be photographed, and further AD converts and outputs infrared image data that is a digital image signal. The frame memory 122 stores infrared image data for one frame. The frame memory 123 is constituted by, for example, a dynamic random access memory (DRAM).
画像処理回路１２３は、本実施の形態の要部の処理である顔認識処理を行った後、フレームメモリ１２３の赤外線画像データ中の顔と認識された画像部分に顔であることを明示する付加処理を行う。画像表示信号発生回路１２４は、フレームメモリ１２２からの赤外線画像データを画像再生信号に変換する。 The image processing circuit 123 performs face recognition processing, which is the main processing of the present embodiment, and then specifies that the face is recognized in the image portion recognized as the face in the infrared image data in the frame memory 123. Process. The image display signal generation circuit 124 converts the infrared image data from the frame memory 122 into an image reproduction signal.
表示装置１３は、画像再生信号を画像として表示する。表示装置１３は、液晶やプラズマ・ディスプレイ・パネル（ＰＤＰ）、陰極線管等で作られたモニタである。この表示装置１３が表示する赤外線画像は、赤外線強度が弱い部分すなわち温度が低い部分は黒く、赤外線強度が強い部分すなわち温度が高い部分は白くなるよう、赤外線強度すなわち温度により階調をつけ表示されるよう形状認識装置１２０が作られている。 The display device 13 displays the image reproduction signal as an image. The display device 13 is a monitor made of a liquid crystal, a plasma display panel (PDP), a cathode ray tube or the like. The infrared image displayed by the display device 13 is displayed with gradation according to the infrared intensity, that is, temperature, so that the part where the infrared intensity is weak, that is, the part where the temperature is low is black, and the part where the infrared intensity is strong, that is, the part where the temperature is high is white. The shape recognition device 120 is made as described above.
表示装置１３は本実施の形態の形状認識装置１２０に含まれていないが、含むようにしてもよい。一方、赤外線カメラ１２１は形状認識装置１２０に含まれているが、含めないようにしてもよい。 The display device 13 is not included in the shape recognition device 120 of the present embodiment, but may be included. On the other hand, the infrared camera 121 is included in the shape recognition device 120, but may not be included.
図１３は、本実施の形態の形状認識装置１２０の使用例を示す。同図中、図１２と同一構成部分には同一符号を付してある。図１３において、形状認識装置１２０は、赤外線カメラ（図１２の１２１）で撮影対象１１が発生する波長８μｍ〜１４μｍの赤外線を検知する。図１３において、撮影対象１１は、人物１１ａ、ゴミ箱１１ｂ、木１１ｃからなる。 FIG. 13 shows a usage example of the shape recognition apparatus 120 of the present embodiment. In the figure, the same components as those in FIG. In FIG. 13, the shape recognition device 120 detects infrared rays having a wavelength of 8 μm to 14 μm generated by the imaging target 11 with an infrared camera (121 in FIG. 12). In FIG. 13, the subject 11 includes a person 11a, a trash can 11b, and a tree 11c.
図１３において、上記の撮影対象１１は通常肉眼で見える画像で図示してある。可視光を使った通常のカメラであれば、ほぼ同様な画像で撮影されるが、赤外線カメラで撮影した赤外線画像は、上記のように温度に応じて階調をつけて表示されるので、概略、図１４に示すように表示される。 In FIG. 13, the photographing object 11 is shown as an image that is normally visible to the naked eye. If it is a normal camera using visible light, it will be taken with almost the same image, but the infrared image taken with the infrared camera is displayed with gradation according to the temperature as described above, so it is roughly Are displayed as shown in FIG.
前述したように、この赤外線画像は温度が低い部分を黒、高い部分を白で表すよう設定されている。そのため、図１３における撮影対象１１のうち、気温とほぼ同じ温度である、温度の低い木１１ｃやゴミ箱１１ｂは、赤外線画像では図１４に木７１ｃ、ゴミ箱７１ｂで示すように、暗くコントラストが低く表示される。一方、図１３における撮影対象１１のうち、人物１１ａは体温により、露出した部分は温度が高いために、その赤外線画像は、図１４に７１ａで示すように明るく表示される。 As described above, this infrared image is set so that the low temperature portion is represented by black and the high temperature portion is represented by white. Therefore, among the photographing objects 11 in FIG. 13, the low temperature tree 11c and the trash can 11b, which are substantially the same temperature as the air temperature, are dark and displayed with low contrast as shown by the tree 71c and the trash can 71b in FIG. Is done. On the other hand, among the photographing objects 11 in FIG. 13, the person 11a is exposed to body temperature, and the exposed part is hot, so the infrared image is displayed brightly as indicated by 71a in FIG.
この赤外線画像７１ａのうち、衣服の画像部分７２は体温でやや高めの温度になり、やや明るく表示される。そして、人物１１ａの顔の部分では二つの目の画像部分７３と口の画像部分７４とが他の顔の部分より更に温度が高いために、他の顔の部分よりも明るく表示される。本実施の形態では、後述するように、この周辺より温度が高く明るく、すなわち白く撮影されている３点の組を探し出し、その組の画像部分を人間の裸眼の顔と認識する。 In the infrared image 71a, the image portion 72 of the clothing is slightly higher in body temperature and is displayed slightly brighter. In the face portion of the person 11a, the second image portion 73 and the mouth image portion 74 are displayed brighter than the other face portions because the temperature is higher than that of the other face portions. In the present embodiment, as will be described later, a set of three points photographed in white that is higher in temperature and brighter than the surroundings is searched, and the image portion of the set is recognized as the face of a human naked eye.
図１５は、撮影対象の他の例の図を示す。同図中、図１３と同一部分には同一符号を付し、その説明を省略する。図１５に示す撮影対象１１は、人物１１ｄが眼鏡１１ｅをかけている点以外は、図１３の撮影対象１１と同じである。 FIG. 15 is a diagram illustrating another example of the imaging target. In the figure, the same parts as those in FIG. The shooting target 11 shown in FIG. 15 is the same as the shooting target 11 of FIG. 13 except that a person 11d wears glasses 11e.
図１６は、この図１５の撮影対象１１を赤外線カメラで撮影して得た赤外線画像を示す。既に説明した通り、眼鏡は顔より温度が低くなるため、図１５における撮影対象１１のうち、人物の１１ｄの顔の部分よりも温度の低い眼鏡の画像部分は、図１６に７４で示すように顔の中で暗くすなわち黒く表示される。一方、温度の高い口の画像部分は、図１６に７４で示すように、白く表示される。よって、後述するように、本実施の形態では２点の黒と１点の白の組み合わせを探し出し、その組の画像部分を眼鏡をかけた人間の顔と認識する。 FIG. 16 shows an infrared image obtained by photographing the subject 11 of FIG. 15 with an infrared camera. As described above, since the temperature of the glasses is lower than that of the face, the image portion of the glasses whose temperature is lower than the face portion of the person 11d in the photographing target 11 in FIG. It appears dark or black in the face. On the other hand, the image portion of the mouth having a high temperature is displayed in white as indicated by 74 in FIG. Therefore, as will be described later, in this embodiment, a combination of two black points and one white point is found, and the image portion of the pair is recognized as a human face wearing glasses.
また、３点で顔を認識する場合、人間が通常取る姿勢では目が上、口が下に来ていることから、赤外線画像において、白い小面積画像部分が逆三角形の配置となるため、逆三角形の白い３点の組み合わせを探すことで効率的な顔認識をすることが可能である。 Also, when recognizing a face with three points, in a normal human posture, the eyes are up and the mouth is down, so in the infrared image, the white small area image portion is arranged in an inverted triangle, so It is possible to perform efficient face recognition by searching for a combination of three triangular white points.
次に、本実施の形態による赤外線画像から周囲と温度の異なる３点を抽出し、人間の顔であることを認識する方法の一例の動作について、図１７のフローチャートを併せ参照して説明する。 Next, an operation of an example of a method for recognizing a human face by extracting three points having different temperatures from the surroundings from the infrared image according to the present embodiment will be described with reference to the flowchart of FIG.
まず、画像処理回路１２３は、フレームメモリ１２２に蓄積されている赤外線画像からバックグランドを取得する（ステップＳ５１）。ここでバックグランドとは、人間がいないときの撮影対象を赤外線カメラ１２１で撮影して得られた赤外線画像中から抽出した、バックグランドとして存在している周囲に比べ白い点と黒い点のデータのことである。このバックグランドが時期、天候などで変化することが考えられる場合には、複数の種類のバックグランド・データを取得する、定期的に取得するなどを行うことでより正確な認識を行うことができる。 First, the image processing circuit 123 acquires a background from the infrared image stored in the frame memory 122 (step S51). Here, the background refers to data of white and black points extracted from an infrared image obtained by photographing an object to be photographed when there is no human being with the infrared camera 121 as compared to the surrounding existing as a background. That is. If this background may change due to time, weather, etc., more accurate recognition can be achieved by acquiring multiple types of background data or periodically. .
次に、画像処理回路１２３は、赤外線カメラ１２１により撮影対象を撮影してフレームメモリ１２２に蓄積された１画面の赤外線画像データ中から白い点と黒い点を探す（ステップＳ５２）。続いて、画像処理回路１２３は、ステップＳ５２で探した白い点及び黒い点のうち、バックグランドと同じ点であるものを除く（ステップＳ５３）。 Next, the image processing circuit 123 captures a subject to be photographed by the infrared camera 121 and searches for white dots and black dots from one-screen infrared image data stored in the frame memory 122 (step S52). Subsequently, the image processing circuit 123 removes the white point and the black point found in step S52 that are the same as the background (step S53).
次に、画像処理回路１２３は、ステップＳ５３で除去されずに残った、バックグランドと異なる白い点及び黒い点のうち、白い点から一定の順番でまず１点を選択する（ステップＳ５４）。続いて、画像処理回路１２３は、その選択した白い点から一番近い白い点又は黒い点を２点探す（ステップＳ５５）。 Next, the image processing circuit 123 first selects one point in a certain order from the white point among the white point and the black point different from the background that remain without being removed in step S53 (step S54). Subsequently, the image processing circuit 123 searches for two white or black points closest to the selected white point (step S55).
次に、画像処理回路１２３は、ステップＳ５５で探した２点が白い点と黒い点の組み合わせであるかどうか判定する（ステップＳ５６）。探した２点が白い点と黒い点であるときは、この組み合わせは顔でないと判断してステップＳ６８に進み、探索した全ての点について処理したかどうか判定し、全て処理していないときはステップＳ５４に戻り、次の順番の白い点を選択して上記と同様の動作を行う。 Next, the image processing circuit 123 determines whether or not the two points searched in step S55 are a combination of a white point and a black point (step S56). If the two searched points are a white point and a black point, it is determined that this combination is not a face, and the process proceeds to step S68 to determine whether or not all the searched points have been processed. Returning to S54, the next white dot is selected and the same operation as described above is performed.
一方、画像処理回路１２３は、ステップＳ５６において、探した２点が白い点と黒い点でないと判定したときは、それらの２点共に白い点であるかどうか判定する（ステップＳ５７）。２点共に白い点であった場合、白い点３つの組み合わせであるので、その３点の組み合わせが顔の条件を満たすか判断する（ステップＳ５８）。例えば、白い３点が逆三角形の各頂点であり、かつ、白い３点で作る三角形内が白い３点より暗いかの判断をし、その条件を満足しなければ、顔ではないと判断し、ステップＳ６８に進み、探索した全ての点について処理したかどうか判定し、全て処理していないときはステップＳ５４に戻り、次の順番の白い点を選択して上記と同様の動作を行う。 On the other hand, when the image processing circuit 123 determines in step S56 that the two searched points are not the white point and the black point, the image processing circuit 123 determines whether or not the two points are white points (step S57). If the two points are white points, it is a combination of three white points, so it is determined whether the combination of the three points satisfies the face condition (step S58). For example, it is determined whether the three white points are the vertices of the inverted triangle and the inside of the triangle formed by the three white points is darker than the white three points. In step S68, it is determined whether or not all the searched points have been processed. If all the points have not been processed, the process returns to step S54 to select the next white point in order and perform the same operation as described above.
一方、画像処理回路１２３は、ステップＳ５８において、白い３点が顔の条件を満足していると判定したときは、次に、それらの白い３点がすでに顔と判断された点であるかを判定する（ステップＳ５９）。もし、それらの白い３点がまだ顔と判断されていない点であると判定したときは、それらの白い３点を一旦、裸眼の顔として記録する（ステップＳ６０）。 On the other hand, if the image processing circuit 123 determines in step S58 that the three white points satisfy the face condition, then the image processing circuit 123 determines whether these three white points have already been determined to be faces. Determination is made (step S59). If it is determined that the three white points have not yet been determined to be a face, the three white points are once recorded as a naked eye face (step S60).
一方、もし、それらの白い３点が既に顔と判断された点であれば、それら白い３点の組み合わせが、既に顔と判断された白い３点の組み合わせよりも、顔と判定される確からしい組み合わせである優先する組み合わせであるか否かを判定する（ステップＳ６１）。優先する組み合わせであれば、既に記録されていた非優先の３点は解除し（ステップＳ６２）、新しい白い３点の組み合わせを一旦、裸眼顔として記録する（ステップＳ６０）。 On the other hand, if those three white points are already determined to be faces, the combination of these three white points is more likely to be determined as a face than the combination of three white points already determined to be faces. It is determined whether or not the combination is a priority combination (step S61). If it is a priority combination, the previously recorded three non-priority points are canceled (step S62), and a new white three-point combination is once recorded as a naked eye face (step S60).
ステップＳ６０の処理後、又は、ステップＳ６１で白い３点の組み合わせが、既に顔と判断された白い３点の組み合わせよりも非優先であると判定したときは、顔でないと判断してステップＳ６８に進む。 After the process of step S60, or when it is determined that the combination of the three white points in step S61 is not a priority over the combination of the three white points already determined as the face, it is determined that the face is not a face and the process proceeds to step S68. move on.
ステップＳ６８では探索した全ての点について処理したかどうか判定し、全て処理していないときはステップＳ５４に戻り、次の順番の白い点を選択して上記と同様の動作を行う。 In step S68, it is determined whether or not all the searched points have been processed. If all the points have not been processed, the process returns to step S54, the next white point is selected, and the same operation as described above is performed.
また、画像処理回路１２３は、ステップＳ５７で探した２点が共に白い点でない（すなわち、探した２点が共に黒い点である）と判定したときも、上記の２点が共に白い点であると判定された時のステップＳ５８〜Ｓ６０の処理・判断と同様の処理・判断を行う（ステップＳ６３〜Ｓ６７）。ただし、探した２点が共に黒い点である場合は、それら黒い２点と選択された白い１点とからなる３点の組み合わせは、一旦、眼鏡をかけている顔と判断して記録する（ステップＳ６５）。 Also, when the image processing circuit 123 determines that the two points searched in step S57 are not white points (that is, the two searched points are both black points), the two points are both white points. The same processing / judgment as the processing / judgment in steps S58 to S60 is performed (steps S63 to S67). However, if the two searched points are both black points, the combination of the three points consisting of the two black points and the selected one white point is temporarily recorded as a face wearing glasses ( Step S65).
画像処理回路１２３は、順番に選んだ１つの白い点について、上記の処理・判断が終了したら、次の白い点を同様に処理・判断する。そして、画像処理回路１２３は、全ての白い点について上記処理が終わったとステップＳ６８で判定したときは、人間の顔と認識された３点の組み合わせが全て抽出されているので、それをもとに輪郭などの人間の顔と分かる画像処理をする（ステップＳ６９）。 The image processing circuit 123 processes / determines the next white point in the same manner when the above processing / determination is completed for one white point selected in order. When the image processing circuit 123 determines in step S68 that the above processing has been completed for all white points, all the combinations of three points recognized as human faces have been extracted. Image processing that recognizes a human face such as a contour is performed (step S69).
このように、本実施の形態によれば、以上のようなアルゴリズムにより、赤外線画像から容易に人間の顔を認識することができる。また、白い点、黒い点などを判断するスレッシュホールドレベルや点の大きさなどは撮影する撮影対象により、最適な値に決めることにより、より正確な顔認識が可能となる。 Thus, according to the present embodiment, a human face can be easily recognized from an infrared image by the algorithm as described above. Further, the threshold level for determining white points, black points, etc., the size of the points, and the like are determined to be optimal values depending on the subject to be photographed, thereby enabling more accurate face recognition.
なお、本実施の形態において、赤外線画像の顔と判断した部分に人間の顔であることが分かるような、画像を重ね合わせる、或いは部分的に画像を変換するなどの処理をして、表示することが可能である。例えば、顔の周囲を輪郭として線で赤外線画像に重ね合わせ、画像信号として出力することもできる。顔の輪郭が、コントラストが低く認識できない場合でも、目と口の３点の三角形をもとに経験的に顔の輪郭を予想して、それを仮想の顔輪郭として表示することもできる。その場合、実際の顔の輪郭とはずれていても、監視する人が表示画面を見て画面上に人間がいること識別するには十分な効果が得られる。 Note that in this embodiment, processing is performed such as superimposing an image or partially converting an image so as to identify a human face on a portion determined to be a face of an infrared image. It is possible. For example, the periphery of the face can be superimposed on an infrared image with a line as a contour and output as an image signal. Even when the face contour cannot be recognized because of low contrast, it is possible to empirically predict the face contour based on the three triangles of eyes and mouth and display it as a virtual face contour. In that case, even if it deviates from the actual contour of the face, a sufficient effect can be obtained for the person to be monitored to identify the person on the screen by looking at the display screen.
また、眼鏡をかけた顔と認識した場合にはさらに、目の赤外線画像部分に仮想の眼鏡画像を重ね合わせることで、人物が眼鏡をかけているかのように表現できる。また、人物がマスクをしている場合、多くの場合、マスクをしている口部分の温度の高い部分は、マスクをしていない場合より、面積が大きくなる。そこで、本実施の形態では目の大ききから判断して、口部分の温度が高い部分が広い場合はマスクをしていると判断し、画像に仮想のマスクと重ね合わせることも可能である。本実施の形態を監視カメラシステムに適用した場合、不審者の多くは眼鏡、サングラス、マスクを着用することがあり、画像に写っている人間が不審者の可能性が高いことを判断するのに役立つ。 Further, when a face wearing glasses is recognized, a virtual glasses image can be superimposed on the infrared image portion of the eye to express the person as if wearing glasses. Further, when a person is masking, in many cases, the area of the mouth portion where the mask is hot has a larger area than when the mask is not masked. Therefore, in the present embodiment, it is possible to determine that the mask is masked when the temperature of the mouth portion is wide, judging from the size of the eyes, and to superimpose a virtual mask on the image. When this embodiment is applied to a surveillance camera system, many suspicious people may wear glasses, sunglasses, and masks, and humans in the image are likely to be suspicious. Useful.
また、選んだ白い点及び黒い点の３点の組み合わせが人間の顔であるか、ないかの条件判断については他の多くの方法もあり、撮影対象により判断方法を組み合わせることでもより正確な顔認識が可能となる。更に、抽出した白い点及び黒い点の３点の組み合わせの時間的な動きを判断し、顔認識の条件とすることも効果的である。 In addition, there are many other methods for determining whether the combination of the selected three points of white and black points is a human face, and a more accurate face can be obtained by combining the determination methods depending on the subject. Recognition is possible. Furthermore, it is also effective to judge the temporal movement of the combination of the extracted white point and black point and use it as a condition for face recognition.
また、本実施の形態では画像が白黒で表現されているために、顔の輪郭は赤や黄色などの目立つ色を使うことにより、この画像により監視をしている人がより容易に画像内に人間が写っていることを認識することができるようにしてもよい。 In the present embodiment, since the image is expressed in black and white, the outline of the face uses a conspicuous color such as red or yellow, so that a person who is monitoring with this image can be easily included in the image. It may be possible to recognize that a human is shown.
また、図１２及び図１３に示した本実施の形態では、赤外線カメラは１台であったが、第１の実施の形態と同様に、複数の赤外線カメラを用い、複数の赤外線カメラで取得した複数の赤外線画像から３次元形状を得て、裸眼又は眼鏡をかけた人物の顔を認識した画像部分を、３次元形状に仮想可視光光源を設けて仮想の反射体画像に変換し表示するようにしてもよい。 Moreover, in this Embodiment shown in FIG.12 and FIG.13, although there was one infrared camera, it acquired with the several infrared camera using several infrared cameras similarly to 1st Embodiment. A three-dimensional shape is obtained from a plurality of infrared images, and an image portion obtained by recognizing the face of a person wearing naked eyes or glasses is converted into a virtual reflector image by displaying a virtual visible light source in the three-dimensional shape and displayed. It may be.
（第５の実施の形態）
次に、本発明の第５の実施の形態について説明する。本実施の形態は、例えば図２に示した撮像装置１００において、例えば第１の実施の形態と同様にして反射体画像を生成すると共に、それに加えて形状認識部１１３が、赤外線カメラ２〜４で撮影した発光体である撮影対象１との距離を計測し、その距離を生成した反射体画像と共に記録／再生部１１５により記録媒体に記録するものである。
(Fifth embodiment)
Next, a fifth embodiment of the present invention will be described. In the present embodiment, for example, in the imaging apparatus 100 illustrated in FIG. 2, a reflector image is generated in the same manner as in the first embodiment, for example, and in addition, the shape recognition unit 113 includes infrared cameras 2 to 4. The distance to the photographing object 1 that is a light-emitting body photographed in step 1 is measured and recorded on the recording medium by the recording / reproducing unit 115 together with the reflector image that generated the distance.
次に、本実施の形態の動作を図１８のフローチャート及び図１９の距離計測の一例の説明図と共に説明する。形状認識部１１３は、まず、３台の赤外線カメラ２〜４からそれぞれ供給される赤外線画像信号が示す温度情報に基づき、撮影対象である人体を検出する（ステップＳ４１）。人体の表面は摂氏３０度程度なので、この温度から人体を検出することができる。 Next, the operation of the present embodiment will be described with reference to the flowchart of FIG. 18 and an explanatory diagram of an example of distance measurement of FIG. First, the shape recognition unit 113 detects a human body that is an object to be imaged based on temperature information indicated by infrared image signals respectively supplied from the three infrared cameras 2 to 4 (step S41). Since the surface of the human body is about 30 degrees Celsius, the human body can be detected from this temperature.
続いて、形状認識部１１３は、検出した上記の人体（特徴点）と予め設定した座標原点との距離を計算する（ステップＳ４２）。この距離の計算方法について図１９と共に説明する。図１９において、予め座標の原点（０,０,０）を設定しておき、ｘ軸方向、ｙ軸方向も設定する。簡単には、図１９に示すように赤外線カメラ２及び３をｘ軸方向に設定し、赤外線カメラ４をｙ軸方向に設定する。そのようにすることで、各赤外線カメラ２〜４の３次元座標が例えば赤外線カメラ２については（ｘ２,ｙ２,ｚ２）、赤外線カメラ３については（ｘ３,ｙ３,ｚ３）、赤外線カメラ４については（ｘ４,ｙ４,ｚ４）のように決定される。 Subsequently, the shape recognition unit 113 calculates the distance between the detected human body (feature point) and a preset coordinate origin (step S42). A method for calculating this distance will be described with reference to FIG. In FIG. 19, the coordinate origin (0, 0, 0) is set in advance, and the x-axis direction and the y-axis direction are also set. Briefly, as shown in FIG. 19, the infrared cameras 2 and 3 are set in the x-axis direction, and the infrared camera 4 is set in the y-axis direction. By doing so, the three-dimensional coordinates of the infrared cameras 2 to 4 are, for example, (x2, y2, z2) for the infrared camera 2, (x3, y3, z3) for the infrared camera 3, and for the infrared camera 4. It is determined as (x4, y4, z4).
また、形状認識部１１３は、赤外線カメラ２〜４の向いている方向を、赤外線カメラ制御部１１０内の赤外線カメラ２〜４の向きを制御しているモータや歯車等の動作機構からの情報、あるいは３次元加速度センサ、ジャイロなどのセンサからの情報を基に測定する。これにより、各赤外線カメラの撮影している方向がベクトル情報で、例えば赤外線カメラ２の場合は（ｘ２',ｙ２',ｚ２'）、赤外線カメラ３の場合は（ｘ３',ｙ３',ｚ３'）、赤外線カメラ４の場合は（ｘ４',ｙ４',ｚ４'）のように分る。 In addition, the shape recognition unit 113 determines the direction in which the infrared cameras 2 to 4 are facing, information from an operation mechanism such as a motor or a gear that controls the direction of the infrared cameras 2 to 4 in the infrared camera control unit 110, Or it measures based on the information from sensors, such as a three-dimensional acceleration sensor and a gyroscope. Thereby, the direction in which each infrared camera is shooting is vector information. For example, in the case of the infrared camera 2, (x2 ′, y2 ′, z2 ′), and in the case of the infrared camera 3, (x3 ′, y3 ′, z3 ′). In the case of the infrared camera 4, it can be understood as (x4 ′, y4 ′, z4 ′).
ここで、特徴点が図１９に５０１で示すように各赤外線カメラ２〜４の撮影方向上にあるものとすると、例えば赤外線カメラ２及び３から延びる直線の交点より特徴点５０１の座標（ｘ１,ｙ１,ｚ１）が求められる。形状認識部１１３は、特徴点５０１の座標が分るので、ｘｙ平面上の原点から特徴点５０１までの距離を（ｘ１2＋ｙ１2）1/2の演算式により求めることができる。本実施の形態では反射体画像を生成する際に、図３のステップＳ１３でのマッチング処理により、各赤外線カメラ２〜４が撮影している特徴点５０１を同じものであると認識しているので、このような計算が可能となる。ｘｚ平面上に距離や、ｙｚ平面上の距離も上記と同様にして求めることができる。 Here, assuming that the feature point is on the photographing direction of each of the infrared cameras 2 to 4 as indicated by 501 in FIG. 19, for example, the coordinates of the feature point 501 from the intersection of straight lines extending from the infrared cameras 2 and 3 (x1, y1, z1) is determined. Since the shape recognition unit 113 knows the coordinates of the feature point 501, the distance from the origin on the xy plane to the feature point 501 can be obtained by an arithmetic expression of (x1 2 + y1 2 ) 1/2 . In the present embodiment, when the reflector image is generated, the feature point 501 captured by each of the infrared cameras 2 to 4 is recognized as the same by the matching process in step S13 in FIG. Such a calculation becomes possible. The distance on the xz plane and the distance on the yz plane can be obtained in the same manner as described above.
なお、赤外線カメラが２台あれば、上記のように原理的に距離を求めることができるが、赤外線カメラが３台以上あれば、より正確に距離を求めることができる。また、距離計算は３台の赤外線カメラ２〜４を用いて三角測量の方法で求めることも可能である。 If there are two infrared cameras, the distance can be obtained in principle as described above, but if there are three or more infrared cameras, the distance can be obtained more accurately. The distance calculation can also be obtained by a triangulation method using three infrared cameras 2 to 4.
図１８に戻って説明する。形状認識部１１１は、上記のようにして求めた距離を記録／再生部１１５により記録媒体に特徴点５０１の反射体画像と共に記録させる（ステップＳ４３）。これにより、本実施の形態によれば、撮影対象の形状だけでなく、赤外線カメラ２〜４からどれだけ離れた位置にあるのかも識別することができる。 Returning to FIG. The shape recognizing unit 111 causes the recording / reproducing unit 115 to record the distance obtained as described above together with the reflector image of the feature point 501 on the recording medium (step S43). Thus, according to the present embodiment, it is possible to identify not only the shape of the object to be photographed but also how far away it is from the infrared cameras 2 to 4.
なお、本発明は以上の各実施の形態を２以上組み合わせた構成も含むものである。 The present invention includes a configuration in which two or more of the above embodiments are combined.
１ 撮影対象
２、３、４、１２１ 赤外線カメラ
５ 形状認識手段
６ 反射体変換手段
７ 表示手段
８ 記録／再生手段
１１ 撮影対象
１１ａ、１１ｄ 人物
１１ｅ、７５ 眼鏡
１３ 表示装置
４１ 仮の光源
４２ 反射体表現された対象物体
７３ 目（裸眼）
７４ 口
１００ 撮像装置
１１０ 赤外線カメラ制御部
１１１ 設定部
１１２ 表示部
１１３ 形状認識部
１１４ 反射体変換部
１１５ 記録／再生部
１１６ 通信部
１２０、Ａ 形状認識装置
１２２ フレームメモリ
１２３ 画像処理回路
１２４ 画像表示信号発生回路
２０１、３０１、４０１ 赤外線撮像部
２０２、３０２、４０２ Ａ／Ｄ変換器
２０３、３０３、４０３ フレームメモリ
５０１ 特徴点
DESCRIPTION OF SYMBOLS 1 Photographing object 2, 3, 4, 121 Infrared camera 5 Shape recognition means 6 Reflector conversion means 7 Display means 8 Recording / reproduction means 11 Photographing object 11a, 11d Person 11e, 75 Glasses 13 Display apparatus 41 Temporary light source 42 Reflector Expressed target object 73 eyes (naked eye)
74 mouth 100 imaging device 110 infrared camera control unit 111 setting unit 112 display unit 113 shape recognition unit 114 reflector conversion unit 115 recording / playback unit 116 communication unit 120, A shape recognition device 122 frame memory 123 image processing circuit 124 image display signal Generation circuit 201, 301, 401 Infrared imaging unit 202, 302, 402 A / D converter 203, 303, 403 Frame memory 501 Feature point
Claims (4)
前記マッチングして得られた赤外線画像に基づいて、前記撮影対象の３次元形状を確定する第２のステップと、
前記３次元形状に対して仮想の可視光光源を設定し、その可視光光源からの可視光を前記３次元形状に照射して、前記３次元形状の反射体画像を生成する第３のステップと
を含むことを特徴とする形状認識方法。 A plurality of infrared images obtained by imaging a subject to be photographed with the same light emitter with a plurality of infrared cameras that capture wavelengths of 8 to 14 μm , based on the temperature distribution obtained from those infrared images, these infrared images A first step of matching each of the characteristic regions of the subject in
A second step of determining a three-dimensional shape of the object to be imaged based on the infrared image obtained by the matching;
A third step of setting a virtual visible light source for the three-dimensional shape and irradiating the three-dimensional shape with visible light from the visible light source to generate a reflector image of the three-dimensional shape; A shape recognition method comprising:
前記マッチングして得られた赤外線画像に基づいて、前記撮影対象の３次元形状を確定する形状確定手段と、
前記３次元形状に対して仮想の可視光光源を設定し、その可視光光源からの可視光を前記３次元形状に照射して、前記３次元形状の反射体画像を生成する反射体変換手段と
を有することを特徴とする形状認識装置。 A plurality of infrared images obtained by imaging a subject to be photographed with the same light emitter with a plurality of infrared cameras that capture wavelengths of 8 to 14 μm , based on the temperature distribution obtained from those infrared images, these infrared images Matching means for respectively matching the characteristic areas of the photographing object in
Based on the infrared image obtained by the matching, shape determining means for determining the three-dimensional shape of the photographing target;
A reflector conversion means for setting a virtual visible light source for the three-dimensional shape and irradiating the three-dimensional shape with visible light from the visible light source to generate a reflector image of the three-dimensional shape; A shape recognition device characterized by comprising:
複数の赤外線カメラでそれぞれ同一の撮影対象を撮像して得られた複数の赤外線画像を、それらの赤外線画像から得られる温度分布に基づいて、それらの赤外線画像における前記撮影対象の特徴的な領域をそれぞれマッチングするマッチング手段と、
前記マッチングして得られた赤外線画像の温度分布の特徴を抽出して、前記データベースの前記温度分布の特徴と比較照合する照合手段と、
前記照合手段により照合一致の比較結果が得られたときに、前記マッチングして得られた赤外線画像の温度分布の特徴を示す前記撮影対象の属性情報を前記データベースから取得して前記撮影対象を特定する特定手段と
を有することを特徴とする形状認識装置。 For each of the one or more shooting targets, a database in which the characteristics of the temperature distribution of the infrared image of the shooting target and the attribute information of the shooting target are stored in advance in association with each other;
A plurality of infrared images obtained by imaging the same subject with a plurality of infrared cameras, and a characteristic region of the subject in the infrared images based on a temperature distribution obtained from the infrared images. Matching means to match each,
A matching means for extracting the characteristics of the temperature distribution of the infrared image obtained by the matching and comparing and matching the characteristics of the temperature distribution of the database;
When the comparison result of the collation match is obtained by the collation means, the attribute information of the photographing target indicating the characteristics of the temperature distribution of the infrared image obtained by the matching is acquired from the database and the photographing target is specified. A shape recognizing device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009242080A JP5407742B2 (en) | 2009-10-21 | 2009-10-21 | Shape recognition method and shape recognition device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009242080A JP5407742B2 (en) | 2009-10-21 | 2009-10-21 | Shape recognition method and shape recognition device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011091523A JP2011091523A (en) | 2011-05-06 |
| JP5407742B2 true JP5407742B2 (en) | 2014-02-05 |
Family
ID=44109388
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009242080A Active JP5407742B2 (en) | 2009-10-21 | 2009-10-21 | Shape recognition method and shape recognition device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5407742B2 (en) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10303973B2 (en) | 2015-04-15 | 2019-05-28 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium for lighting processing on image using model data |
| JP6576083B2 (en) * | 2015-04-15 | 2019-09-18 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
| JP6631783B2 (en) * | 2015-11-19 | 2020-01-15 | エア・ウォーター・バイオデザイン株式会社 | Measuring system and measuring method for measuring life activity caused by respiration of subject |
| KR102474706B1 (en) * | 2016-06-13 | 2022-12-05 | 한화테크윈 주식회사 | The Apparatus For Surveillancing |
| JP2019052889A (en) * | 2017-09-13 | 2019-04-04 | サクサ株式会社 | Image processor |
| JP6747493B2 (en) * | 2018-11-28 | 2020-08-26 | 株式会社デンソー | Driver status determination device |
| KR102129734B1 (en) * | 2019-02-11 | 2020-07-03 | (주)지니가치 | Artificial intelligence based video surveillance system |
| WO2022009419A1 (en) * | 2020-07-10 | 2022-01-13 | 三菱電機株式会社 | Learning device, utilization device, program, learning method, and utilization method |
| US20230297655A1 (en) * | 2020-09-30 | 2023-09-21 | Nec Corporation | Biometric determination system, biometric determination method, and computer program |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001006049A (en) * | 1999-06-24 | 2001-01-12 | Toshiba Corp | Device for discharging premium and method for generating premium in the same |
| JP2001325606A (en) * | 2000-05-12 | 2001-11-22 | Sekisui House Ltd | Method for illuminating residence on cg image and recording medium |
| JP2004219277A (en) * | 2003-01-15 | 2004-08-05 | Sanyo Electric Co Ltd | Method and system, program, and recording medium for detection of human body |
| JP2007025767A (en) * | 2005-07-12 | 2007-02-01 | Nikon Corp | Image recognition system, image recognition method, and image recognition program |
| JP2007025758A (en) * | 2005-07-12 | 2007-02-01 | Gen Tec:Kk | Face image extracting method for person, and device therefor |
| JP2007133644A (en) * | 2005-11-10 | 2007-05-31 | Hino Motors Ltd | Pedestrian recognition device |
| JP2008018015A (en) * | 2006-07-12 | 2008-01-31 | Toshiba Corp | Medical display unit and system |
| JP2008210354A (en) * | 2007-02-26 | 2008-09-11 | Neo Planning:Kk | Acquisition method for person information and software medium for personal computer |
| JP2008259024A (en) * | 2007-04-06 | 2008-10-23 | Nikon Corp | Electronic camera |
-
2009
- 2009-10-21 JP JP2009242080A patent/JP5407742B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011091523A (en) | 2011-05-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5407742B2 (en) | Shape recognition method and shape recognition device | |
| US10496163B2 (en) | Eye and head tracking | |
| JP5797757B2 (en) | User interface system and method using thermal imaging | |
| EP2467805B1 (en) | Method and system for image analysis | |
| JP5047007B2 (en) | Imaging device | |
| JP4780088B2 (en) | Face image capturing apparatus, face image capturing method, and program thereof | |
| US6997556B2 (en) | Method for detecting, evaluating, and analyzing look sequences | |
| KR20120057033A (en) | Gaze tracking system and method for controlling internet protocol tv at a distance | |
| JP2004320287A (en) | Digital camera | |
| JP2008199549A (en) | Monitor image processing method, monitoring system, and monitor image processing program | |
| JPWO2015186447A1 (en) | Information processing apparatus, photographing apparatus, image sharing system, information processing method, and program | |
| KR20090098505A (en) | Media signal generating method and apparatus using state information | |
| KR20010002097A (en) | Method and apparatus for face photographing and recognizing by automatic trading a skin color and motion | |
| JP6157170B2 (en) | Monitoring support system | |
| US20220028169A1 (en) | Computer Vision Cameras for IR Light Detection | |
| JP3732757B2 (en) | Image recognition method and image recognition apparatus | |
| JP2008237625A (en) | Degree of visibility judging apparatus | |
| KR102387492B1 (en) | Method for facial authentication of a wearer of a watch | |
| JP6856017B2 (en) | Corneal reflex position detection device, line-of-sight detection device and corneal reflex position detection method | |
| CN104604219A (en) | Image processing device, image processing method, and image processing program | |
| JP2021018729A (en) | Personal identification apparatus, head-mounted display, content distribution server, and personal identification method | |
| JP4279181B2 (en) | Monitoring system | |
| JP2012055418A (en) | View line detection device and view line detection method | |
| WO2019044135A1 (en) | Information processing device, information processing method, and program | |
| JP5276454B2 (en) | Facial expression measurement method, facial expression measurement program, and facial expression measurement apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20111012 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120329 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130214 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130618 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130625 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130806 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131008 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131021 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5407742 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |