JP2008017227A - Face recognizing device, and automobile user treating system using the same - Google Patents
Face recognizing device, and automobile user treating system using the same Download PDFInfo
- Publication number
- JP2008017227A JP2008017227A JP2006187133A JP2006187133A JP2008017227A JP 2008017227 A JP2008017227 A JP 2008017227A JP 2006187133 A JP2006187133 A JP 2006187133A JP 2006187133 A JP2006187133 A JP 2006187133A JP 2008017227 A JP2008017227 A JP 2008017227A
- Authority
- JP
- Japan
- Prior art keywords
- user
- face
- recognition
- hospitality
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Arrangements Of Lighting Devices For Vehicle Interiors, Mounting And Supporting Thereof, Circuits Therefore (AREA)
Abstract
Description
この発明は、自動車を利用するユーザーを認識するための顔認識装置と、それを用いて構成され、ユーザーの自動車への接近、乗車、運転、降車及び自動車からの離間、の少なくともいずれかにおいて、ユーザーによる自動車の利用を補助するための、又はユーザーを楽しませる(あるいはサービスする)ための自動車用ユーザーもてなしシステムに関する。 The present invention relates to a face recognition device for recognizing a user who uses a car, and at least one of approaching the user, getting on, driving, getting off, and leaving the car. The present invention relates to an automobile user hospitality system for assisting a user in using a car or for entertaining (or serving) a user.
特許文献1には、自動車を利用するユーザーを認識するための顔認識装置として、可視外乱光によりユーザーの顔撮影画像が不鮮明化することを防止するために、赤外線光を補助照明光として用い、かつ、入射光学系に赤外線を選択通過させるフィルタを配置して顔画像を撮影することにより可視外乱光の影響を排除し、鮮明な撮影画像を得やすくするようにした装置が提案されている。
In
しかし、上記の装置は、撮影光量が十分確保できる昼間においても撮影時には赤外照明光源を常時点灯させなければならず不経済であり、車載バッテリー寿命にも影響しやすい問題がある。 However, the above-described apparatus is uneconomical because the infrared illumination light source must be constantly turned on during photographing even during daytime when a sufficient amount of photographing light can be secured, and there is a problem that the life of the vehicle battery is likely to be affected.
本発明の課題は、外乱光の存在や露光不足等のため鮮明な撮影画像が得られない場合に限り照明光源が点灯するようにした顔認識装置と、それを用いた自動車用ユーザーもてなしシステムとを提供することにある。 An object of the present invention is to provide a face recognition device in which an illumination light source is turned on only when a clear photographed image cannot be obtained due to the presence of disturbance light or insufficient exposure, and an automobile user hospitality system using the face recognition device. Is to provide.
上記の課題を解決するために、本発明の顔認識装置は、
自動車の内部又は外部に取り付けられ、予め定められた視野内に存在する人物の顔を撮影する撮影装置と、
自動車のユーザーとして登録された人物の顔特徴情報をユーザ−特定情報と対応付けて記憶する顔登録部と、
撮影装置の視野内に存在する人物の顔を照らす照明装置と、
撮影装置が撮影した顔画像から顔特徴情報を取得し、該取得された顔特徴情報を顔登録部に登録された顔特徴情報と照合することによりユーザー認識処理を行なうユーザー認識手段と、
該ユーザー認識結果を出力するユーザー認識結果出力手段と、
照明装置が非点灯状態にて撮影された画像によるユーザー認識に失敗した場合に、照明装置を点灯させる照明制御手段と、を備えたことを特徴とする。
In order to solve the above problems, the face recognition apparatus of the present invention
An imaging device that is attached to the inside or outside of an automobile and that captures the face of a person existing within a predetermined field of view;
A face registration unit that stores face feature information of a person registered as a car user in association with user-specific information;
A lighting device that illuminates the face of a person present in the field of view of the imaging device;
User recognition means for acquiring face feature information from a face image photographed by a photographing device and performing user recognition processing by collating the acquired face feature information with face feature information registered in a face registration unit;
User recognition result output means for outputting the user recognition result;
And illumination control means for turning on the illumination device when the user recognition by the image taken in the non-illuminated state fails.
上記本発明の顔認識装置によると、照明装置が非点灯状態にて撮影された画像によるユーザー認識にユーザー認識手段が失敗した場合に照明装置を点灯させるようにしたから、ユーザー認識のための顔撮影時に、昼間等においても常時照明装置が点灯する不具合を効果的に解消することができる。 According to the face recognition device of the present invention, the lighting device is turned on when the user recognition unit fails in user recognition based on an image captured when the lighting device is not lit. At the time of shooting, it is possible to effectively solve the problem that the lighting device is always lit even during the daytime.
また、本発明の自動車用ユーザーもてなしシステムは、
上記本発明の顔認識装置と、
ユーザーの自動車への接近、乗車、運転又は車内での滞在、降車及び自動車からの離間、の少なくともいずれかにおいて、ユーザーによる自動車の利用を補助するための、又はユーザーを楽しませるためのもてなし動作を行なうもてなし動作部と、
登録ユーザーと、該登録ユーザー固毎に固有のもてなし動作部の動作内容を規定するもてなし動作情報とを互いに対応付けた形で記憶するもてなし動作情報記憶部と、
顔認識装置により認識された登録ユーザーに対応するもてなし動作情報をもてなし動作情報記憶部から読み出して、該もてなし動作情報に従いもてなし動作部の動作制御を行なうもてなし実行制御部と、を備えたことを特徴とする。
The automobile user hospitality system of the present invention is
The face recognition device of the present invention;
A hospitality action to assist the user in using the car or to entertain the user at least one of approaching the user, riding, driving or staying in the car, getting off and leaving the car. A hospitality action part,
A hospitality operation information storage unit that stores the registered user and the hospitality operation information that defines the operation content of the hospitality operation unit specific to each registered user in association with each other;
A hospitality operation control unit that reads out the hospitality operation information corresponding to the registered user recognized by the face recognition device from the hospitality operation information storage unit and controls the operation of the hospitality operation unit according to the hospitality operation information. And
上記本発明の自動車用もてなしシステムによると、露光不足等のため鮮明な撮影画像が得られずユーザー認識に仮に失敗しても、その結果を受けて照明光を点灯することにより、次回はユーザー認識に好都合な鮮明度を有した顔画像を確実に得ることができる。その結果、もてなしの対象となるユーザーを確実に特定することができ、ひいてはそのユーザーに適合するもてなし処理を適格に実施することが可能となるので、自動車を利用するユーザーの満足感を高めることができる。 According to the above-mentioned hospitality system for automobiles of the present invention, even if a user cannot recognize a clear photographed image due to insufficient exposure or the like, the user will be recognized next time by lighting the illumination light in response to the result. Therefore, it is possible to reliably obtain a face image having a favorable sharpness. As a result, it is possible to reliably identify the user who is the subject of hospitality, and as a result, it is possible to appropriately perform the hospitality process that suits the user, thereby enhancing the satisfaction of the user who uses the car. it can.
次に、撮影装置は、撮像素子として可視光域と赤外域との双方に顔撮影に必要な感度を有したものを使用することにより、視光と赤外光との双方による顔撮影が可能とされたものを使用できる。これにより、撮影光量が不足する夜間等においては、照明光源として不可視光である赤外光を用いるので、ユーザーが照明により眩惑されにくい利点がある。他方、昼間等においては、撮像素子の可視光域感度特性を利用して問題なく撮影が可能である。赤外線光源としては近赤外線光源を用いることが照明光源を安価に構成でき、また、照明強度も得やすい。さらに、可視光感度域の低波長側に隣接した近赤外域であれば、撮像素子の感度も比較的確保しやすい利点がある。 Next, the imaging device can shoot a face with both visual light and infrared light by using an image sensor that has the sensitivity necessary for face photography in both the visible light region and the infrared region. Can be used. Thereby, in the nighttime when the amount of photographing light is insufficient, since infrared light which is invisible light is used as an illumination light source, there is an advantage that the user is not easily dazzled by illumination. On the other hand, in the daytime or the like, it is possible to shoot without problems using the visible light sensitivity characteristics of the image sensor. The use of a near-infrared light source as the infrared light source makes it possible to construct the illumination light source at a low cost and also facilitates obtaining illumination intensity. Furthermore, if the near-infrared region is adjacent to the low wavelength side of the visible light sensitivity region, there is an advantage that it is relatively easy to ensure the sensitivity of the imaging device.
なお、照明光源としては、赤外光光源に替えて、可視光光源や紫外光光源を使用することも可能である。 As the illumination light source, a visible light source or an ultraviolet light source can be used instead of the infrared light source.
次に、照明装置は、撮影装置の視野内に存在する顔を互いに異なる方向から照明するものを複数設けることが可能である。これにより、被写体となる人物の顔を複数の照明装置により均一に照らし出すことができ、照明を点灯させてから用いて行なうユーザー認識処理の認識精度を高めることができる。顔を均一な照度で照らす観点からは、(照明制御手段により)複数の照明装置を一括して点灯することが望ましいとも言える。しかし、ユーザー認識の失敗の原因が、撮影光軸に対して斜めから入射する強い外乱光により顔画像がつぶれてしまったことにある場合などでは、照明光を顔に均一に当てるよりも、外乱光による被写体上の照度分布の偏りを矯正した方が効果的な場合がある。 Next, it is possible to provide a plurality of illumination devices that illuminate faces existing in the field of view of the photographing device from different directions. As a result, the face of the person who is the subject can be uniformly illuminated by the plurality of illumination devices, and the recognition accuracy of the user recognition process performed after the illumination is turned on can be improved. From the viewpoint of illuminating the face with uniform illuminance, it can be said that it is desirable to turn on a plurality of lighting devices in a lump (by the lighting control means). However, in the case where the face image is crushed by strong disturbance light that is incident obliquely with respect to the shooting optical axis, the user recognition failure may be caused by disturbance rather than applying illumination light uniformly to the face. In some cases, it is more effective to correct the bias of the illuminance distribution on the subject due to light.
また、撮影装置の撮影画像に基づいて視野内に人物の顔が存在するか否かを判定する顔存在判定手段と、顔存在判定手段が顔存在と判定した場合に、撮影装置は照明装置を非点灯状態で一次顔撮影を行ない、ユーザー認識手段は当該非点灯状態での顔画像に基づいて一次ユーザー認識処理を行なうとともに、該一次ユーザー認識処理によるユーザー特定に失敗した場合に、照明制御手段により照明装置を点灯させ、その状態で撮影装置は照明装置を点灯状態で二次顔撮影を行ない、ユーザー認識手段は当該点灯状態での顔画像に基づいて二次ユーザー認識処理を行なうことができる。この構成によると、撮影された画像の中に顔が存在すると判定されたときのみ、ユーザー認識処理が実行されるようになるから、無駄なユーザー認識処理を行なわなくてすむ。また、一次ユーザー認識処理でユーザーの特定に失敗しても、照明装置点灯後に二次ユーザー認識処理が行なわれるから、ユーザーの特定を確実に行なえる。 Further, when the face presence determination unit determines whether or not a person's face is present in the field of view based on the captured image of the shooting device, and the face presence determination unit determines that the face is present, the shooting device sets the illumination device. The primary face is photographed in a non-lighting state, and the user recognition means performs a primary user recognition process based on the face image in the non-lighting state, and if the user identification by the primary user recognition process fails, the lighting control means The lighting device is turned on, and in this state, the photographing device performs secondary face photographing with the lighting device turned on, and the user recognition means can perform secondary user recognition processing based on the face image in the lighting state. . According to this configuration, since the user recognition process is executed only when it is determined that a face is present in the photographed image, it is not necessary to perform a useless user recognition process. Even if the user identification fails in the primary user recognition process, the secondary user recognition process is performed after the lighting device is turned on, so that the user can be identified reliably.
また、この場合、照明装置を、撮影装置の視野内に存在する顔を互いに異なる方向から照明するものを複数設けるとともに、撮影装置による二次顔撮影と、ユーザー認識手段による二次ユーザー認識処理とを、点灯させる照明装置の種別を、照明方向が互いに異なるものとなるよう順次変更しながら繰り返し実行することができる。この構成によると、照明の向きが順次変わるので、適切な照明状態で二次顔画像を撮影することができ、顔検出を確実に行なうことができる。 Further, in this case, the lighting device is provided with a plurality of lighting devices that illuminate the face existing in the field of view of the photographing device from different directions, secondary face photographing by the photographing device, and secondary user recognition processing by the user recognition means Can be repeatedly executed while sequentially changing the types of lighting devices to be lit so that the illumination directions are different from each other. According to this configuration, since the direction of illumination sequentially changes, a secondary face image can be taken in an appropriate illumination state, and face detection can be reliably performed.
次に、複数回の顔撮影により得られる各顔画像からの特徴情報を合成する特徴情報合成手段が設けられ、ユーザー認識手段は、該合成された特徴情報に基づいてユーザー認識を行なうことができる。合成された特徴情報を用いることで、顔画像を用いたユーザー認識を効率的に行うことが可能となる。 Next, feature information synthesizing means for synthesizing feature information from each face image obtained by multiple times of face photographing is provided, and the user recognition means can perform user recognition based on the synthesized feature information. . By using the synthesized feature information, it is possible to efficiently perform user recognition using a face image.
また、撮影装置による顔撮影と、該撮影された顔画像に基づくユーザー認識手段によるユーザー認識処理とを周期的に反復実行させるユーザー認識処理反復制御手段と、ユーザー認識手段がユーザー認識に一度成功した後、ユーザー認識処理のその後の反復過程においてユーザー認識に失敗した場合においても、当該失敗認識回数が予め定められた回数に到達するまではユーザー認識結果出力手段に該失敗認識結果を出力させないようにするユーザー認識結果出力制御手段とを備えることができる。照明状態は随時代わるので、それが原因で認識NG判定されることは適切でない。特に車室内のユーザー認識の場合には、ユーザーが頻繁に着座位置を変えることは考え難い。この構成によると、1回でもユーザー認識の成功があった場合には、予め定められた回数以内又は予め定められた期間内の失敗認識により認識NG判定としないようにされており、この判定に伴い実行される車両の各種アプリケーションを適切に動作させることができる。 Further, the user recognition processing repetitive control means for periodically performing the face photographing by the photographing device and the user recognition processing by the user recognizing means based on the photographed face image, and the user recognizing means once succeeded in user recognition. Thereafter, even if the user recognition fails in the subsequent iterative process of the user recognition process, the user recognition result output unit does not output the failure recognition result until the number of times of failure recognition reaches a predetermined number. And a user recognition result output control means. Since the lighting state changes from time to time, it is not appropriate to make a recognition NG determination due to it. In particular, in the case of user recognition in the passenger compartment, it is unlikely that the user frequently changes the seating position. According to this configuration, if the user recognition is successful even once, the recognition NG determination is not made due to the failure recognition within a predetermined number of times or within a predetermined period. Various applications of the vehicle to be executed can be appropriately operated.
以下、本発明の実施の形態を添付の図面を用いて詳しく説明する。図1は、本発明の顔認識装置が組み込まれた自動車用制御システムの概念ブロック図である。この図の自動車用制御システム1は、撮影された人の顔画像によりユーザー認識を行なう本発明の顔認識装置10と、認識されたユーザーに対応する各種制御を実行する乗員適応システムマスター装置(以下、マスター制御装置という)20とが接続されて構成される。
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. FIG. 1 is a conceptual block diagram of an automobile control system in which the face recognition device of the present invention is incorporated. The
まず、本実施形態における顔認識装置10について説明する。
図1及び図2に示す顔認識装置10は、自動車の内部又は外部に取り付けられ、予め定められた視野内に存在する人物の顔を撮影する撮影装置15、撮影装置の視野内に存在する人物の顔を照らす照明装置16、撮影装置15の視野内の撮影対象(人)を検出する撮影対象検出部31、及びこれらが接続された制御部(画像処理装置)11とにより構成されている。
First, the
A
制御部11は、自動車のユーザーとして登録された人物の顔特徴情報をユーザ−特定情報と対応付けて記憶する顔登録部17を備え、撮影装置15が撮影した顔画像から顔特徴情報を取得し、該取得された顔特徴情報を顔登録部17に登録された顔特徴情報と照合することによりユーザー認識処理を行なうとともに、該ユーザー認識結果をマスター制御装置20に出力する。具体的には、図2に示すように、制御部11は、CPU12、ワークメモリを備えるRAM13、各種プログラムを記憶するROM14を備えて構成されており、ROM14は、不揮発性メモリであるフラッシュROMであり、その一部記憶領域が顔登録部17とされている。そして、制御部11は撮影装置15や照明装置16に対し制御信号を出力している。この制御部11は、ROM14に格納されたプログラムを実行することにより、ユーザー認識手段、ユーザー認識結果出力手段、照明制御手段、顔存在判定手段、特徴情報合成手段、ユーザー認識結果出力制御手段として機能する。
The
撮影対象検出部31は、各撮影装置15に対応して設けられ、それら撮影装置15の撮影視野内に存在する撮影対象、又はその撮影視野内に接近する撮影対象を検出する近接センサである。本実施形態においては、車外撮影装置15に対応する撮影対象検出部31には、赤外線、高周波、超音波等を出力して測定域への侵入を感知する周知のものを採用することができる。また、車内撮影装置15に対応する撮影対象検出部31は、上記と同様の近接センサを採用することもできるし、座席に設けられる着座センサやドアの開閉操作に係る動作(例えばドアノブの把持)を検知するものであってもよい。
The photographing
撮影装置15は、図6に示すように、撮像素子として可視光域と赤外域の双方に顔撮影に必要な感度を有したものが使用され、可視光と赤外光との双方による顔撮影が可能とされている。図3A及び図3Bに示すように、この撮影装置15は、自動車の座席に着座するユーザーの顔を撮影する車内撮影装置15a,15b,15cと、ドアから搭乗してくる車外のユーザーの顔を撮影する車外撮影装置15d,15e,15fとを備える。
As shown in FIG. 6, the
車内撮影装置15は車内の座席に対応して設けられ、それぞれが対応する座席に着座するユーザーの顔が撮影できるようそれぞれの撮影視野が定められている。ここでは、図3Aに示すように、車内撮影装置15aは運転席の搭乗者(運転者)の顔を撮影するためにメータークラスター内又はメータークラスター上部に設けられ、車内撮影装置15bは助手席の搭乗者の顔を撮影するために助手席前のダシュボード上部に設けられ,車内撮影装置15cは後部座席の搭乗者の顔を撮影するために前席シート上部又はそのヘッドレストに設けられる。なお、後席用の撮像装置15cには、シートが動いても撮影できる様、画角の広いものを使用している。
The in-
他方、車外撮影装置15は、車両の各ドアに対応して設けられる。ここでは、ドア毎に複数の車外撮影装置15が対応しており、図3Bに示すように、車外撮影装置15dはフロントドア窓枠下端、車外撮影装置15fはリアドア窓枠下端、車外撮影装置15eはその間にある中央ピラーに設けられ、複数の撮影装置により、ドアに接近する搭乗者を撮影するように構成されている。なお、図3Bに示す車外撮影装置15d,15e,15fは、助手席側のドア(助手席のドア1101及びスライドドア1102)に対応するものであるが、運転席にも同様に設けられている。また、バックドアに接近する搭乗者を撮影するために車外撮影装置15gがバックドア窓枠下端に設けられている。なお、他にもドアがある場合には、同じように車外撮影装置を設けるようにすることができる。
On the other hand, the outside photographing
照明装置16は、照明光源として赤外線光源を、具体的には図5に示すような近赤外線光源を有するLEDが使用されており、各撮影装置15の撮影視野に対応して設けられている。例えば、運転席に対応する車内撮影装置15aの視野に対しては、車内撮影装置16aがドア窓枠下端に、車内撮影装置16bがフロントピラーに、車内撮影装置16cがメータカウルに、車内撮影装置16dがセンターコンソール上部に、車内撮影装置16eがセンターコンソール下部に、車内撮影装置16fがマップランプ部に、それぞれ設けられている。このように、本発明においては、車内撮影装置15に対応する照明装置16を、該撮影装置15の視野内に存在する顔を互いに異なる方向から照明できるように複数設けることができる。なお、助手席側及び後部座席側も同様に、複数設けることができる。また、車外撮影装置15d,15e,15fに対しても、1又は複数の照明装置(図示なし)を設ける。なお、撮影装置15の撮影視野に共通の空間が含まれている場合には、それら撮影装置15に対し共有して使用される照明装置を設けてもよい。
The illuminating
また、制御部11は、撮影装置15が撮影した顔画像から顔特徴情報を取得し、該取得された顔特徴情報を顔登録部17に登録された顔特徴情報と照合することによりユーザーを認識するユーザー認識プログラムをROM14に格納している。以下、このユーザー認識プログラムの流れを、図8に示すフローチャートを用いて説明する。
In addition, the
まず、S101にて、撮影対象検出部31が撮影装置15の撮影視野内において撮影対象(人)を検知したか否かを判定する。非検知の場合には本プログラムを終了する。検知している場合にはS102に進み、検知した撮影対象検出部31に対応する撮影装置15により、予め定められた撮影タイミングの到来に伴い順次行なう。このときの撮影は、照明装置16を非点灯状態として行なう一次顔撮影である。撮影された画像は制御部11に順次入力される。
First, in S <b> 101, it is determined whether or not the shooting
なお、撮影装置15による撮影は、対応する撮影対象検出部31が撮影対象物を検知し続けている間、予め定められた撮像周期で繰り返し行なわれる。例えば、図7Aに示すように1つの撮像周期に対し1回の撮影タイミングが到来する場合や、図7Bに示すように1つの撮像周期に対し複数回の撮影タイミングが到来する場合がある。本実施形態においては、図7Aの場合を採用しているものとする。
Note that shooting by the
S102に続いてS103では、入力されたその撮影画像に基づいて視野内に人物の顔が存在するか否かを制御部11が判定し、顔が発見されるまでこれを繰り返す。顔の存在確認は、顔特徴情報を検出する周知のプログラムにおいて、顔と認められる部分が少しでも認められれば顔が存在するものとする。顔が存在すると判定されるとS104に進み、撮影された顔画像に基づいてユーザー認識処理を行なう。最初は、非点灯状態で撮影されるので一次ユーザー認識処理が行なわれる。S104では、複数回の顔撮影により得られる各顔画像からの特徴情報を合成し、合成された特徴情報に基づいてユーザー認識を行なう。具体的には、図9に示すように、まずS10において、最近に撮影された予め定められた数の撮影画像を取得し、S20において、それらの撮影画像を合成して顔認識に適する合成顔画像を作成する。そして、S30にてその合成顔画像から特徴点(目や口といった器官)を抽出し、S40にて抽出した特徴点に対し傾きや大きさを正規化した上で、その特徴点と顔登録部17に記憶された顔特徴情報とマッチングさせることで顔認識を行なう。なお、この顔認識処理は予め定められた時間以内(例えば、1sec)で終了するものである。なお、この処理で顔認識できなかった撮影画像については、以降の処理において使用されないよう消去してもよい。
In S103 following S102, the
図8に戻る。S105では、S104の顔認識の結果、撮影された顔画像が登録されたユーザーの顔と一致するか否かを判定する。一致すれば、S106に進んで特定されたユーザーに係るユーザー特定情報をマスター制御装置20に送信し、本プログラムを終了する。一致しなければ、S107に進む。
Returning to FIG. In S105, it is determined whether or not the photographed face image matches the registered user's face as a result of the face recognition in S104. If they match, the process proceeds to S106, where the user specifying information relating to the specified user is transmitted to the
S107では、S104における顔認識処理が完了する十分な時間(例えば2sec)が経過したか否かを判定する。この予め定められた時間が経過していなければS104に戻る。経過していた場合にはS108に進み、照明装置16を点灯させる。本実施形態においては、照明装置16は、対応する撮影装置15の視野内に存在する顔を互いに異なる方向から照明するものが複数設けられており、それら複数の照明装置16が図7Aに示すように一括して点灯する。これにより、被写体となる人物の顔を複数の照明装置により均一に照らし出すことができ、照明を点灯させてから用いて行なうユーザー認識処理の認識精度を高めることができる。なお、照明装置16が、上記と同じように複数設けられた状態で、図7Bに示すように、照明方向が互いに異なるものとなるよう順次変更しながら点灯・消灯をさせてもよい。なお、この場合、二次顔撮影は、それぞれの照明装置16の点灯状態に合わせて行われる。これにより、撮影される者の目への負担を低減する効果が生まれる。
In S107, it is determined whether or not a sufficient time (for example, 2 seconds) for completing the face recognition process in S104 has elapsed. If this predetermined time has not elapsed, the process returns to S104. If it has elapsed, the process proceeds to S108, and the
照明装置16が点灯状態となると、その点灯状態に応じて周期的に撮影装置15による二次顔撮影が行なわれ、その撮影画像が制御部11に入力され、再度顔認識処理を行なう。この二次顔撮影により得られた顔画像により行なわれる顔認識処理は二次ユーザー認識処理である。なお、上記の一次ユーザー認識処理と二次ユーザー認識処理とは同じ処理で行なわれるが、後者は照明装置16を点灯させて撮影した撮影画像を用いるので、より認識し易くなっている。
When the
S108にて照明装置16が点灯すると、そこから予め定められた時間(例えば5sec)が経過するまで照明装置16の点灯状態を継続し、予め定められた時間が経過してなおS104にて顔認識処理によるユーザー特定が完了しない場合にはS110に進み、顔認識ができなかったことをマスター制御装置20に送信し、S111にて照明装置16を消灯状態とした上で、本プログラムを終了する。なお、このプログラムは周期的に繰り返し実行される。
When the
このプログラムによれば、露光不足等のため鮮明な撮影画像が得られずユーザー認識に仮に失敗しても、その結果を受けて照明光を点灯することにより、次回はユーザー認識に好都合な鮮明度を有した顔画像を確実に得ることができる。その結果、ユーザーを確実に特定することができる。また、失敗した場合にのみ照明光が点灯するので、無駄な点灯制御、点灯駆動がなされない利点もある。 According to this program, even if the user recognition fails due to insufficient exposure, etc., even if the user recognition fails, the illumination light is turned on in response to the result, and the next time the visibility is convenient for user recognition. It is possible to reliably obtain a face image having As a result, the user can be reliably identified. Further, since the illumination light is turned on only when it fails, there is an advantage that useless lighting control and lighting driving are not performed.
なお、ユーザー認識プログラムは、図10の流れのものであってもよい。このプログラムでは、撮影装置15による顔撮影と、撮影された顔画像に基づくユーザー認識処理とを周期的に反復実行するとともに、ユーザー認識に一度成功した後、ユーザー認識処理のその後の反復過程においてユーザー認識に失敗した場合においても、当該失敗認識回数が予め定められた回数に到達するまでは該失敗認識結果を出力させないようにするものである。以下、図10に示すユーザー認識プログラムの流れを説明する。
Note that the user recognition program may have the flow shown in FIG. In this program, the face photographing by the photographing
S201〜S205では上記図8のプログラムの(S101〜S105)と同一の処理が行なわれる。 In S201 to S205, the same processing as (S101 to S105) of the program of FIG. 8 is performed.
S205では、S204の顔認識の結果、撮影された顔画像が登録されたユーザーの顔と一致するか否かを判定しており、一致すればS206に進む。S206では予め定められた制御部11の予め定められた記憶領域に記憶される失敗認識回数NをN=0にリセットする。そして、S207にて、過去に顔認識がなされたときに「1」がセットされる顔認識済みフラグTをT=1にセットして、S208で特定されたユーザーの特定ユーザー情報をマスター制御装置20に送信し、本プログラムを終了する。
In S205, it is determined whether the captured face image matches the registered user's face as a result of the face recognition in S204, and if they match, the process proceeds to S206. In S206, the failure recognition count N stored in a predetermined storage area of the
S205で、撮影された顔画像が登録されたユーザーの顔と一致しなかった場合にはければ、S209に進む。S209では、顔認識済みフラグTが「1」であるか否かを判定し、「1」でない場合、即ち「0」である場合にはS213に進み、顔認識ができなかったことをマスター制御装置20に送信して本プログラムを終了する。
If it is determined in S205 that the photographed face image does not match the registered user's face, the process proceeds to S209. In S209, it is determined whether or not the face recognized flag T is “1”. If it is not “1”, that is, if it is “0”, the process proceeds to S213, and it is mastered that face recognition could not be performed. It transmits to the
S209で、顔認識済みフラグTが「1」であった場合は、S210に進んで失敗認識回数NをN=N+1とする。S211では、S210の結果N=3であるか否かを判定する。N=3であった場合には、顔認識済みフラグTをT=0にセットしてS213に進み、顔認識ができなかったことをマスター制御装置20に送信して本プログラムを終了する。N=3ではない場合には、そのまま本プログラムを終了する。なお、このプログラムは周期的に繰り返し実行される。
If the face recognition flag T is “1” in S209, the process proceeds to S210, and the failure recognition count N is set to N = N + 1. In S211, it is determined whether or not N = 3 as a result of S210. If N = 3, the face recognized flag T is set to T = 0, the process proceeds to S213, the fact that face recognition could not be performed is transmitted to the
このプログラムによれば、一度ユーザー認識がなされれば、予め定められた回数以内の失敗認識が合っても、これにより直ちに認識NG判定して、これを出力することはない。撮影対象への照明状態は対象姿勢・動作や環境光の状況に応じて随時代わるので、それが原因で認識NGと認識OKとが繰り返し出力されると、それをもとに制御を行なう側、本実施形態においてはマスター制御装置20側の制御負荷が大きくなってしまうが、上記プログラムによれば、予め定められた回数の失敗認識では認識NG判定が外部に出力されないので、マスター制御装置20側の制御負荷は低減される。
According to this program, once user recognition is made, even if failure recognition within a predetermined number of times is met, a recognition NG determination is immediately made by this, and this is not output. Since the lighting state of the object to be photographed changes depending on the target posture / motion and the state of the ambient light, when the recognition NG and the recognition OK are repeatedly output due to this, the control side based on that is performed. In the present embodiment, the control load on the
なお、ユーザー認識プログラムは、上記図8のプログラムのように、一次ユーザー認識処理と二次ユーザー認識処理とを実行し、かつ、上記図10のプログラムのように、失敗認識回数が予め定められた回数に到達するまで失敗認識結果を出力させないようにプログラムが構成されていてもよい。これにより、上記プログラムの双方の効果を実現することが可能となる。 The user recognition program executes a primary user recognition process and a secondary user recognition process as in the program of FIG. 8, and the number of times of failure recognition is predetermined as in the program of FIG. The program may be configured not to output the failure recognition result until the number of times is reached. As a result, the effects of both of the above programs can be realized.
次に、顔認識装置10を用いた自動車用制御システム1について説明する。
図1に示すように、マスター制御装置20自身のROMに記憶された動作制御アプリケーションを実行することで、制御対象となる装置513,541,511,515等の動作を制御している。マスター制御装置20は顔認識装置10から入力されるユーザー認識結果(ユーザー特定情報)に応じてその制御内容を変更する。つまり、マスター制御装置20は、認識したユーザーに応じた制御を実行する。
Next, the
As shown in FIG. 1, the operation of the
例えば、認識したユーザーに応じて、マスター制御装置20がドアロック装置513を制御することができる。具体的には、車外撮影装置15で撮影された顔画像により、顔認識装置10側が予め登録されたユーザーであると認識した場合に、ドアロックを解除する制御を行なうことができる。
For example, the
また、認識したユーザーに応じて、マスター制御装置20がスライドドア装置541を制御することができる。具体的には、車外撮影装置15で撮影された顔画像により、顔認識装置10側が予め登録されたユーザーであると認識した場合で、その認識されたユーザーが子供又は老人であった場合には、スライドドアを自動オープンする制御を行なうことができる。
Further, the
また、認識したユーザーに応じて、マスター制御装置20が室内イルミネーション装置511を制御することができる。具体的には、撮影装置(特に車内撮影装置)15で撮影された顔画像により認識されたユーザーに応じて、該ユーザーに対応付けて予め登録された室内イルミネーションの設定に切り替える制御を行なうことができる。
Further, the
また、認識したユーザーに応じて、マスター制御装置20が音楽再生装置515を制御することができる。具体的には、撮影装置(特に車内撮影装置)15で撮影された顔画像により認識されたユーザーに応じて、該ユーザーに対応付けて予め登録された音楽リストに従い、音楽再生装置の再生制御を行なうことができる。
Further, the
次に、自動車用制御システム1の具体的な実施形態の一例を説明する。
図11は、本発明の自動車用制御システム1の一実施形態である、自動車用もてなし情報提供システムの機能が組み込まれた自動車用ユーザーもてなしシステム(以下、単に「もてなしシステム」ともいう)1の概念ブロック図である。該もてなしシステム1は、種々のもてなし動作部502〜517,534,541,548,549,550,551,552,1001Bが接続された第一のコンピュータからなるもてなし実行制御部3と、種々のセンサ・カメラ群518〜528が接続された第二のコンピュータからなるもてなし意思決定部2とからなる自動車側搭載部100Aを、その要部とする形で構成されている。第一のコンピュータと第二のコンピュータは、いずれもCPU,ROM,RAMを備え、ROMに格納された制御ソフトウェアを、RAMをワークメモリとして実行することにより、後述の種々の機能を実現する。
Next, an example of a specific embodiment of the
FIG. 11 shows a concept of an automobile user hospitality system (hereinafter also simply referred to as “hospitality system”) 1 incorporating functions of an automobile hospitality information providing system, which is an embodiment of the
なお、もてなし意思決定部2の一部には、図1に示す上記実施形態における顔認識装置10が顔認識部10として組み込まれており、同じく上記実施形態におけるマスター制御部20は、当該顔認識部10を除くもてなし意思決定部2及びもてなし実行制御部3に相当するものである。顔認識部10を含むもてなし意思決定部2には、ユーザー認識用に次のようなセンサ・カメラ群が接続されている。
・車外用カメラ518(上記実施形態における車外撮影装置15に相当する):自動車に接近してくるユーザーの姿を撮影する。ユーザーの仕草や顔の表情などを静止画ないし動画として取得する。遠距離のユーザーを撮影する又はユーザーの顔部分のみを拡大して撮影するために、望遠レンズを用いた光学式ズーム方式や、撮影画像をデジタル的に拡大するデジタルズーム方式を併用することができる。
・顔カメラ521(上記実施形態における車内撮影装置15に相当する):着座したユーザーの顔の表情を撮影する。この実施形態においては、バックミラー等に取り付けられ、フロントグラス側から運転者を斜め上方から、シートに着座したユーザー(運転者)の顔を含む上半身を撮影するものとする。助手席側も同様にバックミラー等に取り付けられる。後部座席側は上記実施形態と同様に取り付けられる。取り付けられた顔カメラからは、それぞれに対応する座席の搭乗者の上半身を撮影できる。その撮影画像から顔部分の画像を切り出し、ユーザーの種々の表情を予め撮影して用意されたマスター画像と比較することにより、ユーザーの顔認証のみならず、人以外の荷重源が載置された場合と、人が着座した場合とを相互に区別でき、さらには、着座したユーザーの種々の表情の特定も可能である。
In addition, the
Vehicle exterior camera 518 (corresponding to the vehicle
Face camera 521 (corresponding to the in-car
また、顔認識部10を含むもてなし意思決定部2には、撮影装置15の撮影領域内に存在する撮影対象、又は当該撮影領域内に接近する撮影対象を検出する次のようなセンサ・カメラ群が接続されている。このセンサ・カメラ群の撮影対象の検出が、一次顔撮影処理実行のトリガーとなる。
・着座センサ520(上記実施形態における撮影対象検出部31に相当する):ユーザーが座席に着座したか否かを検出する。自動車のシートに埋設される近接スイッチ等で構成することができる。なお、感圧センサを用いることもできる。この場合、感圧センサをシートに装着することで、シート上でのユーザーの動作を検出することも可能となる。
・ドアカーテシスイッチ537(上記実施形態における撮影対象検出部31に相当する):ドアの開閉を検知する。乗り込みシーン及び降車シーンへの移行を検出する、シーン推定情報取得手段として使用される。
In addition, the
Seating sensor 520 (corresponding to the photographing
Door courtesy switch 537 (corresponding to the photographing
なお、ユーザー側端末装置(携帯電話)100に位置情報を取得するための周知のGPSを設け、これも車両側のGPS533とともに撮影対象検出部として機能する。
Note that a well-known GPS for obtaining position information is provided in the user-side terminal device (mobile phone) 100, and this also functions as a photographing target detection unit together with the
また、その他にもセンサ・カメラ519、522〜528を有し、これらはシーン推定情報取得手段や生体状態検出部として機能する。 In addition, sensors / cameras 519 and 522 to 528 are provided, and these function as a scene estimation information acquisition unit and a biological state detection unit.
もてなし意思決定部2には、エンジン始動を検知するためのイグニッションスイッチ538の出力も分岐入力されている。また、車内の明るさレベルを検出する照度センサ539、車内の音響レベルを測定する音圧センサ540も、もてなし意思決定部2に同様に接続されている。
The hospitality
また、もてなし意思決定部2には、タッチパネル(図20に示すカーナビゲーション装置534のモニターに重ねられたタッチパネルで兼用してもよい:この場合は、入力情報はもてなし実行制御部3からもてなし意思決定部2に転送される)等で構成された入力部529と、もてなし動作情報記憶部として機能するハードディスクドライブ等で構成された記憶装置535とが接続されている。
Further, the hospitality
なお、ユーザー認識処理の方法は、図1に示す上記実施形態と同様である。撮影対象検出部31に相当するセンサが撮影対象(人)を検出している状態で、一次顔撮影又は二次顔撮影がなされ、撮影された画像から得られる顔特徴情報とユーザー登録部(顔登録部)17(もてなし意思決定部2のROMの一部記憶領域:図11参照)に記憶された顔特徴情報(マスター情報)とを比較し、ユーザー特定を行う。
The method of user recognition processing is the same as that in the above embodiment shown in FIG. In a state where a sensor corresponding to the photographing
ここで、自動車用もてなし情報提供システム1におけるユーザー登録について説明する。自動車のユーザーは、ユーザー登録部17(例えば、もてなし意思決定部2のROM(書換えが可能となるように、フラッシュROMで構成しておくことが望ましい):上記した実施形態における顔登録部を有する)や記憶装置535に予め登録しておくことができる。このユーザー登録部17には、図12に示すように、各ユーザー名(あるいは、ユーザーID(及び暗証番号)と、その顔画像(ユーザー認識用のマスター顔画像)とを互いに対応付けられた形で登録されている。
Here, user registration in the hospitality
具体的には、図11のモニター536(カーナビゲーション装置534のモニターで代用してもよい)に、表情特定が可能な正面画像が得られるよう撮影角度に関する注意事項を表示した上で、座席に着座したユーザーを撮影装置15(ここでは車内撮影装置15を用いる)により撮影する。そして、撮影されたユーザー認識用のマスター顔画像をユーザー名(ユーザー特定情報)に対応付けてユーザー登録部17に記憶する。なお、撮影した顔画像により正しく顔認識処理が行なえるか確認するステップを設け、正しく認識されなかった場合には画像で再度撮影を行なうようにしてもよい。
Specifically, on the
また、本実施形態においては、図12に示すように、各ユーザー名に対し、各ユーザーの年齢、性別、さらに性格種別(図16参照)を互いに対応付けて登録する。性格種別は、前述のごとく、ユーザーによる自動車使用継続中に、特定の操作部における操作履歴情報として取得・蓄積し、その蓄積された操作履歴情報に基づいて推定されるものである。しかし、自動車の使用開始直後など、操作履歴情報の蓄積が不十分な場合、あるいは、操作履歴情報を敢えて収集せずに性格種別を推定したい場合は、次のように、性格種別情報又は該性格種別情報を特定するために必要な情報を、ユーザー自身により入力させ、その入力結果に基づいて性格種別を決定するようにしてもよい。 Further, in the present embodiment, as shown in FIG. 12, the age, sex, and personality type (see FIG. 16) of each user are registered in association with each user name. As described above, the personality type is acquired and accumulated as operation history information in a specific operation unit while the user continues to use the vehicle, and is estimated based on the accumulated operation history information. However, if the operation history information is insufficiently accumulated, such as immediately after the start of use of the car, or if it is desired to estimate the personality type without collecting the operational history information, the personality type information or the personality Information necessary for specifying the type information may be input by the user himself and the personality type may be determined based on the input result.
まず、図22に示すように、図11のモニター536(カーナビゲーション装置534のモニターで代用してもよい)に性格種別を表示し、ユーザーは自分に適合する性格種別を選んで、入力部529からこれを入力する方法がある。ここでは、入力部はモニター536に重ねられたタッチパネルであり、表示形成された選択ボタン529Bに触れて選択入力を行なう。他方、図23に示すように、性格種別を直接入力させる代わりに、性格種別判定のためのアンケート入力を行なう方法もある。この場合、モニター536にアンケートの質問事項を表示し、ユーザーは回答選択肢から回答を選ぶ形で答える(ここでは、画面上の選択ボタンで選択肢を構成し、この上に重ねられたタッチパネルの該当位置に触れて選択入力を行なう)。全ての質問に回答することで、その回答の組み合わせに応じて予め定められた性格種別群から、1つのものが一義的に決定されるようになっている。
First, as shown in FIG. 22, the personality type is displayed on the
そして、ユーザー名(ユーザー特定情報)を含めたユーザー登録入力は、上記の入力部529からなされ、撮影された顔画像及び決定された性格種別とともにユーザー登録部17に記憶される。また、これらの一連の入力は、携帯電話1から行なうことも可能であり、この場合は、その入力情報を無線により自動車側に転送する。また、ユーザーが自動車購入する際に、入力部529か専用の入力ツールを用いて、ディーラー側で事前にユーザー登録入力を済ませておく方法もある。この場合、ユーザー名と、年齢、性別も合わせて入力し、ユーザー登録情報として互いに対応付けて記憶しておく。また、前述のように、そのユーザーの性格種別が特定できた場合は性格コードも合わせて登録しておく。これにより、登録ユーザーの認証を顔画像の撮影(一次顔撮影及び二次顔撮影)により行ない、登録ユーザーに応じたもてなし動作を実行できるとともに、実行されるもてなし動作の実行・選択に、認識されたユーザーの性格種別を反映させることも可能となる。
The user registration input including the user name (user identification information) is made from the
上記のもてなしシステム1においては、ユーザーが自動車に向けて接近し、該自動車に乗り込み、該自動車を運転し又は車内にて滞在し、その後、降車に至るまでのユーザーの自動車利用に係る一連の動作が、予め定められた複数のシーンに区切られる。そして、区切られた複数のシーン毎に、もてなし動作部502〜517,534,541,548,549,550,551,552,1001Bが、ユーザーによる自動車の利用を補助するための、又はユーザーを楽しませるためのもてなし動作を行なう。本実施形態では、車外への音波発生装置としてホーン502、ブザー503が接続されている。また、照明装置(ランプ類)としては、ヘッドランプ504(ビームをハイとローとで切り替え可)、フォグランプ505、ハザードランプ506、テールランプ507、コーナリングランプ508、バックアップランプ509、ストップランプ510、室内照明511及び床下ランプ512が接続されている。また、他のもてなし動作部として、エアコン514、カーオーディオシステム(カーステレオ)515、電動シート516及びサイドミラーやバックミラーなどの角度調整用の駆動部517、カーナビゲーション装置534、ドア開閉用のアシスト機構(以下、ドアアシスト機構という)541、車内に芳香剤を放出する芳香発生部548、重度体調不良(重度の眠気を催した状態を含む)に対する気付け・覚醒用のアンモニア発生部549(運転用のハンドルの中心部に、運転者の顔付近を目指す形でアンモニアを噴出するように取り付けられている)、運転者に注意喚起したり眠気から覚醒させるためのシートバイブレータ550(シート底部あるいは背もたれ部に埋設される)、ハンドルバイブレータ551(ハンドルの軸に取り付けられている)、車内騒音低減用のノイズキャンセラ1001Bが接続されている。また、もてなし実行制御部3には、自動車位置情報を取得するためのGPS533(カーナビゲーション装置534においても使用する)、ブレーキセンサ530、車速センサ531及び加速度センサ532も接続されている。
In the
なお、シーンは、本実施形態では、接近シーンSCN1、乗り込みシーンSCN2、準備シーンSCN3、運転/滞在シーンSCN4、降車シーンSCN5及び離脱シーンSCN6が、時系列的にこの順序で設定されている。 In this embodiment, in this embodiment, the approach scene SCN1, the boarding scene SCN2, the preparation scene SCN3, the driving / staying scene SCN4, the getting-off scene SCN5, and the leaving scene SCN6 are set in this order in time series.
接近シーンSCN1の特定は、後述するごとく、ユーザー側端末装置100のGPSと、自動車側のGPS533とにより、自動車と、当該自動車外に位置するユーザーとの相対距離及びその変化を特定し、ユーザーが自動車へ予め定められた距離以内に接近したことを検出することで行なう。乗り込みシーンSCN2と降車シーンSCN5とは、ドアカーテシスイッチ537のドア開検知出力に基づいて特定する。ただし、単にドア開の情報だけでは乗り込みシーンか降車シーンかを特定できないから、もてなし意思決定部2のRAM内に、現在シーン特定情報を記憶保持する現在シーン特定情報記憶手段として、シーンフラグを設けることで対応するようにしている。シーンフラグは各シーンに対応した個別シーンフラグを有し、時系列順に到来順序が定められた各シーンが到来する毎に、そのシーンに対応するフラグを「到来(フラグ値1)」に設定してゆく。シーンフラグにて、値が「1」になっているフラグの最新のもの(「1」フラグ列の末尾のもの)を特定することで、現在どのシーンまで進んできているかを特定できる。
As will be described later, the approach scene SCN1 is specified by specifying the relative distance between the vehicle and the user located outside the vehicle and its change by the GPS of the user terminal device 100 and the
また、準備シーンSCN3と運転/滞在シーンSCN4とは、いずれも前述の着座センサがユーザーを検出しているか否かにより特定するが、自動車に乗り込んでイグニッションスイッチ538がONになるまでの間、あるいは、イグニッションスイッチ538がONにならず、かつ一定以上の着座継続が確認されるまでの間は、準備シーンとして認識される。また、離脱シーンSCN6への移行は、降車シーンSCN5のあと、ドアカーテシスイッチ537がドア閉を検知することで識別される。 The preparation scene SCN3 and the driving / staying scene SCN4 are both identified by whether or not the above-described seating sensor detects the user, but until the ignition switch 538 is turned on after entering the automobile, or Until the ignition switch 538 is not turned on and the continuation of sitting beyond a certain level is confirmed, it is recognized as a preparation scene. The transition to the leaving scene SCN6 is identified by the door courtesy switch 537 detecting the door closing after the getting-off scene SCN5.
各シーンにおけるもてなし動作は、対応するもてなし動作部の動作制御アプリケーションにより制御される。もてなし意思決定部2側で決定されたテーマがもてなし実行制御部3に通知され、そこで対応するシーンの動作制御アプリケーションが読み出され、実行される。動作制御アプリケーションの実行に際しては、各もてなしテーマのもとで統括されている複数のもてなし動作に対し、ユーザーが当該もてなしを指向する度合いに応じて採用の優先順位が予め定められており、各シーンにおいて、用意された前記複数のもてなし動作のうち、その優先順位の高いものから選択される。
The hospitality operation in each scene is controlled by the operation control application of the corresponding hospitality operation unit. The theme determined on the hospitality
上記構成を有するもてなしシステムにおいては、もてなし意思決定部2の顔検出部10がユーザー特定情報を出力し、その内容に応じてどのもてなし動作部にどのようなもてなし動作をさせるかを決定して、これをもてなし実行制御部3に指令する。もてなし実行制御部3は、これを受けて、対応するもてなし動作部502〜517,534,541,548,549,550,551,552,1001Bにもてなし動作を実行させる。すなわち、もてなし意思決定部2ともてなし実行制御部3とが互いに協働して、取得されたユーザー生体状態情報の内容に応じてもてなし動作部502〜517,534,541,548,549,550,551,552,1001Bの動作内容を変化させる機能を実現する。
In the hospitality system having the above-described configuration, the
以下、もてなし実行制御部3により制御される上記もてなし動作部502〜517,534,541,548,549,550,551,552,1001Bのうち、上記顔認識部10から出力されるユーザー特定情報に基づいて制御がなされるものについて説明を行なう。
Hereinafter, among the
まず、もてなし動作としての室内イルミネーションについて説明する。室内イルミネーションにおいては、車両側に登録された登録ユーザー毎に室内イルミネーション用の点灯条件(点灯色・点灯パターン等)が設定されており、顔認識部10によりユーザーが認識されると、予め定められたシーンの到来とともに、認識された登録ユーザーに応じた点灯条件で室内照明511が点灯する。
First, indoor illumination as a hospitality operation will be described. In indoor illumination, lighting conditions (lighting color, lighting pattern, etc.) for indoor illumination are set for each registered user registered on the vehicle side, and are determined in advance when the user is recognized by the
図13は、室内照明511の構成例を示すもので、各々固有の照明色からなる複数の照明部(本実施形態では、赤色系照明511r、アンバー系照明511u、黄色系照明511y、白色系照明511w及び青色系照明511bからなる)を有する。これらの照明は、もてなし意思決定部2からもてなし実行制御部3を経て入力される制御指令信号を受けて、指定されたものが選択され、制御指令信号に従い種々の点灯パターンにて点灯制御される。点灯色及び点灯パターンは、登録ユーザー毎に設定されている。図14は、登録ユーザー毎に設定された点灯設定条件(点灯制御データ)の構成例を示すもので、もてなし意思決定部2のROMに記憶されている。例えば、ユーザー1(図12参照)に対しては、赤色系照明511rを選んでこれをフラッシュ点灯(最初のみ、その後連続点灯)させ、ユーザー2に対しては、アンバー系照明511uを選んでフェードイン点灯させる、などであるが、これはほんの一例である。室内照明511の点灯は、顔認識部10によりユーザーが認識されると該顔認識部10からユーザー特定情報が出力され、もてなし意思決定部2がその入力を受けてユーザーが特定され、さらに、対応するシーンが到来すると、もてなし意思決定部2が、入力されたユーザー特定情報に対応する点灯設定条件をROMから読み出し、もてなし実行制御部3に点灯指令信号及び点灯条件信号を出力し、もてなし実行制御部3が、対応する照明部に対し制御指令信号を出力して、照明部を発光させる。なお、ROMに記憶される点灯条件設定は、入力部529からの入力操作によってカスタマイズ可能であり、点灯色・点灯パターンをユーザーが任意に設定することができる。
FIG. 13 shows a configuration example of the
なお、照明装置は、白熱電球、蛍光ランプのほか、発光ダイオードを用いた照明装置を採用することも可能である。特に、赤色系(R)、緑色系(G)、青色系(B)の3原色の発光ダイオードを組み合わせることにより、種々の照明光を簡単に得ることができる。各色の発光ダイオードへの指令信号の入力波形は、各々独立に変更可能であり、3つの発光色の混合比率に応じて任意の色調の照明色が得られ、また、色調や照明強度パターンを、指令信号の入力波形に応じて経時的に変化させることも可能である。なお、各色の発光ダイオードの発光強度は、PWM制御する方式のほか、連続点灯を前提として駆動電流レベルにて調整することも可能であるし、これとPWM制御とを組み合わせた方式も可能である。 In addition to the incandescent light bulb and the fluorescent lamp, the lighting device using a light emitting diode can be adopted as the lighting device. In particular, various illumination lights can be easily obtained by combining light emitting diodes of the three primary colors of red (R), green (G), and blue (B). The input waveform of the command signal to each color light emitting diode can be changed independently, and an illumination color of an arbitrary color tone can be obtained according to the mixing ratio of the three emission colors, and the color tone and illumination intensity pattern can be changed. It is also possible to change over time according to the input waveform of the command signal. In addition to the PWM control method, the light emission intensity of each color light emitting diode can be adjusted at the drive current level on the premise of continuous lighting, or a combination of this and PWM control is also possible. .
この室内イルミネーションを接近シーンSCN1において実行することで、自動車に搭載された照明類を、ユーザーの出迎え演出のためのイルミネーションとして使用でき、気分高揚等に寄与する。また、夜間や暗所の場合、駐車した自動車の位置を把握しやすくできる利点も生ずる。離脱シーンSCN6において実行してユーザーの見送り演出を行なってもよい。 By executing this indoor illumination in the approach scene SCN1, the lighting mounted on the automobile can be used as illumination for the user's welcome effect, which contributes to raising the mood. Also, at night or in a dark place, there is an advantage that the position of the parked automobile can be easily grasped. It may be executed in the leaving scene SCN6 to perform a user see-off effect.
また、この場合、照明装置として、自動車に搭載された自動車外空間を照らし出す他の照明装置(ヘッドランプ、テールランプ、ハザードランプなど:室内灯も窓ガラスを介した漏洩により車外空間を照らすことができる)を加えてもよい。これにより上記効果は一層増す。 Also, in this case, as the lighting device, other lighting devices that illuminate the space outside the vehicle mounted on the vehicle (head lamps, tail lamps, hazard lamps, etc .: indoor lights can also illuminate the space outside the vehicle due to leakage through the window glass. Can be added). This further increases the above effect.
また、もてなし制御部は、既に動作中のもてなし動作部の停止、及び未動作のもてなし動作部の動作開始の少なくともいずれか(当然、両者の組み合わせである、複数のもてなし動作部間での動作切り替えを含む)に基づいて、ユーザーと自動車との距離に応じてもてなし動作部の動作内容を段階的に変化させるものとして構成することができる。この構成によると、ユーザーと自動車との距離に適当な閾値を定め、閾値を超えて自動車に接近するかどうかの簡単な判定で、個々のもてなし動作部を単位として動作/非動作の切り替え制御を行なえばよく、上記効果を比較的軽量な制御処理にて達成することが可能となる。 In addition, the hospitality control unit switches at least one of the operation of the hospitality operation unit that is already in operation and the start of the operation of the non-operational hospitality operation unit (of course, a combination of both operations between a plurality of hospitality operation units). The content of the operation of the hospitality operation unit can be changed stepwise depending on the distance between the user and the automobile. According to this configuration, an appropriate threshold value is set for the distance between the user and the vehicle, and a simple determination as to whether or not the vehicle approaches the vehicle by exceeding the threshold value, and switching control of operation / non-operation for each hospitality operation unit is performed. The above-described effect can be achieved by a relatively lightweight control process.
上記照明装置によるもてなし動作の場合、もてなし制御部は、ユーザー側端末装置と自動車との距離が縮小するにつれて総照明光量が減少するように、照明装置を点灯制御することができる。自動車までの距離が長い段階では、総照明光量を高めることで、自動車までの間に障害物等の異常がないかをより把握しやすくすることができ、自動車までの距離が縮小すれば、必要な視野だけを照らすことができるよう、光量を少なくすれば無駄を排除することができ、また照明光源に接近したときの眩しさも軽減できる。 In the case of the hospitality operation by the lighting device, the hospitality control unit can control lighting of the lighting device so that the total amount of illumination light decreases as the distance between the user terminal device and the automobile decreases. When the distance to the car is long, increasing the total illumination light quantity makes it easier to understand whether there are any obstacles etc. between the car and it is necessary if the distance to the car decreases. In order to illuminate only the field of view, if the amount of light is reduced, waste can be eliminated, and glare when approaching the illumination light source can be reduced.
次に、もてなし動作として機能するカーオーディオシステムについて説明する。カーオーディオシステムでは、車両側に記憶される選曲実績記憶部403(図11の記憶装置535内に形成されている)の実績を反映する形で再生される曲に係るもてなし用曲演奏制御情報(曲特定情報やボリュームコントロール情報を含む)が作成され、予め定められたシーンの到来とともに、該曲リストに基づいて曲の再生が実行される。
Next, a car audio system that functions as a hospitality operation will be described. In the car audio system, the music performance control information for hospitality related to the music that is reproduced in a manner that reflects the performance of the music selection performance storage unit 403 (formed in the
図15は、カーオーディオシステム515の構成例を示すもので、もてなし意思決定部2からもてなし実行制御部3を経て、曲特定情報やボリュームコントロール情報などの、もてなし用曲演奏制御情報が入力されるインターフェース部515aを有する。該カーオーディオシステム515も、本発明の自動車用もてなし情報提供装置の機能出力部分を担うものであり、インターフェース部515aには、デジタルオーディオ制御部515e、多数の音楽ソースデータを格納した音楽ソースデータベース515b,515c(前者はMPEG3データベース、後者はMIDIデータベース)が接続されている。曲特定情報に基づいて選曲された音楽ソースデータはインターフェース部515aを経てオーディオ制御部515eに送られ、そこでデジタル音楽波形データにデコードされ、アナログ変換部515fでアナログ変換された後、プリアンプ515g及びパワーアンプ515hを経て、もてなし用曲演奏制御情報により指定されたボリュームにてスピーカー515jから出力される。
FIG. 15 shows an example of the configuration of the
図16は、上記音楽ソースデータのデータベース構造の一例を示すもので、曲ID、曲名及びジャンルコードと対応付ける形で音楽ソースデータ(MPEG3又はMIDI)が記憶されている。また、各音楽ソースデータには、その音楽を選曲したユーザーについて推定される性格種別(「活動的」、「おとなしい」、「楽観的」、「悲観的」、「頽廃的」、「体育会系」、「知性派」、「ロマンチスト」など)を示す性格コード、同じく年齢コード(「幼児」、「子供」、「ジュニア」、「青年」、「壮年」、「中年」、「熟年」、「敬老」、「年齢無関係」など)、性別コード(「男性」、「女性」及び「性別無関係」)が個々に対応付けて記憶されている。性格コードはユーザー性格特定情報の一つであり、年齢コード及び性別コードは、性格とは無関係なサブ分類である。ユーザー特定情報からユーザーの性格が特定できても、年齢層や性別に合わない音楽ソースを選択したのでは、ユーザーを楽しませる「もてなし」としての効果は半減する。従って、ユーザーに提供する音楽ソースの適性をより絞り込むために、上記のようなサブ分類付与は有効である。 FIG. 16 shows an example of the database structure of the music source data, in which music source data (MPEG3 or MIDI) is stored in association with the song ID, song name, and genre code. In addition, each music source data includes the personality type estimated for the user who selected the music (“active”, “adult”, “optimistic”, “pessimistic”, “degenerate”, “athletic” ”,“ Intellect ”,“ romanticist ”, etc., as well as the age code (“ infant ”,“ children ”,“ junior ”,“ young ”,“ middle age ”,“ middle age ”,“ mature age ” “Respect for the elderly”, “age unrelated”, etc.) and gender codes (“male”, “female” and “gender unrelated”) are stored in association with each other. The personality code is one of the user personality specifying information, and the age code and the sex code are sub-classes unrelated to the personality. Even if the personality of the user can be identified from the user-specific information, selecting a music source that does not match the age group or gender halves the effect of “hospitality” to entertain the user. Therefore, in order to further narrow down the suitability of the music source provided to the user, the sub-classification as described above is effective.
一方、各音楽ソースデータには、曲モードコードも個々に対応付けて記憶されている。曲モードコードは、その曲を選曲したユーザーの精神状態や体調と、当該曲との連関を示すデータであり、本実施形態では、「盛り上げ系」、「爽快系」、「温和・癒し系」、「ヒーリング・α波系」等に分類されている。なお、性格種別コード、年齢コード、性別コード、ジャンルコード及び曲モードコードは、各ユーザーに固有のもてなし内容を選定する際に参照するデータなので、これらを総称してもてなし参照データと呼ぶことにする。 On the other hand, each music source data also stores a song mode code in association with each other. The song mode code is data indicating the mental state and physical condition of the user who selected the song, and the relationship between the song and the song. In the present embodiment, the song mode code is “smooth”, “exhilarating”, “warm / healing”. And “Healing / α-wave system”. Since the personality type code, age code, gender code, genre code, and song mode code are data to be referred to when selecting the hospitality content specific to each user, these are collectively referred to as hospitality reference data. .
カーオーディオシステム515には、ユーザーが手動で操作する操作部515d(図15)が設けられ、ここからの選曲データの入力により、所望の音楽ソースデータを読み出して演奏することもできる。また、操作部515dからのボリューム/トーンコントロール信号は、プリアンプ515gへ入力される。この選曲データは、インターフェース部515aから、図11のもてなし実行制御部3を経てもてなし意思決定部2へ転送され、これに接続された記憶装置535に選曲実績データ403(図17)として蓄積される。予め定められたシーンが到来すると、もてなし意思決定部2がその蓄積内容に基づいて曲リストを作成し、その曲リストに含まれる曲の再生が順次行なわれる。なお、もてなし意思決定部2が1曲ずつ順次曲を選択するものであってもよい。
The
ただし、もてなし意思決定部2が自動選択した曲が気に入らなければ、ユーザーは操作部515d(図15)からの入力により、いつでも好きな曲に演奏を切り替えることができる。ユーザーが自身で選曲した場合は、図17に示すように、そのユーザーの特定情報(ユーザー名あるいはユーザーID)と、選曲された音楽ソースデータのIDと、前述のもてなし参照データ(性格種別コード、年齢コード、性別コード、ジャンルコード及び曲モードコード)とが互いに対応付けられた形で、選曲実績記憶部403に記憶される。本実施形態では、選曲の日時、ユーザーの性別及び年齢も合わせて記憶されている。
However, if the user does not like the song automatically selected by the hospitality
選曲実績記憶部403には、図18に示すように、登録ユーザー別に、その選曲実績の統計情報404(図11の記憶装置535に記憶されている)が作成される。この統計情報404では、選曲データが、性格コード別(SKC)にカウントされ、どの性格種別の曲が最も多く選曲されたかが数値パラメータとして特定される。最も単純な処理としては、選曲頻度が最も高い性格種別を、そのユーザーの性格として特定することが可能である。例えば、統計情報404に蓄積されている選曲実績数が一定レベルに到達すれば、例えばユーザー入力により初期設定された性格種別を、統計情報404から上記のごとく導かれた性格種別と置き換えるようにすればよい。
As shown in FIG. 18, the music selection
この音楽再生を、準備シーンSCN3や運転/滞在シーンSCN4の到来に基づいて実行する、又はユーザーの操作部515dの操作に基づいて実行することで、自動車に搭載されたカーオーディオ機器をより快適に利用することができる。また、接近シーンSCN1(又は離脱シーンSCN6)において実行することで、ユーザーの出迎え(見送り)演出を行なうことができ、ユーザーの精神状態の向上ないし改善に寄与する。
The music playback is executed based on the arrival of the preparation scene SCN3 and the driving / staying scene SCN4, or based on the operation of the
次に、ドアアシスト機構541について説明する。ドアアシスト機構541では、車両側に登録ユーザー毎に記憶される年齢情報(年齢コード)に基づいて、ドア開閉時におけるアクチュエータ(ドアアシストモータ)の駆動トルクを制御する。
Next, the door assist
自動車には、図3Bに示すように、乗降用のスイング式ドア(以下、単に「ドア」ともいう)1101が、乗降口の一縁にドア旋回軸(図示なし)を介して取り付けられている。ドア1101は、手動操作により乗降口を閉塞する閉塞位置から任意の角度位置へ開放可能とされている。そして、この手動によるドア開操作が、モーター(アクチュエータ:図示なし)によりパワーアシストされる。本実施形態では、ドア1101とともに回動するドア旋回軸(図示なし)に対し、モーターの回転出力を、減速ギア機構を介してトルクアップしつつ、旋回軸にドア開閉アシストの回転駆動力として直接伝達するようにしている。
As shown in FIG. 3B, a swing-type door (hereinafter also simply referred to as “door”) 1101 for getting on and off is attached to an automobile via a door turning shaft (not shown) at one edge of the entrance. . The
ドアアシスト機構541は、ドアの開操作時に、該ドアと干渉する車外の障害物を検出する障害物検出手段(例えば周知の近接スイッチ、反射式光学センサ(赤外線式を含む)あるいは超音波センサなどの障害物センサ)を有し、また、アクチュエータ制御手段は、障害物が検出されていない場合には、ドア開操作時において、アクチュエータによりドア開方向の正アシスト力が生ずる通常アシストモードとなり、障害物検出手段が障害物を検出した場合には、ドア開操作時において、ドアが乗降口を塞ぐ閉位置から障害物に衝突する衝突位置に至るドア旋回区間の少なくとも途中位置まではドアの開操作を可能としつつ、障害物とドアとの衝突は抑制される衝突抑制モードとなるように、アクチュエータによるドアアシストを制御するものとして構成される。
The
アクチュエータは正逆両方向に回転可能なモーターであり、本実施形態ではDCモータにより構成されている(もちろん、インダクションモータ、ブラシレスモータ、ステッピングモータなど、他の種類のモーターを用いてもよい)。アクチュエータ制御手段は、正アシストモードではモーターを正方向に回転させ、逆アシストモードではモーターを逆方向に回転させるものであり、本実施形態では、プッシュプルトランジスタ回路を用いた双方向リニア制御型のモータドライバがアクチュエータ制御手段を構成している。 The actuator is a motor that can rotate in both forward and reverse directions, and is configured by a DC motor in this embodiment (of course, other types of motors such as an induction motor, a brushless motor, and a stepping motor may be used). The actuator control means rotates the motor in the forward direction in the positive assist mode and rotates the motor in the reverse direction in the reverse assist mode. In this embodiment, the actuator control means is a bidirectional linear control type using a push-pull transistor circuit. The motor driver constitutes the actuator control means.
なお、ドア1101は、周知のごとく、車外側操作ノブ及び車内側操作ノブのいずれによっても開閉操作が可能であり、ロックボタンを倒すと、周知のドアロック機構513により、車内外のノブによるドア開閉操作が不能となる。このドアロック機構513がロック状態になったときはモーターを駆動停止するようにしている。
As is well known, the
ドアロック機構513は、ロック部の要部は、ドア1101の旋回軸に設けられたドア側係合部(本実施形態では雄スプライン)と、車体側に固定され、該ドア側係合部に対し旋回軸の旋回角度に応じた任意の角度位相にて着脱可能に係合し、係合状態の角度位相にて旋回軸の旋回をロックする車体側係合部(本実施形態では雌スプライン)とを有する。車体側係合部は、旋回軸の軸線方向においてドア側係合部に対し接近・離間可能に設けられ、接近時に車体側係合部とロック係合状態となり、離間時にロック解除となる。本実施形態においては、この接近・離間機構を周知のソレノイド機構(シリンダ機構等でもよい)にて構成している。ロック部は、障害物検出手段が障害物を検出したときのドア角度位置に応じて(つまり、障害物の位置に応じて)、限界角度位置が可変に定まる。これにより、自動車に対する障害物の相対距離に関係なく、開操作によりドアが近づいてくれば、障害物に当たらないようにドア開操作が妨げられる。
In the
ドアアシスト機構541には、ドア1101の操作力を検出するトルクセンサ等の操作力検出部1002が設けられ、アクチュエータ制御手段により、正アシストモードにおいて、操作力検出部1002が検出するドア操作力が小さくなるほど、正アシスト力が大きくなるようにアクチュエータの動作を制御する。つまり、もてなし意思決定部2は、乗り込みシーンSCN2又は降車シーンSCN5が到来した場合に、乗り込み又は降車するユーザーを認識するとともに、認識されたユーザーの年齢情報(年齢又は年齢コード(「幼児」、「子供」、「ジュニア」、「青年」、「壮年」、「中年」、「熟年」、「敬老」、「年齢無関係」などにより分類))を取得し、取得した年齢情報に基づいて、力が弱いと推定される年齢の人がドア1101を開こうとする場合は、対応するドアのモーターによる正アシスト力が強く作用して楽にドア1101を開くことができる。他方、力が強いと推定される年齢の人が強くドアを開こうとする場合は、正アシスト力は比較的弱く働くことになる。例えば、外部からの操作力によるドア開トルクと正アシスト力によるドア開トルクとの合計がほぼ一定になるように制御すれば、誰が操作してもドア1101をほぼ一定の標準トルクで開くことができる。
The
なお、上記のようなアシスト機構を有したスイング式ドアを採用する態様に代え、周知の電動自動開閉機構ないしアシスト機構を備えた図3Bの電動スライド式ドア1102にも採用することも可能である。
It should be noted that, instead of using the swing type door having the assist mechanism as described above, it is also possible to employ the well-known electric automatic opening / closing mechanism or the electric sliding
次に、ユーザー側端末装置100によるもてなし動作について説明する。携帯電話機100では、登録ユーザー毎に車両に接近したときに流れる音情報(音楽、効果音、声等)を設定し、再生することができる。 Next, the hospitality operation by the user terminal device 100 will be described. The mobile phone 100 can set and reproduce sound information (music, sound effects, voice, etc.) that flows when the user approaches the vehicle for each registered user.
次に、ユーザー側端末装置100は、本実施形態では携帯電話として構成されている(以下、「携帯電話1」ともいう)。携帯電話1は、液晶ディスプレイ等で構成されたモニター、キーボードからなる入力部、送話器及び受話器等を備えている。また、その側面には脈拍センサ(心拍センサ)342も設けられている。
Next, the user terminal device 100 is configured as a mobile phone in the present embodiment (hereinafter also referred to as “
図19は、携帯電話1の電気的構成の一例を示すブロック図である。回路の要部は、入出力部1311と、これに接続されたCPU312、ROM314、RAM313等からなる制御部310を含む。入出力部1311には、入力部305、オンフック/オフフック切換スイッチ306が接続される。また、受話器303はアンプ315とD/A変換器316を介して、送話器304はアンプ317とA/D変換器318を介して、それぞれ入出力部1311に接続されている。さらに、入出力部1311には、携帯電話1の位置情報を取得するための周知のGPS554が接続されている。
FIG. 19 is a block diagram showing an example of the electrical configuration of the
本実施形態では、ユーザー側端末装置1と自動車との距離及び方位関係を把握するために、自動車側のGPS533(図11)に加えてユーザー側端末装置1にもGPS554を設けることで、ユーザー側端末装置1が自立的にその位置情報を取得できるようにしておき、その端末位置情報を、無線通信網を介して自動車側に送信する方式を採用している。これにより、自動車側では、自身に接続されたGPS533による正確な自動車位置と、ユーザー側端末装置1から受信したGPS554による正確な端末位置との双方を取得でき、ユーザー側端末装置1と自動車との距離及び方位関係を極めて正確に把握することができる。また、ユーザー側端末装置1と自動車との距離変化や接近方向変化も事実上リアルタイムに把握できる。
In this embodiment, in order to grasp the distance and azimuth relationship between the user
次に、携帯電話1には、着信音出力や音楽演奏のために、次のような機能が設けられている。すなわち、無線受信によりダウンロードした着信音データや音楽データ(MPEG3データあるいはMIDIデータ:着信音としても使用される)が、音データ用フラッシュROM316に格納される。MIDIデータの場合、MIDIコードに従い音色、音高、音長及びテンポ等が記述された楽音データが楽音合成部357に送られる。楽音合成部357では、その楽音データをバッファリングしつつ、音源として機能する波形ROM358から、指定された音色の波形データを読み出し、MIDIコードの規定する音高となるように周波数変換して、規定されたテンポに従い順次これをデジタル波形データとして出力する。出力されたデジタル波形データは、アナログ変換回路359及びアンプ350を経てスピーカー311から出力される。なお、MPEG3等の圧縮波形データからなる音データの場合は、デコード処理を経てアナログ変換回路359及びアンプ350を経てスピーカー311から出力される。なお、本実施形態では、楽音合成部357による音声出力のタイミング情報がシーケンサ352に入力され、PWMユニット353を経てバイブレータユニット354及びLEDユニット355を音楽と同期駆動し、携帯電話1での音出力によるもてなし効果を、振動及びLED発光と組み合わせてさらに高める工夫がなされている。
Next, the
ユーザーが自動車に接近する際には、上記のような照明装置以外に、携帯電話1(ユーザー側端末装置)に設けられたスピーカー(音声出力部)311をもてなし動作部として使用することもできる。この場合、自動車側の通信装置4は、携帯電話1すなわちユーザーの接近を検出し、そのユーザーに対応する性格種別(つまり、取得されたユーザー生体状態情報)に応じて異なる出力内容にてスピーカー311からもてなし用音声を出力させる。本実施形態において、もてなし用音声データは音楽ソースデータとするが、効果音や人間の声(いわゆる着声あるいは着ボイスと称されるもの)のデータであってもよい。このもてなし用音声データは、図11に示す自動車側の記憶装置535に記憶しておき、必要なものを携帯電話1に通信装置4を介して配信するようにしてもよいし、携帯電話1側の音データ用フラッシュROM316に記憶させても、いずれでもよい。ここでは、後者の場合を例に取り説明する。
When the user approaches the vehicle, in addition to the lighting device as described above, a speaker (voice output unit) 311 provided in the mobile phone 1 (user side terminal device) can be used as a hospitality operation unit. In this case, the
まず、顔認識部10によりユーザーが認識されると該顔認識部10からユーザー特定情報が出力され、もてなし意思決定部2はその入力を受けてユーザーを特定する。ユーザーが特定され、さらに対応するシーン(接近シーンSCN1)が到来すると、そのユーザーに対応するもてなし用音声データのID(音データ用フラッシュROM316に記憶されている)を、携帯電話1から無線により取得する(ここでは、MIDIデータを用いた場合を例に取る)。次に、そのIDに対応する音楽ソースデータを選択し、携帯電話1で演奏を開始する。なお、ユーザーの接近距離に応じたもてなし用音声データが設定されている。また、バイブレータユニット354及びLEDユニット355を音楽と同期駆動し、音出力によるもてなしをより盛り上げてもよい。また、自動車側の照明装置を、音楽に連動させて明滅させるようにしてもよい。さらに、いよいよユーザーが自動車に乗り込む寸前にまで近づいたときには、パワーウィンドウを作動させて窓を開いて、携帯電話1の演奏と同期出力し、盛り上げ効果をさらに高めてもよい。さらに、自動車側では、MIDIデータの主旋律部分の音程コードを、携帯電話1側の主旋律部分に対し、協和音程を形成する度数だけ低く(又は高く)なるように変更して出力させれば、携帯電話1の出力とカーオーディオシステム515の出力とをハモらせることができるし、MIDIデータの主旋律部分の出力タイミングを、携帯電話1側の主旋律部分に対し、一定拍数遅らせる(又は進ませる)ように変更して出力させれば、携帯電話1の出力とカーオーディオシステム515の出力との間で輪唱効果を達成することもできる。
First, when a user is recognized by the
カーナビゲーション装置534について説明する。カーナビゲーション装置534においては、車両側に登録された登録ユーザー毎に設定された設定情報を、例えばカーナビゲーション装置の目的地設定等に適用することが可能となる。
The
図20は、図11のカーナビゲーション装置534の構成例を示すブロック図である。カーナビゲーション装置534は、本発明の自動車用もてなし情報提供装置の機能出力部分を担うものであり、位置検出器101、地図データ入力器106、操作スイッチ群107、リモートコントロール(以下リモコンと称する)センサ111、音声案内などを行なうスピーカー115、フラッシュメモリ等で構成された不揮発性メモリ109、LCD等からなるモニター110、これらの接続された主制御部をなす情報系ECU51、リモコン端末112及び主記憶装置をなすハードディスク装置121等を備えている。不揮発性メモリ109には、自動車の履歴情報等のナビゲーション装置の動作に必要な情報およびデータが記憶されている。
FIG. 20 is a block diagram illustrating a configuration example of the
位置検出器101は、周知の地磁気センサ102、ジャイロスコープ103、距離センサ104、および衛星からの電波に基づいて自動車の位置を検出するGPSのためのGPS受信機105を有している。これらのセンサ等102,103,104,105は各々が性質の異なる誤差を持っているため、複数のセンサにより各々補完しながら使用するように構成されている。なお、精度によっては前述したうちの一部のセンサで構成してもよく、さらに、ステアリングの回転センサや各転動輪の車輪センサ等を用いてもよい。
The position detector 101 includes a well-known
操作スイッチ群107は、メカニカルなスイッチ等を使用できるが、本実施形態では、モニター110と一体になったタッチパネル122を併用しており、モニター110上に表示されるボタン画像に対応するタッチパネル領域を指で触れることにより、操作状態を認識できるようにしている(いわゆるソフトボタン)。これら操作スイッチ群107およびリモコン端末112によって、種々の指示を入力することが可能である。
Although the
操作スイッチ群107およびリモコン端末112の他に、音声認識ユニット130を用いて種々の指示を入力することも可能である。これは、音声認識ユニット130に接続されるマイク131から音声を入力することによって、その音声信号を周知の音声認識技術により音声認識処理して、その結果に応じた操作コマンドに変換するものである。
In addition to the
情報系ECU51は通常のコンピュータとして構成されており、周知のCPU181、ROM182、RAM183、前述の不揮発性メモリ109、入出力部184がバス接続されたものである。前述のHDD121はインターフェース129fを介してバス接続されている。また、地図やナビ操作画面を表示する描画情報に基づいて、モニター110に画像出力する機能を担う描画LSI187と、描画処理用のグラフィックメモリ187Mとが同様にバス接続され、前述のモニター110がこれに接続されている。CPU181は、HDD121に記憶されたナビプログラム21pおよびデータにより制御を行なう。また、HDD121へのデータの読み書きの制御はCPU181によって行なわれる。
The
HDD121には、道路データを含む地図データ21mと、目的地データベース21dとが記憶されている。その他に、地点登録など、ユーザーが独自にデータ21uを書き込むことができる。これらのデータは、操作スイッチ群107およびリモコン端末112の操作あるいは音声入力によって内容の書き換えが可能である。また、外部情報入出力装置(地図データ入力器)106を用いて記憶媒体120からデータを読み込んでHDD121の内容を更新することも可能である。なお、本実施形態では、通信インターフェース126及び通信データを一次格納するためのバッファメモリ126fを介して情報系ECU51が、車内ネットワークをなすシリアル通信バス127に接続され、ボデー系ECU142やエンジン制御ECU(図示せず)などの、車内の他の制御装置との間でデータの遣り取りを行なうようになっている。
The
なお、図11のもてなし実行制御部3は、ここまで概念把握を容易にするために単独のECUで構成されている場合を例にとって説明を行なってきたが、当然、上記ネットワーク接続された複数のECUにて実行制御部3を構成することがより現実的である。また、もてなし意思決定部2がもてなし意思決定に使用する記憶部535内の種々のデータや、自動車用もてなし情報提供装置の出力対象となるデータ(例えば後述の目的地データベース21d(図20)や音楽ソースデータベース515b,515c(図15)に格納されたデータ)の少なくとも一部を、自動車外のデータサーバに蓄積し、無線通信により自動車にてダウンロードして使用するようにしてもよい。
The hospitality
モニター110はカラー液晶表示器により構成されており、その画面には位置検出器101から入力された自動車の現在位置マークと、HDD121から入力された地図データ21mと、さらに地図上に表示する誘導経路等付加データとを重ね合わせて表示するとともに、本画面に経路案内の設定および経路誘導中の案内や画面の切り替え操作を行なうためのメニューボタンが表示される。
The monitor 110 is constituted by a color liquid crystal display, and the current position mark of the automobile input from the position detector 101, the map data 21m input from the
カーステレオ515に搭載されたFMチューナ141は、例えばVICS(Vehicle Information and Communication System:道路交通情報通信システム)センタ114からの渋滞表示用道路交通情報を搬送する放送電波を受信し、車内ネットワークを介してその情報が情報系ECU51に送られる。
The
カーナビゲーション装置534は、情報系ECU51のCPU181によりナビプログラム21pが起動される。運転者は、操作スイッチ群107あるいはリモコン端末112の操作あるいはマイク131からの音声入力によって、目的地データベース21dから所望の目的地を選択する。例えば、モニター110上に表示されるメニューから目的地経路をモニター110に表示させるための経路案内処理を選択した場合、次のような処理を実施する。即ち、運転者がモニター110上の地図あるいは目的地選択画面に基づいて目的地を入力すると、GPS受信機105から得られる衛星のデータに基づき自動車の現在位置が求められ、該現在位置から目的地までの最適な経路を求める処理が行われる。そして、モニター110上の道路地図に誘導経路を重ねて表示し、運転者に適切な経路を案内する。このような自動的に最適な経路を設定する手法は、ダイクストラ法等の手法が知られている。また、モニター110およびスピーカー115の少なくとも一方によって、操作時のガイダンスや動作状態に応じたメッセージの報知を行なう。
In the
図21は、カーナビゲーション装置534で使用する目的地データベース21dの内容を示すもので、上記の音楽ソースデータベースと同様、各目的地の所在地情報に、個々の目的地を特定するためのIDとともに、同様のもてなし参照データにて構成された分類情報が付与されている。このうち、性格コード、年齢コード及び性別コードは音楽ソースデータベースに使用されているものとほぼ同じである。すなわち、目的地を選択するユーザーについて推定される性格種別(「活動的」、「おとなしい」、「楽観的」、「悲観的」、「頽廃的」、「体育会系」、「知性派」、「ロマンチスト」など)を示す性格コード、同じく年齢コード(「幼児」、「子供」、「ジュニア」、「青年」、「壮年」、「中年」、「熟年」、「敬老」、「年齢無関係」など)、性別コード(「男性」、「女性」及び「性別無関係」)が個々に対応付けて記憶されている。性格コードはユーザー性格特定情報の一つであり、年齢コード及び性別コードは、性格とは無関係なサブ分類である。ユーザーの性格が特定できても、年齢層や性別に合わない目的地を選択したのでは、ユーザーを楽しませる「もてなし」としての効果は半減する。従って、ユーザーに提案する目的地の適性をより絞り込むために、上記のようなサブ分類付与は有効である。
FIG. 21 shows the contents of the
また、ジャンルコードは、目的地をなす施設を、その種別により分類するもので、「飲食店」、「娯楽施設」、「公園」、宿泊施設、「道路関連サービス施設」、「コンビニエンスストア」、「スーパーマーケット」などに分かれている。このうち、「飲食店」、「道路関連サービス施設」、「コンビニエンスストア」、「スーパーマーケット」などが、飲食可能施設として位置付けられる。 In addition, the genre code classifies the facilities that make up the destination according to the type, and “restaurant”, “entertainment facility”, “park”, accommodation facility, “road related service facility”, “convenience store”, “ It is divided into “supermarkets”. Among these, “restaurants”, “road-related service facilities”, “convenience stores”, “supermarkets” and the like are positioned as eating and drinking facilities.
また、各ジャンルコードには、それぞれのジャンルコードに適合したサブ分類コードが付与されている。「飲食店」の場合、「もてなし」効果を考慮して、ユーザーの体調や精神状態と関連付けた目的地選択が可能となるように、サブ分類コードの種別が考慮されている。すなわち、体調良好で食欲もあり(特に、青年/壮年など)、空腹が進んだ場合に選択すべき飲食店には、満腹感を優先したサブ分類コード(「がっつり・こってり系」)が付与されており、体調がそれほどでもなく食欲についても淡白な状態(特に、女性など)、精々小腹が空いた程度の状況で選択すべき飲食店には、軽めの食事を優先したサブ分類コード(「かるーく・あっさり系」)が付与されている。また、倦怠感が進み、気分転換が望ましい状況や、カップルなどでムードを盛り上げたい場合に選択すべき飲食店には、雰囲気重視の食事を優先したサブ分類コード(「シック・おしゃれ系」)が付与されている。 Each genre code is assigned a sub-classification code that matches the genre code. In the case of “restaurant”, the type of sub-classification code is considered so that the destination selection associated with the physical condition and mental state of the user can be made in consideration of the “hospitality” effect. In other words, restaurants that should be selected when they are in good health and have an appetite (especially adolescents / matures) and are hungry are given a sub-classification code that gives priority to satiety (“Gutsuri-Kokori”). Sub-classification codes that prioritize light meals for restaurants that should be selected in situations where the physical condition and appetite are not good (especially women), or at least hungry. Karuku and light-colored "). In addition, subcategory codes ("chic and fashionable") that prioritize atmosphere-oriented meals are recommended for restaurants that should be selected for situations where fatigue and progress are desirable, or when you want to enhance the mood of couples, etc. Has been granted.
また、「もてなし」効果の優先性とは別に、一般的な料理種別(「和食・寿司」「中華・ラーメン」「洋食・カレー」)に基づくサブ分類コードも別途付与され、適宜選択できるようになっている。 In addition to the priority of the “Hospitality” effect, sub-classification codes based on general cuisine types (“Japanese food / sushi”, “Chinese / ramen”, “Western food / curry”) will also be added separately so that they can be selected as appropriate. It has become.
一方、娯楽施設(あるいは観光スポット)や公園などの、レクリエーションないしエンターテインメント系のサービス提供施設についても、ユーザーの体調や精神状態と関連付けた目的地選択が可能となるように、サブ分類コードの種別が考慮されている。すなわち、体調良好で、陽気で活動的なサービスを欲している場合(特に、青年/壮年など)に選択すべき施設には、体力的あるいは精神的な発散を優先したサブ分類コード(「元気一杯スポット」)が付与されており、体調がそれほどでもないか疲れている場合(特に、女性など)には、体力消耗抑制を優先したサブ分類コード(「リラックス・いやし系」)が付与されている。また、カップルなどでムードを盛り上げたい場合に選択すべき施設には、雰囲気重視のサブ分類コード(「ラブラブスポット」)が付与されている。 On the other hand, for recreational / entertainment service providing facilities such as recreational facilities (or tourist spots) and parks, the type of sub-classification code is set so that the destination can be selected in relation to the physical condition and mental state of the user. Has been taken into account. In other words, if you are in good health, want a cheerful and active service (especially adolescents / matures, etc.), you should choose a sub-classification code that gives priority to physical or mental divergence. "Spot") is given, and when the physical condition is not so great or tired (especially women), a sub-classification code ("Relaxing / Healing") giving priority to restraining physical exhaustion is given . In addition, an atmosphere-oriented sub-classification code (“love love spot”) is assigned to facilities that should be selected when it is desired to enliven the mood with a couple.
他方、「道路関連サービス施設」は、「サービスエリア」、「パーキングエリア」、「道の駅」及び「ドライブイン」のサブ分類コードが付与されている。 On the other hand, the “road-related service facility” is assigned sub-classification codes of “service area”, “parking area”, “road station”, and “drive-in”.
本実施形態においては、顔認識部10によりユーザー認識がなされるので、認識されたユーザーの登録情報(年齢、性別、性格)と照合することで、目的地や音楽ソースを検索する場合は、年齢コード、性別コード及び性格コードによる絞り込みが直ちに可能である。つまり、そのユーザーに適合した検索がなされるわけである。
In this embodiment, since the user is recognized by the
上記のカーナビゲーション装置534においては、登録ユーザー毎に、ユーザー固有のナビ設定情報(メモリ地点情報や目的地選択実績,ルート設定に係る優先条件設定等)もユーザーデータ21uに記憶される。従って、顔認識部10によりユーザーが認識されると該顔認識部10からユーザー特定情報が出力され、もてなし意思決定部2はその入力を受けてユーザーを特定し、さらに、対応するシーン(例えば準備シーンSCN3)が到来すると、もてなし意思決定部2が、入力されたユーザー特定情報をもてなし意思決定部2のROMから読み出してもてなし実行制御部3に出力し、さらに、もてなし実行制御部3が該ユーザー特定情報をカーナビゲーション装置534に対し出力する。そして、カーナビゲーション装置534はそのユーザー特定情報に基づいて設定を反映させることができる。
In the
また、カーナビゲーション装置534は、外部スケジューラ2001から目的地に対応するスケジュールの情報を受信できる。スケジュール情報がユーザーに対応して定められている場合には、当該スケジュール情報を受信し、かつ該当ユーザーが認識された場合にスケジュールを報知(音声又は画面表示による)することもできる。
In addition, the
以上、本発明の実施形態を説明したが、本発明は上述の実施形態に限定されるものではなく、次の実施形態も本発明の技術的範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施することができる。 As mentioned above, although embodiment of this invention was described, this invention is not limited to the above-mentioned embodiment, The following embodiment is also contained in the technical scope of this invention, and also the summary other than the following is also included. Various modifications can be made without departing from the scope.
1 自動車用制御システム(自動車用ユーザーもてなしシステム)
10 顔認識装置(顔認識部)
11 制御部(ユーザー認識手段、ユーザー認識結果出力手段、照明制御手段、顔存在判定手段、特徴情報合成手段、ユーザー認識結果出力制御手段)
15(518,521) 撮影装置(車内撮影カメラ(顔カメラ)、車外撮影カメラ(車外用カメラ))
16 照明装置
20 システムマスター装置(マスター制御装置)
31 撮影対象検出部
17 顔登録部
2 もてなし意思決定部(シーン特定手段、もてなし制御部、精神/肉体状態推定手段)
3 もてなし実行制御部(もてなし制御部)
100 携帯電話(ユーザー側端末装置)
1 Automotive control system (Automobile user hospitality system)
10 Face recognition device (face recognition unit)
11 Control unit (user recognition means, user recognition result output means, illumination control means, face presence determination means, feature information synthesis means, user recognition result output control means)
15 (518, 521) Shooting device (in-vehicle camera (face camera), out-of-vehicle camera (external camera))
16
31 photographing
3 Hospitality execution control unit (hospitality control unit)
100 Mobile phone (user terminal device)
Claims (10)
前記自動車のユーザーとして登録された人物の顔特徴情報をユーザ−特定情報と対応付けて記憶する顔登録部と、
前記撮影装置の前記視野内に存在する人物の顔を照らす照明装置と、
前記撮影装置が撮影した顔画像から顔特徴情報を取得し、該取得された顔特徴情報を前記顔登録部に登録された顔特徴情報と照合することによりユーザー認識処理を行なうユーザー認識手段と、
該ユーザー認識結果を出力するユーザー認識結果出力手段と、
前記照明装置が非点灯状態にて撮影された画像によるユーザー認識に失敗した場合に、前記照明装置を点灯させる照明制御手段と、
を備えたことを特徴とする顔認識装置。 An imaging device that is attached to the inside or outside of an automobile and that captures the face of a person existing within a predetermined field of view;
A face registration unit that stores face feature information of a person registered as a user of the car in association with user-specific information;
An illumination device that illuminates the face of a person present in the field of view of the imaging device;
User recognition means for acquiring face feature information from a face image photographed by the photographing device, and performing user recognition processing by collating the acquired face feature information with the face feature information registered in the face registration unit;
User recognition result output means for outputting the user recognition result;
Lighting control means for turning on the lighting device when user recognition by an image taken in a non-lighting state of the lighting device fails;
A face recognition device comprising:
前記照明装置は照明光源として赤外線光源を有するものが使用される請求項1記載の顔認識装置。 The imaging device is used as an image sensor having sensitivity necessary for face photography in both the visible light region and the infrared region, and enables face photographing with both visible light and infrared light,
The face recognition device according to claim 1, wherein the illumination device has an infrared light source as an illumination light source.
前記顔存在判定手段が顔存在と判定した場合に、前記撮影装置は前記照明装置を非点灯状態で一次顔撮影を行ない、前記ユーザー認識手段は当該非点灯状態での顔画像に基づいて一次ユーザー認識処理を行なうとともに、
該一次ユーザー認識処理によるユーザー特定に失敗した場合に、前記照明制御手段により前記照明装置を点灯させ、その状態で前記撮影装置は前記照明装置を点灯状態で二次顔撮影を行ない、前記ユーザー認識手段は当該点灯状態での顔画像に基づいて二次ユーザー認識処理を行なう請求項1ないし請求項3のいずれか1項に記載の顔認識装置。 Face presence determination means for determining whether or not a person's face is present in the field of view based on a photographed image of the photographing device;
When the face presence determining unit determines that the face is present, the photographing device performs primary face photographing with the lighting device being in a non-lighted state, and the user recognizing unit is a primary user based on the face image in the non-lighted state. While performing recognition processing,
When the user identification by the primary user recognition process has failed, the lighting control unit turns on the lighting device, and in that state, the photographing device performs secondary face photographing with the lighting device turned on, and the user recognition 4. The face recognition apparatus according to claim 1, wherein the means performs secondary user recognition processing based on the face image in the lighting state.
前記ユーザー認識手段がユーザー認識に一度成功した後、前記ユーザー認識処理のその後の反復過程において前記ユーザー認識に失敗した場合においても、当該失敗認識回数が予め定められた回数に到達するまでは前記ユーザー認識結果出力手段に該失敗認識結果を出力させないようにするユーザー認識結果出力制御手段とを備える請求項1ないし請求項8のいずれか1項に記載の顔認識装置。 User recognition processing repetitive control means for periodically performing face photographing by the photographing device and user recognition processing by the user recognizing means based on the photographed face image;
Even after the user recognition means has succeeded in user recognition once and the user recognition has failed in the subsequent iteration of the user recognition processing, the user recognition means until the number of times of failure recognition reaches a predetermined number of times. 9. The face recognition apparatus according to claim 1, further comprising: a user recognition result output control unit that prevents the recognition result output unit from outputting the failure recognition result.
ユーザーの自動車への接近、乗車、運転又は車内での滞在、降車及び自動車からの離間、の少なくともいずれかにおいて、前記ユーザーによる前記自動車の利用を補助するための、又はユーザーを楽しませるためのもてなし動作を行なうもてなし動作部と、
前記登録ユーザーと、該登録ユーザー固毎に固有の前記もてなし動作部の動作内容を規定するもてなし動作情報とを互いに対応付けた形で記憶するもてなし動作情報記憶部と、
前記顔認識装置により認識された登録ユーザーに対応するもてなし動作情報を前記もてなし動作情報記憶部から読み出して、該もてなし動作情報に従い前記もてなし動作部の動作制御を行なうもてなし実行制御部と、
を備えたことを特徴とする自動車用ユーザーもてなしシステム。 The face recognition device according to any one of claims 1 to 9,
Hospitality to assist the user in using the car or to entertain the user at least one of approaching the user, riding, driving or staying in the car, getting off and leaving the car A hospitality operating part that performs the operation;
A hospitality operation information storage unit that stores the registered user and the hospitality operation information that defines the operation content of the hospitality operation unit unique to each registered user in association with each other;
Hospitality operation information corresponding to the registered user recognized by the face recognition device is read from the hospitality operation information storage unit, and the hospitality execution control unit performs operation control of the hospitality operation unit according to the hospitality operation information;
An automobile user hospitality system characterized by comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006187133A JP4561703B2 (en) | 2006-07-06 | 2006-07-06 | Face recognition device and automobile user hospitality system using the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006187133A JP4561703B2 (en) | 2006-07-06 | 2006-07-06 | Face recognition device and automobile user hospitality system using the same |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008017227A true JP2008017227A (en) | 2008-01-24 |
JP4561703B2 JP4561703B2 (en) | 2010-10-13 |
Family
ID=39073835
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006187133A Expired - Fee Related JP4561703B2 (en) | 2006-07-06 | 2006-07-06 | Face recognition device and automobile user hospitality system using the same |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4561703B2 (en) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101335915B1 (en) | 2012-04-24 | 2013-12-03 | 주식회사 슈프리마 | Apparatus for recognizing face |
JP2014533633A (en) * | 2011-11-23 | 2014-12-15 | ジョンソン・コントロールズ・ゲー・エム・ベー・ハー | Apparatus and method for adjusting seat position |
WO2015156045A1 (en) * | 2014-04-07 | 2015-10-15 | ソニー株式会社 | Image processing device, image-capturing device, and image-capturing method |
JP2016046634A (en) * | 2014-08-21 | 2016-04-04 | 任天堂株式会社 | Information processing device, information processing system, information processing program and information processing method |
JP2016107978A (en) * | 2014-12-08 | 2016-06-20 | ハーマン インターナショナル インダストリーズ インコーポレイテッド | Adjusting speakers using facial recognition |
WO2019225375A1 (en) * | 2018-05-22 | 2019-11-28 | 株式会社小糸製作所 | Lighting control device for vehicular lamp |
US10975923B2 (en) | 2017-12-29 | 2021-04-13 | Hyundai Motor Company | Plastic composite containing magnetic alloy powder, air conditioner compressor having the same and method of producing them |
JP2021059241A (en) * | 2019-10-08 | 2021-04-15 | 株式会社Subaru | Occupant monitoring device of vehicle, and occupant protection system of vehicle |
WO2021131789A1 (en) * | 2019-12-26 | 2021-07-01 | ソニーグループ株式会社 | Vehicle |
JP2022023861A (en) * | 2016-10-31 | 2022-02-08 | 日本電気株式会社 | Image processing device, image processing method, face authentication system and program |
US11267397B2 (en) | 2019-12-10 | 2022-03-08 | Honda Motor Co., Ltd. | Autonomous driving vehicle information presentation apparatus |
JP2022039113A (en) * | 2020-08-27 | 2022-03-10 | 本田技研工業株式会社 | Information presentation device for automatic driving vehicle |
WO2022264453A1 (en) | 2021-06-15 | 2022-12-22 | 日産自動車株式会社 | Image processing device and image processing method |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11316836A (en) * | 1998-05-06 | 1999-11-16 | Omron Corp | Person identifying |
JP2005301742A (en) * | 2004-04-13 | 2005-10-27 | Denso Corp | Outer appearance recognizing system for driver |
-
2006
- 2006-07-06 JP JP2006187133A patent/JP4561703B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11316836A (en) * | 1998-05-06 | 1999-11-16 | Omron Corp | Person identifying |
JP2005301742A (en) * | 2004-04-13 | 2005-10-27 | Denso Corp | Outer appearance recognizing system for driver |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014533633A (en) * | 2011-11-23 | 2014-12-15 | ジョンソン・コントロールズ・ゲー・エム・ベー・ハー | Apparatus and method for adjusting seat position |
KR101335915B1 (en) | 2012-04-24 | 2013-12-03 | 주식회사 슈프리마 | Apparatus for recognizing face |
WO2015156045A1 (en) * | 2014-04-07 | 2015-10-15 | ソニー株式会社 | Image processing device, image-capturing device, and image-capturing method |
JP2016046634A (en) * | 2014-08-21 | 2016-04-04 | 任天堂株式会社 | Information processing device, information processing system, information processing program and information processing method |
JP2016107978A (en) * | 2014-12-08 | 2016-06-20 | ハーマン インターナショナル インダストリーズ インコーポレイテッド | Adjusting speakers using facial recognition |
JP7318691B2 (en) | 2016-10-31 | 2023-08-01 | 日本電気株式会社 | Image processing device, image processing method, face authentication system and program |
US11915517B2 (en) | 2016-10-31 | 2024-02-27 | Nec Corporation | Image processing device, image processing method, face recognition system, program, and storage medium |
JP2022023861A (en) * | 2016-10-31 | 2022-02-08 | 日本電気株式会社 | Image processing device, image processing method, face authentication system and program |
US10975923B2 (en) | 2017-12-29 | 2021-04-13 | Hyundai Motor Company | Plastic composite containing magnetic alloy powder, air conditioner compressor having the same and method of producing them |
WO2019225375A1 (en) * | 2018-05-22 | 2019-11-28 | 株式会社小糸製作所 | Lighting control device for vehicular lamp |
CN111902313A (en) * | 2018-05-22 | 2020-11-06 | 株式会社小糸制作所 | Lighting control device for vehicle lamp |
CN111902313B (en) * | 2018-05-22 | 2023-08-01 | 株式会社小糸制作所 | Lighting control device for vehicle lamp |
JP2021059241A (en) * | 2019-10-08 | 2021-04-15 | 株式会社Subaru | Occupant monitoring device of vehicle, and occupant protection system of vehicle |
JP7285188B2 (en) | 2019-10-08 | 2023-06-01 | 株式会社Subaru | Vehicle occupant monitoring device and vehicle occupant protection system |
US11267397B2 (en) | 2019-12-10 | 2022-03-08 | Honda Motor Co., Ltd. | Autonomous driving vehicle information presentation apparatus |
JP7423837B2 (en) | 2019-12-10 | 2024-01-29 | 本田技研工業株式会社 | Information presentation device for self-driving cars |
WO2021131789A1 (en) * | 2019-12-26 | 2021-07-01 | ソニーグループ株式会社 | Vehicle |
JP2022039113A (en) * | 2020-08-27 | 2022-03-10 | 本田技研工業株式会社 | Information presentation device for automatic driving vehicle |
WO2022264453A1 (en) | 2021-06-15 | 2022-12-22 | 日産自動車株式会社 | Image processing device and image processing method |
Also Published As
Publication number | Publication date |
---|---|
JP4561703B2 (en) | 2010-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4561703B2 (en) | Face recognition device and automobile user hospitality system using the same | |
US8108083B2 (en) | Vehicular system which retrieves hospitality information promoting improvement of user's current energy value based on detected temporal change of biological condition | |
JP4441887B2 (en) | Automotive user hospitality system | |
JP4535272B2 (en) | Automotive user hospitality system | |
JP4525925B2 (en) | Automotive user hospitality system | |
JP4547721B2 (en) | Automotive information provision system | |
JP4535274B2 (en) | Automotive user hospitality system | |
US8140344B2 (en) | Vehicular user hospitality system | |
JP4332813B2 (en) | Automotive user hospitality system | |
JP4525926B2 (en) | Automotive user hospitality system | |
JP5152570B2 (en) | Automotive user hospitality system | |
JP4305289B2 (en) | VEHICLE CONTROL DEVICE AND VEHICLE CONTROL SYSTEM HAVING THE DEVICE | |
JP2008126818A (en) | User hospitality system for automobile | |
JP4621983B2 (en) | Automotive user hospitality system | |
JPH11250395A (en) | Agent device | |
US20230334879A1 (en) | Vehicular driver monitoring system with customized outputs | |
JPWO2019049201A1 (en) | Automotive and automotive programs | |
JP2006282115A (en) | User reception system for automobile | |
JP2006044420A (en) | Vehicular equipment control device | |
JP2003109162A (en) | Agent apparatus | |
JP4253918B2 (en) | Agent device | |
JP4968532B2 (en) | Automotive user hospitality system | |
JP7011858B2 (en) | Automotive and automotive programs | |
JP6763120B2 (en) | Automotive and automotive programs | |
JP2004351949A (en) | Lighting system in automobile cabin |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080731 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100701 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100706 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100719 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130806 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4561703 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130806 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |